科學家們已經創(chuàng)造出來解釋和準確地再現一個人所看到或想象圖像的算法

讓我們想象一下：只要在心里浮現出某個人物或風景，就能從一堆數碼照片中把它搜索出來?；蛘卟挥脛庸P就能畫出一個新的廚房設計。又或者給心愛的人發(fā)送一張想象中的落日照片。一臺能讀懂你的心思的電腦會有很多用處，更不用說對于那些癱瘓的、無法正常與人交流的人。如今，科學家們已經創(chuàng)造出了來解釋和準確地再現一個人所看到的或想象的圖像的算法。這項技術可能還需要幾十年的時間才能有實際應用，但科學家們離建立起能夠幫助我們投射內心的系統(tǒng)更近了一步。

“我很驚訝它能運轉得這么好，”來自印第安納州西拉斐特普渡大學（Purdue University）的計算機科學家劉中明（音）說。他幫助開發(fā)了一種算法，可以在一定程度上再現觀眾在看電影時看到的畫面?！斑@真的很酷?！?/p>

使用算法來解碼心智圖像并不稀奇（mental images, 即我們從記憶中提取曾儲存的視覺信息時，腦海中重現的影像）。自 2011 年以來，研究人員通過把當下的大腦活動與之前觀看圖像時檢測到的大腦活動相匹配的方法，再現了電影片段、照片，甚至夢境圖像。但這些方法都有其局限性：有些只處理很簡單的圖像類別，比如臉型，而有些則必須從預先編程的圖像諸如“人”或“鳥”之類的類別中進行選擇。

最新的這種算法則可以在線機動生成可辨認的圖像，甚至可以重現那些沒親眼見過、想象出來的畫面。

為了弄清楚一個人在看什么，研究人員首先進行了功能性磁共振成像（fMRI）測試，它能通過測量大腦血液流動間接監(jiān)控神經活動。他們找來三個被試，讓他們每人觀看了超過 1000 張的圖片，每張圖片看多次，通過這種方式將大腦視覺處理區(qū)域的活動繪制成了分辨率為 2 毫米的“地圖”，作為參考。他們的目標是，找到大腦看見某圖像時產生的應答活動，比如一只獵豹，并最終讓計算機繪制出一幅幾乎相同的圖像。

但是，研究小組并不是給實驗對象一幅接一幅地展示畫，直到電腦正確地模擬出來，而是建立了代替大腦的系統(tǒng)，深度神經網絡（deep neural network ，DNN），它由幾層簡單的處理元素組成。該研究的通訊作者、日本京都大學的神經學家神谷之康（Yukiyasu Kamitani）說：“我們認為，深度神經網絡完全可以代表大腦的分層處理系統(tǒng)?！?/p>

“通過使用 DNN，我們可以從大腦視覺系統(tǒng)的不同層次提取信息，”從簡單的明暗對比到更有意義的內容，比如不同的人臉。

使用“解碼器”，研究人員創(chuàng)造了大腦對圖像的反應，但這些都儲存在深度神經網絡 DNN 中。如此一來，他們便不再需要實際的 fMRI 數據，僅僅需要 DNN 的翻譯。

在猜測別人在看什么時，翻譯的內容將作為模板，而 fMRI 數據則不再重要。系統(tǒng)隨后將嘗試繪制一幅圖，這幅圖會激發(fā) DNN 以匹配該模板的方式進行響應。它通過不斷地試錯，直到描繪出理想的圖像，無論是獵豹、鴨子，還是彩色玻璃窗。這個系統(tǒng)從一些隨機的東西開始，類似于電視屏幕上的雪花，接著在 200 次的嘗試過程中慢慢地改進它的圖像。為了更接近理想圖像，系統(tǒng)計算了 DNN 活動和模板化 DNN 活動之間的差異。這些計算引導系統(tǒng)不斷調整像素的位置，直到接近理想圖像。

為了使最終的產品更加準確，研究人員加入了一個“深度發(fā)生器網絡”（deep generator network, DGN）。這個算法已經經過了預先訓練，可以根據它的輸入生成逼真的圖像。DGN 讓算法重現的畫看起來更自然。研究人員在上月末發(fā)表的一篇預印本論文中稱，一旦添加了這一功能，人們就能第一時間分辨出兩張照片中的哪一幅是想要被重現的，成功率高達 99%。

接下來，科學家們試圖解讀出人們想象中的圖片。這一次，他們掃描了三名受試者的大腦，要求他們回憶之前展示過的圖像，包括魚、飛機和簡單的彩色圖形。這個方法不能完好地展示出圖像，但是對于形狀，生成器創(chuàng)建出一個可識別的圖像的概率是 83%。

這是“有趣而細致的研究”，哥倫比亞大學扎克曼研究所的計算神經學家尼克拉斯克里奇斯科特（Nikolaus Kriegeskorte）說。他想知道計算機生成圖像的不準確性在多大程度上是由于大腦活動測量手段的限制，以及它們在多大程度上反映了我們的大腦對圖像解讀時的錯誤。他說：“更高分辨率的核磁共振成像和其他腦成像技術可能會進一步完善結果?！蓖ㄟ^對測量和算法進行持續(xù)的改進，我們也許有一天能通過大腦中的心像進行交流。