DeepMind今天的官博發(fā)文,介紹他們的新工作Psychlab,這是一個建立在DeepMind Lab之上的平臺,旨在構(gòu)建可控環(huán)境,從心理認識的角度,更好地研究和理解AI。具體說,Psychlab有助于讓研究人員了解,AI在完成一項復(fù)雜任務(wù)時,其中涉及的每一種特定行動分別起到了什么作用。
想象一下購物這個簡單的任務(wù)。如果你忘記去拿名單上的某樣物品,這說明了你大腦功能的什么?這可能表示,在搜索列表中的項目時,你無法將注意力從一個對象轉(zhuǎn)移到另一個對象。這也可能表明記住購物清單很難,或者兩者皆有。
看上去就是單一的一個任務(wù),實際上取決于多種認知能力。我們在人工智能研究中也面臨類似的問題,在這種情況下,任務(wù)的復(fù)雜性往往會使智能體取得成功所需的單個技能難以分離。但是,了解智能體特定的認知技能,可能有助于改善其整體表現(xiàn)。
在人類身上,為了解決這個問題,心理學(xué)家花了近150年的時間來設(shè)計嚴格控制的實驗,目的是分離出每個特定的認知能力。例如,他們可能會使用兩個單獨的測試來分析超市場景——一個是“視覺搜索”測試,需要被測者在一個圖案中定位某個特定的形狀,這可以用來檢測注意力。同時,心理學(xué)家可能會要求被測者背誦一份清單,從而測試他們的記憶力。
我們相信,有可能使用類似的實驗方法來更好地理解AI的行為。這就是為什么我們開發(fā)了Psychlab,Psychlab這個平臺建立在DeepMind Lab之上,使我們能夠直接運用認知心理學(xué)等領(lǐng)域的方法,研究受控環(huán)境下智能體的行為。今天,我們也將這個平臺開源,供其他人使用。
Psychlab在虛擬的DeepMind Lab環(huán)境中,重建了通常用于人類心理學(xué)實驗的典型設(shè)置。例如,讓參與者坐在計算機顯示器前,使用鼠標(biāo)來響應(yīng)屏幕上的任務(wù)。同樣,我們的環(huán)境允許虛擬AI在虛擬計算機監(jiān)視器上執(zhí)行任務(wù),使用它的注視方向進行響應(yīng)。這樣,人類和AI都采取相同的測試方法,最大限度地減少了實驗差異。這也使結(jié)果更容易與認知心理學(xué)的現(xiàn)有文獻聯(lián)系起來,并從中獲得見解。
隨著Psychlab的開源版本的發(fā)布,我們構(gòu)建了一系列在虛擬計算機監(jiān)視器上運行的經(jīng)典實驗任務(wù),并且具有靈活且易于學(xué)習(xí)的API,方便其他人能夠構(gòu)建自己的任務(wù)。
視覺搜索(Visual search)- 測試搜索項目數(shù)組的能力。
持續(xù)識別(Continuous recognition)- 為不斷增長的物品列表測試內(nèi)存。
任意視覺運動測試(Arbitrary visuomotor mapping)- 測試對刺激-響應(yīng)配對的記憶。
變化檢測(Change detection)- 測試檢測延遲后重新出現(xiàn)的對象數(shù)組中有所更改的能力。
視敏度和對比敏感度(Visual acuity and contrast sensitivity)- 測試識別小和低對比度刺激的能力。
玻璃圖案檢測(Glass pattern detection)- 測試全局形式感知。
隨機點運動判別(Random dot motion discrimination)- 測試相干運動的能力。
多對象跟蹤(Multiple object tracking)- 測試隨著時間的推移跟蹤移動對象的能力。
所有這些任務(wù)都已被驗證,表明人類結(jié)果反映了認知心理學(xué)文獻中的標(biāo)準(zhǔn)結(jié)果。
以“視覺搜索”任務(wù)為例。在復(fù)雜的刺激陣列中定位對象,比如在超市貨架上選擇一個商品,作為理解人類選擇性注意力的方法,已經(jīng)得到深入的研究。
當(dāng)要求人類“在水平線段中找出豎直線段”和“在其他顏色的線段中找出粉條的線段”的任務(wù)時,人類的反應(yīng)時間不會根據(jù)屏幕上的線段數(shù)量的改變而改變。換句話說,他們的反應(yīng)時間與“數(shù)據(jù)大小”是相互獨立的。然而,當(dāng)任務(wù)改為在不同形狀和不同顏色的線段中找出粉色線段時,每增加一個線段,人的反應(yīng)時間會增加大約50ms。當(dāng)人類在Psychlab上完成這個任務(wù)時,我們也復(fù)現(xiàn)了這個結(jié)果。
這張圖片說明了在Psychlab的視覺搜索任務(wù)上人類和人工因素之間反應(yīng)時間的差異
當(dāng)我們對一個最先進的AI進行同樣的測試時,我們發(fā)現(xiàn)它雖然可以執(zhí)行任務(wù),但并沒有顯示出與人類相似的反應(yīng)時間模式。在上述三種情況下,AI都用了相同的時間來應(yīng)對。在人類的情況下,這些數(shù)據(jù)表明了并行關(guān)注和串聯(lián)關(guān)注的區(qū)別。而AI似乎只有并行的機制。識別出人類與我們目前的AI之間的這種差異,能夠為我們改善未來AI設(shè)計提供途徑。
我們設(shè)計Psychlab是作為認知心理學(xué)、神經(jīng)科學(xué)和AI之間的橋接工具。通過開源,我們希望更廣泛的研究團隊能夠在自己的研究中利用它,并幫助我們進一步發(fā)展。
-
計算機
+關(guān)注
關(guān)注
19文章
7518瀏覽量
88190 -
監(jiān)視器
+關(guān)注
關(guān)注
1文章
780瀏覽量
33163 -
AI
+關(guān)注
關(guān)注
87文章
31097瀏覽量
269423 -
DeepMind
+關(guān)注
關(guān)注
0文章
130瀏覽量
10881
原文標(biāo)題:DeepMind新建虛擬認識實驗室,像研究人類一樣研究AI(代碼開源)
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論