IQ測(cè)試是否能測(cè)量AI的推理能力？

阿基米德基于對(duì)物體體積的抽象理解，悟到了物體的體積與物體浮力之間的關(guān)系。這就是抽象推理的魔力?；?a href="http://www.wenjunhu.com/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型取得了驚人的成績(jī)，但是測(cè)量其推理抽象概念的能力卻是非常困難的。雖然人工智能已經(jīng)可以在策略游戲的對(duì)戰(zhàn)中戰(zhàn)勝人類，但是卻在一些簡(jiǎn)單任務(wù)方面“無(wú)能為力”，特別是需要在新環(huán)境中發(fā)現(xiàn)并重新構(gòu)建抽象概念。

舉個(gè)例子，如果你只訓(xùn)練AI計(jì)算三角形的屬性，那么，你訓(xùn)練的AI系統(tǒng)永遠(yuǎn)無(wú)法計(jì)算正方形或者其他沒(méi)有訓(xùn)練過(guò)的形狀的屬性。

又比如下邊這道簡(jiǎn)單的IQ測(cè)試題。

IQ測(cè)試給了DeepMind靈感，是不是也能用其測(cè)量AI的推理能力呢？

在以往解決通用學(xué)習(xí)系統(tǒng)努力的基礎(chǔ)上，DeepMind最新論文提出了一種如何測(cè)量機(jī)器模型認(rèn)知能力的方法，并表達(dá)了關(guān)于泛化的一些重要見(jiàn)解。

要構(gòu)建更好、更智能的系統(tǒng)，使得神經(jīng)網(wǎng)絡(luò)能夠處理抽象概念，需要對(duì)其進(jìn)行改進(jìn)。

此方法的靈感來(lái)源于IQ測(cè)試。

創(chuàng)建抽象推理數(shù)據(jù)集

標(biāo)準(zhǔn)的人類智商測(cè)試中，通常要求測(cè)試者通過(guò)應(yīng)用他們?nèi)粘＝?jīng)驗(yàn)學(xué)習(xí)的原則來(lái)解釋感知上簡(jiǎn)單的視覺(jué)場(chǎng)景。

例如，人類測(cè)試者可能已經(jīng)通過(guò)觀察植物或建筑物的增長(zhǎng)，通過(guò)在數(shù)學(xué)課上學(xué)習(xí)加法，或通過(guò)跟蹤銀行余額獲取利息增長(zhǎng)的情況來(lái)了解“漸進(jìn)”（一些屬性能夠增加的概念）。

然后把這些感性認(rèn)識(shí)上升到理性認(rèn)識(shí)，從而對(duì)測(cè)試題進(jìn)行推斷預(yù)測(cè)，例如圖形的數(shù)量、大小，甚至沿著序列增加顏色強(qiáng)度。

現(xiàn)在機(jī)器學(xué)習(xí)仍然無(wú)法理解一些看似簡(jiǎn)單的“日常體驗(yàn)”，這意味著，人類無(wú)法輕易地衡量AI將知識(shí)從現(xiàn)實(shí)世界轉(zhuǎn)移到視覺(jué)推理測(cè)試的能力。

基于此認(rèn)知，DeepMind設(shè)計(jì)一個(gè)實(shí)驗(yàn)，希望使人類視覺(jué)推理測(cè)試得到很好的利用。這一研究不是從日常生活到視覺(jué)推理問(wèn)題(如人類測(cè)試)的知識(shí)轉(zhuǎn)移，而是研究知識(shí)從一組受控的視覺(jué)推理問(wèn)題轉(zhuǎn)移到另一組問(wèn)題。

為實(shí)現(xiàn)這一目標(biāo)，DeepMind構(gòu)建了一個(gè)用于創(chuàng)建矩陣問(wèn)題的生成器，涉及一組抽象因子，包括“漸進(jìn)”之類的關(guān)系以及“顏色”和“大小”等屬性。 雖然問(wèn)題生成器使用了一小組潛在因子，但它仍然會(huì)產(chǎn)生大量獨(dú)特的問(wèn)題。

接下來(lái)，DeepMind約束生成器可用的因子或組合，以便創(chuàng)建用于訓(xùn)練和測(cè)試模型的不同問(wèn)題集，以度量模型可以推廣到留存的測(cè)試集的程度。

例如，創(chuàng)建了一組謎題訓(xùn)練集，其中只有在應(yīng)用于線條顏色時(shí)才會(huì)遇到漸進(jìn)關(guān)系，而在應(yīng)用于形狀大小時(shí)會(huì)遇到測(cè)試集。如果模型在該測(cè)試集上表現(xiàn)良好，它將提供推斷和應(yīng)用抽象概念的能力的證據(jù)，即使在之前從未見(jiàn)過(guò)進(jìn)展的情況下也是如此。

有希望的抽象推理證據(jù)

在機(jī)器學(xué)習(xí)評(píng)估中應(yīng)用的典型的泛化機(jī)制中，訓(xùn)練和測(cè)試數(shù)據(jù)來(lái)自于相同的基礎(chǔ)分布，測(cè)試的所有網(wǎng)絡(luò)都表現(xiàn)出良好的泛化誤差，其中一些在略高于75％的情況下實(shí)現(xiàn)了令人印象深刻的絕對(duì)性能。性能最佳的網(wǎng)絡(luò)明確地計(jì)算了不同圖像面板之間的關(guān)系，并且并行地評(píng)估了每個(gè)潛在答案的適用性。DeepMind將此架構(gòu)稱為Wild RelationNetwork（WReN）。

當(dāng)需要在先前看到的屬性值之間使用屬性值“插值”來(lái)推理，以及在不熟悉的組合中應(yīng)用已知的抽象關(guān)系時(shí)，模型的泛化效果顯著。然而，在“外推”機(jī)制中，同樣的網(wǎng)絡(luò)表現(xiàn)得糟糕得多，在這種情況下，測(cè)試集中的屬性值并不與訓(xùn)練中看到的值處于相同的范圍內(nèi)。

這種事情發(fā)生在當(dāng)訓(xùn)練集中有深顏色的物體而測(cè)試集中是淺顏色的物體的謎題中。當(dāng)模型被訓(xùn)練來(lái)應(yīng)用以前所見(jiàn)的關(guān)系(比如形狀的數(shù)量)到一個(gè)新的屬性(如大小)時(shí)，泛化性能也會(huì)更糟。

最后，當(dāng)訓(xùn)練模型不僅預(yù)測(cè)正確的答案，而且還預(yù)測(cè)答案的“原因”（即應(yīng)該考慮解決這個(gè)難題的特定關(guān)系和屬性)時(shí)，DeepMind稱觀察到了改進(jìn)的泛化性能。

有趣的是，在中性分割中（the neutral split），模型的準(zhǔn)確性與它推斷矩陣下正確關(guān)系的能力密切相關(guān)：當(dāng)解釋正確時(shí)，模型會(huì)選擇當(dāng)時(shí)正確的答案的概率為87%，但當(dāng)它的解釋錯(cuò)誤時(shí)，性能下降到只有32%。這表明，當(dāng)模型正確地推斷出任務(wù)背后的抽象概念時(shí)，能夠獲得更好的性能。

更微妙的泛化方法

目前的文獻(xiàn)關(guān)注于基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法的優(yōu)缺點(diǎn)，通常是基于它們的能力或泛化的失敗。DeepMind的結(jié)果表明，得出關(guān)于泛化的普遍結(jié)論可能是沒(méi)有幫助的：測(cè)試的神經(jīng)網(wǎng)絡(luò)在某些泛化狀態(tài)下表現(xiàn)得很好，而在其他狀態(tài)下表現(xiàn)得很差。

它們的成功是由一系列因素決定的，包括所使用的模型的架構(gòu)，以及模型是否被訓(xùn)練為其選擇的答案提供可解釋的“原因”。在幾乎所有的情況下，當(dāng)需要推斷出超出其經(jīng)驗(yàn)的輸入或處理完全陌生的屬性時(shí)，系統(tǒng)表現(xiàn)很差；在這個(gè)至關(guān)重要的研究領(lǐng)域?yàn)槲磥?lái)的工作創(chuàng)造一個(gè)清晰的重點(diǎn)。