AI很聰明?有時計算加法的水平還不如高中生
谷歌的DeepMind的研究人員建立了兩種不同類型的最先進的神經(jīng)網(wǎng)絡,看看它們能否被訓練來回答高中數(shù)學問題。結果是E級,沒有把6以上的個位數(shù)相加。
你會算下面這道題嗎?
1+1+1+1+1+1+1等于多少?
如果你的答案是7,那么恭喜你,正確,而且你的數(shù)學要比目前最先進的深度學習神經(jīng)網(wǎng)絡技術要出色。
我沒有開玩笑,根據(jù)國外媒體報道,谷歌旗下DeepMind的人工智能研究人員本周發(fā)表了一項研究,他們試圖訓練神經(jīng)網(wǎng)絡來解決算術、代數(shù)和微積分的基本問題。這類問題通常是對高中生的測試。
但是神經(jīng)網(wǎng)絡的表現(xiàn)并不好。除了不正確地猜出上述問題的答案為6外,神經(jīng)網(wǎng)絡在一次標準測試中只答對了40道題中的14道。
研究人員指出,這相當于英國16歲學生的E級。
基本上,在這一點上,人工智能很難真正學習任何基礎數(shù)學。
這篇名為“分析神經(jīng)模型的數(shù)學推理能力”的論文被創(chuàng)建為一個基準測試集,其他人可以在此基礎上構建神經(jīng)網(wǎng)絡來進行數(shù)學學習,就像ImageNet被創(chuàng)建為一個圖像識別基準測試一樣。
引用紐約大學著名的神經(jīng)網(wǎng)絡評論家Gary Marcus的話,作者提到了著名的神經(jīng)網(wǎng)絡的“脆弱性”,并主張調查為什么人類能夠更好地執(zhí)行“關于對象和實體的離散成分推理,這是代數(shù)上的概括”。
他們提出了一系列不同的數(shù)學問題,這些問題應該促使神經(jīng)網(wǎng)絡獲得這樣的推理,其中包括“規(guī)劃(例如,按照正確的組合順序識別函數(shù))”,當一個數(shù)學問題的部分可能是關聯(lián)的,也可能不是分配的,也可能不是交換的。
他們寫道:“如果一個模型不具備至少一部分代數(shù)泛化的能力,它就很難在一系列問題類型中做得很好?!币虼耍瑪?shù)據(jù)集。
他們提出了一系列問題,沒有一個涉及幾何,也沒有一個是口頭問題:
42*r+27*c =-1167和130*r+4*c=372,求r等于多少。
答案:4
作者綜合了這些數(shù)據(jù)集,而不是將它們眾包,因為這樣很容易獲得大量的例子。他們將問題以“自由形式”的句子形式提交給計算機,這樣計算機就不會以任何方式將問題解析得更容易,比如“樹”或“圖”數(shù)據(jù)形式。
這些問題的基礎是“美國學校數(shù)學課程(16歲以下),僅限于文本問題(因此不包括幾何問題),它提供了作為學習課程一部分的廣泛數(shù)學主題?!彼麄儗懙?,他們加強了基礎課程,提出了“為代數(shù)推理提供良好測試”的問題。
他們指出,為了訓練一個模型,他們本可以賦予一些神經(jīng)網(wǎng)絡的數(shù)學能力,但關鍵是讓它從無到有,并建立數(shù)學能力。因此,他們或多或少采用了標準的神經(jīng)網(wǎng)絡。
他們寫道:“我們感興趣的是評估通用模型,而不是那些已經(jīng)具備數(shù)學知識的模型。”
“從翻譯到通過圖像標題進行解析,這些模型(通常是神經(jīng)結構)如此普遍的原因在于,由于這些函數(shù)近似器的設計中編碼的領域特定知識相對較少(或沒有),所以它們沒有偏見?!?/p>
作者構建了兩種不同的“最先進的”神經(jīng)網(wǎng)絡來解析、嵌入并回答這些問題。一種是“長短時記憶”(LSTM)神經(jīng)網(wǎng)絡,它擅長處理順序類型的數(shù)據(jù),由Sepp Hochreiter和Jurgen Schmidhuber在20世紀90年代開發(fā)。
他們還訓練了所謂的“轉換器”,這是谷歌開發(fā)的一種較新的遞歸神經(jīng)網(wǎng)絡,在處理各種任務時越來越受歡迎,比如嵌入文本序列來處理自然語言。
他們給了神經(jīng)網(wǎng)絡一些時間來思考,因為“模型可能需要花費幾個計算步驟來整合問題中的信息”。
“為了實現(xiàn)這一點,我們在輸出答案之前添加了額外的步驟(零輸入)。”
結果一般。例如,回到本文開頭的問題,當數(shù)字超過前六個計數(shù)數(shù)字時,基本加法就失敗了。作者表示,他們“測試了添加1 + 1 ++ 1的模型,其中1出現(xiàn)n次。
“LSTM和Transformer模型都給出了n≤6的正確答案,但n = 7的錯誤答案是6(似乎漏掉了一個1),n > 7的其他錯誤值也是6。”
這是為什么呢?就像神經(jīng)網(wǎng)絡經(jīng)常發(fā)生的情況一樣,一些其他的事情似乎正在幕后發(fā)生,因為當把更大的數(shù)以更長的序列相加時,比如34+53+…+936等等,神經(jīng)網(wǎng)絡能夠做得很好,作者觀察到。
“我們對這種行為沒有一個很好的解釋,”他們寫道。他們假設,當他們分析問題并對其進行操作時,神經(jīng)網(wǎng)絡正在創(chuàng)建“子和”,而當他們失敗時,這是因為“輸入被‘偽裝’了,由重復多次的相同數(shù)字組成”。
一般來說,神經(jīng)網(wǎng)絡在一些事情上做得最好,比如在一個長數(shù)字中找到“位置值”,比如,在一個數(shù)字中找出“十位”,比如9343012。他們也擅長四舍五入十進制數(shù)和按大小順序排序。
對這個系統(tǒng)來說,最難的問題是“數(shù)字理論問題”,比如因式分解,把數(shù)字或其他數(shù)學對象分解成組成部分,以及判斷一個數(shù)字是否是質數(shù)。但他們指出,人類在這方面也有困難,所以這并不奇怪。另一個問題是“混合算術”的組合,所有四種運算都在這里進行。在那里,機器的性能精度“下降到50%左右”。
為什么計算機在做加法或減法的時候做得很好,但當被要求做所有這些時卻感到困惑?
“我們推測,這些模塊之間的區(qū)別在于,前者可以用一種相對線性/淺層/并行的方式計算(因此通過梯度下降法相對更容易發(fā)現(xiàn)求解方法),”作者沉思道,“而用括號計算混合算術表達式?jīng)]有捷徑。”
總而言之,在高中課程中,收集了一系列現(xiàn)實世界的問題,作者稱E級成績“令人失望”和“中等”。
他們得出這樣的結論:當變壓器神經(jīng)網(wǎng)絡構建執(zhí)行比LSTM變體,“兩個網(wǎng)絡在做多”算法推理”和“模型沒有學會做任何代數(shù)/算法操作的值,而是學習相對淺技巧來獲得好的答案的許多模塊。”
盡管如此,現(xiàn)在已經(jīng)有了一個數(shù)據(jù)集,他們希望這是一個基線,在此基礎上,其他人將加入他們的行列,訓練更多種類的網(wǎng)絡。他們指出,數(shù)據(jù)集很容易擴展,這應該能讓研究人員直接達到大學水平的數(shù)學水平。
希望到那時,神經(jīng)網(wǎng)絡已經(jīng)學會了加法。
評論
查看更多