AI專家：GPT-3的性能令人驚嘆，但存在規(guī)模和缺乏透明度等問題

讓算法像人一樣寫作，是人工智能研究實(shí)驗(yàn)室OpenAI多年來一直追尋的夢想。其最新研究成果是語言生成算法模型GPT-3，現(xiàn)已被用于生成讓人難以分辨的偽文章，其所寫博客騙過了黑客新聞（Hacker News）的發(fā)布者，甚至成為網(wǎng)站熱門文章。

那個(gè)帖子是這樣的：“要想把事情做好，也許我們根本不需要想太多。這似乎有悖常理，但我相信有時(shí)想得多了反而會(huì)阻礙我們的創(chuàng)造力?！?/p>

OpenAI之所以可以實(shí)現(xiàn)如此高效的算法，是因?yàn)樗軌蛟L問巨額計(jì)算量和數(shù)據(jù)，且此算法本身的容量遠(yuǎn)大于已有的所有算法：最大版本的GPT-3有1750億個(gè)參數(shù)，這種方程式能幫算法做出更精準(zhǔn)預(yù)測。GPT-2只有15億個(gè)參數(shù)。

雖然OpenAI曾公布過它的算法，但這次它選擇讓GPT-3保持神秘。該公司表示，對大多數(shù)操作者來說，GPT-3實(shí)在是太大了，對其收費(fèi)，就能讓OpenAI從中獲利。

在過去的一年里，OpenAI變革公司結(jié)構(gòu)，使其更能吸引投資者。它放棄了“限制利潤”模式的非盈利定位，這樣如果OpenAI獲利，投資者就能獲得回報(bào)。它還與微軟達(dá)成了10億美元的合作協(xié)議，開啟了兩家公司之間的合作，該協(xié)議還允許OpenAI優(yōu)先訪問微軟的云計(jì)算平臺(tái)。

研究人員說，他們對OpenAI不公布算法表示質(zhì)疑，稱這違背了基本科學(xué)原則，且對該公司聲明的核實(shí)變得愈發(fā)困難。

Facebook人工智能研究（FAIR）的聯(lián)合董事暨Facebook蒙特利爾人工智能研究實(shí)驗(yàn)室負(fù)責(zé)人喬埃爾？皮諾（Joelle Pineau）在一封電子郵件中說到：“我對目前為止對諸如GPT-2/GPT-3和AlphaGo這類代碼不共享的所有爭論持懷疑態(tài)度。在人工智能領(lǐng)域，有很多類似情況?！?/p>

GPT-3的核心是個(gè)非常強(qiáng)大的英語寫作工具。GPT-3最重要的是它的規(guī)模，它通過分析45萬億字節(jié)的數(shù)據(jù)學(xué)會(huì)了寫作。報(bào)道稱這個(gè)訓(xùn)練過程在云計(jì)算上花費(fèi)了數(shù)百萬美元，它見證了人類數(shù)以億計(jì)的書寫組合。

這是OpenAI長期戰(zhàn)略的關(guān)鍵部分。多年來，該公司一直表示，深度學(xué)習(xí)算法的規(guī)模越大越好。數(shù)據(jù)越多，計(jì)算能力越強(qiáng)，算法的能力就越強(qiáng)。OpenAI就是因?yàn)榫邆渫瑫r(shí)在數(shù)百個(gè)GPU上訓(xùn)練算法的能力，才在《刀塔2》中擊敗了職業(yè)電子競技玩家。

OpenAI的領(lǐng)導(dǎo)曾表示，OpenAI的政策主管杰克·克拉克（Jack Clark）認(rèn)為算法越大，則“越有條理，越有創(chuàng)造力，也越可靠”。在談到《刀塔2》機(jī)器人需要的訓(xùn)練量時(shí)，首席技術(shù)官格雷格·布羅克曼表示：“等運(yùn)氣耗盡，我們期待一場棋逢對手的比賽?！?/p>

GPT-3采用了類似方法。OpenAI認(rèn)為，算法更大意味著參數(shù)更多，就能進(jìn)行更普遍的操作。例如，GPT-3最基本的功能是自動(dòng)補(bǔ)全，給它一個(gè)詞或句子，它就會(huì)逐字逐句地生成它認(rèn)為接下來該出現(xiàn)的詞句。不必對算法進(jìn)行任何修改，它也能回答問題，甚至進(jìn)行翻譯。這與只能處理一項(xiàng)任務(wù)的專項(xiàng)微調(diào)算法不同。

有人認(rèn)為，這向人工智能的圣杯——通用智能邁出了一步，它意味著算法可以像人類一樣學(xué)習(xí)和適應(yīng);而另一些人則表示，算法仍不能真正理解它生成的話語。

OpenAI發(fā)布了一篇詳細(xì)的研究報(bào)告，解釋了該算法的架構(gòu)和它所取得的結(jié)果，而當(dāng)涉及到GPT-3的功能研究時(shí)，其他人工智能研究人員只能選擇相信OpenAI。這家研究公司最近不再以非盈利為定位，開始籌集資金開發(fā)商業(yè)產(chǎn)品，它不再像過去一樣公布算法。

2019年2月，OpenAI宣稱，前一最大版本GPT-2算法有可能生成錯(cuò)誤信息或虛假新聞，太過危險(xiǎn)不便發(fā)布，這一聲明引來了很多質(zhì)疑。公司先行發(fā)布了簡易版的GPT-2，并未發(fā)現(xiàn)濫用跡象，才最終發(fā)布了最大版本算法?，F(xiàn)在，與其說GPT-3太危險(xiǎn)，不如說它似乎太有利可圖而不能發(fā)行。

GPT-3只能通過OpenAI運(yùn)行的API訪問，這與亞馬遜、谷歌和微軟等公司的算法變現(xiàn)方式相類似。開發(fā)者可以編寫程序向GPT-3發(fā)送特定指令，GPT-3在OpenAI的云端中生成響應(yīng)并回傳結(jié)果。雖然API在內(nèi)測期間免費(fèi)，但OpenAI正在考慮長期定價(jià)。這意味著研究人員只能向算法發(fā)送特定命令，而OpenAI可以隨時(shí)取消訪問權(quán)限。

OpenAI將這種做法歸結(jié)于對安全和規(guī)模的考慮。如果該公司發(fā)現(xiàn)有人濫用API做了諸如支持假新聞網(wǎng)站的事情，那么它可以取消該開發(fā)者的訪問權(quán)限。

該公司還表示，這些算法規(guī)模龐大，運(yùn)行成本高昂，更別提開始訓(xùn)練后的花銷。“這使得任何除大公司以外的使用者都很難從底層技術(shù)中獲益。我們希望API能讓小型企業(yè)和組織更容易地使用強(qiáng)勁的人工智能系統(tǒng)。”

由于云計(jì)算的計(jì)價(jià)方式，OpenAI訓(xùn)練和操作算法的確切成本很難核算。租賃GPU的成本根據(jù)特定服務(wù)器區(qū)域的地理鄰近程度，以及基于項(xiàng)目規(guī)模的協(xié)議費(fèi)率等因素的不同，差別很大。由于OpenAI為完成任務(wù)將其中部分資金用于建造自己的超級計(jì)算機(jī)，它可能從與微軟的10億美元合作中受益。

但是這些限制，即規(guī)模和缺乏透明度，使得其他科學(xué)家很難復(fù)制和驗(yàn)證該算法的有效性。

盡管涉及風(fēng)險(xiǎn)投資和企業(yè)利益，人工智能仍然是研究計(jì)算機(jī)科學(xué)的一個(gè)途徑，且這種科學(xué)方法仍然適用。最好的科學(xué)實(shí)驗(yàn)，比如建立一個(gè)算法來成功完成一項(xiàng)任務(wù)并證明一個(gè)假設(shè)，是可以復(fù)制的。

皮諾是可復(fù)制計(jì)算機(jī)科學(xué)的熱心支持者，她認(rèn)為像GPT-3和AlphaGo這樣尚未公布的算法是“科學(xué)文物”。她在電子郵件中說到：“這有點(diǎn)像挖出的恐龍骨頭，它為你提供了支持某些理論的證據(jù)，但與實(shí)際進(jìn)行實(shí)驗(yàn)是不一樣的?！逼ぶZ表示，這些“文物”有助于提出未來的研究假設(shè)，但它們?nèi)匀徊荒芴娲_鑿的知識(shí)。

很多人擔(dān)心，通過限制對代碼和受訓(xùn)算法的訪問，人工智能的“民主化”，即任何人都可使用人工智能，會(huì)受OpenAI威脅?！笆褂萌斯ぶ悄堋边@一用語是多層面的，意思是使用計(jì)算能力、數(shù)據(jù)集以及算法本身。諸如谷歌的TensorFlow和臉書的PyTorch這類開源框架使得算法易于構(gòu)建和共享，還存在其他很多開源數(shù)據(jù)集。

然而，計(jì)算能力來自硬件，是一種有限的物理資源，大公司和像OpenAI這樣資金充足的研究機(jī)構(gòu)更容易獲得該資源。

如果OpenAI的實(shí)驗(yàn)被證明是人工智能的發(fā)展方向，同時(shí)算法的擴(kuò)大轉(zhuǎn)化為性能的提高，那么消費(fèi)不起先進(jìn)人工智能的人就無法使用它了。這還會(huì)允許擁有資源的大公司制定規(guī)則，決定誰有權(quán)使用某些人工智能算法。例如，他們可以利用API進(jìn)行設(shè)置，并對訪問和使用算法進(jìn)行收費(fèi)。

喬治亞理工學(xué)院（Georgia Institute of Technology）研究自然語言處理的人工智能教授馬克·瑞德爾（Mark Riedl）表示：“如果確信實(shí)現(xiàn)更好人工智能的方法實(shí)際上是實(shí)現(xiàn)更大規(guī)模，那么誰能擁有更優(yōu)人工智能就由OpenAI決定了。”

瑞德爾對OpenAI是否會(huì)監(jiān)視其新API的所有使用情況，以確定是否被用于惡意目的表示質(zhì)疑，OpenAI曾花了大量精力來思考它的算法會(huì)如何被濫用?！癘penAI是否會(huì)查看輸出，以判斷他們的技術(shù)是否得到恰當(dāng)使用？鑒于其宗旨，以及這與他們新盈利模式相沖突，這似乎很關(guān)鍵。他們能做到大規(guī)模監(jiān)控嗎？”

并非所有人都認(rèn)同OpenAI“越大越好”的方法是人工智能的發(fā)展方向。例如，自然語言處理研究人員梅拉妮·米歇爾（Melanie Mitchell）就對GPT-3進(jìn)行了“模仿”測試，要求算法識(shí)別特定字母序列的變化模式。如果“abc”變?yōu)椤癮bd”，那么“efg”會(huì)變成什么？

上世紀(jì)80年代，米歇爾開發(fā)了一種算法來解決這類人類一直以來所進(jìn)行類比的微型模擬測試。要正確地進(jìn)行類比，必須理解所有組件之間的關(guān)系。在字母表的例子中，算法必須了解字母表的順序和每個(gè)字母的位置。雖然該算法在眾多測試中表現(xiàn)良好，但米歇爾發(fā)現(xiàn)，它也無法掌握其他算法數(shù)十年前已掌握的一些簡單概念。

米歇爾說：“在研究方面，我個(gè)人認(rèn)為，在一個(gè)問題上投入過多的計(jì)算和參數(shù)可能會(huì)把人工智能逼進(jìn)死胡同。如果我們的目標(biāo)是制造強(qiáng)大、具有普遍智能的機(jī)器，我認(rèn)為這無法取得真正的進(jìn)展。”

她承認(rèn)，在制造需要深度學(xué)習(xí)的人工智能產(chǎn)品時(shí)，龐大的計(jì)算能力讓科技巨頭獲得優(yōu)勢，但反之并不是所有現(xiàn)代問題都需要高能耗的深度學(xué)習(xí)算法，不是解決每個(gè)問題都需要達(dá)到GTP-3的規(guī)模。

米切爾在測試該算法時(shí)寫道：“GPT-3的性能令人驚嘆，但它也和當(dāng)今最先進(jìn)的人工智能系統(tǒng)中的很多情況類似：似乎很智能的性能中夾雜著一些非人類錯(cuò)誤，而且我們搞不清楚它表現(xiàn)好或犯錯(cuò)誤的原因?！?br /> 責(zé)編AJX