一文解析人工智能中GPT-3 到底有多厲害？

對(duì)于我個(gè)人來(lái)說(shuō)，剛剛步入媒體圈，職業(yè)生涯就將遭遇一次非常嚴(yán)重的 AI 威脅。

因?yàn)?GPT-3 來(lái)了，而且在寫(xiě)文章、編故事的能力上面比上一代更能打了。

已經(jīng)得到微軟 Azure 算力加持的 OpenAI 放出了 GPT-3 這個(gè)巨型 NLP 模型怪獸，包含 1750 億參數(shù)，比 2 月份微軟剛推出的全球最大深度學(xué)習(xí)模型 Turing NLG 大上十倍，是其前身 GPT-2 參數(shù)的 100 倍。

我們可以用一張圖表來(lái)直觀感受下 GPT-3 所處在位置，是不是有點(diǎn)高處不勝寒的感覺(jué)？

同時(shí)，GPT-3 使用的訓(xùn)練數(shù)據(jù)集也十分龐大，基于包含近 1 萬(wàn)億單詞量的 CommonCrawl 數(shù)據(jù)集、網(wǎng)絡(luò)文本、數(shù)據(jù)、維基百科等數(shù)據(jù)，數(shù)據(jù)量達(dá)到了 45TB。其訓(xùn)練費(fèi)用也達(dá)到驚人的 1200 萬(wàn)美元，這已經(jīng)是個(gè)人開(kāi)發(fā)者和小型 AI 開(kāi)發(fā)團(tuán)隊(duì)無(wú)法輕易染指的訓(xùn)練規(guī)模和成本了。

在最近大量有關(guān) GPT-3 的介紹文章里，很多人都注意到的是這個(gè)模型驚人的體量和各種各樣腦洞大開(kāi)的文本生成能力，不僅是寫(xiě)文章、編故事、搞翻譯，還包括多輪對(duì)話、寫(xiě)代碼、做數(shù)學(xué)運(yùn)算、表情包配文、做表格、生成圖標(biāo)等等，幾乎是在文本方面為所欲為了。

有人驚呼“真正的 AI 已經(jīng)到來(lái)”、“GPT-3 可以改變世界了”，也有人說(shuō)“GPT-3 是一種形象工程”、“一種赤裸裸的炫富”。

無(wú)論評(píng)價(jià)如何，人們其實(shí)都并未過(guò)多注意到 OpenAI 現(xiàn)在發(fā)布 GPT-3 的 API 接口的一大原因是推動(dòng)這一技術(shù)的商業(yè)化。現(xiàn)在，GPT-3 模型已經(jīng)廣泛應(yīng)用的領(lǐng)域當(dāng)中，有哪些領(lǐng)域更好地進(jìn)行商業(yè)化嘗試，又有哪些領(lǐng)域仍然差強(qiáng)人意，這些也許是更值得我們?nèi)ヌ接懙牡胤健?/p>

GPT-3 到底有多厲害？

相較于之前的 GPT-2，這次 GPT-3 有哪些明顯的進(jìn)步呢？

從訓(xùn)練方式來(lái)說(shuō)，與之前版本并沒(méi)有什么不同，GPT-3 依舊延續(xù)之前的單向語(yǔ)言模型訓(xùn)練方式，只不過(guò)就是訓(xùn)練數(shù)據(jù)和參數(shù)有了幾個(gè)數(shù)量級(jí)的提升。但從實(shí)際的效果來(lái)看，GPT-3 的嘗試至少驗(yàn)證了一點(diǎn)，就是將一個(gè)深度神經(jīng)網(wǎng)絡(luò)不斷增大，它確實(shí)可以變得更加的聰明。

相較于當(dāng)前的 BERT 模型，GPT-3 主要能夠解決兩個(gè)問(wèn)題，一個(gè)是避免對(duì)各領(lǐng)域內(nèi)的標(biāo)注數(shù)據(jù)的過(guò)分依賴，一個(gè)是避免對(duì)各領(lǐng)域數(shù)據(jù)分布的過(guò)度擬合，從而調(diào)教出一個(gè)更通用、更泛化的 NLP 模型。GPT-3 的主要目標(biāo)是用更少的領(lǐng)域數(shù)據(jù)，還有去掉微調(diào)步驟去解決問(wèn)題。

（圖源：李宏毅《深度學(xué)習(xí)人類語(yǔ)言處理》）

直觀來(lái)理解就是如圖所示，GPT-3 就是要拿掉 Fine-tune（微調(diào)）這個(gè)環(huán)節(jié)，也拿到 Task-Specific 的示例資料，來(lái)直接對(duì)特殊的領(lǐng)域問(wèn)題進(jìn)行回答。

基于此，研究者們使用 GPT-3 在不同形式下進(jìn)行了推理效果的測(cè)試，包括 Zero-shot、One-shot、Few-shot 三種，但是這三種形式都是不需要經(jīng)過(guò) Fine-tuning 的。因?yàn)?GPT-3 選擇的是單向 transformer，所以它在預(yù)測(cè)新的 token 時(shí)，會(huì)對(duì)之前的 examples 進(jìn)行編碼。

那么，測(cè)試結(jié)果如何呢？

從各領(lǐng)域的 42 項(xiàng)基準(zhǔn)測(cè)試中的平均表現(xiàn)來(lái)看，隨著參數(shù)量的不斷加大，其正確率在不斷提升（當(dāng)然有人會(huì)質(zhì)疑，模型提升了 10 倍參數(shù)量，正確率才提升不到 1 倍），其中 Few Shot 的表現(xiàn)是最好的。

而在封閉式的 Trivia QA 問(wèn)答中，GPT-3 的 Few-Shot 的表現(xiàn)已經(jīng)可以好過(guò)經(jīng)過(guò) Fine-tuned SOTA 的成績(jī)。此外在 SuperGLUE 測(cè)試上面也能達(dá)到超過(guò)當(dāng)前 SOTA 的表現(xiàn)，以及生成非常逼真的文章，甚至能達(dá)到人類難以分辨是機(jī)器還是人類協(xié)作的程度。

那么，在當(dāng)前人們調(diào)用 OpenAI 開(kāi)放的 API 接口之后，我們已經(jīng)可以看到 GPT-3 的一系列的有趣案例了。

GPT-3 現(xiàn)在能夠出色地完成翻譯、問(wèn)答和完形填空任務(wù)，能夠很好執(zhí)行兩位、三位的數(shù)學(xué)加減運(yùn)算。還可以基于文本的描述生成代碼、網(wǎng)站。

（GPT-3 將自然語(yǔ)言生成了代碼和圖形按鈕）

可以為文本轉(zhuǎn)換不同文體樣式，比如把口語(yǔ)化變?yōu)闀?shū)面語(yǔ)，把日常語(yǔ)言變?yōu)榉晌臅?shū)。或者把繁榮的法律語(yǔ)言變成日常語(yǔ)言，比如那些長(zhǎng)長(zhǎng)的“用戶協(xié)議”。

（GPT-3 將日常語(yǔ)言轉(zhuǎn)換為法律文書(shū)）

當(dāng)然，GPT-3 的主業(yè)更在于生成文本內(nèi)容，比如段子、新聞、小說(shuō)，甚至給出主題和關(guān)鍵詞，都可以有模有樣地編出一篇完整的論文。

（僅給出標(biāo)題和開(kāi)頭，GPT-3 就完成了論文）

在和人類的多輪對(duì)話中，GPT-3 表現(xiàn)也相當(dāng)出色。比如下面這個(gè)名為 Kosmopol 的程序員和 GPT-3 展開(kāi)了一段關(guān)于人類、AI 與神的存在關(guān)系的“神秘”討論。

（聊到最后程序員表示，“我現(xiàn)在已經(jīng)沒(méi)有任何疑問(wèn)”）

從現(xiàn)在網(wǎng)絡(luò)上所發(fā)布出來(lái)的 GPT-3 的各項(xiàng)表現(xiàn)來(lái)看，GPT-3 似乎在任何文本生成相關(guān)的領(lǐng)域都能發(fā)揮作用了。

那么 GPT-3 在商業(yè)化方面的前途如何呢？

GPT-3 有哪些商業(yè)化前景？

我們記得，在 GPT-2 發(fā)布時(shí)，OpenAI 還不愿意一下子把 GPT2 的模型完整地放出來(lái)，而是選擇擠牙膏似的一點(diǎn)點(diǎn)公布完整版本，當(dāng)時(shí)的理由是認(rèn)為 GPT-2 太過(guò)危險(xiǎn)，會(huì)被人用來(lái)制造假新聞，用來(lái)做郵件詐騙等壞事。當(dāng)然，可怕的后果并沒(méi)有發(fā)生，也許是壞人的技術(shù)能力不夠，更主要可能是應(yīng)用的成本門檻太高。

這一次，OpenAI 選擇了發(fā)布 API 接口邀請(qǐng)測(cè)試，而非直接開(kāi)源模型的方式，同樣也有這方面的考慮。如果模型開(kāi)源，一旦有人在此基礎(chǔ)上開(kāi)發(fā)帶有危險(xiǎn)性的應(yīng)用程序，官方將很難制止。通過(guò) API 方式就可以很好應(yīng)對(duì)人們對(duì)技術(shù)的濫用。

與此同時(shí)，由于 GPT-3 如此龐大體量的基礎(chǔ)模型，除了少數(shù)大公司之外，很少有機(jī)構(gòu)和個(gè)人能夠?qū)ζ溥M(jìn)行開(kāi)發(fā)和部署，運(yùn)行費(fèi)用也將極其昂貴。

其實(shí)更重要一點(diǎn)則是，OpenAI 希望通過(guò) API 方式來(lái)推動(dòng) GPT-3 的技術(shù)商業(yè)化，未來(lái)在安全可靠、政策合規(guī)的基礎(chǔ)上進(jìn)行相關(guān) AI 產(chǎn)品的開(kāi)發(fā)，并實(shí)現(xiàn)商業(yè)化的盈利。

據(jù)目前 OpenAI 透露，在提供 API 之前，就已經(jīng)與十幾家公司展開(kāi)了初步的商用測(cè)試。具體開(kāi)放功能話，GPT-3 可以在語(yǔ)義搜索、聊天機(jī)器人、生產(chǎn)力工具、文本生成、內(nèi)容理解、機(jī)器翻譯等方面進(jìn)行商業(yè)化應(yīng)用。

比如，一家初創(chuàng)搜索公司 Algolia 正在使用 GPT-3 來(lái)進(jìn)行自然語(yǔ)言的復(fù)雜搜索，具體表現(xiàn)在能夠?qū)㈩A(yù)測(cè)時(shí)間縮短到 100 毫秒左右，并以比 BERT 快 4 倍的速度準(zhǔn)確地回答復(fù)雜的自然語(yǔ)言問(wèn)題。

在生產(chǎn)力工具方面，GPT-3 的 API 可以提供更多元化的功能，比如將文本分解為圖表、表格、電子郵件匯總，可以從項(xiàng)目要點(diǎn)進(jìn)行內(nèi)容擴(kuò)展。對(duì)于編程工作來(lái)說(shuō)，程序員可以通過(guò)自然語(yǔ)言來(lái)與計(jì)算機(jī)進(jìn)行對(duì)話，不必記住各種復(fù)雜命令，也能獲得自己想要的基礎(chǔ)代碼。

此外，像在文檔寫(xiě)作中的拼寫(xiě)建議、語(yǔ)法糾錯(cuò)，以及像法律機(jī)構(gòu)、律所相關(guān)工作中的判例索引，法律研究，模式化的訴訟申請(qǐng)撰寫(xiě)，教育教學(xué)機(jī)構(gòu)的教學(xué)材料輔助查找和示例，在線客服的聊天機(jī)器人等方面，都可以實(shí)現(xiàn)商業(yè)化應(yīng)用。

這樣一看，好像 GPT-3 的橫空出世，不僅是讓媒體編輯（不久前微軟就開(kāi)掉了一批人工編輯）直接遭遇職業(yè)危機(jī)，甚至看來(lái)很多機(jī)構(gòu)的基礎(chǔ)文員、在線客服，甚至程序員也有下崗再就業(yè)的危險(xiǎn)了？

不過(guò)，從目前 GPT-3 所公開(kāi)展示的示例來(lái)看，這種擔(dān)憂還是有些大可不必。直接來(lái)講，GPT-3 作為企業(yè)的生產(chǎn)力工具，更多會(huì)起到輔助性提升效率工具的作用。在任何需要進(jìn)行文本的生成、資料檢索和需要啟發(fā)性的內(nèi)容生產(chǎn)方面，都可以使用 GPT-3 來(lái)作為輔助工具。

比如，作家可以使用關(guān)鍵詞來(lái)獲得 GPT-3 提供的創(chuàng)意思路，來(lái)獲取靈感。公司職員和機(jī)構(gòu)的文員可以用會(huì)議紀(jì)要來(lái)生成相應(yīng)專業(yè)性的報(bào)告、郵件和專業(yè)文書(shū)。

在這一過(guò)程中，我們不可能說(shuō)完全去掉人類的審查和訂正就直接使用和發(fā)布。顯然，無(wú)論哪個(gè)機(jī)構(gòu)或個(gè)人都不會(huì)讓 AI 模型來(lái)承擔(dān)其發(fā)布內(nèi)容的責(zé)任。當(dāng)然，當(dāng)一些人能夠更好地與 GPT-3 這樣的人工智能工具進(jìn)行高效協(xié)作，提升企業(yè)組織的生產(chǎn)效率，隨之而來(lái)的是企業(yè)對(duì)基礎(chǔ)職位人數(shù)需求的減少。從這個(gè)意義上，GPT-3 作為職位大殺器的作用會(huì)間接顯現(xiàn)。

不過(guò)，現(xiàn)在的 GPT-3 已經(jīng)能堪當(dāng)大任嗎？從一些開(kāi)發(fā)者測(cè)試后的反饋和一些專家的評(píng)論來(lái)看，GPT-3 距離真正的商業(yè)化還有一定的距離，其中一些問(wèn)題必須要解決。

GPT-3 的商業(yè)化難題

當(dāng)外界對(duì)于 GPT-3 的能力表現(xiàn)發(fā)出更多贊譽(yù)的時(shí)候，OpenAI 聯(lián)合創(chuàng)始人 Sam Altman 則在 Twitter 站出來(lái)表示，“GPT-3 被吹捧得太過(guò)了”。

實(shí)際上，這一表態(tài)確實(shí)很實(shí)事求是。目前 GPT-3 在常識(shí)問(wèn)答、事實(shí)性的文本生產(chǎn)問(wèn)題上表現(xiàn)尚佳，但是一旦處在反事實(shí)的或者矛盾問(wèn)題的問(wèn)答上面，GPT-3 就會(huì)表現(xiàn)出一種“不懂裝懂”的幼稚化傾向。

比如，在上面這些反事實(shí)提問(wèn)或者無(wú)意義的語(yǔ)言重復(fù)下，GPT-3 就開(kāi)啟了“尬聊”模式。用紐約大學(xué)副教授 Julian Togelius 的話來(lái)說(shuō)就是，“GPT-3 常常表現(xiàn)的像一個(gè)沒(méi)有完成閱讀的聰明學(xué)生，在考試中胡言亂語(yǔ)試圖蒙混過(guò)關(guān)。一些眾所周知的事實(shí)，一些半真半假的事，還有一些直接的謊言，串在一起乍一看像是流暢的敘事?！?/p>

GPT-3 在一些輸出上也會(huì)犯一些帶有偏向性的低級(jí)錯(cuò)誤。比如有人在通過(guò) GPT-3 與虛擬的喬布斯談話中，在問(wèn)到喬幫主現(xiàn)在身處何處，GPT-3 給出的答案是“蘋(píng)果總部”，并且還報(bào)了地名。不過(guò)，大家都知道這個(gè)答案并不正確，回答說(shuō)喬幫主現(xiàn)在活在我們心中，都比上面檢索來(lái)的答案更靠譜。

此外，OpenAI 對(duì) GPT-3 帶有偏見(jiàn)內(nèi)容的輸出上更為小心謹(jǐn)慎，因?yàn)?GPT-2 就有先例，在生成一篇文章中，就有冒犯黑人女性的歧視性描述。這可能源自于訓(xùn)練數(shù)據(jù)中本身含有的各類歧視內(nèi)容。但如果考慮到在整理數(shù)據(jù)中剔除這些內(nèi)容，需要大量的人力成本，實(shí)際上既沒(méi)有操作性，也無(wú)必要性。最終只能在輸出端，對(duì) GPT-3 的這類結(jié)果進(jìn)行優(yōu)化改進(jìn)。

這些低級(jí)的、誤導(dǎo)性、偏見(jiàn)性的錯(cuò)誤，仍然會(huì)讓企業(yè)的商業(yè)應(yīng)用顧慮重重。如果一旦全權(quán)交給 AI 來(lái)行使工作溝通、客服等工作，難免會(huì)造成企業(yè)的利益損失，或者增加諸如審核之類的經(jīng)營(yíng)成本。

GPT-3 商業(yè)化更重要的一個(gè)難關(guān)是在性價(jià)比上面。如果 GPT-3 可以實(shí)現(xiàn)的一些自動(dòng)化文本生成任務(wù)可以由更便宜、但專業(yè)性更好的 AI 軟件也可以辦到，那么 GPT-3 的商業(yè)價(jià)值將大打折扣。也就是，如果人們嘗試用 GPT-3 來(lái)替代谷歌的關(guān)鍵詞搜索，但總是無(wú)法得到更全面的信息，那人們?yōu)楹尾挥没孛赓M(fèi)的谷歌和維基百科呢？

雖然 GPT-3 在通用性上面的能力表現(xiàn)出“大力出奇跡”的良好特性，但其如何能夠更有效地發(fā)揮商業(yè)價(jià)值，OPenAI 還任重道遠(yuǎn)，這需要在此后的模型優(yōu)化中“慢工出細(xì)活”。

現(xiàn)在，在接受微軟的 10 億美元的投資之后，OpenAI 的商業(yè)化進(jìn)程已經(jīng)提升比較急迫的日程了。依托巨大算力資源才能跑起來(lái)的 AI 模型必須推進(jìn)商業(yè)化的腳步。

所以，GPT-3 首當(dāng)其沖。

總體來(lái)說(shuō)，GPT-3 的商業(yè)化開(kāi)放有著非常積極的意義。由于這樣巨型的模型訓(xùn)練是一般小企業(yè)和個(gè)人用戶根本無(wú)力承擔(dān)的，那么 API 的開(kāi)放可以使得這些用戶用比較少的成本付費(fèi)使用 AI 的功能。不過(guò)從另一個(gè)角度來(lái)看，AI 領(lǐng)域的科研壟斷也正在形成。當(dāng)年在操作系統(tǒng)、搜索引擎等領(lǐng)域形成壟斷的巨頭，如今又通過(guò)算力霸權(quán)占據(jù)了 AI 領(lǐng)域的數(shù)據(jù)富礦的基礎(chǔ)開(kāi)采權(quán)。

我們看到，GPT-3 一開(kāi)始的商業(yè)化過(guò)程并不會(huì)那么順利。但是這樣的基礎(chǔ)性工程，無(wú)論本身的結(jié)果如何，其在完成項(xiàng)目的過(guò)程中，OpenAI 所取得的技術(shù)經(jīng)驗(yàn)和技術(shù)能力，其實(shí)是更重要的一筆財(cái)富。關(guān)鍵是 GPT-3 仍然是目前 AI 正確的前進(jìn)方向。

當(dāng)年，美國(guó)在阿波羅登月計(jì)劃的時(shí)候，也耗費(fèi)了無(wú)數(shù)的人力和財(cái)富，其結(jié)果不過(guò)是在與當(dāng)時(shí)蘇聯(lián)的“星球大戰(zhàn)”中贏得一個(gè)頭籌而已。不過(guò)這些浩大工程的一些副產(chǎn)品，諸如空間通信、材料科學(xué)、自動(dòng)控制、集成電路、計(jì)算機(jī)科學(xué)方面，至今讓美國(guó)的科技和商業(yè)受益匪淺。

編輯：hfy