從詞語(yǔ)意義到關(guān)系推斷，ChatGPT是如何理解人類語(yǔ)言的？

導(dǎo)語(yǔ)：這是一個(gè)革命性的技術(shù)，對(duì)于許多知識(shí)工作者來(lái)說(shuō)，從市場(chǎng)營(yíng)銷到工程師，從招聘人員到社會(huì)工作者，GPT將改變一切。

現(xiàn)在，你可能已經(jīng)聽說(shuō)過(guò)OpenAI的ChatGPT，或者任何一個(gè)替代品GPT-3、GPT-4、微軟的Bing Chat、Facebook的LLaMa甚至谷歌的Bard。

它們是可以參與對(duì)話的人工智能程序。它們非常聰明，很容易被誤認(rèn)為是人類，并能熟練完成各種任務(wù)，從寫論文到創(chuàng)建網(wǎng)站。

一臺(tái)電腦怎么能進(jìn)行這樣的對(duì)話呢？讓我們來(lái)看看它是如何工作的。

一種概率性的方法

自然語(yǔ)言最簡(jiǎn)單的模型是一個(gè)天真的概率模型，也被稱為馬爾可夫鏈 1 。這個(gè)想法很簡(jiǎn)單：取一個(gè)參考文本，越長(zhǎng)越好，然后學(xué)習(xí)單詞序列的概率。例如，給定一個(gè)句子：

The cat eats the rat. 貓吃了老鼠。

該模型將了解到，在 “貓 ”之后，總是有 “吃”，然后是“的”。但是在“the”之后，有50%的機(jī)會(huì)出現(xiàn)“貓”，50%的機(jī)會(huì)出現(xiàn) “老鼠”。

我們可以用這個(gè)模型來(lái)問一個(gè)不完整的句子后的下一個(gè)詞是什么。如果我們重復(fù)這個(gè)過(guò)程，我們可以生成整個(gè)句子。

如果我們要求模型生成一個(gè)句子，我們可以得到與訓(xùn)練文本完全相同的東西：

The cat eats the rat. 貓吃了老鼠。

We could also get:我們也可以得到：

The rat.

The cat eats the cat eats the cat eats the rat.

貓吃貓，貓吃貓，貓吃老鼠。

每當(dāng)我們到達(dá)“the”這個(gè)詞時(shí)，模型可以在 “老鼠”或 “貓 ”之間進(jìn)行選擇。

當(dāng)然，我們用來(lái)訓(xùn)練模型的文本會(huì)更長(zhǎng)，但你已經(jīng)可以看到一些問題。如果我們?cè)谡麄€(gè)維基百科網(wǎng)站上進(jìn)行訓(xùn)練，我們可以得到這樣的結(jié)果：

解釋他的行為，并因戴維斯的強(qiáng)烈語(yǔ)言和文化而被送入精神病院。

這個(gè)句子更復(fù)雜，詞匯更豐富，但它沒有任何意義，因?yàn)檫@個(gè)模型缺乏上下文：它只使用最新的詞來(lái)生成下一個(gè)詞。

我們可以擴(kuò)展這個(gè)模型，以考慮到2、3或4個(gè)語(yǔ)境詞（“吃了”后面是“老鼠”），但那樣我們可能只是在重復(fù)輸入文本的整個(gè)部分：維基百科上有多少次完全相同的4個(gè)詞的序列？

從文字到意義

到目前為止，問題之一是，我們把單詞當(dāng)作一堆沒有意義的字母。這個(gè)模型不理解 “the ”和 “a”之間的關(guān)系，“king”和“queen”之間的關(guān)系，等等。

我們?cè)鯓硬拍軓膯卧~中提取意義呢？試圖向計(jì)算機(jī)解釋意義和定義這些詞是一個(gè)死胡同，這個(gè)任務(wù)太復(fù)雜了（人們已經(jīng)嘗試了幾十年）。

你甚至怎么能代表一個(gè)詞的含義呢？好吧，有一樣?xùn)|西計(jì)算機(jī)可以完全理解：數(shù)字。如果我們將單詞的含義表示為沿著幾個(gè)軸的數(shù)字，會(huì)怎么樣呢？

For instance: on a scale of -1 (masculine) to 1 (feminine), how do you evaluate this word?

例如：在-1（男性化）到1（女性化）的范圍內(nèi)，你如何評(píng)價(jià)這個(gè)詞？

king: -1

queen: 1

table: 0

mustache: -0.9

或者：在-1（卑鄙）到1（美好）的范圍內(nèi)，你如何評(píng)價(jià)這個(gè)詞？

wolf: -0.8

princess: 0.9

table: 0.1

gift: 1

或者甚至：在-1（名詞）到1（動(dòng)詞）的范圍內(nèi)，你如何評(píng)價(jià)這個(gè)詞？

king: -1

speak: 1

pretty: 0

以此類推。有了足夠的軸來(lái)評(píng)估單詞，我們應(yīng)該能夠得到一個(gè)單詞的近似含義。問題就在于：你如何選擇軸，以及你如何評(píng)估所有的詞？

再一次，這項(xiàng)任務(wù)是如此復(fù)雜，以至于我們將讓計(jì)算機(jī)做艱苦的工作：我們只是告訴它，一起出現(xiàn)的詞有一個(gè)相關(guān)的含義。

有了足夠的文本，計(jì)算機(jī)就可以確定軸線和它們的評(píng)價(jià)。在我們的貓的例子中，貓和老鼠都是動(dòng)物（近義詞），知道 “吃 ”是動(dòng)物做的事情是很有用的。但是在數(shù)學(xué)教科書中，不會(huì)有貓或老鼠，因?yàn)樗鼈兊暮x與教科書中的用詞相去甚遠(yuǎn)。

我們得到的軸線往往難以解釋：我們可能會(huì)發(fā)現(xiàn)一些預(yù)期的軸，如男性/女性，但大多數(shù)會(huì)更復(fù)雜，要么只有在與其他軸結(jié)合時(shí)才有意義，要么同時(shí)代表幾個(gè)概念。

這種方法被稱為 “單詞嵌入”，將單詞表示為一個(gè)數(shù)字矢量。

從意義到關(guān)系

現(xiàn)在我們有了作為數(shù)字的意義，我們可以使用有趣的屬性：比如說(shuō)我們可以把它們加起來(lái)。這意味著什么呢？好吧，比如把 “美國(guó) ”和 “貨幣”相加（或者說(shuō)把它們的數(shù)字表示相加）就會(huì)得到 "美元"（或者說(shuō)與 "美元 "的數(shù)字表示接近的數(shù)字）?！懊绹?guó) ”+“首都”=“華盛頓”，“吃”+“名詞”=“餐”，等等。

我們也可以做減法：例如，“國(guó)王”--“男人”+“女人”=“女王”，或者 “華盛頓”--“美國(guó) ”+“英格蘭”=“倫敦”。

我們還可以用它來(lái)尋找密切相關(guān)的詞，同義詞。

我們可以學(xué)習(xí)這些關(guān)系嗎？

通過(guò)使用這種數(shù)字單詞表示法，我們可以回到我們的初始模型，但這次是學(xué)習(xí)關(guān)系而不是單詞。

然而，由于關(guān)系更加復(fù)雜，我們需要更多的背景。值得慶幸的是，現(xiàn)在我們有了數(shù)字，我們可以使用近似值。

與其學(xué)習(xí) “在'貓'后面有'吃'”，我們可以學(xué)習(xí)這樣的關(guān)系：“在一個(gè)冠詞和一個(gè)名詞之后，往往有一個(gè)動(dòng)詞”，“動(dòng)物經(jīng)常吃、喝和跑”，“老鼠比貓小”，以及 "你只能吃比你小的東西"。當(dāng)然，一切都用數(shù)字表示。

這些關(guān)系很復(fù)雜，所以我們需要大量的文本來(lái)訓(xùn)練模型。它們被表示為一個(gè)方程式：設(shè)想 y=a?x1+b?x2+c，但有更多的輸入 (不同的x1) 和參數(shù)(a、b和c)。

現(xiàn)在，不是按照概率從一個(gè)詞到另一個(gè)詞，而是每個(gè)軸（如男性/女性）都有一個(gè)方程式。這個(gè)模型總共有幾千億，甚至幾萬(wàn)億的參數(shù)。這使得它能夠考慮到一個(gè)非常復(fù)雜的問題。這使它能夠考慮到更大的背景：

20個(gè)字可以讓它建立具有正確結(jié)構(gòu)的簡(jiǎn)單句子。

100個(gè)字可以讓它在一個(gè)小段落中發(fā)展一個(gè)簡(jiǎn)單的想法。

有了千言萬(wàn)語(yǔ)，它可以進(jìn)行對(duì)話而不至于失去方向。

最大的模型有20000字左右，這使它們能夠閱讀整篇文章、一個(gè)短篇故事或進(jìn)行長(zhǎng)時(shí)間的對(duì)話，同時(shí)在生成下一個(gè)字之前仍然考慮整個(gè)背景。

歸根結(jié)底，一切都是一個(gè)規(guī)模問題：一個(gè)更大的模型可以學(xué)習(xí)更多的關(guān)系，并考慮到更多的背景。

GPT的優(yōu)勢(shì)和劣勢(shì)是什么？

GPT能夠熟練地生成看起來(lái)像人類所寫的文本。它能夠有邏輯地連接各種想法，為它們辯護(hù)，適應(yīng)環(huán)境，進(jìn)行角色扮演，并且（尤其是最新的GPT-4）避免自相矛盾。

不幸的是，它很可能會(huì)撒謊，或者說(shuō)在沒有數(shù)據(jù)的情況下，讓它的想象力肆意發(fā)揮。詢問一個(gè)數(shù)學(xué)問題的結(jié)果，有可能得到一個(gè)近似的甚至是完全錯(cuò)誤的答案。

鑒于訓(xùn)練數(shù)據(jù)在2021年9月停止，當(dāng)被問及當(dāng)前事務(wù)時(shí)，它將編造一些東西。為了避免這種情況，Bing Chat和Google Bard將模型連接到搜索引擎（Bing或Google），讓它請(qǐng)求最新的信息。

為了有效地使用GPT，必須將其應(yīng)用于模糊和容錯(cuò)的任務(wù)（生成營(yíng)銷電子郵件），或容易驗(yàn)證的任務(wù)，無(wú)論是由（非AI）程序還是由循環(huán)中的人類。

這個(gè)模型能思考嗎？

現(xiàn)在我們知道了它的工作原理，第一個(gè)答案是否定的：該模型是一個(gè)美化的數(shù)學(xué)方程，可以生成下一個(gè)單詞的概率。

然而，這值得考慮我們自己的大腦：我們有一個(gè)相互連接的神經(jīng)元網(wǎng)絡(luò)（1000億）（每個(gè)神經(jīng)元有10 000個(gè)連接），對(duì)環(huán)境作出反應(yīng)，從經(jīng)驗(yàn)中學(xué)習(xí)，并產(chǎn)生一個(gè)適當(dāng)?shù)模ǖ茈y準(zhǔn)確預(yù)測(cè)）答案。

換句話說(shuō)，除了我們的算法是化學(xué)的而不是數(shù)字的之外，結(jié)構(gòu)是相似的。

What are the differences then? 那么有什么不同呢？

3個(gè)數(shù)量級(jí)的復(fù)雜性：人類大腦的連接比GPT-4的參數(shù)多1000倍。因此，它可以處理更復(fù)雜的情況。

持續(xù)的學(xué)習(xí)：大腦一直在學(xué)習(xí)，包括在對(duì)話期間，而GPT在對(duì)話開始之前就已經(jīng)完成了訓(xùn)練。

限于字?jǐn)?shù)：GPT接口僅限于單詞。然而，正如我們所看到的，里面有一個(gè)語(yǔ)義系統(tǒng)，只是在最后一步才被轉(zhuǎn)化為單詞。可以想象，訓(xùn)練這樣一個(gè)模型來(lái)控制機(jī)器人（給定足夠的訓(xùn)練數(shù)據(jù)）是可行的。

有限的輸入：GPT知道的關(guān)于對(duì)話的唯一事情是文本。高達(dá)60%的人類交流是非語(yǔ)言的：語(yǔ)氣、聲音的節(jié)奏、面部表情，甚至一些潛意識(shí)的因素，如氣味，都起著一定的作用。GPT錯(cuò)過(guò)了所有這些。

我們可以提到的其他差異是在行為層面：

GPT很難一致地應(yīng)用邏輯規(guī)則，它更像是一種盡力而為的情況。具有諷刺意味的是，它不知道如何進(jìn)行數(shù)學(xué)運(yùn)算。但這與一個(gè)小孩子相當(dāng)。

GPT沒有情緒：人類的情緒涉及大量的腺體和荷爾蒙，與大腦有復(fù)雜的相互作用。然而，GPT從人類之間的對(duì)話中學(xué)到了與情感狀態(tài)相關(guān)的行為。

它能夠表現(xiàn)得像有情緒一樣，這算不算是什么？一些對(duì)話記錄顯示，GPT的行為就像它意識(shí)到自己是一個(gè)程序一樣，有時(shí)會(huì)問一些存在性問題。

你可以說(shuō)GPT不是有意識(shí)的。意識(shí)的定義經(jīng)常發(fā)生變化，取決于人，但它經(jīng)常被定義為只有人類才有資格獲得意識(shí)。如果一個(gè)程序的行為方式與人類無(wú)異，我們會(huì)同意它是有意識(shí)的嗎？

中國(guó)房間論證 3 持相反意見：如果有可能在自己不懂中文的情況下，通過(guò)遵循指令來(lái)冒充講中文的人，那就意味著只是 "遵循程序 "的計(jì)算機(jī)并不懂中文，因此也就沒有意識(shí)。

對(duì)社會(huì)有什么影響？

我無(wú)法預(yù)測(cè)未來(lái)，尤其是在一個(gè)革命性技術(shù)的黎明，但要知道：這是一個(gè)革命性的技術(shù)。對(duì)于許多知識(shí)工作者來(lái)說(shuō)，從市場(chǎng)營(yíng)銷到工程師，從招聘人員到社會(huì)工作者，GPT將改變一切。

就像裝配線改變了手工業(yè)者的工作，計(jì)算器和計(jì)算機(jī)改變了會(huì)計(jì)，大眾傳媒改變了政治一樣，GPT將改變知識(shí)工作者的世界。

誠(chéng)然，所有這些工作不會(huì)在一夜之間消失：我們?nèi)匀挥泄そ澈蜁?huì)計(jì)師，但在你的營(yíng)銷部門曾經(jīng)需要一個(gè)由10個(gè)人組成的團(tuán)隊(duì)，也許一兩個(gè)配備GPT的員工就可以填補(bǔ)這個(gè)角色。

就像很多科學(xué)或工業(yè)進(jìn)步一樣，這種變化會(huì)影響到很多人：有些人將不得不改變職業(yè)或?qū)W習(xí)將GPT融入他們的職業(yè)；有些人將失去他們的工作。

新的職位將由GPT直接創(chuàng)造（如Prompt工程師，可以 “與機(jī)器對(duì)話 ”的人）或間接地使產(chǎn)品和公司更容易創(chuàng)建。

很難知道確切的后果，但我們正處于一個(gè)新階段的開始，許多事情將發(fā)生變化，擁有技術(shù)技能的人處于優(yōu)勢(shì)地位，企業(yè)家有一個(gè)全新的機(jī)會(huì)領(lǐng)域。

另一方面，許多沒有準(zhǔn)備好改變的人、沒有技能的人或沒有能力再教育的人受到了威脅。

GPT會(huì)破壞社會(huì)嗎？

有些人因?yàn)槿斯ぶ悄芏鴵?dān)心世界末日：從《黑客帝國(guó)》到《終結(jié)者》，這是在反烏托邦科幻小說(shuō)中常見的特例。一般來(lái)說(shuō)，這兩種情況是：

終結(jié)者的情景：人工智能是為了贏得一場(chǎng)戰(zhàn)爭(zhēng)而制造的，并獲得了軍事資源，也許是由一個(gè)獨(dú)裁者制造的，并被賦予了生存本能。人類試圖阻止它，并將其視為一種威脅，人工智能做出了激烈的反應(yīng)。

回形針優(yōu)化器：在這個(gè)寓言中，人工智能的任務(wù)是創(chuàng)造盡可能多的回形針。在耗盡了地球上的可用資源后，它轉(zhuǎn)向了下一個(gè)最可用的碳源：人類。

另一個(gè)版本是人類試圖阻止機(jī)器；人工智能意識(shí)到，要想和平地制造回形針，它必須擺脫人類。它就像邪惡的精靈，扭曲了你的愿望，給了你所要求的東西，而不是你真正想要的東西。

需要認(rèn)識(shí)到的一點(diǎn)是，（目前）GPT只能產(chǎn)生文本。當(dāng)然，單純的文本在錯(cuò)誤的手中可能是危險(xiǎn)的（畢竟，一個(gè)獨(dú)裁者 “只是說(shuō)話”），但就其本身而言，GPT不能做任何事情。

然而，它可以成為邁向更有能力的系統(tǒng)的第一步：將GPT的衍生物用于控制機(jī)器人、軍事決策助手等。

我們將需要謹(jǐn)慎行事，如果進(jìn)展證明是不可控制的，或者至少是無(wú)法控制的，我們就會(huì)介入。

從積極的方面看，一些人工智能專家積極研究防范這些情況的方法，因此可能有一些安全的前進(jìn)方式。

審核編輯 ：李倩