GPT-4即將實(shí)現(xiàn)重大突破 如何打破10000倍規(guī)模瓶頸

近日，OpenAI的科學(xué)家Hyung Won Chung在首爾國(guó)立大學(xué)的演講中表示，GPT-4即將實(shí)現(xiàn)重大突破，并在性能上有顯著跳躍。

他指出，新一代的大型語(yǔ)言模型正處于重大的變革之前，社會(huì)需要盡快改變對(duì)人工智能的看法。盡管目前市場(chǎng)上的大型模型可能在某些方面表現(xiàn)不佳，但隨著模型規(guī)模的擴(kuò)大，許多原有的結(jié)論可能會(huì)被推翻。

目前，大型模型由于輸入和輸出的限制存在一些問(wèn)題，一些人對(duì)大型模型的發(fā)展表達(dá)了一些擔(dān)憂。他們擔(dān)心大型模型可能會(huì)導(dǎo)致信息濫用和誤導(dǎo)，特別是在虛假新聞和深度偽造方面。然而，根據(jù)Chung的演講，新一代的GPT可能具備快速自我糾正的能力，可以有效解決這些問(wèn)題。

Hyung Won Chung表示，他在實(shí)驗(yàn)過(guò)程中會(huì)記錄失敗的情況。每當(dāng)有新模型出現(xiàn)時(shí)，他會(huì)再次運(yùn)行實(shí)驗(yàn)，查看哪些是成功的，哪些是失敗的，并不斷更新和糾正自己的認(rèn)知和理解，以適應(yīng)技術(shù)的快速發(fā)展。

目前，GPT-3和GPT-4之間仍存在顯著差距，試圖填補(bǔ)當(dāng)前模型與GPT-4之間的差距可能是不切實(shí)際的。

總的來(lái)說(shuō)，Hyung Won Chung認(rèn)為，最大似然估計(jì)的目標(biāo)函數(shù)是達(dá)到GPT-4 10000倍規(guī)模的瓶頸。使用更多表達(dá)能力的神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)目標(biāo)函數(shù)將成為下一個(gè)更可擴(kuò)展的范式。隨著計(jì)算成本的指數(shù)級(jí)下降，可擴(kuò)展的方法最終將取得成功。

編輯：黃飛