大語言模型火爆的今天，我們?yōu)槭裁催€要擁抱世界模型？

圖靈獎得主楊立昆認(rèn)為，目前AI界持續(xù)追捧的大語言模型并非十全十美，它隱藏著四個難以突破的致命弱點：一是理解物理世界，二是擁有持久記憶，三是具備推理能力，四是復(fù)雜規(guī)劃能力。

而能夠克服第一個“致命弱點”的技術(shù)，叫作世界模型。

這聽起來或許很抽象，但你一定知道谷歌的3D游戲、特斯拉的自動駕駛。

世界模型意味著機(jī)器能夠像人一樣辨別物理空間、理解物理規(guī)律、根據(jù)經(jīng)驗做出推理決策。

與大語言模型不同的是，世界模型不再遵循從海量文本語料生成概率的邏輯，而是在深度分析大規(guī)模現(xiàn)實世界視頻后推測因果。

就像人類世界的嬰兒一樣，在交互學(xué)習(xí)中構(gòu)建對這個世界的認(rèn)知。

想象一個剛出生的嬰兒，她的眼睛尚未完全聚焦，卻能通過觸摸、溫度、聲音的碎片拼湊出世界的輪廓。人類大腦用數(shù)百萬年進(jìn)化出這種能力——將感官信息轉(zhuǎn)化為對物理規(guī)律的理解。

而這恰是今天人工智能所欠缺的，世界模型正在努力發(fā)展的——從數(shù)據(jù)中重構(gòu)對重力、時間等知識的理解。

世界模型的概念最早可追溯至1980s到1990s的認(rèn)知科學(xué)和控制理論，那時的研究者受心理學(xué)影響，提出AI系統(tǒng)需要構(gòu)建對環(huán)境的內(nèi)部模擬，從而進(jìn)行預(yù)測和決策，即AI的環(huán)境建模能力。

這里有一個重要的要素：環(huán)境。

從生物學(xué)上來講，不論是微生物、動物還是人，行為都遵循著一個最基本的規(guī)則：刺激－反應(yīng)模式，即生物反應(yīng)是對環(huán)境刺激的直接響應(yīng)。

隨著生物千億年漫長的進(jìn)化，動物發(fā)展出感覺和心理，通過視覺、聽覺、嗅覺等感官感知外界，產(chǎn)生出興奮、恐懼等簡單情緒；人類進(jìn)一步發(fā)展出自我意識，而人類意識和動物感覺最大的區(qū)別是能否自主規(guī)劃、有目的地進(jìn)行決策和行動。

拿生物進(jìn)化過程和AI的發(fā)展歷程相比，我們不難發(fā)現(xiàn)，其實AI的終極形態(tài)AGI就是要發(fā)展出自主感知現(xiàn)實、自我規(guī)劃、有目的決策的能力。

世界模型的雛形就萌芽于心理學(xué)家對人類和動物認(rèn)知理解世界并做出決策的觀察。這個理論叫作心智模型，1990年由David Rumelhart提出，強(qiáng)調(diào)智能體需對環(huán)境形成抽象表征。

以我們自身舉例，人類大腦對周圍世界有一種習(xí)得的內(nèi)在認(rèn)知框架，根據(jù)經(jīng)驗做決策，如看到烏云就聯(lián)想到下雨。再比如，我們不會記住每片樹葉的形狀，卻能瞬間判斷樹枝能否承受體重。同理，世界模型就是讓機(jī)器構(gòu)建起對周圍環(huán)境和世界的理解和預(yù)測能力，比如看到火就聯(lián)想到燙傷。這種抽象能力，正是這一時期學(xué)者希望機(jī)器具有的稟賦。

但是，這階段的世界模型研究停留在理論構(gòu)想階段，雖有了較為清晰的定義和目標(biāo)，仍沒有具體的技術(shù)路徑。

世界模型研究開始落地是2000s到2010s的計算建模階段，隨著強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)的深入發(fā)展，學(xué)者開始嘗試用神經(jīng)網(wǎng)絡(luò)構(gòu)建可訓(xùn)練的世界模型。

強(qiáng)化學(xué)習(xí)通過獎懲機(jī)制讓其在與環(huán)境交互過程中不斷習(xí)得策略，類似于“訓(xùn)狗”，深度學(xué)習(xí)通過分層特征提取讓其從海量數(shù)據(jù)中自動學(xué)習(xí)規(guī)律，類似于“煉金”。

2018年，DeepMind 《World Models》（Ha & Schmidhuber）論文首次用“VAE+RNN+控制器”的三段式架構(gòu)，構(gòu)建可預(yù)測環(huán)境的神經(jīng)網(wǎng)絡(luò)模型，成為現(xiàn)代世界模型的里程碑。

這一過程類似于“造夢”——先通過自動編碼器VAE將現(xiàn)實場景壓縮成數(shù)據(jù)，再利用RNN循環(huán)神經(jīng)網(wǎng)絡(luò)推演未來可能的情節(jié)，最后用精簡的控制器指導(dǎo)行動。這意味著世界模型首次具備了顱內(nèi)推演的能力，像人類一樣在行動前預(yù)判后果，大大降低了試錯成本。

2022年后，世界模型進(jìn)入大模型時代，借助Transformer的序列建模能力和多模態(tài)學(xué)習(xí)技術(shù)，應(yīng)用范圍從單一模態(tài)擴(kuò)展到跨模態(tài)仿真，世界模型的推演也從2D走向3D（如OpenAI的GATO、DeepMind的Genie）。

近期研究如Meta的VC-1、Google的PaLM-E進(jìn)一步將世界模型的概念帶入公眾視野，將世界模型與大語言模型結(jié)合以實現(xiàn)更通用的環(huán)境推理成為一種技術(shù)發(fā)展路徑。

Google的PaLM-E（5620億參數(shù)）模型成功將語言模型與視覺、傳感器數(shù)據(jù)等物理世界信息結(jié)合，機(jī)器人能夠理解復(fù)雜指令（如“撿起掉落的錘子”）并適應(yīng)新環(huán)境執(zhí)行任務(wù)。Meta Llama系列的開源多模態(tài)框架（如MultiPLY）進(jìn)一步促進(jìn)了對物理環(huán)境的3D感知研究。

由上，從概念推演到落地實踐，世界模型在發(fā)展中逐步摸索，漸漸走出一條從混沌到清明的路。

Transformer架構(gòu)的進(jìn)化、多模態(tài)數(shù)據(jù)的爆發(fā)，讓世界模型走出訓(xùn)練場，走進(jìn)游戲場，再走向真實世界——谷歌、騰訊通過其生成逼真的游戲場景，特斯拉用神經(jīng)網(wǎng)絡(luò)預(yù)測車輛軌跡，DeepMind通過建模預(yù)測全球天氣。

就這樣，在實驗室中蹣跚學(xué)步的世界模型開始了他對現(xiàn)實物理規(guī)律的探索之路。

就像人類幼年通過游戲感受規(guī)則完成社會化一樣，世界模型的第一關(guān)也是游戲。

初期的模型應(yīng)用仰賴規(guī)則明確的虛擬環(huán)境和邊界清晰的離散空間，如Atari游戲（DQN）、星際爭霸（AlphaStar），采用表格型模型（如Dyna），后期結(jié)合CNN/RNN處理圖像輸入。

進(jìn)化至3D版后，谷歌DeepMind的Genie 2可通過單張圖片生成可交互的無限3D世界，時長達(dá)1min，用戶可自由探索動態(tài)環(huán)境（如地形變化、物體互動）。由騰訊、港科大、中國科大聯(lián)合推出的GameGen-O模型可一鍵生成西部牛仔、魔法師、馴獸師等游戲角色，還能以更高保真度、更復(fù)雜的物理效果生成海嘯、龍卷風(fēng)、激光等各種場景。

經(jīng)過大量訓(xùn)練后，世界模型由游戲過渡到工業(yè)場景。

游戲引擎的核心能力在于構(gòu)建高保真、可交互的3D虛擬環(huán)境。這種能力被直接遷移到工業(yè)場景中，用于模擬工業(yè)場景中各種可能出現(xiàn)故障的復(fù)雜場景。

機(jī)器人公司波士頓動力在虛擬環(huán)境中預(yù)演機(jī)器人動作（如摔倒恢復(fù)），再遷移到實體機(jī)器；特斯拉2023年提出的世界模型直接整合了游戲引擎的仿真技術(shù)，利用合成數(shù)據(jù)訓(xùn)練自動駕駛系統(tǒng)，減少對真實路測數(shù)據(jù)的依賴；蔚來的智能世界模型能夠在極短時間內(nèi)推演數(shù)百種可能情境并做好預(yù)案和決策。

最近，世界模型還走進(jìn)了基礎(chǔ)研究領(lǐng)域。

DeepMind的GraphCast靠世界模型處理百萬級網(wǎng)格氣象變量，預(yù)測天氣能力比傳統(tǒng)數(shù)值模擬快1000倍，能耗降低1000倍。它通過圖神經(jīng)網(wǎng)絡(luò)架構(gòu)，能夠直接從歷史再分析數(shù)據(jù)中學(xué)習(xí)天氣系統(tǒng)的復(fù)雜動力學(xué)，精準(zhǔn)、高效預(yù)測全球天氣。

從游戲般的虛擬場景到自動駕駛等現(xiàn)實場景，世界模型的本質(zhì)是通過大量多模態(tài)資料理解物理世界的規(guī)律。未來，“世界模型+大語言模型”可能成為AGI的核心架構(gòu)，讓AI不僅能聊天，還能真正理解并做出決策改變現(xiàn)實世界。

不過，我們?yōu)楹涡枰澜缒Ｐ?？在大語言模型火爆全球的今天，是什么讓其顯得不可替代呢？

讓AI真正從模仿表征到感知本質(zhì)，克服其各種恐怖谷效應(yīng)的關(guān)鍵是：讓它真正理解這個世界，了解現(xiàn)實空間和物理規(guī)律，進(jìn)而理解它為什么會做這件事，而不是機(jī)械地根據(jù)海量數(shù)據(jù)的關(guān)聯(lián)概率推測下一個token是什么。

這是基于大規(guī)模文本語料的大語言模型和不斷試錯優(yōu)化尋找最優(yōu)路徑的強(qiáng)化學(xué)習(xí)做不到的，只有世界模型能做到。

傳統(tǒng)AI是數(shù)據(jù)驅(qū)動型的被動反應(yīng)系統(tǒng)，而世界模型通過構(gòu)建內(nèi)部虛擬環(huán)境理解了物理、碰撞等現(xiàn)實規(guī)律，能夠像人類一樣通過想象預(yù)演行動后果，并在游戲、機(jī)器人等領(lǐng)域共享底層推理算力。

首先是通過底層建模和多模態(tài)整合構(gòu)建出跟人類一樣的心智模型。外部，世界模型不僅模擬物理規(guī)律，還試圖理解社會規(guī)則和生物行為，從而在復(fù)雜場景中趨利避害。內(nèi)部，世界模型根據(jù)感知、預(yù)測、規(guī)劃和學(xué)習(xí)的協(xié)同，形成類似人類心智的時空認(rèn)知能力。

其次是因果預(yù)測和反事實推理能力。世界模型能夠基于當(dāng)前狀態(tài)和行動，預(yù)測未來的演變結(jié)果。其具備類似人類的常識庫，能填補(bǔ)缺失信息并進(jìn)行反事實推理（what if），即使未直接觀察某事件，也能推斷“如果采取不同行動會如何”。這種能力使其在數(shù)據(jù)稀缺時仍能有效決策，減少對海量標(biāo)注數(shù)據(jù)的依賴，在自動駕駛領(lǐng)域應(yīng)用較多。

最后，世界模型通過自監(jiān)督學(xué)習(xí)構(gòu)建對世界的通用表征，獲得了跨任務(wù)、跨場景的泛化能力，而傳統(tǒng)模型通常需針對特定領(lǐng)域的具體任務(wù)微調(diào)。

但是，這些能力，為什么火極一時的大語言模型做不到呢？

要弄清為什么世界模型的預(yù)測能力和大語言模型的推測token能力不一樣，我們需要弄清一個概念：相關(guān)性≠因果性。前者是概率關(guān)聯(lián)、后者是因果推理。

大語言模型（如GPT系列）側(cè)重于大數(shù)據(jù)驅(qū)動的自回歸學(xué)習(xí)，通過海量文本數(shù)據(jù)訓(xùn)練模型以生成文本，本質(zhì)是預(yù)測概率，而世界模型學(xué)派認(rèn)為自回歸的Transformer無法通往AGI。AI需要具備真正的常識性理解能力，這些能力只能通過深度分析大量照片、音視頻等多模態(tài)數(shù)據(jù)對世界的內(nèi)在表征來獲得。

模型結(jié)構(gòu)層面，大語言模型主要依賴Transformer架構(gòu)，通過自注意力機(jī)制處理文本序列。世界模型則包含多個模塊，如配置器、感知、世界模型、角色等，能夠估計世界狀態(tài)、預(yù)測變化、尋找最優(yōu)方案。

通俗地講，大語言模型訓(xùn)練出的文本天才是紙上談兵的文將，對常識可能一竅不通。而世界模型更像在建模環(huán)境里身經(jīng)百戰(zhàn)的武將，可以憑直覺和經(jīng)驗預(yù)判對手如何出招。

世界模型雖前景可期，目前依然面臨著一些瓶頸。

算力上，訓(xùn)練世界模型所需要的計算資源遠(yuǎn)超大語言模型，且存在“幻覺”（錯誤預(yù)測）問題；泛化能力上，如何平衡模型復(fù)雜度與跨場景適應(yīng)性仍需突破；訓(xùn)練集上，多模態(tài)的數(shù)據(jù)規(guī)模更少，且需深度標(biāo)注，質(zhì)量把關(guān)是重中之重。

如果說類似GPT一樣的大語言模型已經(jīng)到了能言善辯的青春期，世界模型實則還處于牙牙學(xué)語的幼年期。

總的來講，世界模型是深度學(xué)習(xí)之外的另一條探索道路。如果未來深度學(xué)習(xí)陷入發(fā)展瓶頸，世界模型可能是一種備選方案。但現(xiàn)階段，世界模型仍在探索期，我們?nèi)砸獙⒅餍墓欠旁诖笳Z言模型和深度學(xué)習(xí)這條技術(shù)線上。

多點發(fā)力，協(xié)同并進(jìn)，才能讓AI的成長有更多道路可走。

審核編輯 黃宇