什么是AI Agent？NLP到AGI的發(fā)展路線

作者：愛吃牛油果的璐璐[1]

前沿

最近AI圈很火的一個話題就是AI Agent了！AI創(chuàng)投圈也在密切關(guān)注著相關(guān)創(chuàng)業(yè)公司的進展。很多人說大模型都沒搞明白，又來了個AI Agent…... 但是別擔心Agent目前也是在起始階段。

AI Agent能力其實是和大模型相生的，大模型的能力邊界還是決定了AI Agent的能力邊界。

最近，復旦大學，斯坦福大學都發(fā)表了對AI AGENT的看法和認識。

研究背景

早在 1950 年代，Alan Turing 就將「智能」的概念擴展到了人工實體，并提出了著名的圖靈測試。這些人工智能實體通常被稱為 —— 代理（Agent）?！复怼惯@一概念起源于哲學，描述了一種擁有欲望、信念、意圖以及采取行動能力的實體。斯坦福大學的一篇名為《Generative Agents: Interactive Simulacra of Human Behavior,titled[2]》的論文深入研究了記憶、反應和計劃的AI Agent。

什么是AI Agent

AI Agent 被認為是 OpenAI 發(fā)力的下一個方向。OpenAI 聯(lián)合創(chuàng)始人 Andrej Karpathy 在近期的公開活動上說 “ 相比模型訓練方法，OpenAI 內(nèi)部目前更關(guān)注 Agent 領(lǐng)域的變化，每當有新的 AI Agents 論文出來的時候，內(nèi)部都會很興奮并且認真地討論 ” 。

在人工智能領(lǐng)域，這一術(shù)語被賦予了一層新的含義：具有自主性、反應性、積極性和社交能力特征的智能實體。

AI Agent，它被設計為具有獨立思考和行動能力的AI程序。你只需要提供一個目標，比如寫一個游戲、開發(fā)一個網(wǎng)頁，他就會根據(jù)環(huán)境的反應和獨白的形式生成一個任務序列開始工作。就好像是人工智能可以自我提示反饋，不斷發(fā)展和適應，以盡可能最好的方式來實現(xiàn)你給出的目標。

NLP 到 AGI 的發(fā)展路線

NLP 到 AGI 的發(fā)展路線分為五級：語料庫、互聯(lián)網(wǎng)、感知、具身和社會屬性，那么目前的大型語言模型已經(jīng)來到了第二級，具有互聯(lián)網(wǎng)規(guī)模的文本輸入和輸出。在這個基礎上，如果賦予 LLM-based Agents 感知空間和行動空間，它們將達到第三、第四級。進一步地，多個代理通過互動、合作解決更復雜的任務，或者反映出現(xiàn)實世界的社會行為，則有潛力來到第五級 —— 代理社會。

?

為什么需要AI Agent

為什么大語言模型（LLM）剛流行不久，就需要AI Agent呢？LLM與LangChain 等工具相結(jié)合，釋放了內(nèi)容生成、編碼和分析方面的多種可能性，目前在ChatGPT插件中比較有代表性的插件就是code interpreter。在這方面的應用上Agent的概念應用發(fā)揮著舉足輕重的作用。

這里可以將Agent視為人工智能大腦，它使用LLM進行推理、計劃和采取行動。

語言模型 (LLM) 僅限于它們所訓練的知識，并且這些知識很快就會過時。（每天用最新信息重新訓練這么大的模型是不可行的。）

LLM的一些缺點

會產(chǎn)生幻覺。

結(jié)果并不總是真實的。

對時事的了解有限或一無所知。

很難應對復雜的計算。

這就是AI Agent的用武之地，它可以利用外部工具來克服這些限制。

這里的工具是什么呢？工具就是代理用它來完成特定任務的一個插件、一個集成API、一個代碼庫等等，例如：

Google搜索：獲取最新信息

Python REPL：執(zhí)行代碼

Wolfram：進行復雜的計算

外部API：獲取特定信息

而LangChain則是提供一種通用的框架通過大語言模型的指令來輕松地實現(xiàn)這些工具的調(diào)用。AI Agent的誕生就是為了處理各種復雜任務的，就復雜任務的處理流程而言AI Agent主要分為兩大類：行動類、規(guī)劃執(zhí)行類。

智能代理的框架

LLM-based Agent[3] 的概念框架，包含三個組成部分：控制端（Brain）、感知端（Perception）和行動端（Action）。下面將分別介紹：

?

控制端：Brain

是智能代理的核心。它不僅可以存儲記憶和知識，還承擔著信息處理、決策等不可或缺的功能。它可以呈現(xiàn)推理和計劃的過程，并很好地應對未知任務，反映出智能代理的泛化性和遷移性?？刂贫俗鳛橹悄艽碜詈诵牡慕M成成分，作者們從五個方面展開介紹其能力：

自然語言交互：語言是溝通的媒介，其中包含著豐富的信息。得益于 LLMs 強大的自然語言生成和理解能力，智能代理能夠通過自然語言與外界進行多輪交互，進而實現(xiàn)目標。具體而言，可以分為兩個方面：

高質(zhì)量文本生成：大量評估實驗表明，LLMs 能夠生成流暢、多樣、新穎、可控的文本。盡管在個別語言上表現(xiàn)欠佳，但整體上具備良好的多語言能力。

言外之意的理解：除了直觀表現(xiàn)出的內(nèi)容，語言背后可能還傳遞了說話者的意圖、偏好等信息。言外之意有助于代理更高效地溝通與合作，大模型已經(jīng)展現(xiàn)出了這方面的潛力。

知識：基于大批量語料訓練的 LLMs，擁有了存儲海量知識（Knowledge）的能力。除了語言知識以外，常識知識和專業(yè)技能知識都是 LLM-based Agents 的重要組成部分。

雖然 LLMs 其本身仍然存在知識過期、幻覺等問題，現(xiàn)有的一些研究通過知識編輯或調(diào)用外部知識庫等方法，可以在一定程度上得到緩解。

記憶：在本文框架中，記憶模塊（Memory）儲存了代理過往的觀察、思考和行動序列。通過特定的記憶機制，代理可以有效地反思并應用先前的策略，使其借鑒過去的經(jīng)驗來適應陌生的環(huán)境。

短期記憶：我認為所有的上下文學習（參見提示工程）都是利用模型的短期記憶來學習。

長期記憶：這為代理提供了長時間保留和回憶（無限）信息的能力，通常是通過利用外部向量存儲和快速檢索。

通常用于提升記憶能力的方法有三種：

擴展 Backbone 架構(gòu)的長度限制：針對 Transformers 固有的序列長度限制問題進行改進。

總結(jié)記憶（Summarizing）：對記憶進行摘要總結(jié)，增強代理從記憶中提取關(guān)鍵細節(jié)的能力。

壓縮記憶（Compressing）：通過使用向量或適當?shù)臄?shù)據(jù)結(jié)構(gòu)對記憶進行壓縮，可以提高記憶檢索效率。

此外，記憶的檢索方法也很重要，只有檢索到合適的內(nèi)容，代理才能夠訪問到最相關(guān)和準確的信息。

推理 & 規(guī)劃：推理能力（Reasoning）對于智能代理進行決策、分析等復雜任務而言至關(guān)重要。具體到 LLMs 上，就是以 思維鏈（Chain-of-Thought，CoT） 為代表的一系列提示方法。而規(guī)劃（Planning）則是面對大型挑戰(zhàn)時常用的策略。它幫助代理組織思維、設定目標并確定實現(xiàn)這些目標的步驟。在具體實現(xiàn)中，規(guī)劃可以包含兩個步驟：

計劃制定（Plan Formulation）：代理將復雜任務分解為更易于管理的子任務。例如：一次性分解再按順序執(zhí)行、逐步規(guī)劃并執(zhí)行、多路規(guī)劃并選取最優(yōu)路徑等。在一些需要專業(yè)知識的場景中，代理可與特定領(lǐng)域的 Planner 模塊集成，提升能力。

計劃反思（Plan Reflection）：在制定計劃后，可以進行反思并評估其優(yōu)劣。這種反思一般來自三個方面：借助內(nèi)部反饋機制；與人類互動獲得反饋；從環(huán)境中獲得反饋。

遷移性 & 泛化性：擁有世界知識的 LLMs 賦予智能代理具備強大的遷移與泛化能力。一個好的代理不是靜態(tài)的知識庫，還應具備動態(tài)的學習能力：

對未知任務的泛化：隨著模型規(guī)模與訓練數(shù)據(jù)的增大，LLMs 在解決未知任務上涌現(xiàn)出了驚人的能力。通過指令微調(diào)的大模型在 zero-shot 測試中表現(xiàn)良好，在許多任務上都取得了不亞于專家模型的成績。

情景學習（In-context Learning）：大模型不僅能夠從上下文的少量示例中進行類比學習，這種能力還可以擴展到文本以外的多模態(tài)場景，為代理在現(xiàn)實世界中的應用提供了更多可能性。

持續(xù)學習（Continual Learning）：持續(xù)學習的主要挑戰(zhàn)是災難性遺忘，即當模型學習新任務時容易丟失過往任務中的知識。專有領(lǐng)域的智能代理應當盡量避免丟失通用領(lǐng)域的知識。

感知端：Perception

多模態(tài)感知能加深代理對工作環(huán)境的理解，顯著提升了其通用性。

文本輸入：作為 LLMs 最基礎的能力，這里不再贅述。

視覺輸入：LLMs 本身并不具備視覺的感知能力，只能理解離散的文本內(nèi)容。而視覺輸入通常包含有關(guān)世界的大量信息，包括對象的屬性，空間關(guān)系，場景布局等等。常見的方法有：

將視覺輸入轉(zhuǎn)為對應的文本描述（Image Captioning）：可以被 LLMs 直接理解，并且可解釋性高。

對視覺信息進行編碼表示：以視覺基礎模型 + LLMs 的范式來構(gòu)成感知模塊，通過對齊操作來讓模型理解不同模態(tài)的內(nèi)容，可以端到端的方式進行訓練。

聽覺輸入：聽覺也是人類感知中的重要組成部分。由于 LLMs 有著優(yōu)秀的工具調(diào)用能力，一個直觀的想法就是：代理可以將 LLMs 作為控制樞紐，通過級聯(lián)的方式調(diào)用現(xiàn)有的工具集或者專家模型，感知音頻信息。此外，音頻也可以通過頻譜圖（Spectrogram）的方式進行直觀表示。頻譜圖可以作為平面圖像來展示 2D 信息，因此，一些視覺的處理方法可以遷移到語音領(lǐng)域。

其他輸入：現(xiàn)實世界中的信息遠不止文本、視覺和聽覺。作者們希望在未來，智能代理能配備更豐富的感知模塊，例如觸覺、嗅覺等器官，用于獲取目標物體更加豐富的屬性。同時，代理也能對周圍環(huán)境的溫度、濕度和明暗程度有清楚的感受，采取更 Environment-aware 的行動。

此外，還可以為代理引入對更廣闊的整體環(huán)境的感知：采用激光雷達、GPS、慣性測量單元等成熟的感知模塊。

行動端：Action

在大腦做出分析、決策后，代理還需要做出行動以適應或改變環(huán)境：

文本輸出：作為 LLMs 最基礎的能力，這里不再贅述。

工具使用：盡管 LLMs 擁有出色的知識儲備和專業(yè)能力，但在面對具體問題時，也可能會出現(xiàn)魯棒性問題、幻覺等一系列挑戰(zhàn)。與此同時，工具作為使用者能力的擴展，可以在專業(yè)性、事實性、可解釋性等方面提供幫助。例如，可以通過使用計算器來計算數(shù)學問題、使用搜索引擎來搜尋實時信息。

另外，工具也可以擴展智能代理的行動空間。例如，通過調(diào)用語音生成、圖像生成等專家模型，來獲得多模態(tài)的行動方式。因此，如何讓代理成為優(yōu)秀的工具使用者，即學會如何有效地利用工具，是非常重要且有前景的方向。

目前，主要的工具學習方法包括從演示中學習和從反饋中學習。此外，也可以通過元學習、課程學習等方式來讓代理程序在使用各種工具方面具備泛化能力。更進一步，智能代理還可以進一步學習如何「自給自足」地制造工具，從而提高其自主性和獨立性。

具身行動：具身（Embodyment）是指代理與環(huán)境交互過程中，理解、改造環(huán)境并更新自身狀態(tài)的能力。具身行動（Embodied Action）被視為虛擬智能與物理現(xiàn)實的互通橋梁。

傳統(tǒng)的基于強化學習的 Agent 在樣本效率、泛化性和復雜問題推理等方面存在局限性，而 LLM-based Agents 通過引入大模型豐富的內(nèi)在知識，使得 Embodied Agent 能夠像人類一樣主動感知、影響物理環(huán)境。根據(jù)代理在任務中的自主程度或者說 Action 的復雜程度，可以有以下的原子 Action：

Observation 可以幫助智能代理在環(huán)境中定位自身位置、感知對象物品和獲取其他環(huán)境信息；

Manipulation 則是完成一些具體的抓取、推動等操作任務；

Navigation 要求智能代理根據(jù)任務目標變換自身位置并根據(jù)環(huán)境信息更新自身狀態(tài)。

通過組合這些原子行動，代理可以完成更為復雜的任務。例如「廚房的西瓜比碗大嗎？」這類具身的 QA 任務。為了解決這個問題，代理需要導航到廚房，并在觀察二者的大小后得出答案。

智能代理的應用場景

LLM-based Agent 的三種應用范式：單代理、多代理、人機交互。

單代理場景

可以接受人類自然語言命令，執(zhí)行日常任務的智能代理目前備受用戶青睞，具有很高的現(xiàn)實使用價值。作者們首先在單智能代理的應用場景中，闡述了其多樣化的應用場景與對應能力。

在論文中，單智能代理的應用被劃分為如下三個層次：

?

單代理應用場景的三個層次：任務導向、創(chuàng)新導向、生命周期導向。

在任務導向的部署中，代理幫助人類用戶處理日?；救蝿?。它們需要具備基本的指令理解、任務分解、與環(huán)境交互的能力。具體來說，根據(jù)現(xiàn)有的任務類型，代理的實際應用又可以分為模擬網(wǎng)絡環(huán)境與模擬生活場景。

在創(chuàng)新導向的部署中，代理能夠在前沿科學領(lǐng)域展現(xiàn)出自主探究的潛力。雖然來自專業(yè)領(lǐng)域的固有復雜性和訓練數(shù)據(jù)的缺乏給智能代理的構(gòu)建帶來了阻礙，但目前已經(jīng)有許多工作在化學、材料、計算機等領(lǐng)域取得了進展。

在生命周期導向的部署中，代理具備在一個開放世界中不斷探索、學習和使用新技能，并長久生存的能力。在本節(jié)中，作者們以《我的世界》游戲為例展開介紹。由于游戲中的生存挑戰(zhàn)可以被認為是現(xiàn)實世界的一個縮影，已經(jīng)有許多研究者將其作為開發(fā)和測試代理綜合能力的獨特平臺。

多代理場景

多代理應用場景的兩種交互形式：合作型互動、對抗型互動。

合作型互動：作為實際應用中部署最為廣泛的類型，合作型的代理系統(tǒng)可以有效提高任務效率、共同改進決策。具體來說，根據(jù)合作形式的不同，作者們又將合作型互動細分為無序合作與有序合作。

當所有代理自由地表達自己的觀點、看法，以一種沒有順序的方式進行合作時，稱為無序合作。

當所有代理遵循一定的規(guī)則，例如以流水線的形式逐一發(fā)表自己的觀點時，整個合作過程井然有序，稱為有序合作。

對抗型互動：智能代理以一種針鋒相對（tit for tat）的方式進行互動。通過競爭、談判、辯論的形式，代理拋棄原先可能錯誤的信念，對自己的行為或者推理過程進行有意義的反思，最終帶來整個系統(tǒng)響應質(zhì)量的提升。

人機交互場景

?

人機交互場景的的兩種模式：Instructor-Executor 模式 vs. Equal Partnership 模式。

Instructor-Executor 模式：人類作為指導者，給出指令、反饋意見；而代理作為執(zhí)行者，依據(jù)指示逐步調(diào)整、優(yōu)化。這種模式在教育、醫(yī)療、商業(yè)等領(lǐng)域得到了廣泛的應用。

Equal Partnership 模式：有研究觀察到代理能夠在與人類的交流中表現(xiàn)出共情能力，或是以平等的身份參與到任務執(zhí)行中。智能代理展現(xiàn)出在日常生活中的應用潛力，有望在未來融入人類社會。

AI Agent 一覽表

開放性問題討論

智能代理與大語言模型的研究該如何互相促進、共同發(fā)展？

大模型在語言理解、決策制定以及泛化能力等方面展現(xiàn)出強大的潛力，成為代理構(gòu)建過程中的關(guān)鍵角色，而代理的進展也為大模型提出了更高的要求。

LLM-based Agents 會帶來哪些挑戰(zhàn)與隱憂？

智能代理能否真正落地，需要經(jīng)過嚴謹?shù)陌踩栽u估，避免對真實世界帶來危害。作者總結(jié)了更多潛在威脅，例如：非法濫用、失業(yè)風險、對人類福祉造成影響等等。

代理數(shù)量的提升（scaling up）會帶來哪些機遇和挑戰(zhàn)？

在模擬社會中，提升個體數(shù)量可以顯著提升模擬的可信度與真實性。然而，隨著代理數(shù)量的上升，通信與消息傳播問題會變得相當復雜，信息的失真、誤解或者幻覺現(xiàn)象都會顯著降低整個模擬系統(tǒng)的效率。

網(wǎng)絡上關(guān)于 LLM-based Agent 是否是通向 AGI 的合適道路的爭論。

有研究者認為，以 GPT-4 為代表的大模型已經(jīng)在足夠的語料上進行了訓練，在此基礎上構(gòu)建的代理有潛力成為打開 AGI 之門的鑰匙。但也有其他研究者認為，自回歸語言建模（Auto-regressive Language Modeling）并不能顯現(xiàn)出真正的智能，因為它們只是作出響應。一個更完備的建模方式，例如世界模型（World Model），才能通向 AGI。

群體智能的演化歷程。群體智能是一種集結(jié)眾人的意見進而轉(zhuǎn)化為決策的過程。

然而，一味通過增加代理的數(shù)量，是否會產(chǎn)生真正的「智能」？此外，如何協(xié)調(diào)單個代理，讓智能代理社會克服「團體迷思」和個人認知偏差？

代理即服務（Agent as a Service，AaaS）。

由于 LLM-based Agents 比大模型本身更加復雜，中小型企業(yè)或個人更加難在本地構(gòu)建，因此云廠商可以考慮以服務的形式來將智能代理落地，即 Agent-as-a-Service。就像其他的云服務一樣，AaaS 有潛力為用戶提供高靈活性和按需的自助服務。

審核編輯：黃飛

?