AI智能體生態(tài)圈和軟件棧

原文鏈接：https://www.letta.com/blog/ai-agents-stack

一，理解AI智能體

盡管市面上有許多關(guān)于智能體堆棧和市場(chǎng)的分類，但我們認(rèn)為這些分類并不總能準(zhǔn)確反映開(kāi)發(fā)者實(shí)際使用的工具和技術(shù)。隨著內(nèi)存、工具使用、安全執(zhí)行和部署方面的進(jìn)步，我們決定分享基于我們一年多的開(kāi)源AI工作和7年以上的AI研究經(jīng)驗(yàn)的“智能體堆棧”。

2024年末的AI智能體堆棧，被組織成三個(gè)關(guān)鍵層：

智能體托管/服務(wù)

智能體框架

LLM模型與存儲(chǔ)

二，從LLM到LLM智能體

2022年和2023年見(jiàn)證了LLM框架和SDK的興起，以及通過(guò)API消費(fèi)LLM和自部署LLM推理的平臺(tái)的建立。2024年，我們看到了對(duì)AI“智能體”的興趣急劇轉(zhuǎn)變，智能體通常指被賦予輸出動(dòng)作（工具調(diào)用）并在自治環(huán)境中運(yùn)行的LLM。

三，智能體堆棧的獨(dú)特之處

智能體比基本的LLM聊天機(jī)器人是一個(gè)更復(fù)雜的工程挑戰(zhàn)，因?yàn)樗鼈冃枰獱顟B(tài)管理（保留消息/事件歷史，存儲(chǔ)長(zhǎng)期記憶，執(zhí)行多個(gè)LLM調(diào)用在智能體循環(huán)中）和工具執(zhí)行（安全執(zhí)行LLM輸出的動(dòng)作并返回結(jié)果）。

因此，AI智能體堆棧與標(biāo)準(zhǔn)的LLM堆棧看起來(lái)非常不同。讓我們從模型服務(wù)層開(kāi)始，分解今天的AI智能體堆棧：

1，模型服務(wù)

LLM是AI智能體的核心，需要通過(guò)推理引擎提供服務(wù)，通常運(yùn)行在付費(fèi)API服務(wù)后面。OpenAI和Anthropic在封閉API模型推理提供商中領(lǐng)先，而Together.AI、Fireworks和Groq等提供開(kāi)放權(quán)重模型服務(wù)。vLLM在本地模型推理提供商中領(lǐng)先。

2，存儲(chǔ)

存儲(chǔ)是智能體的基本構(gòu)建塊，智能體需要持久狀態(tài)，如對(duì)話歷史、記憶和外部數(shù)據(jù)源。向量數(shù)據(jù)庫(kù)如Chroma、Weaviate等流行于存儲(chǔ)智能體的“外部記憶”。Postgres通過(guò)pgvector擴(kuò)展支持向量搜索。

3，工具和庫(kù)

智能體與AI聊天機(jī)器人的主要區(qū)別在于智能體能夠調(diào)用“工具”。LLM生成結(jié)構(gòu)化輸出指定要調(diào)用的函數(shù)和參數(shù)。智能體服務(wù)必須使用沙箱以確保安全執(zhí)行。智能體通過(guò)OpenAI定義的JSON模式調(diào)用工具，這意味著智能體和工具可以跨不同框架兼容。

4，智能體框架

智能體框架協(xié)調(diào)LLM調(diào)用和管理智能體狀態(tài)，不同框架在狀態(tài)管理、上下文窗口結(jié)構(gòu)、跨智能體通信和內(nèi)存方法上有不同的設(shè)計(jì)。智能體框架的選擇取決于應(yīng)用程序的需求。

5，智能體托管和智能體服務(wù)

大多數(shù)智能體框架設(shè)計(jì)為智能體僅存在于編寫的腳本或筆記本中。我們認(rèn)為智能體的未來(lái)是作為服務(wù)部署到本地或云基礎(chǔ)設(shè)施，通過(guò)REST API訪問(wèn)。部署智能體作為服務(wù)比部署LLM更復(fù)雜，涉及狀態(tài)管理和安全工具執(zhí)行。

四，總結(jié)

智能體堆棧仍處于早期階段，我們期待看到生態(tài)系統(tǒng)的擴(kuò)展和演變。有興趣的讀者可以查看Letta OSS項(xiàng)目和注冊(cè)Letta Cloud的早期訪問(wèn)。

看了以上內(nèi)容，你的看法是？歡迎評(píng)論區(qū)留言討論！

審核編輯 黃宇