火爆全網(wǎng)的LLM在RT-Thread OS中的應(yīng)用探索

2025年伊始，硅谷頂級(jí)風(fēng)投A16z最近發(fā)表了一篇名為《2025 Big ldeas in Tech》的文章，通過對(duì)其50位合伙人進(jìn)行了采訪，得出了50個(gè)對(duì)科技趨勢(shì)發(fā)展的判斷，其中有22個(gè)方向與AI有關(guān)。

其中部分技術(shù)方向和更是與嵌入式AI緊密關(guān)聯(lián)，其中包括:

1. 實(shí)時(shí)AI，應(yīng)用開發(fā)的下一個(gè)重要方向；

2. AI將開始主導(dǎo)決策環(huán)節(jié)；

3. 端側(cè)AI開始崛起；

4. AI將與所有的電子硬件融合；

這些方向清晰的表明了一個(gè)變化：即AI主導(dǎo)決策以及AI與電子硬件融合等技術(shù)的出現(xiàn)，必將導(dǎo)致嵌入式系統(tǒng)的應(yīng)用和開發(fā)將會(huì)以一種全新的方式出現(xiàn)在所有開發(fā)者面前?；叵脒^去的一年，人工智能領(lǐng)域除了大模型，最火的詞莫過于具身智能，這標(biāo)志著AI正在從以思維價(jià)值為主導(dǎo)的人工智能轉(zhuǎn)變?yōu)榕c物理世界交互為主導(dǎo)的人工智能體。此外，人工智能領(lǐng)域的標(biāo)志企業(yè)Open AI在2024年末推出的o3模型，在數(shù)學(xué)、代碼、軟件工程等領(lǐng)域再一次取得了突破性的進(jìn)展，其在代碼領(lǐng)域的成績已經(jīng)躋身全球前200名。這意味著在不遠(yuǎn)的未來，以Chatgpt-o3為代表的新一代編程模型，將在眾多的編程環(huán)境中取代當(dāng)前人類的工作。在這樣一個(gè)背景下，對(duì)于傳統(tǒng)的嵌入式開發(fā)人員，我們也必須要與時(shí)俱進(jìn)，深刻的認(rèn)識(shí)到在大模型驅(qū)動(dòng)嵌入式軟件開發(fā)的新時(shí)代，軟件任務(wù)邏輯和驅(qū)動(dòng)分離的設(shè)計(jì)思想必將成為未來嵌入式系統(tǒng)開發(fā)的主流道路。RT-Thread作為一款為人熟知的國產(chǎn)實(shí)時(shí)操作系統(tǒng)，在嵌入式領(lǐng)域一直是國產(chǎn)開源軟件中旗幟性的存在。近年來，我們?cè)谇度胧较到y(tǒng)和AI結(jié)合的領(lǐng)域不斷探索和嘗試，希望能夠找到一個(gè)切實(shí)符合嵌入式系統(tǒng)走的AI路線。借助2024年的開發(fā)者大會(huì)，RT-Thread AI針對(duì)LLM在RT-Thread OS中的應(yīng)用探索，進(jìn)行了詳細(xì)討論，希望能夠給廣大開發(fā)者以啟發(fā)，下面是報(bào)告原文。

經(jīng)過多年在嵌入式領(lǐng)域的深耕，RT-Thread OS在系統(tǒng)內(nèi)核、組件以及軟件包三個(gè)維度為廣大開發(fā)者提供了數(shù)以千計(jì)的API，這些API在傳統(tǒng)的嵌入式軟件開發(fā)階段有力的支持了應(yīng)用開發(fā)過程，節(jié)約了大量的開發(fā)時(shí)間，縮短了開發(fā)周期，這也是RT-Thread OS一直長青的根本原因。但是進(jìn)入到大模型驅(qū)動(dòng)嵌入式軟件開發(fā)時(shí)代，這些API又將會(huì)起到怎樣的作用呢？我們繼續(xù)向下看。

下面PPT左側(cè)圖片是經(jīng)典的大模型應(yīng)用場(chǎng)景，這個(gè)例子是將法語翻譯為英語。那么我們也可以依次類比，如果我們想要RT-Thread OS聽懂我們的人類的話，我們需要將人類的自然語言翻譯成什么呢？很明顯，在這個(gè)過程中，傳統(tǒng)的API就變成了RT-Thread OS所認(rèn)識(shí)的“詞匯”了。如果我們能夠?qū)⑽覀兊淖匀徽Z言翻譯成一個(gè)個(gè)API，那么我們就可以通過對(duì)話的形式控制RT-Thread OS了。也就是說：對(duì)于RT-Thread OS來說，代碼就是人和RT-Thread OS交流的語言，而API則是其中的“詞匯”。也就是說如果LLM掌握了所有的RT-Thread API，那么也就可以搭建起人和RT-Thread OS溝通的橋梁。

基于這樣的一個(gè)思想，我們可以想象，隨著LLM在編程能力上不斷超越人類代碼能力，我們必須要掌握邏輯和驅(qū)動(dòng)分離的程序設(shè)計(jì)思想。將邏輯部分交給LLM來實(shí)現(xiàn)，而僅提供軟硬件結(jié)合的部分，即和真實(shí)世界結(jié)合的驅(qū)動(dòng)部分。就像下面這張PPT中所顯示的一樣，對(duì)于傳統(tǒng)的嵌入式軟件開發(fā)。我們從需求分析、任務(wù)拆解到最后的軟件驅(qū)動(dòng)、軟件邏輯全部都由開發(fā)者完成。這樣整個(gè)程序按照程序員的設(shè)計(jì)固化在了硬件中，雖然程序可以準(zhǔn)確執(zhí)行，卻喪失了軟件的靈活性。如果我們將整個(gè)軟件的邏輯部分全部交給LLM來在運(yùn)行期完成，而僅僅提供控制硬件的驅(qū)動(dòng)，那么整個(gè)軟件的靈活性則會(huì)大大提高。但是如果想完成這樣一個(gè)轉(zhuǎn)變，一個(gè)重要的步驟就是需要讓LLM知道，在現(xiàn)實(shí)的世界中，存在諸如rt_led_turnon這一類數(shù)以千計(jì)的RT-Thread API是真實(shí)存在的。

針對(duì)這一問題，RT-Thread AI團(tuán)隊(duì)是從以下兩個(gè)方向入手來解決問題的。首先，我們整理了當(dāng)前RT-Thread OS的大部分API，包括內(nèi)核層、組件層以及軟件包層面的，形成了非常龐大的知識(shí)庫/訓(xùn)練集。然后我們針對(duì)當(dāng)前開源LLM在嵌入式領(lǐng)域的應(yīng)用，分析了開源模型的問題，其中內(nèi)存占用和算力需求時(shí)制約嵌入式端應(yīng)用LLM的最大瓶頸。我們發(fā)現(xiàn)，對(duì)于一般人類交流，一個(gè)話題大概僅需500個(gè)字左右，而一個(gè)正常人的語速也僅在150-200字每分鐘，所以對(duì)于當(dāng)前開源的大模型，其最大序列長度對(duì)于嵌入式都是十分浪費(fèi)且不別要的。此外，我們也發(fā)現(xiàn)對(duì)于嵌入式場(chǎng)景，90%以上的嵌入式設(shè)備都是指令式的，即聽從人類指揮完成相應(yīng)任務(wù)，而不需要進(jìn)行復(fù)雜而繁瑣的對(duì)話。而不到10%的嵌入式設(shè)備才需要對(duì)話，而進(jìn)對(duì)于這種設(shè)備，我們才需要較長的最大序列長度來保證上下文對(duì)話的連續(xù)性。

對(duì)于我們RT-Thread OS應(yīng)用的絕大多數(shù)場(chǎng)景，我們更希望設(shè)計(jì)一種更適合嵌入式系統(tǒng)的LLM，即Embedded GPT，而這種GPT實(shí)際上更多（90%以上嵌入式場(chǎng)景）是指令式，而不是對(duì)話式的需求。我們?cè)谶@一部分已經(jīng)形成了兩部分路線。一種是在開源模型基礎(chǔ)上進(jìn)行微調(diào)，同時(shí)通過RAG的方式來補(bǔ)足API的快速更新。但是這種方式存在模型推理幻覺、計(jì)算量內(nèi)存占用過大等方面的缺陷。而在另一種路線，我們已經(jīng)開發(fā)了一個(gè)新的更適合嵌入式系統(tǒng)的GPT，即Embedded GPT，這個(gè)系統(tǒng)參數(shù)規(guī)模約500M，max_position_embeddings為1024，該模型在綜合的效果上，已經(jīng)完全滿足嵌入式系統(tǒng)需求中的絕大場(chǎng)景。我們擅長嵌入式API數(shù)據(jù)集的收集和整理，大模型公司在最前沿的模型架構(gòu)和訓(xùn)練算力方面的有領(lǐng)先優(yōu)勢(shì)，我們非常期待在這個(gè)極其富有想象力的領(lǐng)域建立市場(chǎng)合作，創(chuàng)造共贏。

最后，我們基于軟件任務(wù)邏輯和驅(qū)動(dòng)分離的設(shè)計(jì)思想，在我們的語音小車上完成了幾個(gè)從簡(jiǎn)單到復(fù)雜的指令控制，整個(gè)過程中，我們將小車控制的最基礎(chǔ)API交給了大模型，讓大模型知道在真實(shí)世界中，通過以下幾個(gè)API就可以控制小車執(zhí)行諸如“前進(jìn)”、“后退”、“左轉(zhuǎn)”、“右轉(zhuǎn)”等指令。然后在運(yùn)行期，我們通過對(duì)話的方式，指揮小車進(jìn)行“順時(shí)針旋轉(zhuǎn)”、“開啟雷達(dá)導(dǎo)航”等動(dòng)作，最終實(shí)現(xiàn)小車控制的靈活性。這樣的一種開發(fā)新范式，最終會(huì)從根本上改變嵌入式軟件開發(fā)的模式，在減輕嵌入式軟件開發(fā)工程師工作負(fù)擔(dān)的同時(shí)，還極大的增加了軟件控制的靈活性，將大模型的能力發(fā)揮到極致。

最后我們也介紹了當(dāng)前RT-Thread OS在嵌入式AI領(lǐng)域所提供的強(qiáng)有力的系統(tǒng)支持，包括虛擬化、異構(gòu)等多種可以選擇的端側(cè)、邊緣側(cè)AI部署方案，將大模型從云端部署到端側(cè)部署一網(wǎng)打盡?？梢栽诒姸嗉刃枰獙?shí)時(shí)性又需要智能化的場(chǎng)景，為廣大的開發(fā)者提供強(qiáng)有力的支持。