大模型發(fā)展趨勢：多模態(tài)、自主智能、邊緣智能…

電子發(fā)燒友網(wǎng)報道（文/李彎彎）近一年多以來，大模型技術(shù)和應(yīng)用都在快速發(fā)展。無論是OpenAI、谷歌，還是百度、騰訊、字節(jié)等，大模型產(chǎn)品都已經(jīng)經(jīng)過了多次迭代，應(yīng)用也在不斷拓展。而接下來，大模型將呈現(xiàn)怎樣的發(fā)展趨勢，仍然是業(yè)界關(guān)注的重點。日前，在“太湖對話·人工智能+”論壇上，諸多學(xué)術(shù)界和產(chǎn)業(yè)界人士就相關(guān)話題進行了深刻探討。

AI大模型的五個發(fā)展方向

在會上，中國工程院院士，清華大學(xué)講席教授、智能產(chǎn)業(yè)研究院（AIR）院長張亞勤談到了AI大模型發(fā)展的五個方向。首先是多模態(tài)智能，即結(jié)合語言、文字、視頻、激光雷達點云、3D結(jié)構(gòu)信息、4D時空信息乃至生物信息，實現(xiàn)多尺度、跨模態(tài)的智能感知、決策和生成。

其次是自主智能，即將大模型作為一種工具，開發(fā)能夠自主規(guī)劃任務(wù)、編寫代碼、調(diào)動工具、優(yōu)化路徑的智能體，實現(xiàn)高度的自我迭代、升級和優(yōu)化，實現(xiàn)自主智能。這里需要考慮模型間如何互相調(diào)用、模型如何使用工具、基礎(chǔ)模型間如何進行聯(lián)邦學(xué)習(xí)等。

如醫(yī)療智能體自主進化的模擬醫(yī)院，他們首次搭建了基于LLM Agent的模擬醫(yī)院，包含醫(yī)患兩類角色和診療八項關(guān)鍵流程。提出不依賴人工標注數(shù)據(jù)的”MedAgent-Zero”醫(yī)療智能自主進化策略。有兩種方式自我進化：從正確回答積累樣例，從錯誤回答總結(jié)經(jīng)驗。診斷上萬模擬病人后，醫(yī)療智能體診斷兩天相當于醫(yī)生兩年，醫(yī)學(xué)只能體在MedQA子集上達到最優(yōu)。

第三是邊緣智能，將大模型部署到邊緣設(shè)備端，如AI PC, AI手機，AI電視等，實現(xiàn)高效率、低功耗、低成本、低時延的處理和響應(yīng)，從而實現(xiàn)邊緣智能。

AIR和亞信在這方面已經(jīng)有都個合作落地案例，如邊緣一體機視頻分析優(yōu)化，利用運動向量，增量移動識別框，顯著提升目標跟蹤性能；大模型推理性能優(yōu)化，基于運行時參數(shù)緩存機制，智能高效地管理MOE模型experts的換入換出，降低顯存需求>50%；5G專網(wǎng)算力內(nèi)生技術(shù)，利用基站BBU空閑算力提供服務(wù)，基于進程搶占的方法，有效提升BBU算力資源回收效率。

第四是物理（具身）智能：大模型正在被用到無人車、機器人、無人機、工廠、交通、 通訊、電網(wǎng)、電站和其他物理基礎(chǔ)設(shè)施，提升其自動化和智能化水平，從而實現(xiàn)具身智能。張亞勤認為，談到物理智能，機器人將會是大模型關(guān)鍵的落地方向，無人駕駛其實也是機器人的另一種形式，如支持全地形移動的自穩(wěn)定送貨平臺，具有自主學(xué)習(xí)能力的低速自動駕駛等。

第五便是生物智能，將大模型應(yīng)用到人腦、生命體、生物體里，實現(xiàn)大模型與生物體連結(jié)的生物智能，并最終實現(xiàn)信息智能、物理智能和生物智能的融合。

如AI+生命健康的典型案例，BrainCo腦機接口技術(shù)，該項目孵化于哈佛大學(xué)創(chuàng)新實驗室，由華人團隊主創(chuàng)，包括生物醫(yī)學(xué)工程、材料學(xué)、腦科學(xué)、腦疾病、AI跨學(xué)科團隊，這種非侵入式腦機接口量產(chǎn)產(chǎn)品登上Time周刊NASA官網(wǎng)?？纱┐髂X機接口產(chǎn)品可應(yīng)用于自閉癥，睡眠障礙，閉環(huán)正念冥想、抑郁癥，阿爾茲海默等。

自主學(xué)習(xí)、演進的大模型還在研究中

除此之外，在圓桌論壇環(huán)節(jié)，多位行業(yè)人士也就大模型的發(fā)展趨勢做了詳細探討。阿里云智能首席技術(shù)官周靖人談到，大模型非常明顯的一個趨勢就是多模態(tài)，現(xiàn)在知識體越來越多，不只是只有書本的知識，還有語言，還有視覺看到的物理界的東西，怎么更好地把各種知識體融合在一起是關(guān)鍵。

在他看來，重點需要考慮的是如何讓大模型更趨向人類智能，還需要包括記憶體，如何把長期的記憶、短期的記憶都結(jié)合在一起。如此，今后就能夠讓大模型發(fā)展成更有個性、更有特點的產(chǎn)品，在不同領(lǐng)域都能夠有不同的思考。同時大模型與真實世界有更多互動，相關(guān)的信息又會反饋給模型，這讓的大模型就能夠發(fā)展具有自我更新優(yōu)化的能力。

不過就大模型目前的成熟度而言，還有待研究。周靖人談到，在IT時代，讓信息的獲取觸手可及，大模型過后，讓知識的獲取觸手可及?，F(xiàn)在，一個非常明確的點就是，大模型作為一個助手，它能夠提供各種輔導(dǎo)的意見，但最后的決策還是在人，現(xiàn)在這種作為助手的大模型已經(jīng)做得非常好，這是大模型發(fā)展的第一步。

而第二步要實現(xiàn)的是讓大模型更為精準，現(xiàn)在大模型的回答還存在很多問題，如何讓它十次回答十次都是精準的，周靖人認為這個還有優(yōu)化空間。更進一步則是，讓模型能夠自我學(xué)習(xí)、自我演進，當然這一步目前來說也還在研究中。

澳門產(chǎn)業(yè)技術(shù)研究院院長、境成資本管理合伙人向江旭談到，多模態(tài)大模型是通向AGI可行的道路。他認為，如何把大模型做到去影響、改變物理世界是一個趨勢，如讓具身智能（機器人等）成為可能，這也會讓日后的養(yǎng)老更加便利。

清華大學(xué)惠妍講席教授、AIR首席科學(xué)家馬維英談到了一個很新的角度。他認為，現(xiàn)在大家專注的焦點還是，大模型能看、能聽、能寫等，而這些方向的機會，主要還是在互聯(lián)網(wǎng)大廠，如谷歌、微軟等。

那么，是否有新的機會呢，不只是生成文章、圖片這些。馬維英考慮的是，希望不只是把人類只能作為模仿的關(guān)鍵，他認為生物、自然領(lǐng)域也有很多機會值得探索，如生物、化學(xué)、材料等，很多新的能源是否能夠用AI去合成，在他看來，這些領(lǐng)域在未來十年會有巨大的機會。

寫在最后

如今，大模型作為一個工具助手，已經(jīng)具備非常強大功能，并且已經(jīng)有了相當成熟的應(yīng)用。如今大模型具備更多的智能，如GPT-4o，已經(jīng)能夠在于人類的互動中表達感情。而更進一步，大模型要實現(xiàn)自主學(xué)習(xí)、自主演進，也就是實現(xiàn)自主智能，仍然還需要持續(xù)研究。大模型帶來的機會方面，除了互聯(lián)網(wǎng)大廠掌握的文字、圖片、視頻生成等方面之外，對于新的企業(yè)來說，從自然領(lǐng)域，如生物、化學(xué)、材料等領(lǐng)域去探索，或許會看到新的機會。