商湯科技推出SenseFoundry-VL方舟多模態(tài)新智平臺(tái)

日日新」進(jìn)化到5.5，商湯AI產(chǎn)品會(huì)有哪些具體升級(jí)？

生成式AI創(chuàng)新應(yīng)用自不必說(shuō)，商湯傳統(tǒng)視覺(jué)AI中的核心產(chǎn)品也正發(fā)生變化。

WAIC 2024期間，基于 “日日新5.5”大模型體系能力，商湯“方舟城市開(kāi)放平臺(tái)”進(jìn)行全新產(chǎn)品架構(gòu)升級(jí)，推出首個(gè)“大模型+城市服務(wù)”的解決方案及應(yīng)用實(shí)踐「SenseFoundry-VL 方舟多模態(tài)新智平臺(tái)」，助力智慧城市服務(wù)場(chǎng)景進(jìn)一步提智提效。

智慧城市走向多模態(tài)大模型賦能管理

「方舟多模態(tài)新智平臺(tái)」著力解決傳統(tǒng)視覺(jué)業(yè)務(wù)所面臨的交互方式單一化、泛化場(chǎng)景看不懂、復(fù)雜場(chǎng)景誤報(bào)高、大模型應(yīng)用難上手等問(wèn)題。

在傳統(tǒng)智慧城市解決方案基礎(chǔ)上主要進(jìn)行三方面升級(jí)：

“需求即指令”。通過(guò)Agent技術(shù)，「方舟多模態(tài)新智平臺(tái)」構(gòu)建了可理解并處理多種業(yè)務(wù)的AI智能體，實(shí)現(xiàn)了需求描述向具象指令的高效轉(zhuǎn)化。這種方式更接近于人類交互，用戶可直接自然語(yǔ)言提問(wèn)輸入查詢，大模型會(huì)理解用戶意圖并給出相應(yīng)的答案。

例如，在交通運(yùn)輸場(chǎng)景，交通部門或物流企業(yè)可通過(guò)構(gòu)建物流運(yùn)力分析智能體，提取車輛位置、車流狀況、天氣等相應(yīng)信息提取派單信息，最終制定更科學(xué)合理的物流車輛運(yùn)輸時(shí)空?qǐng)D譜。

“對(duì)話即檢索”。依托大模型視圖語(yǔ)義理解能力，可實(shí)現(xiàn)圖文資源的智能語(yǔ)義化檢索和對(duì)話式研判。讓用戶獲得“所說(shuō)即所得”、“所問(wèn)即所應(yīng)”的體驗(yàn)。

例如，在劇烈臺(tái)風(fēng)后，城市管理者可通過(guò)對(duì)話即刻檢索出樹(shù)木倒伏、電線桿傾倒等各類危害交通安全的場(chǎng)景，從而進(jìn)行快速響應(yīng)處理。

“提示即提優(yōu)”。依托大模型良好的泛化能力，無(wú)需海量定制研發(fā)投入，只需少量正負(fù)樣例數(shù)據(jù)和提示詞調(diào)整，即可一鍵生成通用模型和特定模型，部分復(fù)雜城市事件的識(shí)別準(zhǔn)確率高達(dá)90%以上，真正實(shí)現(xiàn)模型生產(chǎn)和調(diào)優(yōu)的使用易、落地快、成本低。

作為一款“聽(tīng)得懂、會(huì)交流、擅優(yōu)化”的多模態(tài)大模型平臺(tái)，「方舟多模態(tài)新智平臺(tái)」未來(lái)有望持續(xù)推動(dòng)智慧城市+大模型的迭代升級(jí)，聚焦多模態(tài)、高效化、個(gè)性化、可解釋性和數(shù)據(jù)驅(qū)動(dòng)決策等方向，并拓展至智能交通、公共服務(wù)智能化、應(yīng)急響應(yīng)、城市服務(wù)與決策支持、區(qū)域協(xié)同發(fā)展等應(yīng)用場(chǎng)景。

已落地一線，實(shí)現(xiàn)城市服務(wù)十倍提效

目前，「方舟多模態(tài)新智平臺(tái)」已在城市服務(wù)場(chǎng)景中實(shí)際落地。

以城市便民服務(wù)為例，該平臺(tái)可實(shí)現(xiàn)便民窗口服務(wù)的智能化分類分撥、智能視頻設(shè)備調(diào)取、智能處置建議、智能系統(tǒng)信息查詢等能力。

在某一線城市12345公共服務(wù)便民熱線場(chǎng)景中，「方舟多模態(tài)新智平臺(tái)」助力12345工單的分類分撥速度提升至原先的10倍以上，并統(tǒng)一了分類標(biāo)準(zhǔn)。在短短一個(gè)月內(nèi)，完成超過(guò)30萬(wàn)次的分撥訴求，平均每天處理一萬(wàn)余次。

借助「方舟多模態(tài)新智平臺(tái)」，單個(gè)分撥員原本一個(gè)月的工作量現(xiàn)在僅需一天即可完成，經(jīng)二次復(fù)核，準(zhǔn)確率高達(dá)90%以上。

這樣的智能化分撥應(yīng)用不僅切實(shí)有效，更極大減輕了政務(wù)工作壓力，顯著提升工作效率。

此外，「方舟多模態(tài)新智平臺(tái)」支持自然語(yǔ)言調(diào)取10萬(wàn)路以上前端點(diǎn)位，實(shí)現(xiàn)分鐘級(jí)精準(zhǔn)檢索；升級(jí)后的模型架構(gòu)支持通過(guò)簡(jiǎn)單提示詞，即刻創(chuàng)建全新場(chǎng)景分析功能，實(shí)現(xiàn)1天內(nèi)快速部署上線，3天內(nèi)手動(dòng)快速調(diào)優(yōu)，部分場(chǎng)景通過(guò)二次分析后準(zhǔn)確率達(dá)90%以上。真正讓大模型迅速落地在各類應(yīng)用場(chǎng)景中，實(shí)現(xiàn)所想即所得。

差異化優(yōu)勢(shì)明顯，智慧城市行業(yè)新標(biāo)桿

與常見(jiàn)行業(yè)方案相比，商湯「方舟多模態(tài)新智平臺(tái)」差異化優(yōu)勢(shì)明顯，主要體現(xiàn)在三方面：平臺(tái)技術(shù)布局、硬件選型、業(yè)務(wù)應(yīng)用。

首先，是融合架構(gòu)的技術(shù)布局。視覺(jué)領(lǐng)域深厚算法積累+「日日新」領(lǐng)先大模型能力，為「方舟多模態(tài)新智平臺(tái)」的全面架構(gòu)升級(jí)奠定扎實(shí)基礎(chǔ)。

「方舟多模態(tài)新智平臺(tái)」采用的視覺(jué)-語(yǔ)言多模態(tài)大模型，集圖文對(duì)比、文本理解生成及交錯(cuò)圖文理解三大能力為一體，在國(guó)際權(quán)威機(jī)構(gòu)的國(guó)產(chǎn)化大模型評(píng)測(cè)中，位列第一梯隊(duì)；同時(shí)視覺(jué)模型+大模型融合架構(gòu)，AI智能體等引入，為城市AI應(yīng)用創(chuàng)新提供全方位的技術(shù)支撐。

其二，是國(guó)產(chǎn)適配的硬件選型?！阜街鄱嗄B(tài)新智平臺(tái)」充分研討了國(guó)產(chǎn)自主可控的方針政策。目前充分適配了主流的國(guó)產(chǎn)芯片和硬件服務(wù)器，為大模型國(guó)產(chǎn)化落地提供全面的算力保障。

第三，靈活可配的業(yè)務(wù)應(yīng)用。城市場(chǎng)景有復(fù)雜性高、碎片化強(qiáng)等特點(diǎn)，「方舟多模態(tài)新智平臺(tái)」能根據(jù)智慧城市的具體需求，進(jìn)行高度定制化開(kāi)發(fā)。此外，其創(chuàng)新性配套圖文可視化的提示工程設(shè)計(jì)，也很好地兼顧了方案落地的泛化性及系統(tǒng)應(yīng)用的低門檻，有效保障AI大模型的落地效果。

伴隨全球數(shù)字化轉(zhuǎn)型加速，“智慧城市”與“大模型”結(jié)合被視為未來(lái)城市發(fā)展的關(guān)鍵?！阜街鄱嗄B(tài)新智平臺(tái)」是商湯在助力城市服務(wù)智能化發(fā)展中取得的突破性進(jìn)展，必將作為新質(zhì)生產(chǎn)力，開(kāi)啟城市智能化發(fā)展新篇章。