第二屆大會回顧第2期 | 視覺大模型在OpenHarmony的端邊側(cè)應(yīng)用

演講嘉賓 | 張兆生

回顧整理 | 廖 濤

排版校對 | 李萍萍

嘉賓介紹

OS原生智能分論壇

張兆生，OpenHarmony項(xiàng)目群技術(shù)指導(dǎo)委員會委員、中軟國際智能物聯(lián)網(wǎng)軍團(tuán)產(chǎn)品與研發(fā)管理部總經(jīng)理、北京理工大學(xué)外聘教師、中國礦業(yè)大學(xué)校外碩士研究生導(dǎo)師；北京理工大學(xué)“十四五”規(guī)劃教材《OpenHarmony操作系統(tǒng)》作者，獲中國電子信息行業(yè)聯(lián)合會首屆“優(yōu)秀工程師”榮譽(yù)稱號，OpenHarmony項(xiàng)目群機(jī)器人TSG項(xiàng)目發(fā)起人，OpenHarmony開發(fā)者手機(jī)項(xiàng)目發(fā)起人之一，主要從事計(jì)算機(jī)視覺、操作系統(tǒng)、智能物聯(lián)網(wǎng)等領(lǐng)域的技術(shù)研究與產(chǎn)品開發(fā)工作。

正文內(nèi)容

隨著智能化的快速發(fā)展，大模型在端側(cè)以及邊緣側(cè)的部署成為必然趨勢。OpenHarmony作為萬物互聯(lián)時代的技術(shù)底座，可以廣泛應(yīng)用于多種算力場景。以O(shè)penHarmony為根基融合大模型能力，在行業(yè)物聯(lián)網(wǎng)領(lǐng)域有哪些應(yīng)用呢？OpenHarmony項(xiàng)目群技術(shù)指導(dǎo)委員會委員、中軟國際有限公司智能物聯(lián)網(wǎng)軍團(tuán)產(chǎn)品研發(fā)管理部總經(jīng)理張兆生在第二屆OpenHarmony技術(shù)大會上進(jìn)行了精彩分享。

我國物聯(lián)網(wǎng)產(chǎn)業(yè)生態(tài)豐富，建設(shè)需求旺盛。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，物聯(lián)網(wǎng)技術(shù)正逐漸成為未來智慧礦山、智慧城市、智能家居和工業(yè)4.0等領(lǐng)域的重要組成部分。目前，我國行業(yè)物聯(lián)網(wǎng)建設(shè)普遍存在以下難題：

終端采集難：系統(tǒng)、協(xié)議不統(tǒng)一

互聯(lián)互通難：煙囪式系統(tǒng)

接入風(fēng)險(xiǎn)高：終端安全能力弱

運(yùn)維管理難：海量終端分布廣

智能分析難：定制化開發(fā)嚴(yán)重

基于OpenHarmony分布式硬件資源共享、分布式軟總線互聯(lián)互通、分布式架構(gòu)更穩(wěn)定安全以及統(tǒng)一OS彈性部署等能力，構(gòu)建端邊一體的近場物聯(lián)感知網(wǎng)絡(luò)，可以有效應(yīng)對上述難題。OpenHarmony近場物聯(lián)感知網(wǎng)絡(luò)能夠進(jìn)行現(xiàn)場組網(wǎng)、數(shù)據(jù)采集、多源異構(gòu)、協(xié)同作業(yè)以及事件分析和決策，實(shí)現(xiàn)了網(wǎng)絡(luò)接入簡化（協(xié)議統(tǒng)一）、多源異構(gòu)終端互聯(lián)互通、網(wǎng)絡(luò)安全（可靠低時延）、智能分析、精準(zhǔn)高效，且支持多樣化的現(xiàn)場工業(yè)化部署環(huán)境。

AI發(fā)展至今，經(jīng)歷了AI應(yīng)用初步落地、AI需求碎片化以及AI算法精細(xì)化等過程。區(qū)別于AI應(yīng)用初步落地的單一場景，如今各行各業(yè)對AI的需求呈指數(shù)級上升，所需算法數(shù)以十萬計(jì)。在視覺領(lǐng)域，AI視覺需求也同樣越來越細(xì)分，長尾算法的需求也越來越多。視覺系統(tǒng)對于理解和推理視覺場景的組成特性至關(guān)重要，視覺大模型對行業(yè)物聯(lián)網(wǎng)建設(shè)也具有重要意義。視覺大模型與OpenHarmony能碰撞出什么火花？視覺大模型在OpenHarmony的端邊側(cè)又有哪些應(yīng)用和實(shí)踐呢？

在行業(yè)長尾場景（如水文監(jiān)測管理、工程建設(shè)管理、水庫治理、防洪排澇、水土流失監(jiān)測以及灌區(qū)改造等），通過AI視覺大模型+小模型架構(gòu)和云邊端協(xié)同的工作模式實(shí)現(xiàn)AI落地。

云側(cè)構(gòu)建訓(xùn)練平臺：基于云端視覺大模型以及邊側(cè)小模型構(gòu)建訓(xùn)練平臺，覆蓋數(shù)據(jù)生產(chǎn)、模型設(shè)計(jì)與訓(xùn)練以及模型部署全流程：云端視覺大模型負(fù)責(zé)數(shù)據(jù)預(yù)訓(xùn)練，包括篩選有標(biāo)注價(jià)值的數(shù)據(jù)、生成模型Stable Diffusion以及基于視覺大模型輔助標(biāo)注等；邊側(cè)小模型則負(fù)責(zé)精調(diào)，包括搜索小模型結(jié)構(gòu)、調(diào)參調(diào)優(yōu)生成以及數(shù)據(jù)補(bǔ)充回到模型標(biāo)注等。

邊側(cè)構(gòu)建推理平臺：基于OpenHarmony邊側(cè)設(shè)備構(gòu)建推理平臺，賦能OpenHarmony硬件，AI端邊一體化快速轉(zhuǎn)化生產(chǎn)力：提前識別硬件設(shè)備的算力等級，在此基礎(chǔ)上，推理平臺根據(jù)等級分布（L0~L4）分配任務(wù)創(chuàng)建、事件告警、算法設(shè)置、視頻拉流、圖片接入以及算法導(dǎo)入等工作。

端側(cè)提供視覺數(shù)據(jù)集：端側(cè)的攝像頭、無人機(jī)、機(jī)器人等設(shè)備負(fù)責(zé)采集視覺數(shù)據(jù)，作為云邊側(cè)的輸入。

在水利行業(yè)中，將海量的歷史數(shù)據(jù)和視覺設(shè)備監(jiān)測采集到的實(shí)時數(shù)據(jù)作為輸入，經(jīng)智能中樞系統(tǒng)（基于AI防汛模型和AI視覺模型構(gòu)建）進(jìn)行數(shù)據(jù)訓(xùn)練校正、感知、分析預(yù)判、決策以及協(xié)同控制后，能夠大幅降低水災(zāi)害損失；在水庫治理中，在邊側(cè)構(gòu)建自動化AI模型推理+OpenHarmony的計(jì)算一體機(jī)，能夠達(dá)到端側(cè)視覺數(shù)據(jù)分析、智能識別、預(yù)案決策、感知告警、設(shè)備管理等目的，進(jìn)一步推動水庫治理智慧化創(chuàng)新進(jìn)程。

未來，基于大模型構(gòu)建OpenHarmony AI中樞，能夠打破AI生產(chǎn)力瓶頸，實(shí)現(xiàn)算力虛擬化和模型共享，賦能智慧能源、智慧交通、智慧水利以及智慧城市等場景，給各行各業(yè)帶來無限的創(chuàng)新想象空間。

「嘉賓材料暫不分享」

E N D

關(guān)注我們，獲取更多精彩。

審核編輯 黃宇