AI邊緣計算機應用場景廣泛！大語言模型與數(shù)字人結(jié)合方案在邊緣側(cè)落地

電子發(fā)燒友網(wǎng)報道（文/李彎彎）AI邊緣計算機是一種人工智能和邊緣計算技術(shù)相結(jié)合的計算機設(shè)備。它可以在本地設(shè)備上運行AI模型，實現(xiàn)對設(shè)備數(shù)據(jù)的實時分析和響應，從而減少數(shù)據(jù)傳輸?shù)皆贫说难舆t和成本。

當下，AI在邊緣側(cè)的部署正在成為趨勢，包括近年來備受矚目的大語言模型，在邊緣側(cè)的應用也是業(yè)界探索的焦點，AI邊緣計算機在這中間扮演著重要角色。為此，電子發(fā)燒友近日采訪到圖為科技華東區(qū)域經(jīng)理吳朗，探討了AI邊緣計算機的應用現(xiàn)狀及前景等話題。

AI邊緣計算機應用場景多樣，前景好

AI邊緣計算機由處理器、存儲器、輸入/輸出接口、電源、散熱系統(tǒng)、嵌入式操作系統(tǒng)、AI模型和算法等結(jié)構(gòu)組成。處理器是AI邊緣計算機的核心部分，負責執(zhí)行指令和處理數(shù)據(jù)。
AI邊緣計算機的核心是AI模型和算法，用于實現(xiàn)各種智能化的應用。

圖為科技是一家AI邊緣計算設(shè)備運營服務(wù)商，專注邊緣計算設(shè)備的研發(fā)、生產(chǎn)、銷售、運維等工作。其基于NVIDIAJetson系列核心模塊所設(shè)計的AI邊緣計算盒子，已廣泛應用于機器視覺檢測、人臉識別、行為識別、智能機器人、智能無人機、自動駕駛、智能安防等領(lǐng)域。

吳朗告訴電子發(fā)燒友：“圖為科技的AI邊緣計算設(shè)備主要是基于ARM架構(gòu)的方案。其中，大多是基于英偉達Jetson系列核心模塊設(shè)計，也有少數(shù)基于華為昇騰和瑞芯微的方案?！眻D為科技的邊緣計算機涵蓋了從最低0.5TOPS算力到最高275TOPS算力的各種產(chǎn)品，能滿足多場景不同算力的需求，便于客戶拓展AI方案及部署工作。

據(jù)他介紹，AI邊緣計算機的應用非常廣泛，目前在安防領(lǐng)域應用最多，另外，在醫(yī)療、車載、交通等領(lǐng)域也有非常多很好的應用場景。比如在醫(yī)療領(lǐng)域的影像分析，他們之前有個做眼睛診療儀的客戶，就需要用到這種AI邊緣計算盒子，通過深度學習算法，來輔助拍攝一些圖像做實時分析。

在車載領(lǐng)域，目前圖為科技的產(chǎn)品可以用于低速無人駕駛，比如，無人清掃車、園區(qū)接駁車、各種巡檢小車等。吳朗介紹說：“這種AI邊緣計算盒子在車載、交通領(lǐng)域的應用場景很多，現(xiàn)在智慧交通是趨勢，車路協(xié)同、全息路口以及高速上一些車聯(lián)網(wǎng)場景都用得上?！?br />
不過不同場景技術(shù)路線不一樣，對設(shè)備的要求也有所不同。比如，安防領(lǐng)域主要需要的是視頻分析，基本上是純視覺。而車載領(lǐng)域，有視覺也有雷視融合，包括激光雷達、毫米波雷達、超聲波雷達等。它們需要的算力、資源、軟硬件平臺等都不一樣。一般而言，安防場景的算力需求很多在20到30TOPS，而車載場景很多時候需要100TOPS，甚至200TOPS以上。

在車載場景，英偉達的Jetson系列會更有優(yōu)勢，無論是算力還是生態(tài)上。英偉達的模塊算力會更高，而且它跟上下游廠商的配套更多，比如跟奧比中光、森云智能等廠商的相機產(chǎn)品都有適配。因此，圖為科技基于英偉達Jetson系列的設(shè)備能夠滿足更多場景的不同需求。

在吳朗看來，AI計算邊緣盒子可以應用的行業(yè)和形態(tài)很多，市場整體體量很大。不過相比較而言，目前基于X86架構(gòu)的設(shè)備存在的時間比較久，應用也比較多?；贏rm架構(gòu)這種方式的AI邊緣計算機近幾年才開始火起來，目前體量不是很大，不過前景會非常好。

大模型與數(shù)字人結(jié)合在醫(yī)療領(lǐng)域成功落地

近年來，大模型技術(shù)的研究進展備受關(guān)注，同時，業(yè)界也在積極探索大語言模型在邊緣側(cè)的部署。圖為科技在這方面也有研究，并已經(jīng)有方案成功交付。

據(jù)吳朗介紹，圖為科技有好幾款大模型一體機，算力包括40TOPS、100TOPS和200TOPS，這些一體機可以運行70億和130億參數(shù)規(guī)模的大模型。圖為科技可以用百川智能、智譜AI、通億千問等的開源大模型，自己進行移植適配。

目前圖為科技正在推進的大模型一體機應用項目很多，其在某醫(yī)院的應用方案已經(jīng)成功交付。這是一個什么樣的場景呢？吳朗介紹說，因為就診的人數(shù)比較多，這家醫(yī)院婦產(chǎn)科門診接診壓力比較大，他們希望通過AI做一個預診的方案。

圖為科技將大模型一體機與數(shù)字人技術(shù)結(jié)合，做了一個交互式對話方案。這樣，患者到醫(yī)院之后，可以跟顯示屏承載的數(shù)字人交互式對話，幫助醫(yī)生過濾掉一些問題。

吳朗進一步介紹：“患者在婦產(chǎn)科需要詢問的問題，基本上醫(yī)院都有對應的數(shù)據(jù)。公司為其部署上AI大語言模型，基本上之后患者問什么問題，這個數(shù)字人都可以回答?；卮鹜曛罂梢灾苯由呻娮硬v，提交給醫(yī)生。這樣可以大大提高效率?！?br />
圖為科技這個方案基于通義千問進行訓練。去年8月，阿里宣布其自研的大模型通義千問正式開源。只要有數(shù)據(jù)集，企業(yè)基本上可以基于這些開源的大模型訓練適合自己場景的大模型。

近幾年，數(shù)字人的概念及應用也是異常火熱，其中在直播領(lǐng)域的應用最多，另外醫(yī)院、銀行等也使用數(shù)字人來做虛擬客服。不過，雖然入局者眾多、應用也不少，然而過往，數(shù)字人仍然存在表情僵硬、語言呆板、交互能力不強等問題。

2023年以來，大語言模型席卷全球，將大模型與數(shù)字人技術(shù)結(jié)合也成為不少企業(yè)爭先探索的方向，接入大模型的數(shù)字人能夠很好的改善之前數(shù)字人存在的問題。從圖為科技這個案例來看，大模型接入數(shù)字人的應用也在逐步落地。

寫在最后

無論是AI還是近年來興起的大語言模型，如果要實現(xiàn)規(guī)?；逃?，在邊緣側(cè)部署是關(guān)鍵。AI邊緣計算機在這其中承載著極其重要的責任。同時，相比于傳統(tǒng)X86架構(gòu)，ARM架構(gòu)具有低能耗、低成本、高性能等優(yōu)勢，如此看來基于ARM架構(gòu)的AI邊緣計算機前景可觀。不過當前ARM架構(gòu)也還面臨移植適配、軟件生態(tài)不夠好等問題，后續(xù)發(fā)展仍需業(yè)界一起努力。