物聯(lián)網(wǎng) (IoT) 的戰(zhàn)略潛力推動(dòng)工程師部署了越來(lái)越多的邊緣設(shè)備。這些設(shè)備可在沒(méi)有持續(xù)互聯(lián)網(wǎng)連接的情況下收集、處理和運(yùn)行數(shù)據(jù)推斷。一直以來(lái),各個(gè)機(jī)構(gòu)都是將在邊緣收集的數(shù)據(jù)發(fā)送到云中,由機(jī)器學(xué)習(xí)模型進(jìn)行處理,因?yàn)樵O(shè)備缺乏處理這些數(shù)據(jù)所需的算力。
隨著更強(qiáng)大的處理器和模型壓縮軟件的發(fā)展,對(duì)云計(jì)算的依賴已有所減少。相反,邊緣設(shè)備現(xiàn)在有能力在本地執(zhí)行密集的 AI 計(jì)算,而這種計(jì)算以前是在云中完成的?;ヂ?lián)網(wǎng)連接設(shè)備的數(shù)量預(yù)計(jì)在 2030 年將達(dá)到 290 億臺(tái)[1],隨之而來(lái)的是對(duì)邊緣 AI 的需求的指數(shù)級(jí)增長(zhǎng)。預(yù)計(jì)到 2027 年,邊緣 AI 將融入 65% 的邊緣設(shè)備中[2]。
推動(dòng)邊緣 AI 發(fā)展的賦能技術(shù)
邊緣 AI 市場(chǎng)預(yù)計(jì)將從 2022 年的 156 億美元增長(zhǎng)到 2029 年的 1074 億美元[3]。邊緣 AI 并非新概念,但最新技術(shù)進(jìn)步使得邊緣 AI 的實(shí)現(xiàn)更加簡(jiǎn)單和經(jīng)濟(jì)。如今推動(dòng)邊緣 AI 的四項(xiàng)主要進(jìn)步是:
微控制器 (MCU) 和數(shù)字信號(hào)處理器 (DSP) - 矢量處理器變得更加強(qiáng)大,同時(shí)芯片供應(yīng)商也在對(duì)其進(jìn)行自定義以滿足 AI 處理的需求。這些類(lèi)型的處理器目前在 AI 硬件中占據(jù)著主導(dǎo)地位。
GPU(圖形處理單元)- 最初用于圖形密集型應(yīng)用,如游戲和視頻編輯,GPU 現(xiàn)在已用于訓(xùn)練 AI 模型和運(yùn)行推斷。
AI 加速器 ASIC - 雖然在 AI 相關(guān)任務(wù)中 GPU 的性能優(yōu)于 CPU,但為 AI 工作負(fù)載量身定制的自定義專(zhuān)用集成電路 (ASIC) 可以提供更高的速度和效率。神經(jīng)處理單元 (NPU) 是一種專(zhuān)門(mén)為處理 AI 模型而設(shè)計(jì)的 ASIC,因此它們比 CPU 更適合這項(xiàng)任務(wù)。
模型壓縮方法 - 由于邊緣設(shè)備通常在內(nèi)存和處理能力方面存在限制,因此在保持類(lèi)似準(zhǔn)確性和性能水平的同時(shí)壓縮模型至關(guān)重要。如今最常見(jiàn)的 AI 壓縮方法有:
剪枝 - 刪除不必要或不太重要的參數(shù),以提高 AI 模型的效率、速度和內(nèi)存需求,同時(shí)最大限度地避免性能下降。
量化 - 通過(guò)降低模型中數(shù)值的精度來(lái)降低內(nèi)存負(fù)載,提高模型的推斷速度和能效。
知識(shí)蒸餾 - 將復(fù)雜模型的知識(shí)遷移到更緊湊的模型中,以模擬原始模型的行為和性能。
低秩分解 - 通過(guò)將高維數(shù)據(jù)分解為低維表示來(lái)壓縮高維數(shù)據(jù),以簡(jiǎn)化復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型,同時(shí)保留辨識(shí)特征。
使用邊緣 AI 減少對(duì)云計(jì)算的依賴
雖然邊緣 AI 可能不會(huì)完全取代基于云的計(jì)算,但處理日益增長(zhǎng)的海量數(shù)據(jù)的需求清楚地表明了一點(diǎn):工程師無(wú)法忽視當(dāng)今邊緣 AI 改變游戲規(guī)則的優(yōu)勢(shì)。邊緣 AI 的主要優(yōu)勢(shì)是實(shí)時(shí)的處理和決策,這會(huì)縮短延遲并降低與耗電和云處理相關(guān)聯(lián)的成本?;诰植繑?shù)據(jù)運(yùn)行推斷會(huì)減少發(fā)送到公共云、私有云或混合云進(jìn)行處理的原始數(shù)據(jù)。云服務(wù)在特定應(yīng)用中至關(guān)重要,并且可以通過(guò)在邊緣設(shè)備上運(yùn)行數(shù)據(jù)推斷來(lái)得到增強(qiáng)。
通過(guò)減少對(duì)持續(xù)互聯(lián)網(wǎng)連接的依賴,工程師能夠在許多行業(yè)更高效地實(shí)現(xiàn)邊緣 AI 模型?,F(xiàn)已有超出 400 個(gè)邊緣計(jì)算用例[4],涵蓋 19 個(gè)行業(yè)和 6 個(gè)技術(shù)領(lǐng)域。集成到邊緣設(shè)備中的 AI 模型在一些應(yīng)用中(例如汽車(chē)和醫(yī)學(xué))可能能夠拯救生命。
邊緣 AI 支持在設(shè)備上的實(shí)時(shí)智能決策,可顯著提高許多應(yīng)用的效率、響應(yīng)能力和自適應(yīng)性。
汽車(chē)安全關(guān)鍵型系統(tǒng)
汽車(chē)就是一個(gè)邊緣設(shè)備在本地收集和處理數(shù)據(jù)從而減少必須發(fā)送到云的數(shù)據(jù)量的一個(gè)示例。由于汽車(chē)電子控制單元 (ECU) 的自包含性質(zhì),數(shù)據(jù)處理必須在本地執(zhí)行,安全關(guān)鍵決策必須實(shí)時(shí)作出。汽車(chē) ECU 等邊緣設(shè)備上的機(jī)器學(xué)習(xí)模型通過(guò)使用實(shí)時(shí)數(shù)據(jù)來(lái)適應(yīng)路況并減少碰撞,從而確保乘客安全。
一家汽車(chē)制造商訓(xùn)練機(jī)器學(xué)習(xí)模型來(lái)檢測(cè)過(guò)度轉(zhuǎn)向 - 車(chē)輛后輪在轉(zhuǎn)彎時(shí)失去對(duì)路面的抓地力時(shí)會(huì)出現(xiàn)過(guò)度轉(zhuǎn)向。制造商采集了成千上萬(wàn)個(gè)與車(chē)輛加速度、轉(zhuǎn)向和偏航率(角速度)相關(guān)的數(shù)據(jù)點(diǎn)。通過(guò)將數(shù)據(jù)加載到 MATLAB 中,工程師可以使用 Statistics and Machine Learning Toolbox [5] 訓(xùn)練機(jī)器學(xué)習(xí)模型來(lái)識(shí)別過(guò)度轉(zhuǎn)向。然后,他們使用 MATLAB Coder [6] 將機(jī)器學(xué)習(xí)模型部署并集成到 ECU 中。
MATLAB 和 Simulink 的自動(dòng)代碼生成功能支持在嵌入式設(shè)備上進(jìn)行快速原型構(gòu)建和部署邊緣 AI 應(yīng)用,彌合理論和實(shí)踐之間的差距。
醫(yī)療器械中的實(shí)時(shí)決策
邊緣 AI 在醫(yī)療設(shè)備領(lǐng)域的一個(gè)優(yōu)勢(shì)是能夠快速作出決策。實(shí)時(shí)數(shù)據(jù)分析和異常檢測(cè)可實(shí)現(xiàn)及時(shí)干預(yù),并降低與威脅生命和長(zhǎng)期健康狀態(tài)相關(guān)聯(lián)的風(fēng)險(xiǎn)。醫(yī)療邊緣設(shè)備還可以與云中的應(yīng)用程序進(jìn)行通信以記錄數(shù)據(jù),而這不是一項(xiàng)時(shí)間敏感型任務(wù)。這樣,云計(jì)算并不會(huì)阻礙反而增強(qiáng)了邊緣設(shè)備上的數(shù)據(jù)推斷,從而創(chuàng)建了更加強(qiáng)大的設(shè)備網(wǎng)絡(luò)。
例如,某技術(shù)研究所研究小組為人工胰腺 (AP) 系統(tǒng)開(kāi)發(fā)了預(yù)測(cè)算法,可檢測(cè)即將發(fā)生的低血糖和高血糖。該小組創(chuàng)建了虛擬患者,并使用 MATLAB 模擬心率和能量消耗等生理信號(hào)。完整的算法部署在移動(dòng)設(shè)備上,該設(shè)備與胰島素泵、血糖監(jiān)測(cè)儀和可穿戴腕帶通信以實(shí)現(xiàn)有效的血糖濃度控制。最終,該研究小組創(chuàng)建了一個(gè)邊緣設(shè)備網(wǎng)絡(luò),作為一個(gè)集成的健康監(jiān)控系統(tǒng)協(xié)同工作。
結(jié)束語(yǔ)
工程師必須管理的數(shù)據(jù)量日益增長(zhǎng),邊緣 AI 的實(shí)現(xiàn)有助于保持運(yùn)營(yíng)和成本效率,同時(shí)減少對(duì)云處理的依賴。隨著工程師構(gòu)建云推斷和 AI 賦能技術(shù)的不斷發(fā)展,將 AI 集成到邊緣設(shè)備很快成為公司打造特色產(chǎn)品的必要條件。最重要的是,邊緣 AI 應(yīng)被視為云推斷的附加工具,而不是當(dāng)前基于 AI 的系統(tǒng)的替代或全面革新。通過(guò)在邊緣實(shí)現(xiàn) AI 并將云用于允許時(shí)間延遲的應(yīng)用,任何行業(yè)的工程師都可以擴(kuò)展其 AI 工具箱。
審核編輯:劉清
-
微控制器
+關(guān)注
關(guān)注
48文章
7552瀏覽量
151404 -
處理器
+關(guān)注
關(guān)注
68文章
19281瀏覽量
229789 -
集成電路
+關(guān)注
關(guān)注
5388文章
11545瀏覽量
361784 -
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2909文章
44625瀏覽量
373243 -
AI加速器
+關(guān)注
關(guān)注
1文章
69瀏覽量
8635
原文標(biāo)題:邊緣 AI:支持在物聯(lián)網(wǎng)設(shè)備上實(shí)現(xiàn)實(shí)時(shí)決策
文章出處:【微信號(hào):MATLAB,微信公眾號(hào):MATLAB】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論