淺談嵌入式視覺系統(tǒng)的核心——NPU

眼睛是大自然進(jìn)化杰作的結(jié)果。從感光視網(wǎng)膜到攜帶信息的視神經(jīng)，再到分析神經(jīng)系統(tǒng)——自然視覺是一項(xiàng)高度復(fù)雜的數(shù)據(jù)處理活動，它使用低功耗神經(jīng)網(wǎng)絡(luò)。對所見事物的智能抽象使人類和動物能夠在幾分之一秒內(nèi)得出結(jié)論，眼睛捕捉到的可見光與他們的生活有什么相關(guān)性。這種自然智能的杰作用了數(shù)百萬年的時(shí)間來進(jìn)化。人工智能 （AI） 系統(tǒng)的開發(fā)人員需要更快地實(shí)現(xiàn)這一壯舉。

因此，人工智能加速應(yīng)用程序的開發(fā)人員正在轉(zhuǎn)向緊湊型和預(yù)配置的嵌入式視覺套件，這些套件以節(jié)能的方式結(jié)合了經(jīng)過驗(yàn)證的人工智能硬件和軟件。目前，人們對專用邊緣計(jì)算解決方案特別感興趣。對于 AI 加速系統(tǒng)，這是根據(jù)圖像信息實(shí)時(shí)做出明智決策的神經(jīng)痛點(diǎn)。通過基于云的分析繞道而行需要更長的時(shí)間，并且取決于持續(xù)的網(wǎng)絡(luò)可用性。而在邊緣，您始終處于動作現(xiàn)場，這使得在幾分之一秒內(nèi)自動獲取和評估視覺圖像數(shù)據(jù)成為可能。

邊緣解決方案必須穩(wěn)健可靠

對于這種視覺邊緣計(jì)算系統(tǒng)來說，強(qiáng)大而可靠的硬件是絕對必要的，因?yàn)閿?shù)據(jù)無法在受保護(hù)的空調(diào)環(huán)境中處理，就像云計(jì)算一樣。無論是部署在戶外還是在野外，在車輛上旅行還是坐在制造車間，視覺邊緣計(jì)算系統(tǒng)都必須具有彈性。

對 AI 視覺的需求來自視覺應(yīng)用，例如農(nóng)業(yè)中的成熟水果檢測、制造業(yè)中的自動化產(chǎn)品檢測、樓宇自動化中的訪問控制或銷售點(diǎn)零售購物車中的產(chǎn)品識別?；谶吘壍膶?shí)時(shí)分析優(yōu)于人工檢查，因?yàn)樗恐?7 天、每天 24 小時(shí)工作。這些優(yōu)勢對于惡劣環(huán)境中的工業(yè)操作尤為重要。以監(jiān)控風(fēng)力渦輪機(jī)為例，或?qū)ιa(chǎn)過程進(jìn)行安全相關(guān)的視頻監(jiān)控。麥肯錫的一項(xiàng)研究發(fā)現(xiàn)，人工智能系統(tǒng)還可以通過預(yù)測性維護(hù)將工廠利用率和生產(chǎn)力提高多達(dá) 20%。帶有自動缺陷檢測的視覺質(zhì)量監(jiān)控甚至可以將生產(chǎn)率提高多達(dá) 50%。

所有這些應(yīng)用程序的共同點(diǎn)是，它們必須在提供的圖像、視頻或機(jī)器數(shù)據(jù)中找到模式以進(jìn)行決策。更重要的是，這些應(yīng)用程序必須能夠識別模式或?qū)ο螅词顾鼈兣c模型 100% 不匹配。例如，必須正確識別交通標(biāo)志，無論它是從哪個(gè)角度記錄的，或者是否有一半被雪或泥土覆蓋。這需要挖掘大量數(shù)據(jù)。

標(biāo)準(zhǔn) CPU 不適用于此類任務(wù)，因?yàn)樗鼈冡槍哂凶罡邤?shù)學(xué)正確性的一次計(jì)算過程進(jìn)行了優(yōu)化。因此需要另一種計(jì)算方法。人工智能需要人工神經(jīng)網(wǎng)絡(luò)來模仿大腦的直觀工作方式。與必須準(zhǔn)確計(jì)算所有內(nèi)容和每個(gè)點(diǎn)以做出決定相比，這使得識別和決策制定速度更快。

NPU——嵌入式視覺系統(tǒng)的核心

神經(jīng)形態(tài)處理器或神經(jīng)處理單元 （NPU） 對于為邊緣的深度學(xué)習(xí)和機(jī)器學(xué)習(xí)提供這種計(jì)算性能是必不可少的。NPU 擅長分析圖像和模式，使其成為 AI 加速嵌入式視覺系統(tǒng)的中央計(jì)算單元。受大腦神經(jīng)網(wǎng)絡(luò)架構(gòu)的啟發(fā)，神經(jīng)形態(tài)處理器是事件驅(qū)動的，只是偶爾需要電源。這意味著 NPU 僅消耗幾瓦，即使對于最高的計(jì)算和圖形任務(wù)也是如此。

NPU 是高度專業(yè)化的計(jì)算核心，經(jīng)過優(yōu)化以執(zhí)行機(jī)器學(xué)習(xí)算法。它們不僅可以處理高度并行的工作負(fù)載，還可以極快地計(jì)算重復(fù)性任務(wù)。這對于卷積神經(jīng)網(wǎng)絡(luò)很重要，因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)點(diǎn)必須在數(shù)千個(gè)范圍內(nèi)進(jìn)行折疊。例如：在全高清圖像中，大約需要處理 200 萬像素。這需要每秒處理許多操作 （OPS），而 NPU 需要實(shí)現(xiàn)每秒數(shù)萬億次操作 （TOPS） 的性能才能滿足邊緣計(jì)算要求。但是，即使是極其強(qiáng)大的 CPU 也無法提供這種性能，這怎么可能呢？在這里，另一個(gè)區(qū)別點(diǎn)開始發(fā)揮作用：單個(gè) AI 指令不像 x86 或 ARM CPU 等標(biāo)準(zhǔn)應(yīng)用處理器的指令集那么復(fù)雜。因此，每個(gè)計(jì)算步驟消耗的資源沒有 32 位或 64 位系統(tǒng)那么多。但最終，工程師在他們的應(yīng)用中需要兩者。

為邊緣定制的入門套裝

這就是為什么像 NXP 的 i.MX 8M Plus 這樣的處理器將這樣的 NPU 與四個(gè)標(biāo)準(zhǔn) Arm Cortex-A53 內(nèi)核和一個(gè) Arm Cortex-M7 控制器集成在一起，以構(gòu)建適合機(jī)器學(xué)習(xí)并可以高效執(zhí)行 AI 算法的應(yīng)用處理器。但在視覺應(yīng)用中，只有當(dāng)圖像以必要的質(zhì)量實(shí)時(shí)交付時(shí)，所有這些才有意義。因此，工程師還需要一個(gè)圖像信號處理器 （ISP），以便在采集過程中對圖像和視頻進(jìn)行預(yù)處理。這種預(yù)處理質(zhì)量越高，NPU 中的后處理就越準(zhǔn)確。因此，高質(zhì)量的 ISP 不僅適用于高性能工業(yè)圖像處理；在任何可以使用圖像處理算法來產(chǎn)生更好的視覺效果的地方，這都是一個(gè)福音。

人工智能加速的眼睛

另一個(gè)重點(diǎn)是如何接收視覺數(shù)據(jù)。視覺數(shù)據(jù)通信的一種渠道是 MIPI CSI-2.0。如果該接口也預(yù)集成在處理器中，則不需要額外的轉(zhuǎn)換器模塊。這不僅簡化了系統(tǒng)設(shè)計(jì)，而且還最大限度地減少了物理占用空間。小尺寸、低功耗和最小散熱是基于人工智能的邊緣視覺應(yīng)用的基本要求，適用于物流和農(nóng)業(yè)中的電池供電自動駕駛汽車等應(yīng)用。

同時(shí)，應(yīng)用程序還應(yīng)支持連接相機(jī)的不同通信標(biāo)準(zhǔn)，例如 USB 3 或 GigE 視覺，這些標(biāo)準(zhǔn)在機(jī)器人和質(zhì)量檢測的工業(yè)應(yīng)用中很常見。特別是 GigE 視覺允許相機(jī)和 NPU 之間的距離更長。例如，這對于公共汽車和火車中的視頻監(jiān)控應(yīng)用至關(guān)重要。

專為人機(jī)交互而設(shè)計(jì)

但是基于 NPU 的嵌入式視覺系統(tǒng)的應(yīng)用范圍遠(yuǎn)遠(yuǎn)超出了人或物體的識別。例如，手勢和情感識別與自然語言處理相結(jié)合，將人與機(jī)器之間的交互通信應(yīng)用提升到了一個(gè)新的水平。超短的響應(yīng)時(shí)間和精確的本地化有助于優(yōu)化工業(yè)制造中的機(jī)器人產(chǎn)品組裝或倉庫物流。并且配備了高安全標(biāo)準(zhǔn)，甚至可以在客戶服務(wù)或醫(yī)療保健等敏感領(lǐng)域找到應(yīng)用。

構(gòu)建塊靈活性

鑒于可能的嵌入式視覺應(yīng)用的多樣性，不言而喻，該領(lǐng)域的技術(shù)平臺必須允許開發(fā)定制應(yīng)用。一個(gè)通用的解決方案將不適合。因此，開發(fā)人員需要一組預(yù)配置的構(gòu)建塊，他們可以輕松地適應(yīng)他們的個(gè)人需求。這些不僅應(yīng)包括硬件組件，還應(yīng)包括軟件支持。

在硬件方面，采用模塊化計(jì)算機(jī)的模塊化方法是一種廣泛使用且高效的設(shè)計(jì)原則。計(jì)算機(jī)模塊將所有必需的組件集成在一個(gè)應(yīng)用就緒的構(gòu)建塊中：具有集成 NPU、ISP 和 MIPI CSI-2.0 支持的 SoC，例如 NXP 的 i.MX 8M Plus、RAM 和用于 USB 等附加接口的通用控制器，以太網(wǎng)和 MMC 在一個(gè)具有可擴(kuò)展性能的標(biāo)準(zhǔn)化模塊上。整個(gè)構(gòu)建塊被插入到特定應(yīng)用的載板上，該載板只執(zhí)行所需的外部接口，并且可以很容易地設(shè)計(jì)成適合所需的物理尺寸和堅(jiān)固性。

定制視覺

如果這些模塊不僅帶有標(biāo)準(zhǔn)的 BSP，而且還帶有對中間件和應(yīng)用程序級別的全面軟件支持，那么這些模塊的設(shè)計(jì)是最容易的。為了獲得最大的靈活性，開發(fā)人員還需要預(yù)配置工具，例如可用于 MIPI CSI-2.0 以及 USB 3 或 GigE 等其他工業(yè)相機(jī)標(biāo)準(zhǔn)的視覺相機(jī) SDK。軟件解決方案應(yīng)集成推理引擎和庫，例如 Arm 神經(jīng)網(wǎng)絡(luò) （NN） 和基于開源的 TensorFlow Lite，以最有效地提供所需的 AI 發(fā)現(xiàn)。恩智浦 eIQ 機(jī)器學(xué)習(xí)環(huán)境等軟件開發(fā)平臺為開發(fā)人員提供了適用于恩智浦微處理器和微控制器的專用庫和開發(fā)工具。

憑借其 AI 入門套件（參見圖 1），康佳特制作了一個(gè)具有集成軟件支持的模塊，可用于加速 NXP 處理器的實(shí)施。

該套件的核心是一個(gè)信用卡大小的 SMARC 2.1 計(jì)算機(jī)模塊 （COM）（圖 2）。該模塊基于 i.MX 8M Plus 處理器，可讓開發(fā)人員快速、安全地將 AI 視覺引入其邊緣應(yīng)用程序。

該模塊適用于 -40 至 +85°C 溫度范圍內(nèi)的工業(yè)應(yīng)用，工作功耗低，僅為 2 至 6 瓦，并帶有被動冷卻功能。這使其非常適合各種戶外和移動車輛應(yīng)用。

結(jié)論

嵌入式視覺的集成對于人工智能加速系統(tǒng)的成功至關(guān)重要——無論它們部署在自動駕駛汽車、視頻監(jiān)控?cái)z像頭還是協(xié)作機(jī)器人中。開發(fā)人員可以使用預(yù)配置的嵌入式視覺構(gòu)建模塊（例如康佳特的 AI 入門套件）更輕松、更快速地創(chuàng)建自定義解決方案?？导烟嘏c Basler 合作開發(fā)的這個(gè)構(gòu)建模塊平臺將 NXP i.MX 8 Plus 處理器與其集成的神經(jīng)處理單元 （NPU） 相結(jié)合。

Martin Danzer是康佳特的產(chǎn)品管理總監(jiān)。他在德根多夫技術(shù)大學(xué)學(xué)習(xí)電氣工程，在計(jì)算機(jī)模塊的技術(shù)服務(wù)、開發(fā)管理和產(chǎn)品管理方面擁有 20 多年的經(jīng)驗(yàn)，包括他在 Kontron 和 JUMPtec AG 的時(shí)間。