點亮深度學(xué)習(xí)技能？讓嵌入式平臺來點升級吧

隨著機器視覺在深度學(xué)習(xí) (DL) 方法的推動下持續(xù)發(fā)展，我們在自動化和缺陷檢測領(lǐng)域打開了通向無數(shù)可能性的大門。在嵌入式系統(tǒng)中集成深度學(xué)習(xí)有望實現(xiàn)變革，特別是在涉及機器人、自動駕駛汽車和工業(yè)流程的場景中。從智能門鈴之類的自主活動到諸如使用無人機進行缺陷檢測的復(fù)雜任務(wù)，結(jié)合更高端的機器視覺方法可提高這些智能設(shè)備的智能程度，讓以前無法實現(xiàn)的功能成為現(xiàn)實。不過，這種融合本身也存在一系列挑戰(zhàn)，包括延遲、能效、安全性和隱私性。要滿足這些需求，就要仔細選擇合適的算法、嵌入式系統(tǒng)的適應(yīng)和部署策略，為創(chuàng)造更加智能、響應(yīng)更敏捷的世界鋪平道路。

Machine Vision

深度學(xué)習(xí)在嵌入式機器視覺中的應(yīng)用

隨著機器視覺的改進和基于深度學(xué)習(xí)的方法在自動化和缺陷檢測工藝中取得長足進步，許多應(yīng)用從集成深度學(xué)習(xí)技術(shù)中受益匪淺。工業(yè)自動化和家居自動化流程（特別是那些涉及武器、車輛或其他機器人元素的流程）從觀察、理解和響應(yīng)其環(huán)境以完成一系列動作的能力中受益頗多。

由于這些智能設(shè)備和嵌入式系統(tǒng)的工作環(huán)境復(fù)雜多變，因此越來越有必要在機器視覺中使用深度學(xué)習(xí)方法。這種增強的智能化水平可用于完成自主活動，如送貨、地面維護、智能門鈴和樓宇門禁、吸塵、制造和倉庫打包。這些應(yīng)用的其中一部分也涉及監(jiān)控和缺陷檢測。

對于使用無人機或其他小型自動駕駛車輛檢測管道、電線、信號塔和其他資產(chǎn)是否存在缺陷等應(yīng)用，添加基于深度學(xué)習(xí)的機器視覺也可以提高效率。有了足夠的數(shù)據(jù)，這些模型就不那么脆弱，在不同條件下比傳統(tǒng)的機器視覺模型表現(xiàn)得更加穩(wěn)健。

然而，將深度學(xué)習(xí)引入機器視覺不僅成本高昂，還要考慮幾個能夠決定成功與否的計算和硬件要求。由于這些應(yīng)用需要實時檢測、分類和響應(yīng)自動化流程中的缺陷或其他感興趣的對象，通過網(wǎng)絡(luò)發(fā)送數(shù)據(jù)以獲得結(jié)果的時間就常常很有限。

因此，一旦將模型部署到設(shè)備上，所選擇的硬件就需要具有較低的深度學(xué)習(xí)推理延遲。而且，根據(jù)具體應(yīng)用，電源效率也可能是一個考慮因素，特別是對于像無人機或探測器這種使用內(nèi)置電源執(zhí)行檢測工作的自動駕駛車輛。它們在充滿電后的持續(xù)工作時間越長，工作效率就越高。由于深度學(xué)習(xí)需要大量的計算功能，因此確保其高效運行并對所使用硬件進行低功耗優(yōu)化就十分關(guān)鍵。

嵌入式系統(tǒng)，如NXP Semiconductors i.MX 8M Plus評估套件，專門針對以上要求而設(shè)計，可以在不影響電源效率的前提下，將強大的人工智能加速功能納入設(shè)計當(dāng)中。這些應(yīng)用的其他重要需求還包括安全性和隱私性。例如，在家居自動化應(yīng)用或資產(chǎn)缺陷檢測中，通常需要將數(shù)據(jù)保存在設(shè)備上（而不是共享到云端），或者需要確保流經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)和通信完全加密。

當(dāng)期望在自主機器人或車輛上實時運行這些算法時，直接集成高質(zhì)量、低延遲、穩(wěn)健的傳感器數(shù)據(jù)用于機器視覺也至關(guān)重要，這一點應(yīng)反映在硬件的選擇上。

Machine Vision

嵌入式系統(tǒng)的算法選擇

這些機器視覺應(yīng)用的深度學(xué)習(xí)算法選擇在很大程度上要受上述要求的影響。設(shè)計人員需要特別注意磁盤上的模型大小、內(nèi)存和推理延遲。對于任何涉及從相機數(shù)據(jù)流中檢測物體（例如缺陷、人、汽車、動物）的情況，都可能存在一個對大多數(shù)視覺輸入有著廣泛理解的預(yù)先訓(xùn)練或“基礎(chǔ)”模型。這些開源模型會接觸大量的數(shù)據(jù)，并且可以擴展到更細微的應(yīng)用。

但是，當(dāng)需要執(zhí)行的任務(wù)與用于訓(xùn)練模型的任務(wù)顯著不同時，性能測試就變得十分重要。例如，與識別人或汽車的任務(wù)相比，識別電線缺陷或管道內(nèi)部缺陷的任務(wù)就涉及不同的對象和數(shù)據(jù)。

設(shè)計人員還應(yīng)確保預(yù)先訓(xùn)練的模型架構(gòu)針對嵌入式設(shè)備進行了優(yōu)化。具體而言，應(yīng)該選擇一個足以在設(shè)備上運行的超小模型架構(gòu)——目標(biāo)為一個兆字節(jié)（而不是千兆字節(jié)）大小的模型。此外，模型的加載和使用不應(yīng)過于緩慢，通常較大的模型才會出現(xiàn)這種情況。一般來說，已經(jīng)采用了特定的技術(shù)來優(yōu)化這些架構(gòu)和模型權(quán)重，例如，權(quán)重剪枝或量化有助于在保持性能的同時縮小尺寸和降低復(fù)雜性。

選擇嵌入式深度學(xué)習(xí)視覺模型還需要確保格式相對標(biāo)準(zhǔn)（如TensorFlow Lite），以便可能直接將其轉(zhuǎn)換為設(shè)備的需求。幸運的是，開源視覺模型的可用廣度意味著從頭開始設(shè)計和訓(xùn)練深度學(xué)習(xí)模型在很大程度上已成為過去。

Machine Vision

使模型適應(yīng)既定應(yīng)用

在評估嵌入式模型用于機器視覺的適用性時，某些特定應(yīng)用的性能可能并不理想。這可能緣于原始訓(xùn)練數(shù)據(jù)分布（例如獲取設(shè)備和條件）與應(yīng)用期望的實際數(shù)據(jù)之間存在差異。此外，應(yīng)用可能存在基礎(chǔ)模型，但是它們可以檢測到的對象類型并不完全符合要求。

例如，執(zhí)行對象檢測的標(biāo)準(zhǔn)模型可能不包含缺陷或不常見興趣對象所屬的特定類別。在這兩種情況下，設(shè)計人員都應(yīng)該通過微調(diào)或重新訓(xùn)練來調(diào)整模型，以提高性能或適應(yīng)目標(biāo)任務(wù)所需的類別。這樣做需要根據(jù)應(yīng)用的識別和分類需求標(biāo)記新的數(shù)據(jù)。這些數(shù)據(jù)采用開源數(shù)據(jù)集的形式，與從實際資產(chǎn)中獲得的領(lǐng)域預(yù)期數(shù)據(jù)或自定義數(shù)據(jù)相似或一致，并根據(jù)需要進行標(biāo)記。

找到合適的數(shù)據(jù)標(biāo)記平臺簡化這一過程，如Labelbox或Label Studio，并將標(biāo)注保持為深度學(xué)習(xí)的標(biāo)準(zhǔn)格式。一旦更新的模型執(zhí)行到所需的級別，就可以開始部署。

Machine Vision

部署嵌入式模型

由于嵌入式系統(tǒng)有大量可用的模型格式，因此選擇具有集成軟件的硬件非常重要，這樣可以簡化模型移植。移植模型的第一步是編寫數(shù)據(jù)預(yù)處理所需的代碼，或者讓圖像處理應(yīng)用利用已經(jīng)包含這些代碼的嵌入式系統(tǒng)。

例如，NXP i.MX 8M Plus評估套件與NXP eIQ機器學(xué)習(xí)軟件配合使用，其中包括機器視覺預(yù)處理管道，作為深度學(xué)習(xí)軟件的一部分部署到板上。這些預(yù)處理步驟通常包括將原始像素流轉(zhuǎn)換為RGB以及調(diào)整幀大小或裁剪幀。同樣，在模型推斷之后，可能需要一些后處理，例如將邊界框覆蓋在觀看設(shè)備（如LCD屏幕）的相機輸入上。

下一步是將模型轉(zhuǎn)換為所需的格式，以便在嵌入式設(shè)備上運行，提供實時推理。這通常涉及將模型轉(zhuǎn)換為標(biāo)準(zhǔn)格式，如開放神經(jīng)網(wǎng)絡(luò)交換 (ONNX) 格式，這樣更便于優(yōu)化硬件。接下來，模型和相鄰的代碼將打包到目標(biāo)設(shè)備的機器可執(zhí)行二進制文件中，生成一個捆綁包。有好幾個開源編譯器都可以完成這項任務(wù)，比如Facebook的Glow。此步驟的輸出可以部署到用于給定應(yīng)用的嵌入式系統(tǒng)中。由于移植模型的過程很復(fù)雜，涉及到上述部分的諸多子步驟，因此通常建議選擇一個包含軟件的嵌入式平臺，以便更快捷、更簡便地進行移植。

例如，NXP i.MX 8M Plus評估套件就是一款包含eIQ軟件包的可編程套件，簡單的點擊操作就可以完成所有這些步驟。一旦設(shè)備運行了模型推理引擎，其輸出就可用于目標(biāo)應(yīng)用——缺陷檢測、工業(yè)自動化等。

Machine Vision

結(jié)語

在嵌入式系統(tǒng)的計算機視覺中集成深度學(xué)習(xí)功能可以比傳統(tǒng)方法實現(xiàn)更復(fù)雜、更具創(chuàng)新性的應(yīng)用。潛在的受益范圍包括家居和工業(yè)自動化以及各個領(lǐng)域的缺陷檢測。不過，這項工作需要仔細考慮延遲、能效、安全性和隱私等挑戰(zhàn)，特別是在選擇硬件時。算法的選擇和改造也是確保目標(biāo)應(yīng)用性能優(yōu)化的重要步驟。甚至嵌入式模型的部署也是一個精細的過程，需要合適的硬件和軟件才能實現(xiàn)流暢的轉(zhuǎn)換。

最終，這種融合將為需要計算機視覺的嵌入式應(yīng)用造就一個效率與創(chuàng)新齊飛的新時代。