Jetson 百萬開發(fā)者故事 | 基于 Jetson Nano 的便攜式巖石分類檢測系統(tǒng)：地質(zhì)學(xué)家的新利器

巖石的探測和識別在地質(zhì)勘探中是非常重要的環(huán)節(jié)。那些曾經(jīng)冒險探險的地質(zhì)學(xué)家們不畏艱辛，深入山林探索未知的地區(qū)，收集巖石樣本進(jìn)行分析，為我們更好地認(rèn)識地球的內(nèi)部構(gòu)造作出了巨大的貢獻(xiàn)。然而傳統(tǒng)的檢測算法過分依賴于復(fù)雜的特征工程和地質(zhì)學(xué)專業(yè)知識，無法滿足現(xiàn)代檢測的要求。近年來，基于深度學(xué)習(xí)的算法在目標(biāo)檢測、圖像處理和識別等方面取得了重大突破，因此，基于深度學(xué)習(xí)理論的巖石分類檢測系統(tǒng)的研發(fā)是必要的。另一方面，使用傳統(tǒng)檢測方法也會導(dǎo)致檢測儀器不夠小巧和便捷，有較強(qiáng)的環(huán)境局限性，于是，來自湖北工程學(xué)院數(shù)學(xué)與統(tǒng)計學(xué)院的學(xué)生團(tuán)隊，在導(dǎo)師張?zhí)旆驳膸ьI(lǐng)下，決定設(shè)計一款適合野外作業(yè)的便攜式巖石分類檢測系統(tǒng)。

張?zhí)旆怖蠋熀退膶W(xué)生團(tuán)隊

首先，這個系統(tǒng)必須具備高度的便攜性和穩(wěn)定性，以適應(yīng)地質(zhì)領(lǐng)域的工作性質(zhì)，同時實現(xiàn)離線檢測功能，解決環(huán)境局限性問題，使野外作業(yè)人員在通訊信號差的地方依靠離線知識庫實現(xiàn)快速、準(zhǔn)確的檢測。同時，該系統(tǒng)還會具有自動識別巖石種類的能力，讓非專業(yè)人員也可以使用，輔助專業(yè)人員可以更為準(zhǔn)確地做出判定。

有要求，就有挑戰(zhàn)

團(tuán)隊面臨的問題集中在：一，野外作業(yè)環(huán)境限制了攜帶設(shè)備的體積與重量，在電池供電的條件下更是限制了相關(guān)硬件的性能。需保證受限硬件條件下，兼顧巖石分類系統(tǒng)的性能與精度；二，在野外通訊條件受限的環(huán)境下，需要動態(tài)更新便攜設(shè)備中的算法、模型，以提高野外作業(yè)的靈活性與適應(yīng)性。

“我們參加了幾次由NVIDIA 開發(fā)者社區(qū)舉辦的Sky Hackathon大賽后，發(fā)現(xiàn) NVIDIA 提供的Jetson Nano比賽平臺很符合我們的要求，而且NVIDIA TAO工具套件可以幫助我們較快地完成軟件上的開發(fā)?！睆?zhí)旆怖蠋煴硎尽?/p>

搭建原型機(jī)

團(tuán)隊很快搭建出了原型方案。此裝置擬實現(xiàn)的功能與所具特色：一是便攜，采用 10.1 寸（265×170）的可觸摸電容顯示屏，方便野外作業(yè)人員攜帶和操作，減少了外設(shè)和負(fù)重；二是離線檢測，以 Jetson Nano 高性能低功耗嵌入式設(shè)備為載體實現(xiàn)離線檢測；三是自動識別巖石種類，在后方實驗室訓(xùn)練完成的模型可由 NVIDIA TAO 工具套件動態(tài)部署到 Jetson Nano 邊緣設(shè)備，使其能夠不斷更新自動識別巖石的算法。

圖一 原型機(jī)實現(xiàn)功能的總體流程

為了滿足“小型-便攜”這一基本設(shè)計需求，團(tuán)隊成員經(jīng)過多次修改，最終確定了原型機(jī)的硬件設(shè)計，即將 NVIDIA Jetson Nano、顯示器驅(qū)動板、電源和圖像傳感器進(jìn)行集成，利用 3D 打印機(jī)，制作出了原型產(chǎn)品。

圖二 原型機(jī)的正面

模型訓(xùn)練與部署

巖石分類檢測系統(tǒng)基于 EffinicentV2 模型，團(tuán)隊使用了 NVIDIA TAO 工具套件中的模型訓(xùn)練工具來訓(xùn)練 EfficientV2 模型，并使用模型轉(zhuǎn)換工具將訓(xùn)練好的模型轉(zhuǎn)換為TensorRT格式，以便于在 Jetson Nano 邊緣設(shè)備上部署和加速推理。此外，團(tuán)隊還使用了 NVIDIA TAO 工具套件中的數(shù)據(jù)增強(qiáng)工具來增強(qiáng)數(shù)據(jù)集，以提高模型的魯棒性和泛化能力。通過不斷調(diào)整參數(shù)和數(shù)據(jù)集，最后的推理評價為：總體正確率達(dá)到 94.36%。

模型訓(xùn)練完成，部署在配置微型攝像頭的 NVIDIA Jetson Nano 上，使用可觸摸屏幕與其連接。系統(tǒng)通過攝像頭獲取需要分析的圖像數(shù)據(jù)，獲取后將其輸送到系統(tǒng)內(nèi)部，用戶通過 UI 界面與巖石分類模型進(jìn)行交互，數(shù)據(jù)被傳輸給巖石分類模型，模型使用圖像處理與識別技術(shù)進(jìn)行識別與分析，最后以圖表形式顯示巖石分類結(jié)果。

圖三 原型機(jī)的系統(tǒng)啟動展示

圖四 原型機(jī)的系統(tǒng)分析結(jié)果展示

“NVIDIA Jetson Nano 靈活的軟件和完整的框架支持，以及較高的內(nèi)存容量和統(tǒng)一的內(nèi)存子系統(tǒng)，使其能夠同時運(yùn)行各種不同的網(wǎng)絡(luò)，達(dá)到全高清分辨率，可以讓學(xué)生們在短時間內(nèi)嘗試各種 AI 模型，并且完成一個 AI 原型產(chǎn)品，高效地鍛煉了學(xué)生們的 AI 場景落地能力?！睆?zhí)旆怖蠋熢u價說：“在 AI 技術(shù)不斷發(fā)展的時代背景下，能讓學(xué)生們迎頭趕上技術(shù)發(fā)展的大趨勢是很重要的！”

張?zhí)旆怖蠋熣f：“對于那些正在使用 NVIDIA Jetson 系列嵌入式 AI 產(chǎn)品進(jìn)行開發(fā)的開發(fā)者們，我想給出的建議是要善于利用 NVIDIA 提供的開發(fā)工具和 SDK，例如 NVIDIA TAO 工具套件，NVIDIADeepStream，NVIDIA NeMo等，以便根據(jù)不同的應(yīng)用領(lǐng)域，更加高效地進(jìn)行模型訓(xùn)練、推理和優(yōu)化。另外，還要密切關(guān)注新的 AI 技術(shù)和應(yīng)用趨勢，及時掌握最新的開發(fā)技能和經(jīng)驗，不斷完善和優(yōu)化自己的 AI 應(yīng)用方案，為實現(xiàn)更高效、更智能的應(yīng)用奠定堅實的基礎(chǔ)。希望這些建議對 Jetson 嵌入式 AI 產(chǎn)品開發(fā)者有所幫助，能夠更好地發(fā)揮 Jetson 系列產(chǎn)品的潛力，開發(fā)出更為出色的 AI 應(yīng)用?！?/p>

*本文中圖片均由湖北工程學(xué)院數(shù)學(xué)與統(tǒng)計學(xué)院張?zhí)旆怖蠋焾F(tuán)隊提供，如果您有任何疑問或需要使用本文中圖片，請聯(lián)系該團(tuán)隊。