將現(xiàn)有的Jetson Nano項目移植到TI SK-TDA4VM

描述

邊緣機器學(xué)習(xí)應(yīng)用

功能強大但低功耗的單板計算機的出現(xiàn)意味著每個步驟都可以在設(shè)備本身上完成，而不是像在典型的機器學(xué)習(xí)工作流程中那樣在本地收集數(shù)據(jù)并將其發(fā)送到云端進行處理和推理。這意味著工業(yè)監(jiān)控、健康跟蹤和自動化農(nóng)業(yè)等應(yīng)用都可以變得更加高效和準確。

SK-TDA4VM 和 Jetson Nano

NVIDIA 的 Jetson Nano 開發(fā)套件于 2019 年發(fā)布，配備 128 核 Maxwell GPU 以及主頻為 1.43GHz 的四核 ARM A57 CPU。此外，該套件還具有 4GB LPDDR4 內(nèi)存、HDMI/顯示端口連接器、千兆以太網(wǎng)和四個 USB 3.0 端口以及一個 40 針 GPIO 接頭和雙 CSI 攝像頭連接器。

?

相反，德州儀器 (TI) 的 SK-TDA4VM 套件包含雙核 Arm Cortex-A72 CPU、DSP、深度學(xué)習(xí)、視覺和多媒體加速器、4GB LPDDR4 內(nèi)存、四個 USB 端口、千兆以太網(wǎng)和 HDMI/Display Port 顯示輸出. 要添加更多攝像頭，沿邊緣有兩個 CSI 攝像頭連接器，在板的底部還有一個 40 針 Semtec 連接器。與 Jetson Nano 不同，SK-TDA4VM 包含一個用于 WiFi/藍牙卡的 M.2 E-key 插槽和一個用于 SSD 或其他 PCIe x 4 設(shè)備的 M.2 M-key 插槽。查看之前的入門指南，了解有關(guān)如何設(shè)置套件和運行簡單演示的更多信息。

?

現(xiàn)有項目

該項目的起點是使用 JetPack4.5 用 Python 3.6編寫的一個簡單示例，它從 COCO17 數(shù)據(jù)集中獲取 20 張調(diào)整大小的圖像，并將它們傳遞到從 TensorFlow 網(wǎng)站獲取的SSD MobileNet V1 TensorFlow Lite 模型。一旦設(shè)置了輸入數(shù)據(jù)，Jetson Nano 就會在 CPU 上運行 TFLite 解釋器，并計算輸出結(jié)果所需的時間。在以 5W 的最大功耗運行總共 20 次迭代后，平均運行時間為223milliseconds每次推理。應(yīng)該注意的是，由于 Jetson Nano 上的 TFLite 模型的功耗有限且缺乏 GPU 計算，這個數(shù)字高于優(yōu)化運行時的數(shù)字。

?

編譯優(yōu)化的 TensorFlow 模型

TDA4VM 的架構(gòu)要求現(xiàn)有的預(yù)訓(xùn)練機器學(xué)習(xí)模型（例如.tflite文件）必須先經(jīng)過編譯才能在硬件上運行，以利用硬件加速器。正如我在入門指南中看到的那樣，TI 提供了一個模型動物園，可以從中以正確的格式下載預(yù)訓(xùn)練模型。它們不僅包括.tflite文件，還param.yaml包括包含有關(guān)模型和各種其他工件的信息的文件。

為了導(dǎo)入自定義的 TensorFlow Lite 模型，必須首先設(shè)置編譯環(huán)境。該工具集已針對在 x86 或 aarch64 架構(gòu)上運行的 Ubuntu 18.04 進行了驗證。我能夠在 Windows 10 上的WSL 2下安裝 Linux 環(huán)境，以簡化設(shè)置過程。從這里，我運行了以下命令來克隆存儲庫并配置文件夾：

$ git clone https://github.com/TexasInstruments/edgeai-tidl-tools.git
$ cd edgeai-tidl-tools

在執(zhí)行下面的腳本之前，我編輯了 requirements_pc.txt 文件以將行更改onnx為onnx==1.4.1，因為安裝最新版本時出現(xiàn)問題。

$ source ./setup.sh --skip_cpp_deps

如果出現(xiàn)提示，請選擇J721E作為目標設(shè)備。跑步

$ ./scripts/run_python_examples.sh

以確保編譯成功。此外，查看./model-artifacts和./models目錄以查看生成的工件。

為了編譯模型，首先導(dǎo)航到examples/osrt_python目錄并打開model_configs.py文件。要添加新條目，只需在字典中附加模型參數(shù)，同時更改model_path以反映模型的存儲位置。例如，這是我的 SSD_MobileNet_V1 TensorFlow Lite 模型的條目：

'od-tfl-ssd_mobilenet_v1_1' : {
    'model_path' : os.path.join(models_base_path,'ssd_mobilenet_v1_1_metadata_1.tflite'),
    'mean': [127.5, 127.5, 127.5],
    'scale' : [1/127.5, 1/127.5, 1/127.5],
    'num_images' : numImages,
    'num_classes': 91,
    'model_type': 'od',
    'session_name' : 'tflitert',
    'od_type' : 'HasDetectionPostProcLayer'
}

如果您的模型屬于不同類型，還可以檢查列出的許多其他條目。編輯第 231 行tfl/tflrt_delegate.py以用新添加的條目替換現(xiàn)有的條目數(shù)組，然后運行

$ cd tfl
$ python3 tflrt_delegate.py -c

在不運行推理的情況下編譯模型。需要注意的是，TIDL 提供了多種部署選項，涵蓋 TFLite、ONNX 和 TVM/Neo-AI 運行時。有關(guān)詳細信息，請參閱此處存儲庫中的 README 文件。

整合模型

現(xiàn)在模型已經(jīng)編譯，來自相應(yīng)文件夾/文件的工件model-artifacts可以models通過 SFTP 復(fù)制到 TDA4VM 套件。就像 Jetson Nano 程序一樣，為 SK-TDA4VM 編寫的 Python 代碼會創(chuàng)建多個隨機圖像，并將它們作為輸入傳遞給 tflite 模型，同時計算推理所需的時間。對于其他項目，/opt/edge_ai_apps/apps_python默認 SK-TDA4VM 操作系統(tǒng)映像附帶的 Python 演示應(yīng)用程序是一個很好的起點。

性能比較

平均而言，TDA4VM 能夠使用相同的 320x320 UINT8 圖像執(zhí)行推理9 milliseconds，由于其板載加速器硬件，與 Jetson Nano 相比，速度提高了 24 倍。如需更詳細的推理數(shù)據(jù)，包括結(jié)果和性能指標，您可以將以下目錄復(fù)制到 TDA4VM 初學(xué)者工具包的本地安裝的 repo中：

./model-artifacts
./models
./dockers/J721E/PSDKRA/setup.sh

然后運行腳本：

$ cd examples/osrt_python/tfl
$ python3 tflrt_delegate.py

可以按照 edgeai-benchmark 存儲庫中的說明對準確性進行基準測試。有關(guān) TIDL 工具和 SDK 的更多信息，請務(wù)必查看存儲庫和SK-TDA4VM 套件的文檔。

更進一步

Edge Impulse不是獲取預(yù)訓(xùn)練的 TensorFlow 模型，將其轉(zhuǎn)換為 TensorFlow Lite，然后使用 TIDL 實用程序生成工件，而是使其變得極其簡單，因為項目只需單擊一個按鈕即可部署模型。此存儲庫包含有關(guān)創(chuàng)建新項目、下載訓(xùn)練數(shù)據(jù)、構(gòu)建自定義學(xué)習(xí)塊以及運行 Docker 容器以輸出訓(xùn)練tflite和onnx模型的說明。edge -impulse-linux-runner 命令會將優(yōu)化模型下載到設(shè)備并開始分類，并在網(wǎng)絡(luò)瀏覽器中提供輸出。