瑞薩RZ/V2L預(yù)訓(xùn)練的人工智能模型

RZ/V2L MPU配備Cortex-A55 (1.2 GHz) CPU，內(nèi)置AI加速器“DRP-AI”，以提供更好的機器視覺處理性能，這是瑞薩的獨創(chuàng)技術(shù)?！癉RP-AI”由DRP和AI-MAC組成。它還配備一個16位的DDR3L/DDR4接口，具備內(nèi)置Arm Mali-G31的3D圖形引擎和視頻編解碼器（H.264）。

DRP-AI的卓越功率效率使其無需采取散熱措施（如散熱器或冷卻風(fēng)扇）。人工智能不僅可以在消費類電子產(chǎn)品和工業(yè)設(shè)備中經(jīng)濟高效實施，還可以在零售點（POS）終端等廣泛的應(yīng)用中實施。此外，DRP-AI還提供實時人工智能推理和圖像處理功能，具有支持攝像頭所必需的功能，如顏色校正和降噪。這使得客戶無需外部圖像信號處理器（ISP），即可實施基于人工智能的視覺應(yīng)用。

RZ/V2L還與RZ/G2L封裝和引腳兼容。這使得RZ/G2L用戶可輕松升級至RZ/V2L，以獲得額外的人工智能功能，而無需修改系統(tǒng)配置，從而保持低遷移成本。

點擊可查看大圖

今天我們?yōu)榇蠹医榻BRZ/V2L的另外一個預(yù)訓(xùn)練的人工智能模型——植物葉片病害分類模型，它可對38種不同的植物葉病/健康狀況進行分類。所開發(fā)的模型能夠從14種不同植物中識別出38種不同類型的植物病害。

它有3種運行模式，讓您根據(jù)不同場景靈活轉(zhuǎn)換。

1

從MIPI接口攝像頭輸入

2

從圖片文件輸入

3

從一個視頻文件輸入

示例運行效果

分類結(jié)果、推理時間（毫秒）、得分（%）顯示在左上角 每秒幀數(shù)（FPS）顯示在右上角

軟硬件需求

示例應(yīng)用程序的編譯

這是一個可選步驟，如果直接運行預(yù)編譯好的程序可以跳過此步驟。

在編譯之前請參考此處確保RZ/V2L AI SDK已經(jīng)準備就緒。

1

從github復(fù)制代碼到本地

建議將代碼復(fù)制到docker容器的data目錄中

cd 
git clone https://github.com/renesas-rz/rzv_ai_sdk.git

2

啟動docker

docker start -i rzv2l_ai_sdk_container

3

為rzv2l_ai_sdk_container掛載 data目錄

export PROJECT_PATH=/drp-ai_tvm/data/

4

進入示例源碼目錄

cd ${PROJECT_PATH}/rzv_ai_sdk/Q07_plant_disease_classification/src/

5

編譯源碼

mkdir -p build && cd build
cmake -DCMAKE_TOOLCHAIN_FILE=./toolchain/runtime.cmake ..
make -j$(nproc)

應(yīng)用程序plant_leaf_disease_classify應(yīng)該會出現(xiàn)在 src/build目錄中

應(yīng)用程序部署

將以下文件復(fù)制到SD卡的/home/root/tvm目錄下

● 示例exe目錄中的所有文件

●?如果應(yīng)用有修改，則需要從src/build目錄拷貝plant_leaf_disease_classify

運行示例應(yīng)用程序

當(dāng)輸入為MIPI Coral攝像頭時：

cd /home/root/tvm
./plant_leaf_disease_classify CAMERA

當(dāng)使用靜態(tài)圖片作為輸入時：

cd /home/root/tvm
./plant_leaf_disease_classify IMAGE sampleimg.jpg

當(dāng)使用視頻作為輸入時：

cd /home/root/tvm
./plant_leaf_disease_classify VIDEO plantvid.mp4

終止示例應(yīng)用程序

按esc鍵退出應(yīng)用程序

數(shù)據(jù)集new-plant-diseases-dataset

復(fù)制鏈接到瀏覽器中打開：

https://www.kaggle.com/datasets/vipoooool/new-plant-diseases-dataset

該數(shù)據(jù)集由約87K幅健康和患病作物葉片的rgb圖像組成，分為38個不同的類。整個數(shù)據(jù)集按80/20的比例分為訓(xùn)練集和驗證集，并創(chuàng)建了一個包含33幅測試圖像測試集。

AI推理時間

AI推理總時間（預(yù)處理+AI模型推理）- 110 ms

審核編輯：黃飛