在 Duo S 上使用 TDL SDK 高效部署人臉檢測模型

以下文章來源于MilkV

TDL SDK 是一款集成算法開發(fā)包，提供了便捷的編程接口，使開發(fā)者們能夠更快、高效地將各種深度學(xué)習(xí)技術(shù)應(yīng)用于自己的產(chǎn)品和服務(wù)中。無論開發(fā)者是否是深度學(xué)習(xí)領(lǐng)域的專家，有了TDL SDK作為助手，都能輕松構(gòu)建智能應(yīng)用。

Milk-V DuoS 是 Duo 的升級型號，升級了 SG2000 主控，擁有更大的內(nèi)存（512MB）和更多的 IO 接口。它集成了 WI-FI 6/BT 5 無線功能，并配備 USB 2.0 HOST 接口和 100Mbps 以太網(wǎng)端口，方便用戶使用。它支持雙攝像頭（2x MIPI CSI 2 通道）和 MIPI 視頻輸出（MIPI DSI 4 通道），可實(shí)現(xiàn)多種應(yīng)用。DuoS 還支持通過開關(guān)在 RISC-V 和 ARM 啟動之間切換。通過性能和接口的增強(qiáng)，DuoS 更適合各種場景和更復(fù)雜的項(xiàng)目開發(fā)需求。

結(jié)合TDL SDK的強(qiáng)大功能，您可以輕松地在Milk-V Duo S上部署人臉檢測等眾多AI模型，實(shí)現(xiàn)精準(zhǔn)的人臉識別和應(yīng)用。

一、Milk-V DuoS的準(zhǔn)備：

1、啟動DuoS可以參考

https://milkv.io/zh/docs/duo/getting-started/boot

使用BalenaEtcher、Win32DiskImager等工具將官方鏡像

(https://github.com/milkv-duo/duo-buildroot-sdk/releases/download/Duo-V1.1.1/milkv-duos-sd-v1.1.1-2024-0528.img.zip)

燒錄到SD卡中，將SD卡插入DuoS卡槽，然后再使用電腦USB用Type-c線連接DuoS，當(dāng)DuoS上藍(lán)燈閃爍說明系統(tǒng)正常運(yùn)行。

2、設(shè)置DuoS的工作環(huán)境可以參考

https://milkv.io/zh/docs/duo/getting-started/setup

通過Type-C線將DuoS與Windows電腦連接，配置好網(wǎng)絡(luò)環(huán)境，打開Windows PowerShell輸入ssh root@192.168.42.1，輸入密碼milkv進(jìn)入DuoS終端。也可以使用Mobaxterm等工具進(jìn)入DuoS終端。

3、攝像頭接入DuoS可以參考https://milkv.io/zh/docs/duo/camera/gc2083

攝像頭的連接方式如下圖：

測試攝像頭是否正常，可以在DuoS終端輸入camera-test.sh，攝像頭正常運(yùn)行的情況下可以在終端末尾看到如下信息，說明攝像頭接入成功。

二、TDL SDK的編譯：

TDL SDK需要在PC主機(jī)的 Linux 環(huán)境下進(jìn)行交叉編譯。以下操作在PC主機(jī)的Linux環(huán)境下進(jìn)行：

1、下載交叉編譯工具鏈并配置環(huán)境變量（下載時注意網(wǎng)絡(luò)流暢）：

Wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/23/03/07/16/host-tools.tar.gztar xvf host-tools.tar.gzcd host-toolsexport PATH=$PATH:$(pwd)/gcc/riscv64-linux-musl-x86_64/bi

驗(yàn)證工具鏈?zhǔn)欠窨捎茫?/p>

riscv64-unknown-linux-musl-gcc -v

能夠正常顯示交叉編譯工具鏈的版本信息，即工具鏈可用：

2、編譯 cvitek-tdl-sdk。首先我們需要在算能的開發(fā)者論壇https://developer.sophgo.com/thread/556.html下載我們的TDL SDK 或者在git-hub上下載https://github.com/milkv-duo/cvitek-tdl-sdk-sg200x.git

gitclonehttps://github.com/milkv-duo/cvitek-tdl-sdk-sg200x.git/* 進(jìn)入到cvitek_tdl_sdk的sample目錄下并執(zhí)行一鍵編譯*/cd samplechmod 777 compile_sample.sh./compile_sample.sh

生成的示例程序位于相應(yīng)的子目錄中，例如人臉檢測示例在sample/cvi_tdl/sample_vi_fd。

三、人臉檢測模型部署：

接下來我們以人臉檢測模型為例子，使用TDL SDK生成的人臉檢測程序在DuoS上部署人臉檢測模型：

1、將TDL SDK生成的人臉檢測程序和人臉檢測的模型文件上傳到DuoS中，TDL SDK生成的人臉檢測程序位于smaple/cvi_tdl/sample_vi_fd，人臉檢測的cvimodel模型文件scrfd_768_432_int8_1x.cvimodel可以在下方鏈接下載

https://github.com/sophgo/tdl_models

里面包含了人臉檢測，人臉識別，口罩檢測，行人檢測，哭聲檢測，手勢偵測，手勢識別等cvimodel模型。

/* 在連接DuoS的電腦終端輸入 */scp sample_vi_fd root@192.168.42.1:/root/scp scrfd_768_432_int8_1x.cvimodel root@192.168.42.1:/root/

2、在DuoS終端運(yùn)行人臉檢測程序：

/* 在DuoS的終端輸入 */chmod 777 sample_vi_fd./sample_vi_fd scrfd_768_432_int8_1x.cvimodel/*DuoS的終端會顯示如下信息，終端下方的facecount是識別到的人臉個數(shù)*/

3、在連接DuoS的PC端，打開VLC播放器，菜單“媒體”中選擇“打開網(wǎng)絡(luò)串流”，選擇“網(wǎng)絡(luò)”標(biāo)簽，在“請輸入網(wǎng)絡(luò)URL”中輸入。

rtsp://192.168.42.1/h264

還可以點(diǎn)擊左下角的“顯示更多選項(xiàng)”，設(shè)置“緩存”，默認(rèn)是1000毫秒，也就是1秒。網(wǎng)絡(luò)環(huán)境較好時可以將其調(diào)低來降低延遲，可以設(shè)置為100到300。如果網(wǎng)絡(luò)環(huán)境較差或者畫面出現(xiàn)卡頓時，可以嘗試將其調(diào)高。再點(diǎn)擊“播放”。我們就可以看到攝像頭實(shí)時人臉檢測的畫面啦！