邊緣AI套件上的立體視覺深度感知

描述

介紹

Edge AI Kit 使用雙攝像頭來實現(xiàn)深度感知或距離識別應(yīng)用。

?

立體視覺應(yīng)用程序檢測兩個攝像頭圖像中的人臉，然后計算每個攝像頭圖像中的 ROI（感興趣區(qū)域）之間的差異。此差異用于計算對象與相機的距離。

設(shè)置

根據(jù)此處的說明設(shè)置 Edge AI 套件。

您還可以在Edge AI Kit Linux 用戶手冊中找到更多詳細(xì)信息。

要使用 StereoVision 應(yīng)用程序，您需要使用外部顯示器（隨附的 LVDS 觸摸屏或 HDMI 顯示器）。將鍵盤和鼠標(biāo)連接到 Edge AI 套件。

圖像

該應(yīng)用程序已經(jīng)為您構(gòu)建并包含在開箱即用的圖像中。如果您更愿意構(gòu)建自己的版本，請查看項目為 Edge AI 套件構(gòu)建支持 ML 的 Yocto 圖像（即將推出）。

從“參考設(shè)計”選項卡下的Avnet Boards頁面下載帶有應(yīng)用程序的圖像。解壓縮它（您應(yīng)該以 a.wic 圖像結(jié)尾）。

使用 Balena Etcher 或類似軟件將映像刷入 SD 卡。

相機校準(zhǔn)

我們需要校準(zhǔn)我們的相機以確保它們捕獲的圖像正確對齊。這個過程涉及從不同角度拍攝棋盤圖案，然后使用這些圖像計算相機參數(shù)。

棋盤在這里： https: //github.com/Avnet/stereovision-app/blob/main/documentation/Checkerboard-A4-25mm-8x6.pdf

圖像必須以 A4 格式打印。將它貼在堅硬的背襯上，例如卡片紙。如果背襯比棋盤略大，那么在您左右移動它時有空間可以抓住它是最簡單的。棋盤大小對于距離測量至關(guān)重要。如果您的電路板尺寸不一樣，您必須調(diào)整文件“calibration.cpp”中的相應(yīng)變量并重建 Qt 應(yīng)用程序。

有關(guān)相機校準(zhǔn)的更多詳細(xì)信息，請參見使用 OpenCV 進(jìn)行相機校準(zhǔn)和使用 OpenCV 進(jìn)行相機校準(zhǔn)

運行應(yīng)用程序

設(shè)置并啟動 Edge AI Kit 后，它應(yīng)該會打開 Wayland Desktop。

在 Wayland 桌面上打開一個終端。輸入命令：

stereovision

這將打開 stereovision Qt 應(yīng)用程序。

1. 選擇“開始”開始攝像頭串流。

如果出現(xiàn)錯誤，請運行命令“systemctl stop ap1302-stream 以確保攝像頭已停止，或執(zhí)行第3.3.5 節(jié)中的故障排除步驟。

2. 選擇“拍照”拍攝校準(zhǔn)照片。放置棋盤，使其在兩個相機的框架內(nèi)。建議至少拍攝 8 張校準(zhǔn)照片，棋盤位于任一相機框架的角落（但在兩個相機中始終完全在框架中）。

相機的內(nèi)部和外部參數(shù)將保存在位于項目根目錄的“camera_data”文件夾中的“l(fā)eft.yml”、“right.yml”和“stereo.yml”文件中。注意：如果您編輯校準(zhǔn)圖像的路徑或名稱，您需要調(diào)整文件“calibration.cpp”中的相應(yīng)變量。

3. 選擇“校準(zhǔn)”以校準(zhǔn)應(yīng)用程序。

?

?

?

?

1 / 2

?

4. 選擇“人臉檢測”開始檢測人臉。這也將選擇校正（例如，相機已根據(jù)棋盤進(jìn)行校準(zhǔn)）。您也可以在沒有人臉檢測的情況下運行校正來測試校準(zhǔn)。

?

?

?

?

1 / 2 ?以米為單位的人臉檢測

?

申請詳情

人臉檢測模型是MediaPipe的TensorFlow Lite模型。，使用NNAPI 委托在 NPU 上加速。

視差計算是使用 OpenCV 完成的。遺憾的是，Avnet i.MX 8M Plus Edge AI 套件上集成的神經(jīng)處理單元 (NPU) 提供的加速不支持 openCV 。

測量距離的過程包括兩個步驟：

1.人體檢測。

2. ROI（人體區(qū)域）的視差計算

該應(yīng)用程序使用人工神經(jīng)網(wǎng)絡(luò)檢測人臉，并使用 SURF 方法在立體圖像中選擇對應(yīng)的人臉特征點。距離是根據(jù)特征點的差異計算的。

人體檢測

運行網(wǎng)絡(luò)所需的 tflite 模型文件位于應(yīng)用程序代碼的“dnnData”文件夾中。您可以從 MediaPipe 查看最新的人臉檢測模型。

此應(yīng)用程序支持兩種模式：“近距離”和“全范圍”，前者適用于距離相機 2 米以內(nèi)的人臉，后者適用于距離相機 5 米以內(nèi)的人臉。如果使用其他模型，請根據(jù)相應(yīng)的描述文件如face_detection_full_range_common.pbtxt或Model card適配代碼中FaceOptions的參數(shù)。

了解神經(jīng)網(wǎng)絡(luò)的邊界框輸出一文解釋了如何使用模型和設(shè)置人臉檢測參數(shù)。

視差計算

視差是指立體對的左右圖像中兩個對應(yīng)點之間的距離。校正圖像（相機標(biāo)定）中某個點的視差可用于計算該點在現(xiàn)實世界中的坐標(biāo)。

?

校準(zhǔn)后，一對特征點的兩個特征點在理論上具有相同的圖像 v 坐標(biāo)。在這種情況下，視差是指左右圖像中兩個對應(yīng)點之間的 u 坐標(biāo)差異。一旦計算出差異，就可以計算現(xiàn)實世界中的 Z 坐標(biāo)，因為其他參數(shù)可以在文件“camera_data/stereo.yml”中獲得。

左圖中檢測到的每張人臉都將與右圖中的人臉進(jìn)行匹配。如果兩個面塊的寬度、高度和 v 坐標(biāo)相同，則它們將被視為匹配。一旦面部匹配，將計算它們的視差以計算距離。

調(diào)整參數(shù)

可以調(diào)整以下參數(shù)以調(diào)整模型在不同條件下的準(zhǔn)確性：

• ConfidenceThresh [0.01, 1.0] ：該變量定義人臉檢測的最小置信度。只有檢測到的置信度高于閾值的人臉才會被處理。
• FaceOverlapThresh [0.01, 1.0] : 為了提高精度，檢測到的重疊面將被視為一個面。該變量定義最大重疊。重疊超過閾值的兩個對象將被視為一個對象。
• Disparity_Y Thresh [0, 100] ：變量定義v方向視差差的閾值，用于人臉匹配。
• Width_Rel_Thresh [0.01, 1.0] ：變量定義人臉塊寬度相對偏差的閾值。0.1 表示如果高度差超過 10%，則左右框架中的人臉塊將不會相互匹配。
• Height_Rel_Thresh [0, 10] ：變量定義人臉塊高度相對偏差的閾值。0.1 表示如果高度差超過 10%，則左右框架中的人臉塊將不會相互匹配。
• SkipFrame [0, 20] : 為了加速計算，不是所有的幀都會被處理。如果變量設(shè)置為 4，則每 4 幀只處理一幀。