AI愛克斯開發(fā)板上使用OpenVINO加速YOLOv8目標檢測模型

《在AI愛克斯開發(fā)板上用OpenVINO加速YOLOv8分類模型》介紹了在AI愛克斯開發(fā)板上使用OpenVINO開發(fā)套件部署并測評YOLOv8的分類模型，本文將介紹在AI愛克斯開發(fā)板上使用OpenVINO加速YOLOv8目標檢測模型。 請先下載本文的范例代碼倉，并搭建好YOLOv8的OpenVINO推理程序開發(fā)環(huán)境。 git clone https://gitee.com/ppov-nuc/yolov8_openvino.git 導出YOLOv8目標檢測OpenVINO IR模型 YOLOv8的目標檢測模型有5種，在COCO數(shù)據(jù)集完成訓練，如下表所示。 ? 首先使用命令：yolo?export model=yolov8n.pt format=onnx，完成yolov8n.onnx模型導出，如下圖所示。 ? 然后使用命令：mo -m yolov8n.onnx --compress_to_fp16，優(yōu)化并導出FP16精度的OpenVINO IR格式模型，如下圖所示。 ? 用benchmark_app測試yolov8目標檢測模型的推理計算性能 benchmark_app是OpenVINOTM工具套件自帶的AI模型推理計算性能測試工具，可以指定在不同的計算設備上，在同步或異步模式下，測試出不帶前后處理的純AI模型推理計算性能。 使用命令：benchmark_app -m yolov8n.xml -d GPU，獲得yolov8n.xml模型在AI愛克斯開發(fā)板的集成顯卡上的異步推理計算性能，如下圖所示。 ? 使用OpenVINO Python API編寫YOLOv8目標檢測模型推理程序 用Netron打開yolov8n.onnx，如下圖所示，可以看到模型的輸入是形狀為[1,3,640,640]的張量，輸出是形狀為[1,84,8400]的張量，其中“84”的定義為：cx,cy,h,w和80種類別的分數(shù)?！?400”是指YOLOv8的3個檢測頭在圖像尺寸為640時，有640/8=80, 640/16=40, 640/32=20, 80x80+40x40+20x20=8400個輸出單元格。 ? 基于OpenVINO Python API的YOLOv8目標檢測模型的范例程序：yolov8_od_ov_sync_infer_demo.py，其核心源代碼如下所示：

# 實例化Core對象

core =Core()

# 載入并編譯模型

net =core.compile_model(f'{MODEL_NAME}.xml', device_name="AUTO")

# 獲得模型輸出節(jié)點

output_node =net.outputs[0] # yolov8n只有一個輸出節(jié)點

ir =net.create_infer_request()

cap =cv2.VideoCapture("store-aisle-detection.mp4")

whileTrue:

start =time.time()

ret, frame =cap.read()

ifnotret:

break

# 圖像數(shù)據(jù)前處理

[height, width, _] =frame.shape

length =max((height, width))

image =np.zeros((length, length, 3), np.uint8)

image[0:height, 0:width] =frame

scale =length /640

blob =cv2.dnn.blobFromImage(image, scalefactor=1/255, size=(640, 640), swapRB=True)

# 執(zhí)行推理計算

outputs =ir.infer(blob)[output_node]

# 推理結(jié)果后處理并顯示處理結(jié)果

outputs =np.array([cv2.transpose(outputs[0])])

... ...

cv2.imshow('YOLOv8 OpenVINO Infer Demo on AIxBoard', frame)

yolov8_od_ov_sync_infer_demo.py運行結(jié)果，如下圖所示： ? 結(jié) 論 AI愛克斯開發(fā)板借助N5105處理器的集成顯卡(24個執(zhí)行單元)和OpenVINO，可以在YOLOv8的目標檢測模型上獲得相當不錯的性能。通過異步處理和AsyncInferQueue，還能進一步提升計算設備的利用率，提高AI推理程序的吞吐量。