在AI愛(ài)克斯開(kāi)發(fā)板上用OpenVINO?加速YOLOv8目標(biāo)檢測(cè)模型

文章作者：

英特爾物聯(lián)網(wǎng)行業(yè)創(chuàng)新大使 楊雪鋒博士

01簡(jiǎn)介

《在 AI 愛(ài)克斯開(kāi)發(fā)板上用 OpenVINO 加速 YOLOv8 分類模型》介紹了在 AI 愛(ài)克斯開(kāi)發(fā)板上使用 OpenVINO開(kāi)發(fā)套件部署并測(cè)評(píng) YOLOv8 的分類模型，本文將介紹在 AI 愛(ài)克斯開(kāi)發(fā)板上使用 OpenVINO 加速 YOLOv8 目標(biāo)檢測(cè)模型。

請(qǐng)先下載本文的范例代碼倉(cāng)，并搭建好 YOLOv8 的 OpenVINO 推理程序開(kāi)發(fā)環(huán)境：

git clone

https://gitee.com/ppov-nuc/yolov8_openvino.git

02導(dǎo)出 YOLOv8 目標(biāo)檢測(cè) OpenVINO IR 模型

YOLOv8 的目標(biāo)檢測(cè)模型有5種，在 COCO 數(shù)據(jù)集完成訓(xùn)練，如下表所示。

首先使用命令：

yoloexport model=yolov8n.pt format=onnx

完成 yolov8n.onnx 模型導(dǎo)出，如下圖所示：

然后使用命令：

mo -m yolov8n.onnx --compress_to_fp16

優(yōu)化并導(dǎo)出 FP16 精度的 OpenVINO IR 格式模型，如下圖所示：

03用 benchmark_app 測(cè)試

yolov8 目標(biāo)檢測(cè)模型的推理計(jì)算性能

benchmark_app 是 OpenVINO 工具套件自帶的 AI 模型推理計(jì)算性能測(cè)試工具，可以指定在不同的計(jì)算設(shè)備上，在同步或異步模式下，測(cè)試出不帶前后處理的純 AI 模型推理計(jì)算性能。

使用命令：

benchmark_app -m yolov8n.xml -d GPU

獲得 yolov8n.xml 模型在 AI 愛(ài)克斯開(kāi)發(fā)板的集成顯卡上的異步推理計(jì)算性能，如下圖所示：

04使用 OpenVINO Python API 編寫

YOLOv8 目標(biāo)檢測(cè)模型推理程序

用 Netron 打開(kāi) yolov8n.onnx ，如下圖所示，可以看到模型的輸入是形狀為[1,3,640,640]的張量，輸出是形狀為[1,84,8400]的張量，其中“84”的定義為：cx,cy,h,w和80種類別的分?jǐn)?shù)。“8400”是指 YOLOv8 的3個(gè)檢測(cè)頭在圖像尺寸為640時(shí)，有640/8=80, 640/16=40, 640/32=20, 80x80+40x40+20x20=8400個(gè)輸出單元格。

基于 OpenVINO Python API 的 YOLOv8 目標(biāo)檢測(cè)模型的范例程序：

yolov8_od_ov_sync_infer_demo.py

其核心源代碼如下所示：

# 實(shí)例化Core對(duì)象
core = Core() 
# 載入并編譯模型
net = core.compile_model(f'{MODEL_NAME}.xml', device_name="AUTO")
# 獲得模型輸出節(jié)點(diǎn)
output_node = net.outputs[0] # yolov8n只有一個(gè)輸出節(jié)點(diǎn)
ir = net.create_infer_request()
cap = cv2.VideoCapture("store-aisle-detection.mp4")


while True:
  start = time.time()
  ret, frame = cap.read()
  if not ret:
    break
  # 圖像數(shù)據(jù)前處理
  [height, width, _] = frame.shape
  length = max((height, width))
  image = np.zeros((length, length, 3), np.uint8)
  image[0:height, 0:width] = frame
  scale = length / 640
  blob = cv2.dnn.blobFromImage(image, scalefactor=1 / 255, size=(640, 640), swapRB=True)
  # 執(zhí)行推理計(jì)算
  outputs = ir.infer(blob)[output_node]
  # 推理結(jié)果后處理并顯示處理結(jié)果
  outputs = np.array([cv2.transpose(outputs[0])])
  ... ...
cv2.imshow('YOLOv8 OpenVINO Infer Demo on AIxBoard', frame)

向右滑動(dòng)查看完整代碼

yolov8_od_ov_sync_infer_demo.py 運(yùn)行結(jié)果，如下圖所示：

05結(jié)論

AI 愛(ài)克斯開(kāi)發(fā)板借助 N5105 處理器的集成顯卡(24個(gè)執(zhí)行單元)和 OpenVINO ，可以在 YOLOv8 的目標(biāo)檢測(cè)模型上獲得相當(dāng)不錯(cuò)的性能。通過(guò)異步處理和 AsyncInferQueue ，還能進(jìn)一步提升計(jì)算設(shè)備的利用率，提高 AI 推理程序的吞吐量。

下一篇將繼續(xù)介紹在《在 AI 愛(ài)克斯開(kāi)發(fā)板上用 OpenVINO 加速 YOLOv8-Seg 實(shí)例分割模型》。

審核編輯：湯梓紅