?在AI愛克斯開發(fā)板上用OpenVINO加速YOLOv8-seg實例分割模型

簡 介 《在AI愛克斯開發(fā)板上用OpenVINO加速YOLOv8目標(biāo)檢測模型》介紹了在AI愛克斯開發(fā)板上使用OpenVINO開發(fā)套件部署并測評YOLOv8的目標(biāo)檢測模型，本文將介紹在AI愛克斯開發(fā)板上使用OpenVINO加速YOLOv8-seg實例分割模型。 ?請先下載本文的范例代碼倉，并搭建好YOLOv8的OpenVINO推理程序開發(fā)環(huán)境。 git clone https://gitee.com/ppov-nuc/yolov8_openvino.git 導(dǎo)出YOLOv8-seg實例分割OpenVINO IR模型 YOLOv8-seg的實例分割模型有5種，在COCO數(shù)據(jù)集完成訓(xùn)練，如下表所示。 ?首先使用命令：yolo export model=yolov8n-seg.pt format=onnx，完成yolov8n-seg.onnx模型導(dǎo)出，如下圖所示。 ?然后使用命令：mo -m yolov8n-seg.onnx --compress_to_fp16，優(yōu)化并導(dǎo)出FP16精度的OpenVINO IR格式模型，如下圖所示。 ? ?用benchmark_app測試YOLOv8-seg實例分割模型的推理計算性能 benchmark_app是OpenVINOTM工具套件自帶的AI模型推理計算性能測試工具，可以指定在不同的計算設(shè)備上，在同步或異步模式下，測試出不帶前后處理的純AI模型推理計算性能。 使用命令：benchmark_app -m yolov8n-seg.xml -d GPU，獲得yolov8n-seg.xml模型在AI愛克斯開發(fā)板的集成顯卡上的異步推理計算性能，如下圖所示。 ? ?使用OpenVINO Python API編寫YOLOv8-seg實例分割模型推理程序 用Netron打開yolov8n-seg.onnx可以看到模型的輸入和輸出，跟YOLOv5-seg模型的輸入輸出定義很類似：

• 輸入節(jié)點名字：“images”；數(shù)據(jù)：float32[1,3,640,640]。

• 輸出節(jié)點1的名字：“output0”；數(shù)據(jù)：float32[1,116,8400]。其中116的前84個字段跟 YOLOv8目標(biāo)檢測模型輸出定義完全一致，即cx,cy,w,h和80類的分?jǐn)?shù)；后32個字段用于計算掩膜數(shù)據(jù)。

• 輸出節(jié)點2的名字：“output1”；數(shù)據(jù)：float32[1,32,160,160]。output0后32個字段與output1的數(shù)據(jù)做矩陣乘法后得到的結(jié)果，即為對應(yīng)目標(biāo)的掩膜數(shù)據(jù)。

基于OpenVINO Python API的YOLOv8-seg實例分割模型范例程序yolov8_seg_ov_sync_infer_demo.py的核心源代碼，如下所示：

# Initialize the VideoCapture

cap =cv2.VideoCapture("store-aisle-detection.mp4")

# Initialize YOLOv5 Instance Segmentator

model_path ="yolov8n-seg.xml"

device_name ="GPU"

yoloseg =YOLOSeg(model_path, device_name, conf_thres=0.3, iou_thres=0.3)

whilecap.isOpened():

# Read frame from the video

ret, frame =cap.read()

ifnotret:

break

# Update object localizer

start =time.time()

boxes, scores, class_ids, masks =yoloseg(frame)

# postprocess and draw masks

combined_img =yoloseg.draw_masks(frame)

end =time.time()

# show FPS

fps =(1/(end -start))

fps_label ="Throughput: %.2fFPS"%fps

cv2.putText(combined_img, fps_label, (10, 25), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)

# show ALL

cv2.imshow("YOLOv8 Segmentation OpenVINO inference Demo", combined_img)

# Press Any key stop

ifcv2.waitKey(1) >-1:

print("finished by user")

break

運行結(jié)果，如下圖所示： 結(jié) 論 AI愛克斯開發(fā)板借助N5105處理器的集成顯卡(24個執(zhí)行單元)和OpenVINO，可以在YOLOv8-seg的實例分割模型上獲得相當(dāng)不錯的性能。通過異步處理和AsyncInferQueue，還能進(jìn)一步提升計算設(shè)備的利用率，提高AI推理程序的吞吐量。下一篇將繼續(xù)介紹在《在AI愛克斯開發(fā)板上用OpenVINO加速YOLOv8-pose姿態(tài)檢測模型》。 審核編輯 ：李倩