如何使用OpenVINO C++ API部署FastSAM模型

作者：馮浩遼寧科技大學(xué) 研究生

指導(dǎo)教師：張海剛英特爾邊緣計(jì)算創(chuàng)新大使深圳職業(yè)技術(shù)大學(xué) 副教授

當(dāng)今，深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了巨大的突破，使得各種圖像處理任務(wù)變得更加智能化。其中，Semantic Segmentation（語(yǔ)義分割）是一項(xiàng)重要的任務(wù)，它有助于計(jì)算機(jī)理解圖像中不同對(duì)象的位置和邊界。本文將介紹如何使用OpenVINOC++ API 部署 FastSAM 模型，以實(shí)現(xiàn)快速高效的語(yǔ)義分割。在前文中我們發(fā)表了《基于OpenVINO Python API 部署 FastSAM 模型 | 開(kāi)發(fā)者實(shí)戰(zhàn)》，在該文章中我們向大家展示了基于 OpenVINO Python API 的基本部署流程。在實(shí)際部署過(guò)程中會(huì)考慮到由效率問(wèn)題，使得我們可能更傾向于采用更高效的部署方式，故今天我們將向大家展示使用OpenVINOC++ API 部署 FastSAM 模型，并且對(duì)比預(yù)處理、推理、后處理等時(shí)間的消耗。

FastSAM 官方倉(cāng)庫(kù)[1]

OpenVINO 官方倉(cāng)庫(kù)[2]

FastSAM 模型部署實(shí)現(xiàn)代碼倉(cāng)庫(kù)[3]

首先簡(jiǎn)單解釋一下這個(gè) C++ 版本OpenVINO的推理構(gòu)建流程。首先需要一個(gè) Core 去讀取前面生成的 xml 文件(這個(gè)文件包含了模型的網(wǎng)絡(luò)結(jié)構(gòu)，與其對(duì)應(yīng)的同名文件 bin 后綴的是模型的權(quán)重和偏置)。

讀取完成之后他會(huì)返回一個(gè) Model 類，可以通過(guò)這個(gè) Model 類來(lái)生成生成最終編譯完成的模型。在這里的編譯不是我們常規(guī)意義上的編譯代碼，本質(zhì)上是在模型中插入一些函數(shù)指針，也就是所謂的預(yù)處理和后處理的函數(shù)。當(dāng)我們有這個(gè) PrePostProcessor 的步驟之后在我們每次調(diào)用推理的時(shí)候就可以不用自己去手動(dòng)的處理圖像的一些簡(jiǎn)單操作，比如轉(zhuǎn)換圖像大小、轉(zhuǎn)換數(shù)據(jù)排列順序、以及顏色編碼順序等等。

拿到這個(gè) CompiledModel 之后可以調(diào)用這個(gè) create_infer_request 來(lái)創(chuàng)建最終我們需要的推理請(qǐng)求的類。最后調(diào)用 infer 進(jìn)行模型推理。

01模型的轉(zhuǎn)化和優(yōu)化

在之前的文章我們已經(jīng)了解到了模型的導(dǎo)出方式，大家可以參考《基于OpenVINO Python API 部署 FastSAM模型 | 開(kāi)發(fā)者實(shí)戰(zhàn)》，或者參考筆者的 GitHub[4] 中的導(dǎo)出部分。

02初始化推理引擎和加載模型

在 C++ 初始化OpenVINO推理引擎和 Python 的基本結(jié)構(gòu)相似，也是使用一個(gè) Ov::Core 來(lái)創(chuàng)建 Ov::Model。

m_model = m_core.read_model(xml_path);
m_ppp = std::make_shared(m_model);
 
 
m_ppp->input().tensor()
  .set_element_type(ov::f32) 
  .set_color_format(ov::RGB)
  .set_layout("NCHW");
 
/*

左滑查看更多

還可添加你模型所需要的預(yù)處理和后處理的操作

  m_ppp->input().preprocess()
       .convert_layout("NCHW"); //比如排列順序轉(zhuǎn)換
*/
     
m_model = m_ppp->build();set_shape(ov::Shape({1, 3, 640, 640}))

左滑查看更多

03預(yù)處理輸入圖像

本次我們采用的是手動(dòng)預(yù)處理輸出數(shù)據(jù)，需要預(yù)處理輸入圖像的大小位模型所需的輸入的大小即 640 x 640，其次我們需要轉(zhuǎn)換這個(gè)由 opencv 讀取來(lái)的 BGR 圖像位 RGB，最后需要將這個(gè)數(shù)據(jù)排列順序由 NWHC 轉(zhuǎn)換為 NCWH。實(shí)現(xiàn)代碼如下：

ov::Tensor FastSAM::Preprocess(const cv::Mat &image)
{
  float height = (float)image.rows;
  float width = (float)image.cols;
  
  int target_size = input_height;
  float r = std::min(target_size / height, target_size / width);
  int padw = (int)std::round(width * r);
  int padh = (int)std::round(height * r);
  
    
  if((int)width != padw || (int)height != padh) 
    cv::resize(image, m_image, cv::Size(padw, padh));
  else 
    m_image = image.clone();
  
  float _dw = target_size - padw;
  float _dh = target_size - padh;
  _dw /= 2.0f;
  _dh /= 2.0f;
  int top = int(std::round(_dh - 0.1f));
  int bottom = int(std::round(_dh + 0.1f));
  int left = int(std::round(_dw - 0.1f));
  int right = int(std::round(_dw + 0.1f));
  cv::copyMakeBorder(m_image, m_image, top, bottom, left, right, cv::BORDER_CONSTANT,
            cv::Scalar(114, 114, 114));
  
  this->ratio = 1 / r;
  this->dw = _dw;
  this->dh = _dh;
  
  Normalize2Vec(m_image);
  
  return ov::f32, ov::Shape({1, 3, (unsigned long)input_height, (unsigned long)input_width}), input_data.data());  
}

左滑查看更多

04執(zhí)行推理

在執(zhí)行完這個(gè) Preprocess 之后會(huì)返回一個(gè) ov::Tensor, 將前面預(yù)處理好的 input tensor 設(shè)置為輸入數(shù)據(jù)，然后執(zhí)行 infer 即可進(jìn)行推理。

m_request.set_input_tensor(input_tensor);
m_request.infer();

左滑查看更多

05獲取和處理輸出數(shù)據(jù)

在推理完成之后可以通過(guò)調(diào)用 get_output_tensor 來(lái)獲取指定索引的輸出指針，這里我們采用的模型只有兩個(gè)維度的輸出。

auto* p0 = m_request.get_output_tensor(0).data(); // 獲取第一個(gè)維度輸出
auto* p1 = m_request.get_output_tensor(1).data(); // 獲取第二個(gè)維度輸出

左滑查看更多

當(dāng)拿我們到這個(gè)輸出的數(shù)據(jù)之后我們需要解析后做后處理，首先是對(duì)第一個(gè)維度的數(shù)據(jù)解析做非極大抑制，將得到的 bbox 的坐標(biāo)進(jìn)行還原，使得這個(gè)坐標(biāo)對(duì)應(yīng)的是原始圖像掩碼的坐標(biāo)而不是輸入圖像掩碼的坐標(biāo)。最后把還原后的數(shù)據(jù)的最后掩碼維度和模型輸出維度進(jìn)行矩陣相乘后的到最終的 mask。

std::vector FastSAM::Postprocess(std::vector &preds, const cv::Mat& oriImage)
{
  std::vector result;
 
  std::vector remat;
  NMS(remat, preds[0], 100);
  cv::Mat proto = preds[1];
  cv::Mat box = remat[0];
  cv::Mat mask = remat[1];
  ScaleBoxes(box, oriImage);
 
  return ProcessMaskNative(oriImage, proto, mask, box, oriImage.size());
}

左滑查看更多

06繪制掩碼到原圖上

繪制掩碼就比較簡(jiǎn)單了，將原始圖像輸入，和 mask 掩碼矩陣傳入進(jìn)來(lái)。最后會(huì)把生成的掩碼添加到 image 上。

void FastSAM::Render(cv::Mat &image, const std::vector& vremat)
{
 
  cv::Mat bbox = vremat[0];
  float *pxvec = bbox.ptr(0);
   
  for (int i = 1; i < vremat.size(); i++) {
 ? ? ? ?cv::Mat mask = vremat[i];
 ? ? ? ?auto color = RandomColor();
 
 ? ? ? ?for (int y = 0; y < mask.rows; y++) {
 ? ? ? ?const float *mp = mask.ptr(y);
    uchar *p = image.ptr(y);
    for (int x = 0; x < mask.cols; x++) {
 ? ? ? ? ? ?if (mp[x] == 1.0) {
 ? ? ? ? ? ?p[0] = cv::saturate_cast(p[0] * 0.5 + color[0] * 0.5);
      p[1] = cv::saturate_cast(p[1] * 0.5 + color[1] * 0.5);
      p[2] = cv::saturate_cast(p[2] * 0.5 + color[2] * 0.5);
      }
      p += 3;
    }
    }
  }
}

左滑查看更多

07實(shí)現(xiàn)效果展示

FastSAM With OpenVINO推理時(shí)間(未加渲染時(shí)間)

使用設(shè)備: xBoard、iGPU