在Jetson Nano上使用TensorRT C++實現(xiàn)YOLOv5模型推理

軟件版本信息

軟件版本信息

?

JetPack4.6
CUDA10.2
TensorRT8.0.1
OpenCV4.5.4

?

導(dǎo)出YOLOv5 engine文件

前面有一篇文章詳細說明了如何在Jetson Nano上安裝YOLOv5，然后運行，這里只需在導(dǎo)出的時候?qū)С鰁ngine模型文件支持，命令行如下：

python export.py --weights yolov5.pt --include onnx engine

?

TensorRT推理

首先創(chuàng)建編譯CMakeLists.txt文件，然后把下面的內(nèi)容copy進去：

cmake_minimum_required(?VERSION?2.8?)
# 聲明一個 cmake 工程
project(yolov5_tensorrt_demo)
# 設(shè)置編譯模式
#set(?CMAKE_BUILD_TYPE?"Release"?)
#添加OPENCV庫
#指定OpenCV版本，代碼如下
#find_package(OpenCV 4.5.4 REQUIRED)
#如果不需要指定OpenCV版本，代碼如下
find_package(OpenCV REQUIRED)
find_package(CUDA REQUIRED)


include_directories(
       ./src/)
#添加OpenCV頭文件
include_directories(${OpenCV_INCLUDE_DIRS})
# 添加CUDA10.2頭文件
include_directories(/usr/local/cuda-10.2/include)
link_directories(/usr/local/cuda-10.2/lib64)
# tensorRT
include_directories(/usr/local/cuda/include)
link_directories(/usr/lib/arrch64-linux-gnu)
#顯示OpenCV_INCLUDE_DIRS的值
message(${OpenCV_INCLUDE_DIRS})


FILE(GLOB_RECURSE TEST_SRC
       src/*.cpp
       )
# 添加一個可執(zhí)行程序
# 語法：add_executable( 程序名 源代碼文件 ）
add_executable(target main.cpp ${TEST_SRC})
# 將庫文件鏈接到可執(zhí)行程序上
target_link_libraries(target  nvinfer)
target_link_libraries(target  cudart)
target_link_libraries(target  ${OpenCV_LIBS})

?

構(gòu)建的目錄結(jié)構(gòu)如下

然后在Jetson Nano上打開終端命令行輸入：

?

mkdir build
cd build
cmake ..

?

運行結(jié)果如下：

然后運行make

成功運行之后，執(zhí)行編譯生成的target文件：

?

./target

?

運行推理與顯示界面如下：

錯誤與修正

01錯誤一：

error: 'cudaMalloc' was not declared in this scope

這個是因為沒有添加下面的頭文件：

?

#include 
#include 

?

添加之后就可以解決。

02錯誤二：

Engine文件版本一致導(dǎo)致，原因是我之前導(dǎo)出的是在tensorRT8.4版本，jetsonNano是8.0的，重新在Jetson Nano上導(dǎo)出一下就可以解決。 ? 最后貼一下，演示的程序main C++代碼：

#include?
#include?
#include?
#include?

#include?"tensorrt_yolov5_demo.h"

using?namespace?cv;

std::string?label_map?=?"classes.txt";
int?main(int?argc,?char**?argv)?{
????std::vector?classNames;
????std::ifstream?fp(label_map);
????std::string?name;
????while?(!fp.eof())?{
????????getline(fp,?name);
????????if?(name.length())?{
????????????classNames.push_back(name);
????????}
????}
????fp.close();

????auto?detector?=?std::make_shared();
????detector->initConfig("yolov5s.engine",?0.25,?0.25);
????std::vector?results;
????cv::VideoCapture?capture("example_dsh.mp4");
????cv::Mat?frame;
????while?(true)?{
????????bool?ret?=?capture.read(frame);
????????if?(!ret)?{
????????????break;
????????}
????????detector->detect(frame,?results);
????????for?(DetectResult?dr?:?results)?{
????????????cv::Rect?box?=?dr.box;
????????????cv::putText(frame,?classNames[dr.classId],?cv::Point(box.tl().x,?box.tl().y?-?10),?cv::FONT_HERSHEY_SIMPLEX,?.5,?cv::Scalar(0,?0,?0));
????????}
????????cv::imshow("YOLOv5-6.1?+?TensorRT8.4?+?Jetson?Nano?-?by?gloomyfish",?frame);
????????char?c?=?cv::waitKey(1);
????????if?(c?==?27)?{?//?ESC?退出
????????????break;
????????}
????????//?reset?for?next?frame
????????results.clear();
????}
????cv::waitKey(0);
????cv::destroyAllWindows();
????return?0;
}

?