前言

深度學習模型部署有OpenVINO、ONNXRUNTIME、TensorRT三個主流框架，均支持Python與C++的SDK使用。對YOLOv5~YOLOv8的系列模型，均可以通過C++推理實現模型部署。這里以YOLOv8為例，演示了YOLOv8對象檢測模型在OpenVINO、ONNXRUNTIME、TensorRT三個主流框架上C++推理演示效果。所有測試均基于我筆記本電腦，相關的硬件配置如下：

CPU i7
GPU3050ti
Win10 64

代碼演示

OpenVINO + CPU部署、ONNXRUNTIME + GPU部署、TensorRT + GPU部署YOLOv8對象檢測代碼已經封裝成C++類，通過客戶端三行代碼即可調用，演示效果分別如下：

OpenVINO + CPU YOLOv8對象檢測推理

ONNXRUNTIME + GPU YOLOv8對象檢測推理

TensorRT + GPU YOLOv8對象檢測推理

客戶端初始化代碼如下： 初始化OpenVINO+YOLOv8封裝類實例

std::shared_ptrdetector(new YOLOv8OpenVINODetector());

std::shared_ptrdetector(new YOLOv8ORTDetector());

std::shared_ptrdetector(new YOLOv8TRTDetector());

detector->initConfig("D:/python/my_yolov8_train_demo/yolov8n.engine", 0.4, 0.25f);
cv::VideoCapture capture("D:/bird_test/Pexels_Videos_2670.mp4");
cv::Mat frame;
std::vector results;
while (true) {
  bool ret = capture.read(frame);
  if (frame.empty()) {
    break;
  }
  detector->detect(frame, results);
  for (DetectResult dr : results) {
    cv::Rect box = dr.box;
    cv::putText(frame, classNames[dr.classId], cv::Point(box.tl().x, box.tl().y - 10), cv::FONT_HERSHEY_SIMPLEX, .5, cv::Scalar(0, 0, 0));
  }
  cv::imshow("YOLOv8 + TensorRT - by gloomyfish", frame);
  char c = cv::waitKey(1);
  if (c == 27) { // ESC 退出
    break;
  }
  // reset for next frame
  results.clear();
}
return 0;
}

審核編輯：湯梓紅