DeepStream是NVIDIA專為處理多個串流影像，并進(jìn)行智能辨識而整合出的強大工具。開發(fā)語言除了原先的C++，從DeepStream SDK 5.1也支持基于原先安裝，再掛上Python套件的方式，讓較熟悉Python程序語言的使用者也能使用DeepStream。

本文主要將其應(yīng)用在Jetson Nano上，并于DeepStream導(dǎo)入自己的模型執(zhí)行辨識。

在Jetson Nano上面安裝DeepStream

筆者使用的硬件為Jetson Nano 2GB/4GB，參照官方提供的步驟與對應(yīng)的版本，幾乎可以說是無痛安裝。對比同樣采用干凈映像檔，使用源碼或是Docker安裝的JetBot與Jetson Inference要快上許多。

執(zhí)行官方范例

DeepStream有提供不少范例，不論是從CSI或USB接口的攝影機取得畫面，或是多影像辨識結(jié)果顯示，都能經(jīng)由查看這些范例，學(xué)習(xí)如何設(shè)定。

透過下列指令執(zhí)行一個配置文件，查看DeepStream是否安裝成功，這個配置文件會開啟一部mp4影片，并模擬產(chǎn)生8個輸入來源，經(jīng)模型推論處理過后于同一個畫面顯示，點擊單一個區(qū)塊可以顯示該來源的詳細(xì)信息。實際應(yīng)用上可以將各部攝影機的畫面同時輸出并進(jìn)行處理。

deepstream-app -c source8_1080p_dec_infer-resnet_tracker_tiled_display_fp16_nano.txt

使用自己的模型

如果您與筆者一樣是NVIDIA官方課程小粉絲，從擁有Jetson Nano開始，就按部就班的跟著課程學(xué)習(xí)，那您一定看過下列三種不同主題的課程。

從入門的Section 1開始，到執(zhí)行Section 2的JetBot自駕車項目，最后Section 3 Hello AI World。經(jīng)過三個Section，您應(yīng)該稍微熟悉Pytorch，并且也訓(xùn)練了不少自己的模型，特別是在Hello AI World有訓(xùn)練了Object Detection模型。既然都有自己的模型，何不放到DeepStream上面制作專屬的串流辨識項目，針對想要辨識的項目導(dǎo)入適合的模型。

在Hello AI World項目訓(xùn)練Object Detection模型的時候，我們使用的是SSD-Mobilenet，在DeepStream的對象辨識范例中有提供使用自己的SSD模型方法，可在下列路徑找到參考文件，文件中使用的例子是使用coco數(shù)據(jù)集預(yù)訓(xùn)練的SSD-Inception。

/opt/nvidia/deepstream/deepstream-5.1/sources/objectDetector_SSD

可惜的是文件中使用的是從Tensorflow訓(xùn)練的模型，經(jīng)由轉(zhuǎn)換.uff再喂給DeepStream，與官方課程使用的Pytorch是不同路線。筆者在網(wǎng)上尋找解決方法，看是否有DeepStream使用Pytorch模型的方案，也于NVIDIA開發(fā)者論壇找到幾個同樣的提問，但最終都是導(dǎo)到上述提到的參考文件。

從Hello AI World訓(xùn)練的Object Detection模型，經(jīng)過執(zhí)行推論的步驟，您應(yīng)該會有三個與模型有關(guān)的檔案，分別是用Pytorch訓(xùn)練好的.pth，以及為了使用TensorRT加速而將.pth轉(zhuǎn)換的.onnx，最后是執(zhí)行過程中產(chǎn)生的.engine。既然Pytorch模型找不到解決方案，那就從ONNX模型下手吧，所幸經(jīng)過一番折騰，終于讓筆者找到方法。

https://github.com/neilyoung/nvdsinfer_custom_impl_onnx

neilyoung提供的方法主要是能產(chǎn)生動態(tài)函式庫，以便我們能在DeepStream使用ONNX模型，除了準(zhǔn)備好自己訓(xùn)練的ONNX模型檔案與Labels檔案，只要再新增設(shè)定模型路徑與類型的config檔案，與deepstream配置文件就能實現(xiàn)使用自己的模型進(jìn)行推論啰！

STEP 1：

首先于以下路徑底下新增執(zhí)行ONNX項目的文件夾，筆者命名為objectDetector_ONNX。

/opt/nvidia/deepstream/deepstream-5.1/sources

STEP 2：

新增專案文件夾后，請clone方才的nvdsinfer_custom_impl_onnx專案到文件夾內(nèi)。

STEP 3：

打開Terminal進(jìn)到nvdsinfer_custom_impl_onnx項目里面，透過sudo make指令產(chǎn)生動態(tài)函式庫。

STEP 4：

接著將自己從Hello AI World項目訓(xùn)練的Object Detection模型與卷標(biāo)復(fù)制到objectDetector_ONNX項目文件夾。

STEP 5：

從別的項目文件夾復(fù)制config檔案與deepstream配置文件到我們的文件夾內(nèi)，這邊復(fù)制objectDetector_SSD，因為模型類型相近，只要稍微修改即可。

STEP 6：

首先修改config檔案，如下圖所示，將模型路徑與卷標(biāo)路徑，修正為自己的模型與卷標(biāo)名稱，engine檔案的部份與Hello AI World項目一樣，在執(zhí)行ONNX檔案進(jìn)行TensorRT加速時會自動產(chǎn)生，只需給路徑與名稱即可。對于classes的部份，切記在Hello AI World項目訓(xùn)練的模型會加上BACKGROUND這一個類別，所以若是您辨識的對象有三種，就得在classes這邊填上3+1。

下方三項的設(shè)定則依照nvdsinfer_custom_impl_onnx項目github上的說明，記得動態(tài)函式庫的路徑請改成自己的路徑。

output-blob-names="boxes;scores"

parse-bbox-func-name="NvDsInferParseCustomONNX"

custom-lib-path="/path/to/lib/libnvdsinfer_custom_impl_onnx.so"

接著依照個人需求設(shè)定辨識的參數(shù)，例如希望信心指數(shù)達(dá)多少%才認(rèn)定對象類別，可以修改threshold。

STEP 7：

接著修改deepstream配置文件，筆者在這邊設(shè)定為USB Webcam輸入，并輸出單一窗口顯示，除了正常調(diào)整輸入與輸出之外，請將config檔案與Labels檔案導(dǎo)引至自己的路徑，engine的部份與config設(shè)定相同即可，如下圖所示。

完成上述7步驟后，就能執(zhí)行配置文件查看是否有正確執(zhí)行我們的ONNX模型，第一次執(zhí)行會較久，過程會產(chǎn)生engine檔案，一旦有了engine檔，之后執(zhí)行就不會再重復(fù)產(chǎn)生。

成功執(zhí)行自定義模型的結(jié)果。

結(jié)論

原官方范例大多執(zhí)行車流檢測，若是想執(zhí)行別的應(yīng)用就得自己研究。本篇透過將自己訓(xùn)練好的Pytorch模型轉(zhuǎn)換為ONNX，經(jīng)7步驟后讓DeepStream可以使用我們自己的模型進(jìn)行辨識，使其能應(yīng)用在交通以外的場景，例如室內(nèi)監(jiān)控、多機臺管控…等。

審核編輯 ：李倩