當(dāng)前面已經(jīng)訓(xùn)練好修剪過(guò)的模型之后，接下來(lái)就可以在訓(xùn)練設(shè)備上先執(zhí)行推理計(jì)算，看看檢測(cè)的效果如何？如果實(shí)際推理結(jié)果并不理想的話，就得回到前面第 6 步驟重新再執(zhí)行一次。

9、執(zhí)行推理并查看結(jié)果

首先創(chuàng)建一個(gè) test_samples 目錄，然后從數(shù)據(jù)集中 testing/image_2 中復(fù)制一些圖像過(guò)來(lái)測(cè)試，推理結(jié)果輸出到 ssd_infer_images 目錄下，這個(gè)推理計(jì)算也可以使用未修剪的模型來(lái)進(jìn)行測(cè)試。

在代碼框 “!tao ssd inference” 后面所提供的參數(shù)中，下面兩行是使用修剪后并重新訓(xùn)練的模型來(lái)進(jìn)行推理。

-e $SPECS_DIR/ssd_retrain_resnet18_kitti.txt  -m$USER_EXPERIMENT_DIR/experiment_dir_retrain/weights/ssd_resnet18_epoch_$EPOCH.tlt

如果將這兩行參數(shù)改成下面內(nèi)容，就是用原始模型來(lái)進(jìn)行推理。

-e $SPECS_DIR/ssd_train_resnet18_kitti.txt  -m$USER_EXPERIMENT_DIR/experiment_dir_unpruned/weights/ssd_resnet18_epoch_$EPOCH.tlt

這樣我們可以執(zhí)行透過(guò)推理結(jié)果，來(lái)查看二者的不同。下面兩張圖分別是未修剪（上）與修剪后（下）模型推理結(jié)果的局部放大，雖然修剪后的模型效果不如未修剪的，但是執(zhí)行結(jié)果還是令人滿(mǎn)意，當(dāng)然這得看您的要求有多高。

如果認(rèn)可這個(gè)推理結(jié)果的話，那么訓(xùn)練階段的任務(wù)就可以告一段落，接下去就準(zhǔn)備將模型導(dǎo)出，以便部署到真實(shí)的推理設(shè)備上。

10、導(dǎo)出模型

要執(zhí)行這個(gè)步驟，最好先確認(rèn)您的推理設(shè)備上所能支持的數(shù)據(jù)精度，特別是 INT8 類(lèi)型，例如 Jetson Nano （含 2GB）、TX2/TX1就不支持，Xavier NX 與 AGX Xavier 是支持的。臺(tái)式機(jī)上的游戲卡一般不支持 INT8，而 Tesla、Quadro 專(zhuān)業(yè)卡是支持的，不過(guò) NVIDIA 全系列產(chǎn)品都支持 FP16，如果不能確認(rèn)這方面的信息，至少選擇 FP16 是比較穩(wěn)妥。

簡(jiǎn)單說(shuō)明一下代碼框 “!tao ssd export” 后面的參數(shù)：

假如要輸出 INT8 模型時(shí)，由于需要特殊算法以及輔助的校準(zhǔn)工具，因此需要其他參數(shù)來(lái)協(xié)助這類(lèi)模型的導(dǎo)出，主要如下：

這樣就能完成 INT8 模型的輸出任務(wù)。

到這里所輸出的 .etlt 模型文件基本上已經(jīng)可以部署到 DeepStream 推理設(shè)備上使用，因?yàn)?DeepStream 支持 .etlt 格式的調(diào)用，相當(dāng)方便。但如果要用其他獨(dú)立的 TensorRT 來(lái)執(zhí)行加速推理的話，就需要在推理設(shè)備上再進(jìn)行一次的轉(zhuǎn)換。

本步驟最后一個(gè)代碼塊 “!tao converter” 就是在訓(xùn)練設(shè)備上，將 .etlt 模型轉(zhuǎn)成這臺(tái)機(jī)器能使用的 TensorRT 引擎文件。由于參數(shù)內(nèi)容較多，這里不一一列舉，請(qǐng)自行至https://docs.nvidia.com/tao/tao-toolkit/text/object_detection/ssd.html搜索 “Using the tao-converter” 環(huán)節(jié)，有詳細(xì)的參數(shù)說(shuō)明。

要注意的一點(diǎn)，在 “!tao converter” 所使用的“-t” 指定數(shù)據(jù)精度部分，需要與前面 “!tao ssd export” 的 “--data_type” 一致，否則會(huì)失去效果。

11、驗(yàn)證部署模型的效果

這個(gè)步驟是驗(yàn)證 TensorRT 加速引擎的推理效果，主要讓我們?cè)诓渴鸬酵评碓O(shè)備之前，能再確認(rèn)一下推理效果。

下面同樣提供兩張推理結(jié)果參照?qǐng)D，上圖是未修剪的模型轉(zhuǎn)成 TensorRT 引擎的推理結(jié)果，下圖是修剪過(guò)的模型轉(zhuǎn)成 TensorRT 引擎的推理結(jié)果，效果看起來(lái)是一樣的，表示這個(gè)修剪過(guò)的模型還是足夠好的。

現(xiàn)在就完成一個(gè)物件檢測(cè)模型訓(xùn)練的過(guò)程，雖然看起來(lái)繁瑣，但是只要我們弄清楚一開(kāi)始的路徑對(duì)應(yīng)，以及熟練后面每個(gè)環(huán)節(jié)的參數(shù)用法，基本上要比在框架中自行撰寫(xiě)代碼容易得多了，除了收集與整理數(shù)據(jù)的工作是 TAO 工具無(wú)法協(xié)助的，其余部分已經(jīng)都為大家提供好完整的指令塊，這是一個(gè)真正 “Zero Coding” 的全方位模型訓(xùn)練工具。