在AI應用的浪潮中，視覺AI無疑是最熱門的領域之一。從智能家居到安防監控，從工廠自動化到自動駕駛，視覺技術的身影無處不在。然而，對于很多開發者來說，想要在本地實現AI推理，而不依賴云端，并不是一件輕松的事。

現在，瑞薩推出了AI模型部署工具——一款幫你零門檻上手NVIDIA TAO的神器。

AI應用的難點

#人工智能技術十分強大，但落地并不簡單，原因如下：

工具鏈復雜：命令行操作多，學習成本高

訓練周期長：數據準備、模型訓練、優化環節耗時

部署門檻高：模型轉換與硬件適配繁瑣

特別是新手，面對復雜的命令行工具和海量參數，很容易陷入迷茫。

瑞薩的部署工具

瑞薩推出的AI模型部署工具，就是為了解決這些難點。

它是一個基于GUI的封裝工具，將NVIDIA TAO Toolkit打包成可視化操作界面，一站式解決從模型創建到部署的全流程。

它的優勢十分明顯：

全程可視化操作，無需命令行

完整流程支持：創建→數據準備→訓練→剪枝→評估→推理→部署

硬件適配廣：不僅能跑在NVIDIA GPU上，還能部署到瑞薩MPU、甚至MCU上

快速上手教程

下面用實際演示，帶你體驗它的操作流程。本演示基于Ubuntu 20.04系統，同樣也支持Ubuntu 22.04。演示使用Detectnetv2模型，并將其部署在RZ/V2L MPU上。

1

進入項目主頁

進入項目目錄并打開終端，執行`./gui_start.sh`命令，進入項目主頁。如圖1所示。

圖1 通過終端啟動工程

進入主頁后，點擊“CREATE”按鈕，新建工程。如圖2所示。

圖2 點擊“CREATE”新建工程

2

新建工程

在‘Project Name’欄，將工程命名為“Detectnetv2_for_video”。在“Task”欄中選擇“Object Detection”，并在“Board”欄中選擇“V2L”。最后點擊“CREATE”創建工程。如圖3所示。

圖3 新建工程相關配置

若工程被成功創建，在屏幕上方系統會提示“Successfully created the task”。如圖4所示。

圖4 成功創建工程

3

準備數據集

工程創建完成后，系統會自動進入準備數據集界面。本次演示使用KITTI Vision數據集。選擇好數據集后，點擊“ANALYZE DATA”按鈕，系統將分析數據集的類別數量等信息。如圖5所示。

圖5 選擇數據集并點擊“ANALYZE DATA”按鈕

在數據集分析等待的過程中，你可以通過點擊右下角的藍色“LOGS”按鈕，查看當前的日志。如圖6所示。

圖6 點擊右下角的藍色“LOGS”按鈕，查看日志

數據集分析完成后，界面會顯示數據類別分布和邊界框統計情況。

點擊“SPLIT”按鈕，系統會按71的比例劃分成訓練集、驗證集和測試集。成功劃分后，會提示“Successfully completed detect split”。點擊“GO FOR TRAINING”進入“Training”頁面。如圖7所示。

圖7 數據集的分析和劃分

4

訓練模型

在“Training”頁面中，選擇“Model”（模型）和“Pre-Trained Model Paths”（預訓練權重路徑）。同時，可以設置“Batch size for gpu”（批量大小）、“Epochs”（訓練輪數）、“Enable Qat”（是否啟用量化感知）、“Image width”（圖像寬度）以及“Image height”（圖像高度）等參數。

完成參數設置后，點擊“TRAINING SUBMISSION”開始訓練。如圖8所示。

圖8 配置模型參數

在訓練過程中，可以實時查看日志，并監控GPU負載變化。如圖9所示，隨著訓練的持續進行，會看到負載有明顯升高。

圖9 監控GPU負載變化

5

模型剪枝與再訓練

#NVIDIATAO支持結構化和非結構化兩種剪枝方式。可根據模型的需要，選擇合適的剪枝方式。對于Detectnetv2模型，需要使用結構化剪枝來移除冗余權重，并進行再訓練。通過結構化剪枝，可以讓模型在降低復雜度的同時盡可能提升精度。

剪枝完成后，可以像訓練模型一樣調整參數，并重新訓練。如圖10所示。

圖10 配置剪枝與再訓練參數

6

評估模型與推理

在“Evaluation Details”中，選擇已經訓練好的模型。點擊“CHECK MODEL EVALUATION”，可查看評估結果。如圖11所示。

圖11 模型評估結果

在推理頁面里，會使用剛剛評估過的模型進行推理。點擊“UPLOAD IMAGE”導入需要推理的圖片，點擊“PREDICT”進行推理。從圖12中可以看到，模型成功檢測出了汽車，并生成了相應的邊界框。

圖12 模型推理結果

7

部署到硬件

選擇模型后點擊“EXPORT”，導出訓練好的模型。如圖13所示。

圖13 導出模型

導出完成后，點擊“TRANSLATE”，將模型轉換為適配RZ/V2L的格式。如圖14所示。

圖14 轉換模型

轉換完成后，通過本地IP地址連接到開發板。此過程不僅建立了與開發板的連接，還將轉換好的模型傳輸到開發板上。輸入本地IP地址，并點擊 “CONNECT”進行連接，如圖15所示。

圖15 連接開發板

點擊“DEPLOY”部署，模型會在開發板上運行，如圖16所示。

圖16 部署模型

此時，在“Inference Results”里會輸出實時視頻流。如圖17所示。

如果精度沒有達到預期，可以更換模型訓練或繼續剪枝再訓練，直到達到理想效果。

圖17 輸出實時視頻流

總結

#瑞薩AI模型部署工具對AI初學者來說非常友好，無需代碼即可實現AI模型從創建到部署的全流程。除了面向AI初學者的模型部署工具，瑞薩還面向有經驗的開發者提供：

upyter Notebook

標準技術文檔

同時，瑞薩已為自家的產品線添加了Nvidia TAO的支持，使得使用Nvidia TAO推理出的模型能夠在瑞薩的MPU和MCU上運行。目前的評估套件適用于 RZ/V2H、V2L和RA8D1開發板。這種支持為你提供了豐富的選擇，讓你可以根據自己的需求定制產品。