實戰(zhàn)核心：RKNN-Toolkit2 的使用

硬件板卡：迅為iTOP-RK3568開發(fā)板

在使用RKNN SDK之前，用戶需要使用RKNN-Toolkit2工具將自主研發(fā)的 算法模型轉換為RKNN模型。RKNN是Rockchip NPU平臺(也就是開發(fā)板)使用的模型類型，是以.rknn結尾的模型文件。得到RKNN模型之后，用戶可以選擇使用C接口在RK3568平臺開發(fā)應用。

在第3章節(jié)，我們是直接使用的已經(jīng)轉換好的模型rknn來進行的實驗。所以 這一章節(jié)我們來看下如何將其他模型類型轉成rknpu可以使用的rknn類型。

RKNN-Toolkit2 介紹

RKNN-Toolkit2是為用戶提供在PC、Rockchip NPU平臺上進行模型轉換、 推理和性能評估的開發(fā)套件，用戶通過該工具提供的Python接口可以便捷地完 成以下功能：

?模型轉換:支持Caffe、TensorFlow、TensorFlow Lite、ONNX、DarkNet、

PyTorch等模型轉為RKNN模型，并支持RKNN模型導入導出，RKNN

模型能夠在rk3568開發(fā)板上加載使用

?量化功能:支持將浮點模型量化為定點模型，目前支持的量化方法為非對稱

量化( asymmetric_quantized-8及asymmetric_quantized-16 )，并支持混合量

化功能 。asymmetric_quantized-16目前版本暫不支持

?模型推理:能夠在PC上模擬rk3568開發(fā)板運行RKNN模型并獲取推理 結果;或將RKNN模型分發(fā)到iTOP-RK3568設備上進行推理并獲取推理結 果

?性能評估:將RKNN模型分發(fā)到iTOP-RK3568設備上運行，以評估模型在實際設備上運行時的性能

?內存評估:評估模型運行時的內存的占用情況。使用該功能時，必須將

RKNN模型分發(fā)到iTOP-RK3568設備中運行，并調用相關接口獲取內存使

用信息

?量化精度分析:該功能將給出模型量化前后每一層推理結果與浮點模型推理

結果的余弦距離，以便于分析量化誤差是如何出現(xiàn)的，為提高量化模型的精 度提供思路

5.3 RKNN-Toolkit2 的使用

在rknn-toolkit2工具的examples目錄下有各種功能的Toolkit Demo，這里 我們運行一個模型轉換Demo為例子，這個Demo展示了在Ubuntu18.04上將yolov5.onnx模型轉換成RKNN模型，然后導出、推理、部署到RK3568開發(fā)板上或者模擬器上運行并取回結果的過程。模型轉換的具體實現(xiàn)請參考Demo內源代碼。

5.3.1 模型運行在模擬器

RKNN-Toolkit2自帶了一個模擬器，在Ubuntu18.04上運行demo程序即是 在仿真NPU模擬器上運行demo。以下演示如何在模擬器上運行RKNN-Toolkit2

工具自帶的yolov5.onnx模型轉換demo。

作者是在docker下使用RKNN-Toolkit2工具，大家在使用之前要按照“5.2.1

章節(jié)通過docker鏡像安裝”RKNN-Toolkit2工具。演示過程如下：

1在5.2.1小節(jié)中，已經(jīng)成功安裝并進入了docker鏡像中，如下圖所示：

2在rknn-toolkit2/examples下有各種功能的Toolkit Demo，如下圖所示：

3運行一個模型轉換例子，進入到onnx/yolov5目錄，如下圖所示：

4轉換yolov5s.onnx為rknn模型并運行模型推理圖片，輸入以下命令：

python3 test.py

5運行模型如下圖所示：

由上圖結果可以看出，圖上有三個人和一個巴士，所在坐標與原圖相符，推

理圖片成功。原圖如下圖所示：

6轉換后的模型默認保存路徑為“examples/onnx/yolov5/yolov5s.rknn”，如下圖所

示：

5.3.2 模型運行在 RK3568 開發(fā)板

1首先連接好開發(fā)板硬件，連接好燒寫線，屏幕，調試串口和電源。開發(fā)板燒寫

Android11系統(tǒng)。在本小節(jié)中，作者使用的開發(fā)環(huán)境是Ubuntu18.04，使用pip3

安裝RKNN-Toolkit2工具。

2開發(fā)板系統(tǒng)啟動之后，提示如下，我們將開發(fā)板連接到Ubuntu18.04上。

3在ubuntu18.04上使用adb命令來連接開發(fā)板。如果沒有安裝adb命令，可以使用命令“apt install adb”安裝。輸入以下命令查看iTOP-RK3568開發(fā)板

adb devices

4如上圖所示，iTOP-rk3568開發(fā)板設備id號為“67188a9846568f84”，說明設備已經(jīng)成功通過adb工具連接到開發(fā)板。

5打開一個終端命令窗口，進入RKNPU2工程目錄，

cd rknpu2

6 adb獲得開發(fā)板root權限，輸入以下命令：

adb root

7重新掛載開發(fā)板，輸入以下命令：

adb remount

8更新板子的rknn_server和librknnrt.so，rknn_server和librknnrt.so介紹如下

所示：

librknnrt.so:是一個板端的runtime庫。

rknn_server:是一個運行在板子上的后臺代理服務，用于接收PC通過USB傳

輸過來的協(xié)議，然后執(zhí)行板端runtime對應的接口，并返回結果給PC。

9推送拷貝rknn_server到開發(fā)板,輸入以下命令：

adb push runtime/RK356X/Android/rknn_server/arm64/rknn_server /vendor/bin/

10推送拷貝librknnrt.so到開發(fā)板，輸入以下命令：

adb push runtime/RK356X/Android/librknn_api/arm64-v8a/librknnrt.so /vendor/lib64

11打開adb shell命令行，即可操作iTOP-rk3568開發(fā)板。

adb shell

12修改rknn_server權限，并同步修改的內容，輸入以下命令：

chmod +x /vendor/bin/rknn_server

13重啟設備，輸入以下命令：

reboot

14 Android系統(tǒng)啟動時會自動運行rknn_server, "ps -ef|grep rknn_server"可以查看是否運行,如下圖所示：

15我們進入rknn-toolkit2-1.3.0文件夾。以demo(onnx/yolov5)為例，使用rk3568

平臺進行推理。輸入以下命令進入examples/onnx/yolov5文件夾。

cd examples/onnx/yolov5

16修改examples/onnx/yolov5/test.py文件，我們修改對應的平臺為rk3568，修改如下所示，“-”代表需要刪除的內容，“+”代表需要新增的內容。

if __name__ == '__main__':

# Create RKNN object

-

rknn = RKNN(verbose=True)

+

rknn = RKNN()

# Pre-process config

print('--> Config model')

-

rknn.config(mean_values=[128, 128, 128], std_values=[128, 128, 128])

+

rknn.config(mean_values=[128, 128, 128], std_values=[128, 128, 128],

target_platform='rk3568')

print('done')

# Load model

@@ -62,7 +62,7 @@ if __name__ == '__main__':

# Init runtime environment

print('--> Init runtime environment')

-

ret = rknn.init_runtime()

+

ret = rknn.init_runtime(target='rk3568')

if ret != 0:

print('Init runtime environment failed!')

exit(ret)

修改完，保存文件并退出。

17激活虛擬化環(huán)境，輸入以下命令

source venv/bin/activate

18在運行模型之前，首先檢查開發(fā)板是否被識別到，輸入adb devices，如下圖

所示：

adb devices

19進入到examples/onnx/yolov5文件夾，輸入以下命令，執(zhí)行模型轉換和推理模型的test.py腳本。python test.py

由上圖結果可以看出，圖上有三個人和一個巴士，所在坐標與原圖相符，推

理圖片成功。原圖如下圖所示：

通過迅為電子提供的完整工具鏈和詳細文檔，我們輕松從模型轉換到真機運行，整個流程清晰明了，讓開發(fā)者能夠快速上手，真正發(fā)揮RK3568NPU的強大算力。