RK3588NPU簡介

作為瑞芯微新一代旗艦工業處理器，RK3588 NPU性能可謂十分強大，6TOPS設計能夠實現高效的神經網絡推理計算。這使得RK3588在圖像識別、語音識別、自然語言處理等人工智能領域有著極高的性能表現。

此外，RK3588的NPU還支持多種學習框架，包括TensorFlow 、PyTorch、Caffe、MXNet等在人工智能開發中流行的深度學習框架，能夠為開發者提供豐富的工具和庫，使他們能夠方便地進行模型訓練和推理，可輕松應對各種大數據運算場景。

RK3588 NPU典型工業應用

圖1

目標識別跟蹤：在視頻監控和無人駕駛領域，RK3588可提供6TOPS高性能NPU算力，可實時處理高清視頻流、目標檢測、識別和跟蹤。其強大的計算能力可滿足復雜場景下的實時處理需求，提高監控系統的準確性和反應速度。

AGV機器人：RK3588的NPU可提供強大的視覺處理能力，可幫助AGV機器人實現高效的路徑規劃和避障，提高運輸效率和安全性。

醫療內窺鏡：RK3588的NPU可提供圖像識別和分析的能力，幫助醫生快速準確地診斷疾病。其深度學習推理能力可輔助醫生進行圖像識別和病灶檢測，提高診斷的準確性和效率。

高速收費終端：RK3588的NPU可提供車牌識別和計費的處理能力，實現高速路上的無人化收費，提高交通效率和安全性。

車載環視系統：RK3588的NPU可處理多個攝像頭采集的圖像數據，實現車輛周圍環境的360度監控，幫助車輛進行障礙物檢測、碰撞預警和自動泊車等功能。

RK3588 NPU開發流程

第一步：模型訓練

首先需要收集并準備訓練數據，選擇適合的深度學習框架（如TensorFlow、PyTorch、Keras等）進行模型訓練或使用官方提供的模型。

第二步：模型轉換

完成模型訓練后，使用RKNN-Toolkit2將預訓練模型轉換為RK3588 NPU可使用的RKNN模型。這通常涉及到將模型中的計算圖進行適當的修改和優化，以適應NPU的硬件架構和指令集。

第三步：應用開發

基于RKNN API開發應用程序。開發階段需要根據具體需求，將轉換后的模型集成到應用程序中。

圖2 NPU開發流程框圖

RK3588 NPU開發案例分享

案例說明

本案例基于RKNN API實現對圖片中目標對象的識別，并將識別結果以加水印的方式添加至圖像，并保存成圖片文件。案例循環測試10次，統計出推理的平均處理耗時。測試基于創龍科技RK3588工業評估板TL3588-EVM進行。

備注：本案例基于瑞芯微官方例程實現，進行了目錄的重構及編譯的簡化,功能邏輯未進行修改。官方例程位于LinuxSDK源碼"external/rknpu2/examples/rknn_yolov5_demo/"目錄下。

圖3

程序處理流程框圖如下：

圖4

案例測試

請通過網線將評估板千兆網口ETH0連接至路由器。

圖5

請將案例bin目錄下的所有文件拷貝至評估板文件系統任意目錄下。

圖6

在可執行文件所在目錄，執行如下命令，對圖片目標對象進行模型推理。

備注：模型運行的時間會有抖動。

Target#./yolov5_object_detect yolov5s-640-640_rm_transpose_rk3588.rknn bus.jpg

圖7

從輸出信息可知，本案例程序識別出測試圖片包含4個person和1個bus對象，運行1次模型耗時為23.905000ms；循環運行10次模型平均耗時為21.356800ms。

案例程序對測試圖片的目標對象標記成功后將輸出名稱為out.jpg的標記圖片至當前目錄，請將out.jpg文件拷貝至Windows下，并使用PC端相關軟件對比查看bus.jpg與out.jpg，測試結果如下所示。

圖8 圖9 bus.jpg

圖10 out.jpg

從out.jpg圖片可知，案例程序能正確框選出4位人物和1輛汽車，同時顯示person、bus文字標簽和置信度，標記對象的數量及信息等與程序打印信息一致。

本程序能夠支持識別的目標數據集類型說明位于bin目錄下的coco_80_labels_list.txt文件，用戶可根據相關目標類型進行測試驗證。

圖11

審核編輯 黃宇