作者：AVNET 李鑫杰

上文介紹了《一鍵搞定！PP-OCRv5模型轉ONNX格式全攻略》，本文將使用ROCm?在AMD? CPU、獨立顯卡、集成顯卡上優化并部署飛槳PP-OCRv5模型。

一，ROCm? 工具套件簡介

ROCm?（Radeon Open Compute）是 AMD 推出的開源軟件棧，旨在為 GPU 加速計算提供全面支持。它包含驅動程序、編譯器、開發工具、庫函數和 API，覆蓋從底層內核開發到上層應用部署的完整開發流程，廣泛適用于高性能計算（HPC）、人工智能（AI）和機器學習等領域。

ROCm? 特別針對生成式 AI 和 HPC 工作負載進行了深度優化，具備良好的生態系統兼容性和代碼可移植性，能夠幫助開發者快速將基于 CUDA 等平臺的現有項目遷移至 AMD 平臺。無論是以卷積神經網絡（CNN）為核心的預測式 AI 模型（Predictive AI），還是以 Transformer 架構為主的生成式 AI 模型（Generative AI），ROCm 均提供了高效的運行支持。

此外，ROCm? 不僅支持 AMD Radeon 獨立顯卡（dGPU），還兼容集成在 AMD CPU 中的核顯（iGPU），使得開發者能夠在多樣化的硬件環境中靈活部署 AI 模型，實現本地化高效推理與訓練

下表展示PP-OCRv5 Server版模型，經過ROCm?優化后，在AMD HX370上運行的性能。性能測試代碼和的圖片來自于開源項目：

https://github.com/liebedir/PP-OCRv5-AMD-ROCm

二，搭建ROCm?開發環境

首先，請克隆PP-OCRv5_AMD-ROCm到本地

git clone https://github.com/liebedir/PP-OCRv5-AMD-ROCm
cd PP-OCRv5-AMD-ROCm

接著，安裝ROCm?：

wget 
https://repo.radeon.com/amdgpu-install/6.4.3/ubuntu/jammy/amdgpu-install_6.4.60403-1_all.deb

sudo apt install ./amdgpu-install_6.4.60403-1_all.deb

sudo apt update

sudo apt install "linux-headers-$(uname -r)" "linux-modules-extra-$(uname -r)"

sudo apt install amdgpu-dkms

sudo apt install python3-setuptools python3-wheel

sudo usermod -a -G render,video $LOGNAME # Add the current user to the render and video groups

sudo apt install rocm

然后，添加環境變量到~/.bashrc，該環境變量與核顯的架構相關，11.0.0適用于RDNA3架構核顯，其他架構請參考https://github.com/liebedir/PP-OCRv5-AMD-ROCm：

vi ~/.bashrcexport HSA_OVERRIDE_GFX_VERSION=11.0.0

最后，重啟計算機。

完成計算機重啟后，創建python虛擬環境并安裝onnxruntime-rocm

conda create -n ocr-rocm python==3.10
pip3 install onnxruntime-rocm -f https://repo.radeon.com/rocm/manylinux/rocm-rel-6.4.2/

接著，[下載PP-OCRv5模型并導出為onnx格式。]

至此，模型和環境準備完成！

三，編寫PP-OCRv5推理程序

PP-OCRv5-AMD-ROCm項目已將推理程序編寫完成，各文件功能如下：

執行演示程序main.py，并指定模型路徑和推理硬件設備

python main.py --image_dir images/paddleocr_structure.png  
--det_model_dir ../PP-OCRv5_server_det_infer/inference.onnx
--det_model_device GPU 
--rec_model_dir ../PP-OCRv5_server_rec_infer/inference.onnx
--rec_model_device GPU

運行結果，如下圖所示：

四，總結

使用AMD 的開發者可以通過ROCm?軟件棧將PP-OCRv5模型部署到AMD的CPU、獨立顯卡或核顯硬件平臺上。

如果你有更好的文章，歡迎投稿！

稿件接收郵箱：nami.liu@pasuntech.com

更多精彩內容請關注“ 算力魔方^?^ ”！

審核編輯 黃宇