人工智能（AI）領域中的大模型（Large Model）逐漸成為研究的熱點。大模型，顧名思義，是指擁有海量參數和高度復雜結構的深度學習模型。它的出現，不僅推動了AI技術的突破，更為各行各業帶來了革命性的變化。

RK3588是瑞芯微推出的新一代旗艦級高端處理器，采用8nm工藝設計，搭載四核A76+四核A55的八核CPU和Arm高性能GPU，內置6T算力的NPU。能夠高效地處理AI算法和模型，為大模型的運行提供了強大的硬件支持。

在北京迅為推出的搭載了RK3588處理器的iTOP-RK3588開發板上，使用RKLLM 工具套件支持在iTOP-RK3588平臺上進行LLM（大型語言模型）模型的轉換和部署。它與Hugging Face模型架構兼容（Hugging Face是廣泛用于自然語言處理任務的模型架構。目前，該系統支持以下模型：LLaMA、Qwen、Qwen2和Phi-2。支持量化技術，即使用w8a8（8位權重，8位激活）和w4a16（4位權重，16位激活）精度進行模型量化。這可以在目標平臺上更高效地存儲和計算模型，減小內存占用。

iTOP-RK3588開發板體驗大模型

為了讓用戶更快速的體驗RKLLM ，北京迅為已經對Linux內核源碼中的NPU版本進行了升級，升級到了最新的0.9.6版本，具體如下所示：

默認以將RKLLM動態庫集成在了Ubuntu和Debian系統中，用戶可以直接拷貝轉換完成的RKLLM大預言模型和推理程序進行測試。詳細說明請見NPU手冊中RKLLM模型轉換和測試相關步驟。

《iTOP-RK3588開發板NPU使用手冊》v1.1教程目錄

第1章 你好！NPU

1.1 NPU的誕生！

1.2 初識RKNPU

第2章 準備RKNPU開發環境

2.1 開發環境

2.1 軟件架構

2.2 SDK說明

第3章 讓NPU跑起來

3.1 在Linux系統中使用NPU

3.1.1 設置交叉編譯器

3.1.2 修改編譯工具路徑

3.1.3 更新RKNN模型

3.1.4 編譯demo

3.1.5 開發板運行demo

3.2 在Android系統中使用NPU

3.2.1下載編譯所需工具

3.2.2 修改編譯工具路徑

3.2.3 更新RKNN模型

3.2.4 編譯demo

3.2.5 開發板運行demo

第4章 體驗RKNN_DEMO

4.1 rknn_ssd_demo體驗

4.2 rkn_api_demo體驗

4.3 rknn_multiple_input_demo體驗

第5章 模型轉換

5.1 RKNN-Toolkit2 介紹

5.2 RKNN-Toolkit2環境搭建

5.2.1 安裝Miniconda

5.2.2 創建RKNN虛擬環境

5.2.3 安裝pycharm

5.2.4 配置pycharm

5.3 RKNN-Toolkit2工具的使用

5.3.1 模型運行在模擬器

5.3.2 模型運行在RK3588開發板

第6章 其他模型轉換

6.1 使用tensorflow框架

6.2 使用caffe框架

6.3 使用tflite框架

6.4 使用onnx框架

6.5 使用darknet框架

6.6 使用pytorch框架

第 7章 使用RKNN-Toolkit-lite2

7.1 主要功能說明

7.2 環境搭建步驟

7.2.1 安裝Miniconda

7.2.2 創建RKNN虛擬環境

7.2.3 安裝RKNN-ToolkitLite 2軟件包

7.2.4 安裝opencv

7.3 運行測試程序

第8章 RKLLM大預言模型測試

8.1 RKLLM-Toolkit介紹

8.2 RKLLM-Toolkit環境搭建

8.2.1 安裝Miniconda

8.2.2 創建RKLLM虛擬環境

8.3 大語言模型轉換

8.4 推理程序編譯

8.5 開發板運行測試