前言：

在RK3588上部署Deepseek有兩種方法,分別是使用Ollama工具部署和使用瑞芯微官方的 RKLLM量化部署。Ollama 是一個(gè)開源的大模型服務(wù)工具，調(diào)用的是CPU進(jìn)行的運(yùn)算，如果要將RK3588強(qiáng)悍的NPU性能發(fā)揮出來，可以重點(diǎn)了解一下RKLLM量化部署。

一、RKLLM介紹

為了使用RK NPU，用戶需要先在計(jì)算機(jī)上安裝RKLLM-Toolkit工具。RKLLM-Toolkit 是為用戶提供在計(jì)算機(jī)上進(jìn)行大語言模型的量化、轉(zhuǎn)換的開發(fā)套件。通過該 工具提供的接口可以便捷地完成模型轉(zhuǎn)換和模型量化。

RKLLM的整體開發(fā)步驟主要分為：模型轉(zhuǎn)換和板端部署運(yùn)行。

模型轉(zhuǎn)換是使用RKLLM-Toolkit將預(yù)訓(xùn)練的大語言模型轉(zhuǎn)換為RKLLM格式。

板端部署運(yùn)行是調(diào)用RKLLM Runtime庫加載RKLLM模型到Rockchip NPU平臺(tái)，然后進(jìn)行推理等操作。

二、DeepSeek-R1介紹

`DeepSeek-R1是深度求索（DeepSeek）公司推出的開源多模態(tài)大語言模型，專為長上下文理解和多模態(tài)交互優(yōu)化。DeepSeek-R1基于開源模型進(jìn)行了微調(diào)，提供了1.5B、7B等參數(shù)版本的DeepSeek-R1-Distill模型,適合部署到邊緣設(shè)備。

三、部署過程

3.1獲取模型

從 deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B 獲取模型文件；

# 獲取DeepSeek-R1-Distill-Qwen-1.5Bgitclonehttps://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

3.2安裝轉(zhuǎn)換工具

在Ubuntu虛擬機(jī)安裝RKLLM-Toolkit，以便將DeepSeek-R1大語言模型轉(zhuǎn)換為RKLLM模型格式和編譯板端推理的可執(zhí)行程序，具體RKLLM-Toolkit環(huán)境安裝步驟不在此詳述；

3.3安裝轉(zhuǎn)換工具

使用RKLLM-Toolkit對(duì)模型進(jìn)行轉(zhuǎn)換。運(yùn)行模型轉(zhuǎn)換腳本；

cd rknn-llm/examples/rkllm_api_demo/bash build-linux.sh

生成的可執(zhí)行文件在：

build/build_linux_aarch64_Release/llm_demo

3.4板端部署

將轉(zhuǎn)換成功后的 DeepSeek-R1-Distill-Qwen-1.5B.rkllm 模型與編譯后的二進(jìn)制文件 llm_demo 復(fù)制到板端，并導(dǎo)入環(huán)境變量

exportLD_LIBRARY_PATH=$LD_LIBRARY_PATH:rknn-llm/rkllm-runtime/Linux/librkllm_api/aarch64

3.5運(yùn)行測試

運(yùn)行 llm_demo

./demo_Linux_aarch64/llm_demo./Deepseek-R1-Disti11-Qwen-1.5B.rkllm1000010000

四、測試效果

4.1環(huán)境說明

使用眺望電子EVM-RK3588開發(fā)套件，搭載8GB內(nèi)存配置，板載運(yùn)行Ubuntu20.04系統(tǒng)。通過SSH登入主板運(yùn)行模型，Debug調(diào)試口用于監(jiān)測運(yùn)行器件資源消耗。

4.2推理過程

Connecting to 192.168.0.37:22...Connection established.To escape to local shell, press 'Ctrl+Alt+]'.WARNING! The remote SSH server rejected X11 forwarding request._____ _ |_ _| __ _ | | ___ __ __ ___| | / _` | | | / _ \ \ \ /\ / / / _ \| | | (_| | | | | (_) | \ V V / | __/|_| \__,_| |_| \___/ \_/\_/ \___|
Welcome to Ubuntu 20.04.6 LTS (GNU/Linux 6.1.84 aarch64)* Documentation: https://help.ubuntu.com* Management: https://landscape.canonical.com* Support: https://ubuntu.com/proLast login: Tue Feb 11 1425 2025-bash: /opt/ros/noetic/setup.bash: No such file or directory-bash: /opt/ros/noetic/setup.bash: No such file or directoryroot@talowe-rk3588:~#root@talowe-rk3588:~# lsDeepseek-R1-Disti11-Qwen-1.5B.rkllm demo_Linux_aarch64root@talowe-rk3588:~# ./demo_Linux_aarch64/llm_demo ./Deepseek-R1-Disti11-Qwen-1.5B.rkllm 10000 10000rkllm init startI rkllm: rkllm-runtime version: 1.1.4, rknpu driver version: 0.9.8, platform: RK3588rkllm init success**********************可輸入以下問題對(duì)應(yīng)序號(hào)獲取回答/或自定義輸入********************[0] 現(xiàn)有一籠子，里面有雞和兔子若干只，數(shù)一數(shù)，共有頭14個(gè)，腿38條，求雞和兔子各有多少只？[1] 有28位小朋友排成一行,從左邊開始數(shù)第10位是學(xué)豆,從右邊開始數(shù)他是第幾位?*************************************************************************user: 0現(xiàn)有一籠子，里面有雞和兔子若干只，數(shù)一數(shù)，共有頭14個(gè)，腿38條，求雞和兔子各有多少只？robot: 首先，設(shè)雞的數(shù)量為x只，兔子的數(shù)量為y只。根據(jù)題意，我們知道每只雞有1個(gè)頭和2條腿，每只兔子也有1個(gè)頭但有4條腿。因此，總共有14個(gè)頭，可以列出方程：x + y = 14同時(shí)，總腿數(shù)是38條，所以：2x + 4y = 38接下來，可以通過解這個(gè)方程組來找到x和y的值。首先，從第一個(gè)方程中解出x：x = 14 - y然后將x代入第二個(gè)方程：2(14 - y) + 4y = 38展開并簡化：28 - 2y + 4y = 38合并同類項(xiàng)：2y = 10解得：y = 5最后，代入x = 14 - y：x = 14 - 5 = 9因此，雞有9只，兔子有5只。think>要解決這個(gè)問題，我們可以設(shè)雞的數(shù)量為 \( x \) 只，兔子的數(shù)量為 \( y \) 只。根據(jù)題意，我們知道：- 每只雞和兔子都有1個(gè)頭，所以總共有14個(gè)頭，可以列出方程：\[x + y = 14\]- 雞有2條腿，兔子有4條腿，總腿數(shù)為38條，可以列出另一個(gè)方程：\[2x + 4y = 38\]接下來，我們可以通過解這個(gè)方程組來找到 \( x \) 和 \( y \) 的值。**步驟一：從第一個(gè)方程中解出 \( x \)**\[x = 14 - y\]**步驟二：將 \( x \) 代入第二個(gè)方程**\[2(14 - y) + 4y = 38\]展開并簡化：\[28 - 2y + 4y = 38 \\2y = 10 \\y = 5\]**步驟三：代入 \( y \) 的值求出 \( x \)**\[x = 14 - 5 = 9\]因此，雞有 \(\boxed{9}\) 只，兔子有 \(\boxed{5}\) 只。

4.3資源消耗

DeepSeek-R1模型輸出的回答結(jié)果清晰流暢，內(nèi)存資源占用797MB，NPU負(fù)載約為64%，在無風(fēng)扇環(huán)境下，溫升約10℃。

總而言之，DeepSeek-R1模型的強(qiáng)力有目共睹，同時(shí)也驗(yàn)證了眺望電子對(duì)RK3588系列處理器的深度優(yōu)化與強(qiáng)大可靠。如果您對(duì)部署過程感興趣，歡迎隨時(shí)與我們聯(lián)系，我們可以為您提供專業(yè)的技術(shù)支持，期待與您合作！