最近大語言模型圈都在蹲 DeepSeek 的 “限定版回復”，哪怕它無情地告知 20 遍服務器忙，咱也得執著地再求一次 。

這種對技術的執著追求，正是推動人工智能不斷進步的動力。而為了讓這個 “傲嬌” 的模型能更順暢地和我們交流，我們可以在HZHY-AI300G智能盒上部署DeepSeek-R1模型。

接下來，我們將一步步帶你完成DeepSeek-R1模型的部署，這一過程不僅能讓我們更直觀地感受人工智能在嵌入式設備上的魅力，還能為后續的創新應用打下堅實基礎。

01

操作步驟

獲取RKNN-llm大語言模型工具包

從GitHub下載rknn-llm工具包，內含部署大語言模型（LLM）到Rockchip設備的代碼及RKNN工具鏈使用方法。下載后，解壓zip包到Linux電腦（虛擬機）的指定目錄。

編譯RKNN的C++ Demo

在解壓后的工具包中，修改編譯腳本，特別是交叉編譯工具鏈的位置。執行編譯腳本后，生成install文件夾，里面包含編譯好的Demo文件。

下載瑞芯微已適配的DeepSeek-R1模型

通過瑞芯微提供的鏈接，下載適配RK3588平臺的DeepSeek-R1模型。下載完成后，將模型文件與編譯好的Demo一起拷貝到HZHY-AI300G智能盒上。

拷貝Demo和模型到HZHY-AI300G智能盒

將Demo和模型文件拷貝到智能盒的指定目錄中，可通過USB或網絡傳輸完成。

執行Demo調用DeepSeek-R1模型進行對話

在智能盒上設置環境變量并執行Demo命令，調用DeepSeek-R1模型進行對話，測試其功能。

02

模型功能展示

成功完成 DeepSeek - R1 模型的部署，就如同搭建起一座通往智能前沿領域的橋梁。借助 Demo 與模型展開交互，其卓越的智能特性得以充分彰顯。不管是問到具有復雜性的數學問題，還是對于未來科技發展趨勢的見解，模型都可憑借其先進的算法架構和強大的運算能力，迅速且精準地給出答案，并基于深度神經網絡所具備的邏輯推理機制，條理分明地呈現出完整的解答。這些回答讓我們認識到它不僅僅是一組運行在計算機系統中的程序代碼，更是能夠與人類進行深度思想交流、共同探討未來發展方向的智能伙伴。

通過本次演示，我們成功在HZHY-AI300G智能盒上部署了DeepSeek-R1模型，并通過Demo與模型進行了互動。從獲取工具包、編譯Demo、下載模型到最終執行，整個過程展示了如何將大語言模型部署到嵌入式設備上，并實現智能對話功能，期待大家在實踐中嘗試類似的部署操作，若在過程中遇到任何問題或有新的發現，歡迎隨時來交流，讓我們一起在技術的道路上共同進步。