以下文章來源于OpenFPGA，作者碎碎思

一個將最小號 DeepSeek 模型部署到 AMD Zynq UltraScale+ MPSoC 處理系統的項目。

1. 引言

如果你過去幾年沒注意人工智能的大趨勢，那么你可能不知道大型語言模型(LLM)已在 AI 領域占據重要地位。

這些模型能夠理解人類的文本查詢，并生成文本回應。之所以稱“大模型”，是因為它們通常在大量網頁、書籍、對話、代碼等數據上訓練。

其本質并非“真正的智能”，而是深度學習模型——基于復雜數學運算（如線性代數、優化算法）實現的預測機制。

常見的做法是：若希望獲得良好性能，通常依賴高性能的 GPU（例如 AMD Instinct GPU）進行推理。

但在某些應用場景，我們可能希望將 LLM 部署在 邊緣設備（edge device） 本地執行。出于這個目的，本項目將在 ZUBoard（含 Arm Cortex-A53 內核的 Zynq UltraScale+ MPSoC）上運行一個較小的 DeepSeek 模型。

部署在邊緣設備的優勢包括：

隱私：模型在本地運行，無需上傳數據到云端。

離線訪問：不依賴寬帶或云服務。

成本：節省托管云推理的費用。

但工程中必須在 隱私、成本、性能之間做權衡。

2. 什么是 DeepSeek

如果你還不熟悉 DeepSeek：這是一系列高性能的開放權重 LLM 和大規模多模態模型（LMM），用于推動開放 AI 研究。

這些模型從零開始訓練，使用了數萬億 tokens 的多語言網頁、學術文獻、代碼庫及精編數據集。

架構上基于 Transformer，并加入了諸如：Grouped Query Attention (GQA)、SwiGLU 激活函數、多查詢注意力層，以提升推理效率。

模型尺寸可選范圍：1.5B、7B、13B 參數及以上，以便在資源使用與準確度之間平衡。

DeepSeek-VL（視覺-語言版本）擴展支持圖像數據與文本監督，能夠進行跨模態推理、視覺問答、圖片-文本生成。

其還提供量化版本（4 bit、8 bit）以適配邊緣設備與移動部署。

在多個基準上（如 MMLU、GSM8K、HumanEval、MMMU）表現出接近或達到最先進水平，同時優化 CPU/GPU 推理效率。

3. 在 Zynq UltraScale+ MPSoC 上開始

項目使用 PYNQ 平臺作為 DeepSeek 安裝基礎。

步驟如下：

從 PYNQ 官網下載適用于 Avnet ZUBoard 的鏡像，并將鏡像燒錄至 SD 卡。

將板上的啟動開關設為 SD 卡啟動，插入 SD 卡，并通過 USB UART 與以太網將 ZUBoard 連接至主機。

啟動后使用瀏覽器訪問 http://pynq:9090，密碼通常為 xilinx。

打開終端，準備安裝 DeepSeek 模型。

4. 準備工作

由于 ZUBoard 僅配備 1 GB 的 LPDDR4 內存，需在 SD 卡上建立足夠的交換（swap）空間，以防止內存耗盡導致系統崩潰。

具體命令示例：

swapon --show 
sudo swapoff /var/swap 
sudo rm /var/swap 
sudo chmod 600 /var/swap 
sudo mkswap /var/swap 
sudo swapon /var/swap

執行完成后，通過 swapon --show 可確認現在有約 4 GB 的 swap 空間。

5. 安裝 Ollama 與 DeepSeek

使用開源工具 Ollama 來運行 LLM，本項目使用 Ollama 框架。

安裝命令示例：

curl -fsSL https://ollama.com/install.sh | sh

系統無 GPU，可忽略相應警告。

在安裝成功后，下載 DeepSeek 1.5B 參數版本。示例命令：

mkdir deepseek 
exportHOME=/home/xilinx/deepseek 
ollama pull deepseek-r1:1.5b

6. 測試

在 ZUBoard 上運行模型示例命令：

ollama run deepseek-r1:1.5b

系統將顯示提示符，等待你的輸入。

我做的第一件事就是詢問它關于模型的問題。

模型信息如下圖所示。

然后，像操作普通 LLM 一樣與該模型進行交互。

可在另一個終端運行 top 命令來觀察系統資源消耗。

需要注意：

參數較少（1.5B）意味著推理能力有限。

使用 swap 空間意味著性能會受到影響。

7. 總結

該項目展示了：即便沒有 GPU，也能在邊緣設備（如 ZYNQ）上部署 LLM。盡管性能受限，但具備“本地離線自動推理”的能力，在特定應用場景中極具價值。