關(guān)鍵詞：YOLO26、樹(shù)莓派、國(guó)產(chǎn)AI加速卡、M5Stack、邊緣AI

速度快、功耗低、純國(guó)產(chǎn)，樹(shù)莓派終于有了真正實(shí)用的 AI 加速方案

近年來(lái)，隨著 AI 技術(shù)的爆發(fā)式發(fā)展，邊緣智能設(shè)備正成為行業(yè)布局的重點(diǎn)。從工業(yè)質(zhì)檢到智能安防，從機(jī)器人視覺(jué)到車載感知，AI 模型正快速?gòu)摹霸贫恕弊呦颉敖K端”。然而，邊緣設(shè)備往往受限于計(jì)算資源與功耗，如何在有限資源下實(shí)現(xiàn)高效、實(shí)時(shí)的 AI 推理，一直是技術(shù)落地的關(guān)鍵挑戰(zhàn)。

左上角可以清晰看到 Infer 時(shí)間 < 2ms

• Ultralytics 最新 YOLO26 +樹(shù)莓派+國(guó)產(chǎn)AI 加速卡實(shí)現(xiàn) 500 FPS 端側(cè) AI 性能巔峰！
• 代碼：https://github.com/AXERA-TECH/axcl-samples/blob/main/examples/axcl/ax_yolo26_steps.cc
• 模型：https://huggingface.co/AXERA-TECH/yolo26
• 文檔：https://docs.m5stack.com/zh_CN/ai_hardware/LLM-8850_Card
• 4000 字，閱讀 13 分鐘，播客 14 分鐘

相關(guān)推薦

• 讓手機(jī)CPU,GPU,NPU協(xié)同！浙大端側(cè)AI“超級(jí)記憶”AME硬件感知引擎：7倍索引加速，6倍插入提速，隱私與速度兼得！
• 小語(yǔ)言模型量化基準(zhǔn)體系 SLMQuant：8 位近無(wú)損與 W4A8 低比特效能研究
• HeteroLLM：利用移動(dòng)端 SoC 實(shí)現(xiàn) NPU-GPU 并行異構(gòu) LLM 推理！以 高通8 Gen 3的NPU GPU為例

今天，我們?yōu)榇蠹規(guī)?lái)一套純國(guó)產(chǎn)、高性能、易部署的邊緣 AI 解決方案：M5Stack LLM-8850-Card（國(guó)產(chǎn) AI 加速卡）與Ultralytics YOLO26n（新一代端側(cè)檢測(cè)模型）的強(qiáng)強(qiáng)組合，讓樹(shù)莓派等低成本開(kāi)發(fā)板也能輕松實(shí)現(xiàn) < 2 ms 級(jí)目標(biāo)檢測(cè)。

左上角可以清晰看到 Infer 時(shí)間 < 2ms

相比樹(shù)莓派單靠 CPU 運(yùn)行 YOLO26n 模型，性能提升達(dá)幾十到幾百倍：

本文目錄unsetunset

• 一、YOLO26n：為邊緣而生的新一代檢測(cè)模型
• 二、M5Stack LLM-8850-Card：樹(shù)莓派 AI“小鋼炮”
  • 2.1 硬件參數(shù)
  • 2.2 NPU 工具鏈與軟件生態(tài)
  • 2.3 部分模型 benchmark：視覺(jué)、LLM、VLM 模型
• 三、實(shí)戰(zhàn)：在樹(shù)莓派+LLM-8850 上跑通 YOLO26n
  • 3.1 實(shí)現(xiàn)步驟：核心代碼講解
  • 3.2 編譯與運(yùn)行
• 四、性能實(shí)測(cè)：推理＜ 2ms，幀率高達(dá) 500+FPS
• 總結(jié)：國(guó)產(chǎn)邊緣 AI 生態(tài)正當(dāng)時(shí)

交流加群請(qǐng)?jiān)?u>NeuralTalk 公眾號(hào)后臺(tái)回復(fù)：加群

unsetunset一、YOLO26n：為邊緣而生的新一代檢測(cè)模型unsetunset

Ultralytics YOLO26 與系列前代模型的性能對(duì)比可視化。聚焦精度、推理速度、硬件適配性等核心維度。直觀呈現(xiàn) YOLO26 在移除 DFL 模塊、采用 MuSGD 優(yōu)化器后，于邊緣設(shè)備場(chǎng)景下的優(yōu)勢(shì)

YOLO26 是 Ultralytics 在 2026 年發(fā)布的最新版本[1]，專為邊緣與低功耗設(shè)備優(yōu)化設(shè)計(jì)。其核心特點(diǎn)包括：

• 端到端無(wú) NMS 推理：首次實(shí)現(xiàn)真正的端到端預(yù)測(cè)，無(wú)需后處理中的非極大值抑制（NMS），大幅簡(jiǎn)化部署流程、降低延遲，提升系統(tǒng)穩(wěn)定性。
• 去除 DFL 模塊：移除了傳統(tǒng)的分布焦點(diǎn)損失（DFL），提升模型導(dǎo)出兼容性，更適合各類邊緣硬件部署。
• CPU 推理性能大幅提升：相比前代，YOLO26 在 CPU 上的推理速度提升最高達(dá) 43%，為無(wú) GPU 的設(shè)備帶來(lái)實(shí)時(shí)的 AI 處理能力。
• 支持多任務(wù)統(tǒng)一架構(gòu)：一個(gè)模型家族覆蓋檢測(cè)、分割、分類、姿態(tài)估計(jì)、旋轉(zhuǎn)框檢測(cè)五大任務(wù)，極大簡(jiǎn)化開(kāi)發(fā)與維護(hù)成本。

下面表格展示了 YOLO26 系列 5 個(gè)不同規(guī)模模型在 COCO 目標(biāo)檢測(cè)數(shù)據(jù)集上的核心性能指標(biāo)，清晰呈現(xiàn)了模型精度、推理速度、參數(shù)量和計(jì)算量的權(quán)衡關(guān)系，為不同部署場(chǎng)景的模型選型提供依據(jù)。

本次我們重點(diǎn)使用的是其最小尺寸版本——YOLO26n，其模型參數(shù)僅2.4M，在 COCO 數(shù)據(jù)集上仍能實(shí)現(xiàn)40.9% 的 mAP，是邊緣設(shè)備上平衡精度與速度的理想選擇。

unsetunset二、M5Stack LLM-8850-Card：樹(shù)莓派 AI“小鋼炮”unsetunset

盡管樹(shù)莓派等開(kāi)發(fā)板生態(tài)豐富、用戶基數(shù)龐大，但其本身缺乏專用的 NPU（神經(jīng)網(wǎng)絡(luò)處理單元），依賴 CPU 進(jìn)行 AI 推理往往速度慢、占用率高，難以滿足實(shí)時(shí)性要求。雖然樹(shù)莓派官方有 Hailo 等加速方案，但多為國(guó)外芯片，國(guó)內(nèi)開(kāi)發(fā)者面臨采購(gòu)與技術(shù)支持的不便。

2.1 硬件參數(shù)

在此背景下，深圳 M5Stack 基于愛(ài)芯元智(AXERA) AX8850國(guó)產(chǎn) AI SoC，精心打造了一款M.2 M-KEY 2242 形態(tài)的 AI 加速卡——LLM-8850-Card，堪稱樹(shù)莓派 AI“小鋼炮”。

LLM?8850Card 是一款面向邊緣設(shè)備的 M.2 M-KEY 2242 AI 加速卡，把 42mm 的袖珍體積與 Axera AX8850 SoC 的 24 TOPS@INT8 算力結(jié)合起來(lái)，為 Raspberry Pi 5、RK3588 SBCs、x86 PC 等主機(jī) “一插即強(qiáng)” 地?cái)U(kuò)展多模態(tài)大模型與視頻分析能力

這款計(jì)算模塊在性能與體積上實(shí)現(xiàn)了完美平衡：

• 它搭載了 AX8850 芯片，集成八核 Cortex-A55 CPU 并提供高達(dá) 24 TOPS @ INT8 的 NPU 算力，同時(shí)配備 8GB LPDDR4x 大內(nèi)存，為多模型、多任務(wù)并行提供了充足的帶寬與強(qiáng)勁算力支持。
• 在多媒體處理方面，該模塊集成了強(qiáng)大的硬件視頻引擎，支持 8K H.264/H.265 編解碼，可同時(shí)處理 16 路 1080p 視頻流，從而實(shí)現(xiàn)“視頻+AI”的一站式高效處理。

盡管性能強(qiáng)大，其體積卻極為小巧精悍42.6 × 24.0 × 9.7 mm，采用 M.2 2242 標(biāo)準(zhǔn)尺寸，可直接插入樹(shù)莓派 5、RK3588 等開(kāi)發(fā)板的 M.2 接口，真正做到即插即用；為了確保長(zhǎng)時(shí)間滿載運(yùn)行的穩(wěn)定性，模塊還內(nèi)置了微型渦輪風(fēng)扇與鋁合金一體化散熱片，并由板載 EC 智能溫控系統(tǒng)進(jìn)行精準(zhǔn)調(diào)節(jié)。

2.2 NPU 工具鏈與軟件生態(tài)

Pulsar2 由愛(ài)芯元智自主研發(fā) 的 all-in-one 新一代神經(jīng)網(wǎng)絡(luò)編譯器[2]，即轉(zhuǎn)換、 量化、 編譯、 異構(gòu)四合一，實(shí)現(xiàn)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型快速、 高效的部署需求。

針對(duì) NPU 特性進(jìn)行了深度定制優(yōu)化，充分發(fā)揮片上異構(gòu)計(jì)算單元(CPU+NPU)算力, 提升神經(jīng)網(wǎng)絡(luò)模型的產(chǎn)品部署效率。

Pulsar2 NPU 工具鏈從模型量化到部署全流程：從 PyTorch/TensorFlow 等框架導(dǎo)出 ONNX 模型，經(jīng) Pulsar2 工具鏈量化、編譯，生成 AxModel，經(jīng)比特對(duì)齊驗(yàn)證后，通過(guò) AXCL Runtime 在上板運(yùn)行

而AXCL[3]是用于在 AXERA 芯片平臺(tái)上開(kāi)發(fā)深度神經(jīng)網(wǎng)絡(luò)推理、轉(zhuǎn)碼等應(yīng)用的 C、Python 語(yǔ)言 API 庫(kù)。其能力提供運(yùn)行資源管理，內(nèi)存管理，模型加載和執(zhí)行，媒體數(shù)據(jù)處理等 API。

在軟件生態(tài)上，基于完善的AXCL Runtime[4]能力，其不僅支持 C / Python API，更已集成對(duì) YOLO 系列、CLIP、Whisper、Llama3.2、InternVL3、Qwen3 等主流 CNN、Transformer、LLM 與多模態(tài)模型的一鍵部署能力，極大地降低了開(kāi)發(fā)門檻。

2.3 部分模型 benchmark：視覺(jué)、LLM、VLM 模型

下面是部分視覺(jué)、LLM、VLM 模型 benchmark 數(shù)據(jù)，更多數(shù)據(jù)見(jiàn) benchmark[5]：

Vision 模型在 NPU 上的推理性能測(cè)試表，IPS 是每秒處理圖像數(shù)（Images Per Second），是衡量計(jì)算機(jī)視覺(jué)（CV）模型推理速度和吞吐量的核心指標(biāo)

LLM 模型在 NPU 上的性能測(cè)試表，展示 Qwen2.5 系列（0.5B/1.5B/7B）在 128 tokens 提示下的表現(xiàn)：TTFT 是首次 token 生成延遲（數(shù)值越小越快），Generate 是持續(xù)生成速度（數(shù)值越大越快），模型參數(shù)量越大，性能通常越低

Qwen3-VL 多模態(tài)模型的 NPU 性能測(cè)試表，展示 2B/4B/8B 參數(shù)量版本的表現(xiàn)：輸入圖像規(guī)格均為 384*384，提示詞長(zhǎng)度 168 tokens；參數(shù)量越大，圖像編碼器耗時(shí)、首次 token 生成延遲（TTFT）越高，持續(xù)生成速度（tokens/s）越低

unsetunset三、實(shí)戰(zhàn)：在樹(shù)莓派+LLM-8850 上跑通 YOLO26nunsetunset

目前，愛(ài)芯元智官方已在開(kāi)源倉(cāng)庫(kù)axcl-samples[6]中提供了YOLO26 在 AX8850 平臺(tái)上的完整 C++ 示例代碼，并已將預(yù)訓(xùn)練模型發(fā)布在HuggingFace[7]上。

3.1 實(shí)現(xiàn)步驟：核心代碼講解

以下是基于ax_yolo26_steps.cc的核心實(shí)現(xiàn)步驟解析如下：

原始圖像 → Letterbox縮放 → RGB轉(zhuǎn)換 → 設(shè)備內(nèi)存 → NPU推理
↑ ↓
保存結(jié)果 ← 繪制框 ← 坐標(biāo)映射 ← 多尺度解析

• 步驟一：讀圖
  • 使用OpenCV的cv::imread，默認(rèn)BGR格式，保持原始分辨率
  • 代碼中檢查了圖像是否為空，有錯(cuò)誤處理
• 步驟二：Letterbox 預(yù)處理
  • 關(guān)鍵算法：保持長(zhǎng)寬比的縮放，不足部分填充灰色
  • 數(shù)據(jù)排布：轉(zhuǎn)換為HWC格式的RGB連續(xù)內(nèi)存
  • 優(yōu)化：避免了不必要的內(nèi)存拷貝，直接操作原始數(shù)據(jù)
• 步驟三：設(shè)備初始化
  • 禁用虛擬NPU，使用物理NPU
  • 只初始化一次，后續(xù)可重復(fù)使用
• 步驟四：模型加載與輸入
  • 模型格式：.axmodel是 AXera 平臺(tái)專有的優(yōu)化模型格式
  • 預(yù)熱：5 次預(yù)熱推理，避免首次推理的冷啟動(dòng)延遲
• 步驟五：推理過(guò)程。輸出結(jié)構(gòu)為：6個(gè)tensor = 3個(gè)尺度 × (box + cls)
  • box: 4個(gè)值（x, y, w, h）或者（x1, y1, x2, y2）
  • cls: 80個(gè)類別的置信度
  • 計(jì)時(shí)：精確記錄每次推理時(shí)間，用于性能分析
• 步驟六：后處理，generate_proposals_yolo26() → 坐標(biāo)映射 → 繪制
  • 坐標(biāo)轉(zhuǎn)換：從 640×640 的 letterbox 坐標(biāo)映射回原始圖像坐標(biāo)
  • 多尺度融合：3個(gè)尺度（80×80, 40×40, 20×20）分別處理后合并
  • 可視化：不同類別用不同顏色，顯示類別名和置信度

通過(guò) “讀圖 → Letterbox → 上電 → 喂模型 → 推理 → 后處理”這 6 步，就把整個(gè) AXCL-YOLO 流程串起來(lái)了。完整代碼見(jiàn)examples/ax650/ax_yolo26_steps.cc[8]。

3.2 編譯與運(yùn)行

了解了執(zhí)行流程，下面先給出我們編譯axcl-samples[9]和推理圖片的視頻，性能結(jié)果包含推理時(shí)間，后處理時(shí)間等，最后會(huì)有推理結(jié)果展示。

為了方便大家復(fù)制粘貼，下面給出視頻中用到的腳本和相關(guān)文件如模型、圖片等。

1. 編譯 axcl-sample

gitclonehttps://github.com/Abandon-ht/axcl-samples.git
cdaxcl-samples
mkdir build
cdbuild/
cmake ..
make -j4

2. 輸入圖片并執(zhí)行推理

# 拉取代碼倉(cāng)庫(kù)
wget -c https://github.com/Abandon-ht/YOLO26.axera/releases/download/v0.2/bus.jpg
# 下載 yolo26n 模型
wget -c https://github.com/Abandon-ht/YOLO26.axera/releases/download/v0.2/yolo26n_npu3_new.axmodel
# 執(zhí)行推理
./examples/axcl/axcl_yolo26 -m yolo26n_npu3_new.axmodel -i bus.jpg

上面最后一行命令會(huì)執(zhí)行推理，如下所示：

檢測(cè)結(jié)果如下圖所示：

檢測(cè)結(jié)果為 1.59 ms，執(zhí)行日志詳情如下：

unsetunset四、性能實(shí)測(cè)：推理＜ 2ms，幀率高達(dá) 500+FPSunsetunset

作為性能實(shí)測(cè)的對(duì)比，下面是樹(shù)莓派 CPU A76 運(yùn)行 yolo26n 的性能數(shù)據(jù)：

將代碼從圖片檢測(cè)修改為視頻檢測(cè)，即圖片輸入改成攝像頭讀取輸入。cv::imwrite改成cv::show效果如下：

左上角可以清晰看到 Infer 時(shí)間 < 2ms

左上角 Infer 時(shí)間在 1.60 ms 左右

unset

結(jié)合根據(jù)社區(qū)實(shí)測(cè)與官方示例數(shù)據(jù)，在M5Stack LLM-8850-Card + YOLO26n組合下：

• 單幀推理時(shí)間（含前后處理）可穩(wěn)定在2 毫秒以內(nèi)。
• 相當(dāng)于500+ FPS的超高幀率，足以應(yīng)對(duì)絕大多數(shù)實(shí)時(shí)視頻流分析場(chǎng)景。
• 相比樹(shù)莓派單靠 CPU 多線程運(yùn)行 YOLO26n 模型，性能提升相比 CPU 多線程達(dá)幾十到幾百倍，且 CPU 占用率大幅降低。

完整實(shí)測(cè)視頻如下

注：左上角為推理時(shí)間，需要說(shuō)明的是，在遠(yuǎn)程桌面 + Raspberry Pi 這種場(chǎng)景下，推理時(shí)間比觀察到的 FPS 更可靠，原因如下：

1. 顯示瓶頸不影響推理時(shí)間：遠(yuǎn)程桌面?zhèn)鬏敽推聊讳秩究赡艹蔀槠款i（比如只能達(dá)到 60 FPS），但這不代表模型本身慢
2. 推理時(shí)間能準(zhǔn)確反映 "預(yù)處理→推理→后處理" 的真實(shí)計(jì)算耗時(shí)

綜合上面性能表現(xiàn)，使得樹(shù)莓派這類低成本、高普及率的開(kāi)發(fā)板，真正具備了部署實(shí)時(shí)多路視頻 AI 分析的能力，可廣泛應(yīng)用于：

• 智能安防：人臉識(shí)別、行為分析、車牌識(shí)別。
• 工業(yè)視覺(jué)：零件質(zhì)檢、缺陷檢測(cè)、流水線監(jiān)控。
• 機(jī)器人：實(shí)時(shí)環(huán)境感知、自主導(dǎo)航、手勢(shì)交互。
• 教育與創(chuàng)客：低門檻的 AI 項(xiàng)目開(kāi)發(fā)與原型驗(yàn)證。

unsetunset總結(jié)：國(guó)產(chǎn)邊緣 AI 生態(tài)正當(dāng)時(shí)unsetunset

M5Stack LLM-8850-Card與YOLO26n的組合，不僅為樹(shù)莓派用戶提供了一個(gè)高性能、易用的 AI 加速方案，更展現(xiàn)了國(guó)產(chǎn)芯片與開(kāi)源算法在邊緣計(jì)算領(lǐng)域的深度融合與快速落地能力。

對(duì)于開(kāi)發(fā)者而言，這意味著：

• 更低的門檻：無(wú)需復(fù)雜硬件設(shè)計(jì)，插卡即用。
• 更高的性能：毫秒級(jí)推理，滿足實(shí)時(shí)性要求。
• 更優(yōu)的成本：國(guó)產(chǎn)方案性價(jià)比突出，供貨穩(wěn)定。
• 更全的生態(tài)：從芯片、硬件到算法、示例[10]，全棧開(kāi)源支持。

目前，相關(guān)代碼、模型與文檔均已開(kāi)源，歡迎開(kāi)發(fā)者前往以下鏈接獲取資源，親手體驗(yàn)這款“國(guó)產(chǎn)小鋼炮”帶來(lái)的邊緣 AI 加速魅力：

• 代碼倉(cāng)庫(kù)：https://github.com/AXERA-TECH/ax-samples[11]
• 模型下載：https://huggingface.co/AXERA-TECH/yolo26[12]
• 產(chǎn)品信息：M5Stack LLM-8850-Card[13]，https://docs.m5stack.com/zh_CN/ai_hardware/LLM-8850_Card

邊緣 AI 的未來(lái)，正在每一位開(kāi)發(fā)者的手中加速到來(lái)。

M.2 M-KEY 2242 形態(tài)的 AI 加速卡——LLM-8850-Card關(guān)鍵參數(shù)如下所示：

除了本文的 YOLO26n 模型，LLM-8850 還支持更多模型，關(guān)于入額快速上手和支持模型列表（包含VLM、LLM、多模態(tài)、音頻、生成模型等）見(jiàn)：https://docs.m5stack.com/zh_CN/guide/ai_accelerator/overview
參考資料[1]

Ultralytics YOLO26:https://docs.ultralytics.com/models/yolo26/

[2]

Pulsar2 工具鏈:https://pulsar2-docs.readthedocs.io/zh-cn/latest/pulsar2/introduction.html

[3]

AXERA 運(yùn)行時(shí)庫(kù) AXCL:https://axcl-docs.readthedocs.io/zh-cn/latest/doc_introduction.html

[4]

the python api for axengine runtime:https://github.com/AXERA-TECH/pyaxengine/

[5]

NPU Benchmark:https://axcl-docs.readthedocs.io/zh-cn/latest/doc_guide_npu_benchmark.html

[6]

ax-samples:https://github.com/AXERA-TECH/axcl-samples/blob/main/examples/axcl/ax_yolo26_steps.cc

[7]

YOLO26 模型:https://huggingface.co/AXERA-TECH/yolo26

[8]

ax-samples:https://github.com/AXERA-TECH/axcl-samples/blob/main/examples/axcl/ax_yolo26_steps.cc

[9]

ax-samples:https://github.com/AXERA-TECH/axcl-samples/blob/main/examples/axcl/ax_yolo26_steps.cc

[10]

doc_guide_npu_samples:https://axcl-docs.readthedocs.io/zh-cn/latest/doc_guide_npu_samples.html

[11]

examples/axcl/ax_yolo26_steps.cc:https://github.com/AXERA-TECH/axcl-samples/blob/main/examples/axcl/ax_yolo26_steps.cc

[12]

huggingface.co/AXERA-TECH/yolo26:https://huggingface.co/AXERA-TECH/yolo26

[13]

M5Stack LLM-8850-Card:https://docs.m5stack.com/zh_CN/ai_hardware/LLM-8850_Card