背景

在之前的文章中，我們介紹了基于AXCL軟件框架的算力疊加方案，能夠助力樹莓派生態在當下火爆的AI大模型部署場景：愛芯分享 | 樹莓派&AXCL：樹莓派離線大模型新范式

在推廣的過程中，樹莓派生態客戶反饋希望能提供一種兼容原裝Raspberry PI HAT的M.2 2242的AI Card版本。經過國內優秀的AIOT硬件設計公司M5Stack長達幾個月的反復設計，終于在本周正式上架了LLM?8850?Card，非常和Raspberry PI 5匹配。

描述

LLM?8850?Card是一款面向邊緣設備的M.2 M-KEY 2242?AI加速卡，把42?mm的袖珍體積與Axera AX8850?SoC的24?TOPS?@?INT8算力結合起來，為Raspberry Pi 5、RK3588、x86 PC等主機“一插即強”地擴展多模態大模型與視頻分析能力?？ㄉ吓鋫湮⑿蜏u輪風扇+鋁合金CNC鰭片的主動散熱系統，由板載EC根據溫度?電流曲線智能調速，長期滿載也能維持低溫穩態，避免密閉機殼內的熱衰減。

板載DCDC+PMIC電源鏈路由EC進行實時功耗管理，實現“按需供電、按需散熱”，大幅提升整機穩定性。支持AXCL?Runtime，支持C/Python API一鍵部署YOLO?v8/11、CLIP、Whisper、Llama3.2、InternVL3、Qwen3等主流CNN、Transformer、LLM與多模態模型。

同時利用AX8850的VPU硬件管線，提供H.264/H.265 8K編解碼與同編同解轉碼加速與縮放/裁切，兼顧AI與視頻流處理。支持host使用ffmpeg直接調用硬件視頻編解碼器。

快速上手

具體教程請參考M5Stack官方的教程，非常詳細，適合有樹莓派開發經驗的工程師直接上手。

產品特性

應用場景

工業/商用SBC算力升級：Raspberry?Pi 5、RK3588、TI?AM62x等板卡本地運行目標檢測、缺陷識別

具身智能機器人：AMR/AGV/服務機器人即插即得“感知?決策?控制”本地鏈

AIPC&邊緣智能終端：在迷你PC內提供離線Copilot、客服問答、會議字幕&即時翻譯

NVR/NAS智能化改造：舊存儲盒增添多路AI車牌抓拍、事件摘要檢索+硬件轉碼

智能交互設備：語音助手、智能門鈴、廣告機實現本地LLM+TTS的低時延對話

AI視覺網關：交通路口、園區閘機前端推理，實時客流統計與危險行為告警

解決方案

以下基于樹莓派5+LLM8850 Card的各種解決方案從本月開始已陸續釋放到GitHub和Huggingface開源社區，請大家持續關注。

7.1 AI NAS（CasaOS）

借助于樹莓派優秀的軟件生態，我們已基于當前最流行的開源NAS解決方案CasaOS進行了LLM8850算力卡的適配，將完美地解決CasaOS中智能相冊Immich（已完成文搜圖大模型適配）在樹莓派5上運行占用CPU資源巨大的問題。

7.2 AI NVR（Frigate）

Frigate是目前最流行的開源NVR項目，在樹莓派的用戶群體中，很多玩家基于Frigate打造自己的家庭私有NVR管理平臺?；贚LM8850算力卡，不僅可以將傳統的目標檢測算法遷移到算力卡上，甚至可以將原本Frigate推薦在NV GPU卡上運行的多模態大模型也運行到算力卡，將NVR升級為文搜大模型NVR。

7.3 文搜圖

無論是AI NAS還是AI NVR，其底層核心技術便是基于多模態Transformer模型實現了文搜圖功能，我們已適配國內外各種CLIP模型并整理成SDK交付包，方便已有項目快速集成升級。

7.4 會議轉錄

本地會議轉錄采用VAD+聲紋識別+ASR架構，RTF＜0.2，處理1小時的會議錄音只需要10分鐘。

7.5 本地翻譯

本地離線翻譯采用VAD+ASR+LLM+TTS架構，可根據具體使用場景更換對應模塊的算法模型，更加靈活。

7.6 語音克隆

基于LLM的增強式語音生成模型，目前已適配CosyVoice2。

7.7 視頻增強

由視頻超分、視頻插幀兩種方案組成，目前已開源。

感謝

感謝M5Stack優秀的工程師們設計出如此驚艷的端側AI算力產品，讓更多的社區開發者能夠接觸到大模型時代帶來的技術革新。