国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

樹莓派&AXCL:樹莓派離線大模型新范式!

上海晶珩電子科技有限公司 ? 2025-04-21 16:33 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

5adb88d2-1e8b-11f0-9434-92fbcf53809c.png

背景

經常買 Raspberry Pi 的朋友們都知道,Raspberry Pi 5 作為業內最優秀的 SBC(Single Board Computer),除了其本身優秀的軟硬件綜合性能之外,為了方便更多高性能外設的拓展,新增了一組 PCIE3.0x1 外設接口,可以通過 FFC 線纜連接到官方或者第三方 HAT 組件。從去年開始樹莓派就陸陸續續介紹了各種基于 HAT PCIE 拓展的方案

今年春節之后,隨著 DeepSeek 破圈,樹莓派的開發者們也不再限于只使用 Raspberry Pi5 運行傳統的CNN小模型(例如 YOLO)。社區對大語音模型、多模態大模型、生成模型在樹莓派板卡上高效率部署的訴求也越來越多。

今天開始分享由國內優秀的端側AI芯片公司愛芯元智推出的基于 Raspberry Pi 5 的算力拓展解決方案,看看有哪些樹莓派生態硬件已經/即將支持,以及其簡單易上手的特性。

優勢

相比樹莓派官方的 Hailo8 或者 Halio8L 的算力套件,其優勢如下

AI示例豐富

支持但不限于以下內容

大語言模型

DeepSeek R1 Distill、Qwen、Llama3、MiniCPM、SmolLM2、InternML

多模態大模型

Qwen2.5-VL、InternVL2.5、MiniCPM-V、SmolVLM、Janus Pro

語音類模型

Whisper、WeNet、MeloTTS、OpenVoice

生成似模型

StableDiffusionv1.5、LivePortrait

多模態模型

CLIP、YOLOWorldv2

主流 CNN&Transformer 模型

Ultralytics YOLO 全系列、SAM、DepthAnythingv2、Metric3D、RAFT-Stereo、MixFormerv2 等

資源消耗小

獨立存儲,運行各種AI模型不占用 樹莓派5 系統的 DDR 帶寬;獨立編解碼模塊,最大支持 32 路 1080P30 解碼

二次開發簡單

提供 C++/Python API,編解碼單元已適配 FFmpeg。國內本土全棧技術方案,解決方案豐富成熟,技術支持高效

功耗低

滿載功耗<8w,可被動散熱,不需額外供電,采用 樹莓派5 標準的適配器,通過 FFC 給 HAT 拓展算力配件供電即可

性價比高

價格實惠

硬件介紹

無論是通過已有 HAT 拓展的 M.2 2280 標準算力卡,還是針對 樹莓派5 定制的 HAT AI Module,共有產品特性如下:

5afed24c-1e8b-11f0-9434-92fbcf53809c.png

M.2 算力卡

5b17718a-1e8b-11f0-9434-92fbcf53809c.jpg

HAT AI Module

5b3281e6-1e8b-11f0-9434-92fbcf53809c.jpg

硬件安裝

M.2 算力卡

在樹莓派 5 上安裝 M.2 加速卡時,首先需要準備一塊 M.2 HAT+ 擴展板。參考官方鏈接,M.2 HAT+ 的官方版本只支持 2230、2242 的 M.2 M Key 卡,通常 AX650 加速卡是 2280 的,您可能需要考慮購買第三方的支持 2280 長度的 M.2 HAT+ 擴展板。

如果是 CM5 的用戶,建議直接使用 CM5 配套的 Compute Module 5。

示意圖

5b4e4d04-1e8b-11f0-9434-92fbcf53809c.jpg5b6a6afc-1e8b-11f0-9434-92fbcf53809c.jpg5b8b76b6-1e8b-11f0-9434-92fbcf53809c.jpg

軟件安裝

AXCL 是用于在Axera芯片平臺上開發深度神經網絡推理、轉碼等應用的 C、Python 語言 API 庫,提供運行資源管理,內存管理,模型加載和執行,媒體數據處理等 API。基于樹莓派5安裝 AXCL 驅動軟件的詳細過程可參考

https://axcl-pi5-examples-cn.readthedocs.io/zh-cn/latest/doc_guide_setup_sw.html

正確安裝 AXCL 驅動包后,AXCL-SMI 即安裝成功,直接執行axcl-smi顯示內容如下:

5ba6ec20-1e8b-11f0-9434-92fbcf53809c.png

AI 易用性

API 兼容 ONNXRuntime

考慮到樹莓派開發者中,通常為了快速進行產品開發,會使用 Python API 進行快速功能驗證。通常會使用 ONNXRuntime CPU 進行模型部署。因此 AXCL 的 NPU Python API 提供了“像素級”兼容,原則上只需要在以往的 ONNXRuntime Python 腳本中,僅需將 import onnxruntime as ort 修改為 import axengine as ort 即可。詳細使用說明請參考 pyaxengine

AI 示例展示

普通模型

這里橫向對比下其他內置算力的 SBC,從圖中可以看出運行普通的 CNN 和 Transformer,RaspberryPi5+M.2 算力卡的組合計算效果更高。

5bcb7f72-1e8b-11f0-9434-92fbcf53809c.jpg5be5d278-1e8b-11f0-9434-92fbcf53809c.jpg

Qwen2.5-1.5B

大語言模型基本應用

模型文件獲取 Huggingface

https://huggingface.co/AXERA-TECH/Qwen2.5-1.5B-Instruct-CTX-Int8

支持較長的上下文,2.5k

支持 System Prompt 緩存

支持 prefill 優化

5bff44b0-1e8b-11f0-9434-92fbcf53809c.png

InternVL2_5-1B

圖片理解,真正的的多模態大模型

模型文件獲取 Huggingface

https://huggingface.co/AXERA-TECH/InternVL2_5-1B

5c14f508-1e8b-11f0-9434-92fbcf53809c.png

StableDiffusionv1.5

文生圖、圖生圖

模型文件獲取 Huggingface

https://huggingface.co/AXERA-TECH/lcm-lora-sdv1-5

Raspberry Pi5 使用基于 AX650N 的算力模組拓展,SD1.5 的推理性能可以提升 40 倍(生成圖片大小 512x512)

5c2fcc7a-1e8b-11f0-9434-92fbcf53809c.png
Whisper

模型文件獲取 Huggingface

https://huggingface.co/AXERA-TECH/Whisper

測試音頻一共 4 秒,在 愛芯派Pro 上 Whisper small 模型運行耗時 740 ms,RTF(?Real-Time Factor) = 0.19,RTF 越低?:意味著 ASR 系統處理語音的速度越快。實時因子低的 ASR 系統在需要實時響應的應用場景(如語音助手)中尤為關鍵?。


社區反饋

其實 樹莓派 + M.2大模型算力卡 的拓展形態,已經有海外社區用戶提前嘗鮮,從反饋看,還是相當滿意,可玩性很高。

5c69f08a-1e8b-11f0-9434-92fbcf53809c.jpg5ca1d82e-1e8b-11f0-9434-92fbcf53809c.jpg5cbcf2bc-1e8b-11f0-9434-92fbcf53809c.jpg5cd9be6a-1e8b-11f0-9434-92fbcf53809c.jpg

后續計劃

本篇文章只是投石問路,我們會根據樹莓派社區的反饋,積極輸出大家更想了解的算力拓展解決方案。希望通過這樣的組合方式,解決樹莓派生態中算力欠缺的劣勢,賦能樹莓派生態拓展更多有價值的AI產品方案

不斷適配前沿流行的大模型

聯合硬件生態合作伙伴,推出更多適用于樹莓派主機的算力配件

進一步提升算力模組的軟件易用性,開源 視頻解碼硬件+智能分析+業務后處理 一站式解決方案

聯合樹莓派生態,拓展各種垂直領域的智能解決方案

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    91

    文章

    39755

    瀏覽量

    301355
  • 樹莓派
    +關注

    關注

    122

    文章

    2078

    瀏覽量

    110455
  • 大模型
    +關注

    關注

    2

    文章

    3648

    瀏覽量

    5179
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    零成本鋼鐵俠手套!樹莓+OpenCV 秒變手勢遙控器!

    大家好,這是一個樹莓和OpenCV的連載專題。使用樹莓與OpenCV實現姿態估計和面部特征點追蹤使用樹莓
    的頭像 發表于 08-16 16:16 ?1270次閱讀
    零成本鋼鐵俠手套!<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>+OpenCV 秒變手勢遙控器!

    如何使用樹莓與OpenCV實現面部和運動追蹤的云臺系統?

    大家好,這是一個樹莓和OpenCV的連載專題。使用樹莓與OpenCV實現姿態估計和面部特征點追蹤使用樹莓
    的頭像 發表于 08-14 17:45 ?1561次閱讀
    如何使用<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>與OpenCV實現面部和運動追蹤的云臺系統?

    如何使用樹莓+OpenCV實現姿態估計和面部特征點追蹤?

    大家好,這是一個樹莓和OpenCV的連載專題。使用樹莓與OpenCV實現姿態估計和面部特征點追蹤使用樹莓
    的頭像 發表于 08-13 17:44 ?1306次閱讀
    如何使用<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>+OpenCV實現姿態估計和面部特征點追蹤?

    樹莓屏幕怎么選?

    樹莓很多人都用過,但用屏幕的倒不是很多。不少都是直接遠程操作,或者直接接身邊的顯示設備了。但我覺得給開發板配一個屏幕還是很能提升使用體驗的。這次我就介紹一下樹莓的屏幕怎么選擇。
    的頭像 發表于 08-08 14:59 ?1458次閱讀
    <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>屏幕怎么選?

    樹莓操作系統:版本、特性及設置完整指南!

    樹莓操作系統是什么?樹莓操作系統是由樹莓基金會專為樹莓
    的頭像 發表于 07-28 18:26 ?1409次閱讀
    <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>操作系統:版本、特性及設置完整指南!

    樹莓6 傳聞:發布日期與規格!

    每當我想再為我的收藏增添一款樹莓時,總會在是立即購買還是等待硬件更強大的下一代之間猶豫不決。但新樹莓型號的發布往往容易被錯過,尤其是在你的信息流被病毒式傳播的貓咪視頻占據時。因此,
    的頭像 發表于 07-11 16:21 ?2301次閱讀
    <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>6 傳聞:發布日期與規格!

    樹莓小技巧:無需鍵盤或顯示器,如何通過WiFi設置樹莓

    樹莓是一款小巧便攜的USB供電計算機,可以隱藏起來用于小型項目,如網絡服務器或家庭自動化。通常,設置樹莓需要鍵盤和顯示器來編輯和查看樹莓
    的頭像 發表于 06-26 15:41 ?1549次閱讀
    <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>小技巧:無需鍵盤或顯示器,如何通過WiFi設置<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>?

    樹莓分類器:用樹莓識別不同型號的樹莓

    在本教程系列的第一部分中,您將學習如何使用樹莓AI攝像頭來檢測不同的樹莓型號。本系列由DavidPlowman創建,他是樹莓
    的頭像 發表于 06-13 16:39 ?1300次閱讀
    <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>分類器:用<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>識別不同型號的<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>!

    樹莓“揪出”家里的耗電怪獸!

    在本應用中,我們將使用樹莓設置一個CE電流監測器,并通過網頁界面顯示電路的電流讀數。本項目使用的組件硬件組件樹莓2ModelBx112通道20安培電流監測控制器x1項目背景介紹在本
    的頭像 發表于 06-04 15:33 ?1524次閱讀
    用<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>“揪出”家里的耗電怪獸!

    樹莓“吉尼斯世界記錄”:將樹莓的性能發揮到極致的項目!

    樹莓是一款功能強大、體積小巧且高度可定制的設備,多年來,我們見證了它被應用于眾多領域。無論是將其裝入3D打印的經典游戲機外殼,還是簡單地將它隱藏起來作為家庭文件服務器,我們都報道過在社區里用樹莓
    的頭像 發表于 05-22 16:53 ?1530次閱讀
    <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>“吉尼斯世界記錄”:將<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>的性能發揮到極致的項目!

    樹莓5 與 樹莓4:深度對比與獨特優勢!

    隨著技術的不斷發展,推動創新與創造力的工具和設備也在不斷升級。其中,樹莓派系列憑借其多功能性和強大性能,在從簡單的DIY項目到復雜的計算任務等眾多應用場景中脫穎而出。隨著樹莓5的近期發布,愛好者
    的頭像 發表于 05-21 13:15 ?2947次閱讀
    <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>5 與 <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>4:深度對比與獨特優勢!

    能夠精準定位的樹莓機器人!

    我為我的自制機器人BigRob(同樣由樹莓驅動)配備了基于樹莓的精準GPS導航系統。本項目所用組件硬件組件NV08C-CSMx1NV08C-CSM是一款集成式衛星導航接收器
    的頭像 發表于 05-17 08:33 ?1223次閱讀
    能夠精準定位的<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>機器人!

    樹莓 Zero 打造的智能漫游車!

    使用PXFMini和樹莓Zero打造您自己的自主漫游車。本項目所用組件硬件組件ErleRoboticsPXFmini×1樹莓Zero×1樹莓
    的頭像 發表于 05-13 16:39 ?1106次閱讀
    用 <b class='flag-5'>樹莓</b><b class='flag-5'>派</b> Zero 打造的智能漫游車!

    你的樹莓為什么越用越卡?揭秘SD卡里的&amp;amp;quot;圖書館管理員&amp;amp;quot;

    導語有沒有遇到過樹莓啟動變慢、運行卡頓,甚至莫名“死機”?這些問題很可能和SD卡里的“隱形管家”——文件系統有關!今天我們將用“圖書館管理員”的比喻,帶你輕松看懂樹莓啟動流程、文件
    的頭像 發表于 03-25 09:23 ?1564次閱讀
    你的<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>為什么越用越卡?揭秘SD卡里的&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;quot;圖書館管理員&<b class='flag-5'>amp</b>;<b class='flag-5'>amp</b>;quot;

    4臺樹莓5跑動大模型!DeepSeek R1分布式實戰!

    導語“用4臺樹莓5組網,輕松運行大模型——這可能是2025年最顛覆認知的開源AI項目!”GitHub明星項目distributed-llama最新實戰案例曝光:通過獨創的動態模型切片
    的頭像 發表于 03-24 14:50 ?1408次閱讀
    4臺<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>5跑動大<b class='flag-5'>模型</b>!DeepSeek R1分布式實戰!