
●●●
PART. 01
產(chǎn)品簡(jiǎn)介
Module LLM Kit 是一款專(zhuān)注于離線 AI 推理與數(shù)據(jù)通信接口應(yīng)用的智能模塊套件,整合了 Module LLM 與 Module13.2 LLM Mate 模塊,滿足多場(chǎng)景下的離線 AI 推理與數(shù)據(jù)交互需求。Module LLM 是一款集成化的離線大語(yǔ)言模型 (LLM) 推理模塊,專(zhuān)為需要高效、智能交互的終端設(shè)備設(shè)計(jì)。Module13.2 LLM Mate 模塊通過(guò) M5BUS 接口與 Module LLM 實(shí)現(xiàn)堆疊供電,并提供Type-C,RJ45,FPC-8P 等多種接口功能,便于系統(tǒng)集成和擴(kuò)展。

PART. 02
產(chǎn)品特性
◎ 高算力,低能耗
Module LLM Kit 采用 愛(ài)芯AX630C SoC 先進(jìn)處理器,內(nèi)置 3.2 TOPs 高能效 NPU,支持 Transformer 模型推理,輕松應(yīng)對(duì)復(fù)雜 AI 任務(wù)。模塊搭載 4GB LPDDR4 內(nèi)存(其中 1GB 供用戶使用,3GB 專(zhuān)用于硬件加速)及 32GB eMMC 存儲(chǔ),支持多模型并行加載與串聯(lián)推理,滿足多任務(wù)處理需求。模塊運(yùn)行功耗僅 1.5W,遠(yuǎn)低于同類(lèi)產(chǎn)品,節(jié)能高效,適合長(zhǎng)期穩(wěn)定運(yùn)行。
◎便捷語(yǔ)音與數(shù)據(jù)交互
集成麥克風(fēng)、揚(yáng)聲器、TF 存儲(chǔ)卡、USB OTG 及 RGB 狀態(tài)燈,滿足多樣化應(yīng)用需求,輕松實(shí)現(xiàn)語(yǔ)音交互與數(shù)據(jù)傳輸。
◎ 靈活拓展
板載 SD 卡槽支持固件冷/熱升級(jí),UART 通信接口簡(jiǎn)化連接與調(diào)試,確保模塊功能持續(xù)優(yōu)化與擴(kuò)展。USB 口支持主從自動(dòng)切換,既可以做調(diào)試口,也可以外接更多 USB 設(shè)備如攝像頭。
◎多模型兼容
出廠預(yù)裝 Qwen2.5-0.5B 大語(yǔ)言模型,內(nèi)置 KWS(喚醒詞)、ASR(語(yǔ)音識(shí)別)、LLM(大語(yǔ)言模型)及 TTS(文本生成語(yǔ)音)功能,且支持 apt 快速更新軟件和模型包。安裝 openai-api 插件后,即可兼容 OpenAI 標(biāo)準(zhǔn) API,支持聊天、對(duì)話補(bǔ)全、語(yǔ)音轉(zhuǎn)文字和文字轉(zhuǎn)語(yǔ)音等多種應(yīng)用模式。官方 apt 倉(cāng)庫(kù)提供豐富的大模型資源,包括 deepseek-r1-distill-qwen-1.5b、InternVL2_5-1B-MPO、Llama-3.2-1B、Qwen2.5-0.5B 以及 Qwen2.5-1.5B,同時(shí)還涵蓋文本轉(zhuǎn)語(yǔ)音模型(whisper-tiny、whisper-base、melotts)和視覺(jué)模型(如 yolo11 等 SOTA 模型)。倉(cāng)庫(kù)將持續(xù)更新,以支持最前沿的模型應(yīng)用,滿足各種復(fù)雜 AI 任務(wù)。
◎ 即插即用,快速集成
搭配 M5 主機(jī),無(wú)需繁瑣設(shè)置,即可將其集成到現(xiàn)有智能設(shè)備中,快速實(shí)現(xiàn) AI 交互體驗(yàn)。
PART. 03
應(yīng)用場(chǎng)景
◎ 離線語(yǔ)音助手
◎ 文本語(yǔ)音轉(zhuǎn)換
◎ 智能家居控制
◎ 互動(dòng)機(jī)器人
-
Module
+關(guān)注
關(guān)注
0文章
76瀏覽量
13540 -
語(yǔ)言模型
+關(guān)注
關(guān)注
0文章
571瀏覽量
11310 -
LLM
+關(guān)注
關(guān)注
1文章
346瀏覽量
1329
發(fā)布評(píng)論請(qǐng)先 登錄
新品 | LLM-8850 Kit,高性能AI加速卡套件 DinMeter v1.1,1/32DIN標(biāo)準(zhǔn)嵌入式開(kāi)發(fā)板
LLM推理模型是如何推理的?
NVIDIA TensorRT Edge-LLM在汽車(chē)與機(jī)器人行業(yè)的落地應(yīng)用
新品 | Module ASR,AI智能離線語(yǔ)音模塊
NVIDIA TensorRT LLM 1.0推理框架正式上線
廣和通發(fā)布端側(cè)情感對(duì)話大模型FiboEmo-LLM
米爾RK3576部署端側(cè)多模態(tài)多輪對(duì)話,6TOPS算力驅(qū)動(dòng)30億參數(shù)LLM
3萬(wàn)字長(zhǎng)文!深度解析大語(yǔ)言模型LLM原理
基于米爾瑞芯微RK3576開(kāi)發(fā)板的Qwen2-VL-3B模型NPU多模態(tài)部署評(píng)測(cè)
如何在魔搭社區(qū)使用TensorRT-LLM加速優(yōu)化Qwen3系列模型推理部署
大模型推理顯存和計(jì)算量估計(jì)方法研究
從FA模型切換到Stage模型時(shí):module的切換說(shuō)明
小白學(xué)大模型:從零實(shí)現(xiàn) LLM語(yǔ)言模型
詳解 LLM 推理模型的現(xiàn)狀
新品 | Module LLM Kit,離線大語(yǔ)言模型推理模塊套裝
評(píng)論