小智AI是一款集成大語言模型(LLM)的端側智能交互框架,能夠實現從語音喚醒、云端對話到通過MCP協議(Model Context Protocol)實時控制外設的完整閉環。為物聯網設備提供了低門檻、高響應的自然語音交互能力,開發者無需精通復雜的人工智能算法,即可快速在嵌入式硬件上構建具備對話和控制功能的智能產品。
本文將手把手帶你學習如何在Edgi-Talk平臺上部署小智AI,并通過語音指令控制開發板上的LED、屏幕亮度等外設。這套流程不僅適用于Infineon PSOC-E84,其核心原理——包括端側語音交互設計、MCP協議對接以及硬件驅動適配——同樣可遷移至其他ARM嵌入式平臺。
小智AI實驗
1. 進入小智AI項目工程:Edgi_Talk_M55_XiaoZhi

固件編譯:
打開env,輸入scons進行工程的編譯,編譯生成固件在當前目錄下:rtthread.hex
固件燒錄:和環境搭建環節中的燒錄方式一樣,使用openocd工具進行命令行燒錄即可:
./openocd.exe -s ../scripts -s ../flm/cypress/cat1d -f interface/kitprog3.cfg -f target/infineon/pse84xgxs2.cfg -c"set QSPI_FLASHLOADER ../flm/cypress/cat1d/PSE84_SMIF.FLM"-c"transport select swd"-c"set ENABLE_ACQUIRE 0"-c"init; reset init; flash write_image erase ./rtthread.hex; reset run; exit"
如何配置小智APP聯網:
注意:如果手上有SD卡,可以把卡插入到開發板的SD卡槽,下一次開機會自動聯網了
開發板第一次默認會進入AP模式,需要找到對應的AP進行連接,密碼在屏幕上有顯示:

確保連接成功后,在設備的瀏覽器中輸入:192.168.169.1,進入后臺界面,進行配網:

先點擊 scan 掃描周圍 wifi 熱點:

連接成功后,會顯示如下界面:

當屏幕上顯示“待命中”的時候,代表可以正常進行對話了

按一下開發板的第一個用戶按鍵進行對話,然后等待1-2S小智會自動回復。
小智的表情含義:
聯網中,請等待完成

監聽對話中,此時需要按下用戶按鍵/說出喚醒詞“小睿,小睿”,然后進行對話

小智進入聆聽狀態,此時會處理對話內容,等一句話說完停頓后會進行處理
對話中,此時小智會回復你的對話請求

休眠狀態,此時小智進入低功耗,需要手動按一下按鍵,然后等待小智進入待命中狀態,然后就可以繼續對話了

實現MCP控制開發板的外設
MCP 是將 Model Context Protocol 極致精簡后,適配資源受限的嵌入式設備的輕量實現。
核心目標:讓邊緣側的微控制器或小型SoC直接作為 MCP Server,暴露硬件能力(GPIO控制、傳感器讀取、電機驅動、LED、IoT上報等),供LLM通過標準化協議遠程調用,實現“自然語言控制物理世界”。
目前支持的外設控制: LED小燈、屏幕亮度、聲音大小
使用方法:
按一下開發板的第一個 用戶按鍵 進行對話
小智進入聆聽狀態
對小智說“打開燈”、“關閉燈”、“調亮屏幕”、“調大聲音”等命令即可實現MCP控制開發板外設
小智MCP小燈控制原理
MCP初始化發送IOT描述符

注冊Iot設備

LED燈控制工具

控制方法對應的驅動

Edgi-Talk 開發板基于Infineon PSoC E84 MCU,為工程師提供了一個靈活、全面的嵌入式開發平臺。 開發板集成了顯示、音頻、無線通信與多種外設資源,適用于多傳感器融合、GUI 顯示、多媒體及聯網應用的快速原型驗證與產品開發。搭載高性能的Arm Cortex-M55處理器,最高400MHz,以及Arm Cortex-M33,最高200MHz,搭配Ethos-U55和NNLite NPU運算單元,助力設計者為下一代設備打造無與倫比且高度人性化的終端用戶體驗。
-
嵌入式
+關注
關注
5200文章
20495瀏覽量
334690 -
AI
+關注
關注
91文章
40039瀏覽量
301684 -
語音交互
+關注
關注
3文章
354瀏覽量
29178 -
MCP
+關注
關注
0文章
290瀏覽量
15025
發布評論請先 登錄
聆思CSK6視覺語音大模型AI開發板入門資源合集(硬件資料、大模型語音/多模態交互/英語評測SDK合集)
零知開源——ESP32語音交互系統(AI小智)開發教程
【內測活動同步開啟】這么小?這么強?新一代大模型MCP開發板來啦!
計算機系統與用戶的交互界面是,人機交互與人機界面基礎知識對比分析 精選資料分享
語音識別技術的概念及應用前景
語音交互與智能家居之間有什么聯系?語音交互的技術壁壘在哪里?
探析智能語音交互應用和技術
AI語音技術升級了 會話精靈開啟對話、語音交互、知識管理等技術
基于WTV380-8S語音芯片的智能電子鎖語音交互系統設計方案介紹
小智AI語音開發板+MCP,連接Home Assistant控制米家設備,實現語音開關燈
破解AI交互與算力瓶頸,誠邁科技汽車子公司智達誠遠攜最新AIOS產品走進上汽大眾
Edge AI 語音交互與MCP外設控制實踐 | 技術集結
評論