隨著邊緣AI與嵌入式系統(tǒng)的發(fā)展，智能小車、服務(wù)機(jī)器人等場(chǎng)景中亟需融合「高層智能決策」與「低層實(shí)時(shí)控制」。然而當(dāng)前常見(jiàn)系統(tǒng)架構(gòu)存在以下痛點(diǎn)：

決策系統(tǒng)與控制系統(tǒng)分離：AI模型通常運(yùn)行在云端或高性能主控中，而運(yùn)動(dòng)控制仍依賴分離式MCU，通信鏈路長(zhǎng)、時(shí)延大。

通信方式低效：傳統(tǒng)使用串口、網(wǎng)絡(luò)Socket或CAN等方式連接Linux與MCU，不僅通信開(kāi)銷大，且存在不穩(wěn)定性與延遲瓶頸。

系統(tǒng)集成困難：多個(gè)獨(dú)立組件難以統(tǒng)一管理，部署復(fù)雜，調(diào)試成本高，難以快速遷移與擴(kuò)展。

缺乏標(biāo)準(zhǔn)化接口：上層應(yīng)用缺乏便捷控制底層運(yùn)動(dòng)單元的標(biāo)準(zhǔn)方式，導(dǎo)致AI決策落地困難。

本文介紹一種基于虛擬化技術(shù)的嵌入式虛擬化集成開(kāi)發(fā)平臺(tái)（vmRTThread），其架構(gòu)如下圖所示：

可滿足不同安全等級(jí)、實(shí)時(shí)性要求及用戶體驗(yàn)與運(yùn)算能力需求。基于該平臺(tái)可將決策系統(tǒng)與控制系統(tǒng)同時(shí)運(yùn)行于同一塊SOC；構(gòu)建一套AI驅(qū)動(dòng)+實(shí)時(shí)控制的一體化系統(tǒng)；其中該平臺(tái)提供系統(tǒng)間共享內(nèi)存通信方式，具有低延遲和零拷貝的跨系統(tǒng)數(shù)據(jù)傳輸?shù)忍攸c(diǎn)，且通信速度不低于100MB/s（同步），可取代傳統(tǒng)串口或網(wǎng)絡(luò)等方式，并且無(wú)需改變?cè)虚_(kāi)發(fā)方式，其示例如下圖：

該平臺(tái)在開(kāi)發(fā)階段提供配套工具，可對(duì)多系統(tǒng)進(jìn)行統(tǒng)一管理、構(gòu)建和部署：

AI側(cè)可采用MCP（Model Context Protocol）或Function Calling方式完成與實(shí)時(shí)控制間的交互。

基于上述方式，采用8核開(kāi)發(fā)板來(lái)部署AI小車，通過(guò)大模型完成對(duì)小車的控制，系統(tǒng)架構(gòu)如下：

具體分為以下幾個(gè)階段執(zhí)行：

01虛擬化系統(tǒng)部署

在開(kāi)發(fā)板上部署vmRT-Thread；

創(chuàng)建兩個(gè)Guest系統(tǒng)，為每個(gè)系統(tǒng)分配物理資源（CPU、內(nèi)存和外設(shè)），配置共享內(nèi)存通信：運(yùn)行Ubuntu與RT-Thread。

02控制系統(tǒng)（RT-Thread)

實(shí)現(xiàn)對(duì)電機(jī)、傳感器的實(shí)時(shí)控制；

實(shí)現(xiàn)電機(jī)控制算法；

提供小車前進(jìn)、后退、左轉(zhuǎn)和右轉(zhuǎn)接口；

創(chuàng)建線程，監(jiān)聽(tīng)共享內(nèi)存內(nèi)的指令并執(zhí)行動(dòng)作。

03決策系統(tǒng)（Ubuntu)

提供AI大模型運(yùn)行環(huán)境；

準(zhǔn)備MCP Server和MCP Client；

MCP Server：通過(guò)標(biāo)準(zhǔn)化的模型上下文協(xié)議暴露特定功能 ，如：

move_forward(distance)

move_backward(distance)

MCPClient ：與MCP server 保持 1:1 的連接，管理大模型與MCP Server的交互流程，包括工具調(diào)用、資源訪問(wèn)、數(shù)據(jù)傳輸?shù)取?/span>

04系統(tǒng)聯(lián)調(diào)與驗(yàn)證

通過(guò)語(yǔ)言指令如“向前移動(dòng)一米”驗(yàn)證AI→MCP→RTOS→執(zhí)行器的完整鏈路；評(píng)估系統(tǒng)整體響應(yīng)時(shí)延、控制精度與穩(wěn)定性。

通過(guò)輸入語(yǔ)言命令控制小車移動(dòng)：

決策系統(tǒng)（Ubutnu）：通過(guò)語(yǔ)言指令控制小車移動(dòng)

控制系統(tǒng)（RT-Thread）：控制電機(jī)執(zhí)行移動(dòng)動(dòng)作

當(dāng)前嵌入式與邊緣AI場(chǎng)景中存在決策與控制系統(tǒng)分離、通信低效、集成復(fù)雜以及無(wú)法充分利用AI功能，因此，本文基于vmRT-Thread通過(guò)虛擬化技術(shù)將AI決策與實(shí)時(shí)控制集成于單一SoC，使其具備良好的可移植性與多場(chǎng)景適應(yīng)能力；采用共享內(nèi)存機(jī)制替代傳統(tǒng)通信方式，提升整體鏈路性能；為AI Agent控制具身智能提供模板。既滿足了人機(jī)交互的可能，又能滿足AI與嵌入式結(jié)合，為邊緣AI應(yīng)用提供創(chuàng)新解決方案。