2025年伊始，硅谷頂級風投A16z最近發表了一篇名為《2025 Big ldeas in Tech》的文章，通過對其50位合伙人進行了采訪，得出了50個對科技趨勢發展的判斷，其中有22個方向與AI有關。

其中部分技術方向和更是與嵌入式AI緊密關聯，其中包括:

1. 實時AI，應用開發的下一個重要方向；

2. AI將開始主導決策環節；

3. 端側AI開始崛起；

4. AI將與所有的電子硬件融合；

這些方向清晰的表明了一個變化：即AI主導決策以及AI與電子硬件融合等技術的出現，必將導致嵌入式系統的應用和開發將會以一種全新的方式出現在所有開發者面前。回想過去的一年，人工智能領域除了大模型，最火的詞莫過于具身智能，這標志著AI正在從以思維價值為主導的人工智能轉變為與物理世界交互為主導的人工智能體。此外，人工智能領域的標志企業Open AI在2024年末推出的o3模型，在數學、代碼、軟件工程等領域再一次取得了突破性的進展，其在代碼領域的成績已經躋身全球前200名。這意味著在不遠的未來，以Chatgpt-o3為代表的新一代編程模型，將在眾多的編程環境中取代當前人類的工作。在這樣一個背景下，對于傳統的嵌入式開發人員，我們也必須要與時俱進，深刻的認識到在大模型驅動嵌入式軟件開發的新時代，軟件任務邏輯和驅動分離的設計思想必將成為未來嵌入式系統開發的主流道路。RT-Thread作為一款為人熟知的國產實時操作系統，在嵌入式領域一直是國產開源軟件中旗幟性的存在。近年來，我們在嵌入式系統和AI結合的領域不斷探索和嘗試，希望能夠找到一個切實符合嵌入式系統走的AI路線。借助2024年的開發者大會，RT-Thread AI針對LLM在RT-Thread OS中的應用探索，進行了詳細討論，希望能夠給廣大開發者以啟發，下面是報告原文。

經過多年在嵌入式領域的深耕，RT-Thread OS在系統內核、組件以及軟件包三個維度為廣大開發者提供了數以千計的API，這些API在傳統的嵌入式軟件開發階段有力的支持了應用開發過程，節約了大量的開發時間，縮短了開發周期，這也是RT-Thread OS一直長青的根本原因。但是進入到大模型驅動嵌入式軟件開發時代，這些API又將會起到怎樣的作用呢？我們繼續向下看。

下面PPT左側圖片是經典的大模型應用場景，這個例子是將法語翻譯為英語。那么我們也可以依次類比，如果我們想要RT-Thread OS聽懂我們的人類的話，我們需要將人類的自然語言翻譯成什么呢？很明顯，在這個過程中，傳統的API就變成了RT-Thread OS所認識的“詞匯”了。如果我們能夠將我們的自然語言翻譯成一個個API，那么我們就可以通過對話的形式控制RT-Thread OS了。也就是說：對于RT-Thread OS來說，代碼就是人和RT-Thread OS交流的語言，而API則是其中的“詞匯”。也就是說如果LLM掌握了所有的RT-Thread API，那么也就可以搭建起人和RT-Thread OS溝通的橋梁。

基于這樣的一個思想，我們可以想象，隨著LLM在編程能力上不斷超越人類代碼能力，我們必須要掌握邏輯和驅動分離的程序設計思想。將邏輯部分交給LLM來實現，而僅提供軟硬件結合的部分，即和真實世界結合的驅動部分。就像下面這張PPT中所顯示的一樣，對于傳統的嵌入式軟件開發。我們從需求分析、任務拆解到最后的軟件驅動、軟件邏輯全部都由開發者完成。這樣整個程序按照程序員的設計固化在了硬件中，雖然程序可以準確執行，卻喪失了軟件的靈活性。如果我們將整個軟件的邏輯部分全部交給LLM來在運行期完成，而僅僅提供控制硬件的驅動，那么整個軟件的靈活性則會大大提高。但是如果想完成這樣一個轉變，一個重要的步驟就是需要讓LLM知道，在現實的世界中，存在諸如rt_led_turnon這一類數以千計的RT-Thread API是真實存在的。

針對這一問題，RT-Thread AI團隊是從以下兩個方向入手來解決問題的。首先，我們整理了當前RT-Thread OS的大部分API，包括內核層、組件層以及軟件包層面的，形成了非常龐大的知識庫/訓練集。然后我們針對當前開源LLM在嵌入式領域的應用，分析了開源模型的問題，其中內存占用和算力需求時制約嵌入式端應用LLM的最大瓶頸。我們發現，對于一般人類交流，一個話題大概僅需500個字左右，而一個正常人的語速也僅在150-200字每分鐘，所以對于當前開源的大模型，其最大序列長度對于嵌入式都是十分浪費且不別要的。此外，我們也發現對于嵌入式場景，90%以上的嵌入式設備都是指令式的，即聽從人類指揮完成相應任務，而不需要進行復雜而繁瑣的對話。而不到10%的嵌入式設備才需要對話，而進對于這種設備，我們才需要較長的最大序列長度來保證上下文對話的連續性。

對于我們RT-Thread OS應用的絕大多數場景，我們更希望設計一種更適合嵌入式系統的LLM，即Embedded GPT，而這種GPT實際上更多（90%以上嵌入式場景）是指令式，而不是對話式的需求。我們在這一部分已經形成了兩部分路線。一種是在開源模型基礎上進行微調，同時通過RAG的方式來補足API的快速更新。但是這種方式存在模型推理幻覺、計算量內存占用過大等方面的缺陷。而在另一種路線，我們已經開發了一個新的更適合嵌入式系統的GPT，即Embedded GPT，這個系統參數規模約500M，max_position_embeddings為1024，該模型在綜合的效果上，已經完全滿足嵌入式系統需求中的絕大場景。我們擅長嵌入式API數據集的收集和整理，大模型公司在最前沿的模型架構和訓練算力方面的有領先優勢，我們非常期待在這個極其富有想象力的領域建立市場合作，創造共贏。

最后，我們基于軟件任務邏輯和驅動分離的設計思想，在我們的語音小車上完成了幾個從簡單到復雜的指令控制，整個過程中，我們將小車控制的最基礎API交給了大模型，讓大模型知道在真實世界中，通過以下幾個API就可以控制小車執行諸如“前進”、“后退”、“左轉”、“右轉”等指令。然后在運行期，我們通過對話的方式，指揮小車進行“順時針旋轉”、“開啟雷達導航”等動作，最終實現小車控制的靈活性。這樣的一種開發新范式，最終會從根本上改變嵌入式軟件開發的模式，在減輕嵌入式軟件開發工程師工作負擔的同時，還極大的增加了軟件控制的靈活性，將大模型的能力發揮到極致。

最后我們也介紹了當前RT-Thread OS在嵌入式AI領域所提供的強有力的系統支持，包括虛擬化、異構等多種可以選擇的端側、邊緣側AI部署方案，將大模型從云端部署到端側部署一網打盡。可以在眾多既需要實時性又需要智能化的場景，為廣大的開發者提供強有力的支持。