具身智能正推動機器人從自動化向智能化演進,系統軟件作為連接模型、應用與算力的橋梁,成為技術突破的關鍵。當前主流操作系統缺乏面向具身智能的成熟技術棧,而開源鴻蒙憑借其分布式、異構協同等特性,有望在該領域實現“換道超車”。本次開源鴻蒙領學課堂具身智能專題第一期直播,邀請了開源鴻蒙具身智能PMC(籌)主席、上海交通大學計算機學院副教授古金宇老師,分享具身智能操作系統相關內容,介紹了具身智能操作系統的機遇與挑戰、開源鴻蒙具身智能項目情況。
一、開源鴻蒙具身智能PMC愿景:
面向具身智能,開源鴻蒙“換道超車”
無論傳統還是新型端側無人平臺,在具身智能技術發展下均呈現新趨勢:從自動化到智能化、智能體編程范式、新人機交互范式。開源鴻蒙具身智能PMC將主要聚集于以下幾個方面的工作:
●搶占關鍵窗口期:開源鴻蒙具身智能PMC可高效協同生態力量,加速開源鴻蒙在具身智能領域的布局與商用落地。
●系統能力創新:主流操作系統均缺乏成熟的具身智能關鍵技術棧,開源鴻蒙處于同一起跑線。開源鴻蒙具身智能PMC匯聚產學研資源,可助力快速構建核心能力,搶占標準主導權。
●擴展開源鴻蒙生態:當前具身機器人操作系統多基于Linux碎片化自研,系統能力復用度低。開源鴻蒙作為智能終端底座,天然適配具身場景,通過開源鴻蒙具身智能PMC引領可打造統一具身操作系統平臺,降低開發門檻,提升產業整體競爭力。

二、具身智能系統軟件面臨的六大挑戰
●挑戰1:具身智能機器人任務實時性
機器人功能安全依賴系統實時性,但傳統實時性技術圍繞CPU設計。具身智能機器人使用AI算力/異構算力,需構建操作系統XPU實時技術。
通過統一任務隊列抽象(異構XPU共有抽象)和多級搶占能力模型(L1搶占未加載任務、L2搶占未執行任務、L3搶占執行中任務),適配不同XPU硬件搶占能力(時延不同),保障任務實時性。

●挑戰2:具身模型推理性能 vs. 端側受限算力
端側算力成本、功耗與性能構成“不可能三角”,制約模型推理效率。系統軟件需充分使能端側算力,通過CPU+NPU+GPU異構協同,根據硬件特性劃分計算任務(參數加載、反量化、矩陣運算等),實現流水線并行,提升能效比。

●挑戰3:系統軟件缺乏對具身智能模型運行特征的感知
視覺-語言模型(VLM)運行時呈現明顯階段特征:Prefill階段GPU利用率高但時間短,Diffusion階段利用率低但時間長;相鄰時間步圖片的KV Cache相似度高達97%以上。基于此可采用異步流水線優化,利用上一幀VLM Prefill的KVCache并行啟動Diffusion階段。實驗數據表明,在保持成功率的前提下,端到端推理時延可降低30%(如LibTorch并行模型端到端時延從150.12ms降至106.19ms)。

●挑戰4:具身智能模型VLA推理的可靠性問題
當訓練集未覆蓋特定場景(如抓取物體數量超出范圍)時,模型成功率顯著下降。操作系統需具備經驗管理與異常修復能力,對運行時異常進行干預,提升任務可靠性。

●挑戰5:入端、入邊還是端云協同?
在工廠、酒店等場景中,多個機器人可共享一個“邊緣大腦”,降低單機BOM成本;端側僅保留輕量級執行單元以延長續航。系統軟件需支持端云協同架構,實現資源動態調度,提升運營ROI。

●挑戰6:具身智能應用的可解釋性與高效開發
端到端模型難以解釋,而“智能體+工作流”的混合范式更利于構建泛化易用的開發節點。系統軟件需提供可視化“拖拉拽”開發框架,降低開發門檻。

●其他挑戰與機會
具身智能仿真:
需構建高保真物理引擎與環境,縮小Sim-to-Real差距,支持大規模并行訓練與復雜交互模擬。
具身智能安全:
確保人機協作中的實時風險評估、故障安全機制及倫理法規遵從。
異構模型異構算力適配:
實現端云協同計算、模型壓縮加速、統一軟件棧與接口標準化,提升跨平臺性能。

三、開源鴻蒙具身智能PMC組織結構、成員單位以及技術架構介紹
在組織結構上,開源鴻蒙具身智能PMC下設Arch SIG、Release SIG、ROS Common SIG等14個技術專項組,覆蓋架構設計、版本管理、ROS生態移植、具身模型適配、模擬器開發等核心方向。各SIG協同推進從底層算力到上層應用的系統能力構建,為開源鴻蒙在具身智能領域的技術研發與生態落地提供組織保障。

開源鴻蒙具身智能PMC首批共建伙伴由上海交通大學牽頭,聯合了北京大學、清華大學、中科院軟件所等國內多所頂尖高校及中科院軟件所,并匯聚了華為、智元機器人、Dora社區等在內的科技企業與開源社區,匯聚了多家產學研用成員單位。
在架構規劃上,目前已形成了覆蓋底層算力到上層應用的系統架構。該架構以開源鴻蒙為底座,整合國產算力(如昇騰)、異構協同框架、模型推理引擎及智能體開發工具,為具身智能系統提供全棧支撐。具體成員單位及架構細節參見社區官方資料。

四、開源鴻蒙具身智能項目介紹
●項目產出目標
標準/參考平臺:
提供開源鴻蒙具身本體+算力+模擬器,開箱即用。
開源系統軟件:
打造具身模型端側推理框架、具身智能體開發框架,補齊傳統機器人開發框架生態。
行業示范:
在工業柔性制造、家居服務、智慧農業等領域推動應用落地。

● 核心技術突破
打破壟斷,自主可控:
提供業界首個基于國產硬件的端到端方案,終結NVIDIA生態單一依賴,提供高性價比“第二選擇”。
攻克“三高”,極致能效:
在國產昇騰端側算力上實現對標4090的極致性能,證明開源鴻蒙+國產算力是解決高延遲、高功耗、高成本的有效路徑。
填補空白,樹立標桿:
打造首個支持全棧國產的具身智能標桿系統,填補開源鴻蒙+國產算力在具身領域空白,激活萬億級賽道的底層生態。

●生態建設進展
目前,開源鴻蒙具身智能PMC成果已支撐華為“RoboMind智能機器人開發者大賽”,推動技術普及。

五、結語
具身智能系統軟件正處于發展窗口期,開源鴻蒙憑借其協同優勢,有望構建統一的具身操作系統平臺,降低產業開發門檻,提升整體競爭力。未來,隨著更多產學研力量加入,具身智能將從“作詩做秀”走向創造技術與經濟價值。
相關社區代碼倉庫已在gitcode開放(https://gitcode.com/openharmony-robot),歡迎各界參與共建。
-
OpenHarmony
+關注
關注
33文章
3960瀏覽量
21193 -
具身智能
+關注
關注
0文章
417瀏覽量
874
發布評論請先 登錄
openKylin與OpenLoong共推具身智能產業落地
具身智能交流會
長電科技2025年度第一期科技創新債券發行成功
弘信電子成功發行2025年度第一期科技創新債券
圓滿收官 | 虹科CAN總線專題全系列直播精華回顧已上線!
精彩回顧 | 《器件選型EMC問題解析與交流》直播圓滿結束!
【「AI芯片:科技探索與AGI愿景」閱讀體驗】+具身智能芯片
精彩回顧 | 《電磁兼容工程問題全解答(二)》直播圓滿結束!
具身智能專題技術直播第一期精彩回顧
評論