???????? 意法半導體傳感器、微控制器和電機控制解決方案與英偉達機器人生態系統深度融合,助力開發者設計、訓練和部署更高效率、更高可靠性和可擴展性的人形機器人和其他物理AI系統
首先是Leopard Imaging公司采用意法半導體傳感器設計的立體深度相機與英偉達Holoscan Sensor Bridge技術的全面融合;意法半導體IMU傳感器的高保真仿真到真機模型加入英偉達Isaac Sim生態系統
意法半導體(ST)近日宣布,將其完善的先進機器人產品組合加入兼容英偉達Holoscan Sensor Bridge (HSB)接口的參考組件清單,以加快物理人工智能系統的普及應用,包括人形機器人、工業機器人、服務機器人、醫療機器人等。同時,意法半導體還將其產品的高保真NVIDIA Isaac Sim模型納入兩家公司的機器人生態系統,以提高從仿真到真機的研發速度和準確度。意法半導體為開發者帶來首批合作成果:與NVIDIA HSB技術深度融合的Leopard公司采用意法半導體技術設計的深度相機;意法半導體IMU傳感器的高保真模型加入NVIDIA Isaac Sim生態系統。
意法半導體負責美洲區及全球大客戶銷售與市場部的執行副總裁Rino Peruzzi表示:“ST積極參與機器人行業的生態合作,為市場提供強有力的支持和完善的生態系統。我們與英偉達的合作目標是在尖端機器人領域掀起新一波創新浪潮,從人工智能算法的創建開發,到傳感器和執行器的無縫集成,精簡優化機器人研發流程的每一環節,加快復雜的物理AI平臺的升級迭代。”
英偉達機器人與邊緣人工智能部副總裁Deepu Talla表示:“加快開發下一代自主系統需要高保真仿真和硬件無縫集成,彌合虛擬訓練和真機部署之間的差異。ST傳感器和執行器技術與NVIDIA Isaac Sim、Holoscan Sensor Bridge和Jetson平臺的深度集成,為開發者構建、仿真和大規模部署物理AI提供了一個統一的底層平臺。”
通過Holoscan Sensor Bridge簡化傳感器和執行器與機器人平臺的無縫集成
通過NVIDIA HSB技術,開發者可以統一、標準化、同步和精簡從多個意法半導體傳感器和執行器采集記錄數據的過程,為構建高保真NVIDIA Isaac模型、加快學習和最大限度縮小仿真與真機之間的差異奠定了基礎。
雙方合作目標是通過人形機器人預集成解決方案,整合STM32 MCU、高級傳感器(包括IMU慣性測量單元、成像傳感器和ToF測距芯片)和電機控制解決方案,簡化意法半導體傳感器和執行器與NVIDIA Jetson平臺的集成過程。Leopard Imaging的機器人立體深度相機就是一個完美例子。該相機采用意法半導體的成像傳感器、深度測距和運動感測技術,有望助力支持物理人工智能OEM廠商、學術研究機構、工業機器人等各種機器人設計。
通過構建基于Omniverse Isaac的高保真模型,攻克產品成本和設計復雜性挑戰
除了建模挑戰外,高級機器人開發者還面臨著高昂的開發成本。高保真仿真及廣泛隨機化需占用大量的GPU和CPU資源以及龐大的數據集。選擇隨機化哪些參數以及隨機化范圍需要深厚的域專業知識,而選擇不當會導致場景不真實或訓練效率低。最后,參數過度變化會導致模型混亂,減緩收斂速度,當隨機化不再反映真實條件時,可能會降低真機性能。
意法半導體和英偉達的目標是讓意法半導體豐富的產品組合具有準確的硬件校準模型,滿足高級機器人技術的需求。在首個IMU模型發布后,意法半導體還為開發者提供ToF傳感器、執行器和其他芯片的基于實體硬件基準測試數據建立的模型。該解決方案使用意法半導體的工具捕捉準確參數和真實的硬件行為特性,然后針對英偉達的Isaac Sim生態系統對模型進行優化。NVIDIA HSB正在通過合作方式融入意法半導體工具鏈。
因此,意法半導和英偉達設想,更準確的模型將顯著提升機器人的學習能力。通過使用能夠更準確復制真機行為的模型,機器人可以在更能反映實際情況的仿真環境中學習技能,縮短訓練周期,降低人形機器人相關應用的開發改進成本。
-
機器人
+關注
關注
213文章
31311瀏覽量
223364 -
意法半導體
+關注
關注
31文章
3398瀏覽量
111914 -
英偉達
+關注
關注
23文章
4112瀏覽量
99560
原文標題:意法半導體與英偉達合作加快物理AI全面普及和市場增長
文章出處:【微信號:STMChina,微信公眾號:意法半導體中國】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
意法半導體與英偉達合作推出全新800VDC直轉12V及6V先進架構
意法半導體和Leopard Imaging聯合推出一體化多模視覺模塊
歐萊雅正與NVIDIA深化合作以大幅提升美妝研發速度
施耐德電氣與英偉達深化合作以構建高效吉瓦級AI工廠
羅德與施瓦茨攜手英偉達推進基于數字孿生技術的AI-RAN測試
意法半導體與英偉達深化合作以推動物理AI普及應用
評論