近期，奧比中光研發團隊融合前沿多模態大模型技術，推出最新2.0版大模型機械臂演示方案。新方案搭載公司最新深度相機Gemini 335L和Femto Bolt，能夠基于語音指令，自動執行沏茶、插花、滴香薰、播放音樂等一系列復雜任務。此前在2023年底，奧比中光成功發布大模型機械臂1.0，在業界引起廣泛關注。

秒懂語音指令，絲滑沏茶、倒茶

奧比中光2.0版大模型機械臂結合多模態大模型技術（語音、文本、視覺）與機械臂控制技術，可以生成空間語義信息，幫助機械臂準確識別、理解生活中的常見物體并執行相應動作，可識別物體包括日常用品、食品和工業零件等。

以最具挑戰性的沏茶任務為例，其難點在于流程長、步驟多，需要保證動作執行的準確性和多步驟之間的邏輯合理性。奧比中光研發團隊借助高精度Gemini 335L和Femto Bolt相機實現目標抓取位姿的精確定位，結合大模型的理解能力，經過長期算法優化與仿真環境調試，最終實現對沏茶等復雜任務的理解、規劃與自動執行。

相比1.0版本，2.0版大模型機械臂在以下幾個方面實現了升級：

●語言模型：自然語言處理和理解能力顯著提升，機械臂能夠更準確理解和執行抽象的語言指令。

●規劃能力：復雜任務規劃能力顯著提升，可以準確理解高階任務并精準執行。

●響應速度：程序整體執行效率優化，任務理解與規劃時間大大縮短。

●抓取能力：升級為夾爪設計，能夠準確識別和分類不同物體，適應更多樣化的任務和環境。

●感知能力：配備Gemini 335L和Femto Bolt相機，雙目3D相機與ToF相機互補，提供更高分辨率和精度的3D視覺感知能力。

搭載先進深度相機，感知更精確

奧比中光2.0版大模型機械臂通過搭載公司最新深度相機和AI算法，在識別、抓取和操作復雜物體時的精度和效率顯著提升。相較于1.0版本采用的Gemini 2系列相機，2.0版本的Gemini 335L和Femto Bolt在深度精度和深度完整性方面具有更佳表現，捕捉更精致的物體細節，可重建玻璃、亞克力等透明材質物體，從而讓機械臂能夠精準定位物體，高效執行動作。此外，公司基于仿真與實際相結合的調試優化方式，可快速實現AI算法驗證與迭代。

機器人要想具備更通用的能力，需要理解真實的物理世界。作為行業領先的機器人視覺及AI視覺公司，奧比中光長期致力于3D視覺感知技術的研發，以促進具身智能在感知技術層面的進步。未來，團隊將進一步提升大模型機械臂的理解能力，使其能夠處理更多復雜、抽象的任務；提升機械臂在復雜或動態變化環境中的泛化能力，并加強人機交互與機器自我學習能力，加速其在生活服務、工業生產等實際場景中的落地應用。