北大攜智元機(jī)器?團(tuán)隊(duì)提出OmniManip架構(gòu)
近日，北京大學(xué)與智元機(jī)器人的聯(lián)合實(shí)驗(yàn)室有了重大成果，北?攜?智元機(jī)器?團(tuán)隊(duì)提出 OmniManip 架構(gòu)。
在具身智能領(lǐng)域，將視覺(jué)語(yǔ)言基礎(chǔ)模型（VLMs）應(yīng)用于機(jī)器人實(shí)現(xiàn)通用操作一直是核心問(wèn)題。目前存在兩大挑戰(zhàn)，一是VLMs缺乏精確3D理解能力，二是難以將高層次推理轉(zhuǎn)化為機(jī)器人低層次動(dòng)作。
為解決這些難題，OmniManip架構(gòu)應(yīng)運(yùn)而生。它基于以對(duì)象為中心的3D交互基元，把VLM的高層次推理能力轉(zhuǎn)化為機(jī)器人的低層次高精度動(dòng)作。針對(duì)大模型幻覺(jué)和真實(shí)環(huán)境操作的不確定性，OmniManip引入了VLM規(guī)劃和機(jī)器人執(zhí)行的雙閉環(huán)系統(tǒng)設(shè)計(jì)。
OmniManip的關(guān)鍵設(shè)計(jì)亮點(diǎn)頗多，包括基于VLM的任務(wù)解析，可將復(fù)雜任務(wù)分解為多個(gè)明確主動(dòng)物體、被動(dòng)物體和動(dòng)作類型的結(jié)構(gòu)化階段。還有閉環(huán)機(jī)器人執(zhí)行，通過(guò)物體6D姿態(tài)跟蹤器實(shí)時(shí)更新物體位姿，轉(zhuǎn)換為機(jī)械臂操作軌跡。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
機(jī)器人
+關(guān)注
關(guān)注
213文章
31087瀏覽量
222324 -
語(yǔ)言模型
+關(guān)注
關(guān)注
0文章
571瀏覽量
11322
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
江智機(jī)器人技術(shù)核心團(tuán)隊(duì)
?江智機(jī)器人技術(shù)核心團(tuán)隊(duì)是基于江智原有15年以上車輛產(chǎn)品研發(fā)團(tuán)隊(duì)基礎(chǔ)上，以美國(guó)卡耐基梅隆大學(xué)CMU留學(xué)回國(guó)的趙國(guó)江為核心，匯聚了一批來(lái)自人工智能、機(jī)器人研發(fā)等領(lǐng)域的國(guó)內(nèi)外高端人才，形成
北大團(tuán)隊(duì)實(shí)現(xiàn)超高靈敏短波紅外探測(cè)新突破
，主流銦鎵砷(InGaAs)探測(cè)器在像元縮小至微米甚至亞微米尺度時(shí)，普遍面臨暗電流和像素串?dāng)_急劇上升、工藝與封裝難度陡增等瓶頸，嚴(yán)重制約了成像分辨率和系統(tǒng)信噪比的進(jìn)一步提升。 近日，北京大學(xué)電子學(xué)院、碳基電子學(xué)研究中心張志勇教授團(tuán)隊(duì)聯(lián)
北大團(tuán)隊(duì)最新研究：AI芯片算力提升數(shù)倍，能效提升超90倍
電子發(fā)燒友網(wǎng)綜合報(bào)道 2026年1月，國(guó)際頂級(jí)學(xué)術(shù)期刊《自然·電子》刊發(fā)的一項(xiàng)研究成果，讓全球半導(dǎo)體與算力領(lǐng)域?yàn)橹毮俊本┐髮W(xué)人工智能研究院陶耀宇研究員、集成電路學(xué)院楊玉超教授團(tuán)隊(duì)，在國(guó)際上
導(dǎo)遠(yuǎn)科技核心成果亮相2025瑞士機(jī)器人展
11月14-15日，導(dǎo)遠(yuǎn)科技攜核心技術(shù)成果連續(xù)第二年參加Swiss Robotics Day 2025（瑞士機(jī)器人展），向全球頂尖創(chuàng)新團(tuán)隊(duì)展示高精度定位傳感器在機(jī)器人行業(yè)的應(yīng)用與價(jià)值。
機(jī)器人看點(diǎn)：智元機(jī)器人公司完成股改 湃特納機(jī)器人完成數(shù)千萬(wàn)元A輪融資
給大家?guī)?lái)一些機(jī)器人行業(yè)的消息： 智元機(jī)器人公司完成股改 智元機(jī)器人上市在即？據(jù)企查查APP信息顯示智元
湖北大數(shù)據(jù)集團(tuán)到訪維智科技參觀交流
近日，湖北大數(shù)據(jù)集團(tuán)有限公司黨委書記、董事長(zhǎng)汪小波率隊(duì)到訪維智科技。雙方圍繞時(shí)空數(shù)據(jù)融合、公共數(shù)據(jù)授權(quán)運(yùn)營(yíng)及行業(yè)應(yīng)用場(chǎng)景開發(fā)等議題展開深入探討。
東北大學(xué)開源鴻蒙技術(shù)俱樂(lè)部正式揭牌成立
2025年10月27日上午，由OpenAtom OpenHarmony（以下簡(jiǎn)稱“開源鴻蒙”）項(xiàng)目群技術(shù)指導(dǎo)委員會(huì)和東北大學(xué)軟件學(xué)院共同舉辦的“東北大學(xué)開源鴻蒙技術(shù)俱樂(lè)部成立大會(huì)暨創(chuàng)新智能技術(shù)論壇
元禾控股投資先楫半導(dǎo)體：國(guó)產(chǎn)高性能MCU駛?cè)?b class='flag-5'>機(jī)器人控制“快車道”
2025年9月8日，上海|上海先楫半導(dǎo)體科技有限公司（先楫半導(dǎo)體，HPMicro）宣布完成新一輪融資，蘇州元禾控股股份有限公司（以下簡(jiǎn)稱“元禾控股”）作為本輪投資機(jī)構(gòu)之一，攜產(chǎn)業(yè)資本加速布局國(guó)產(chǎn)
匯川技術(shù)四大架構(gòu)重磅發(fā)布
2025 匯川技術(shù)爆品發(fā)布會(huì)上，F(xiàn)A、運(yùn)控、傳動(dòng)、機(jī)器人四大 IPMT 主任攜覆蓋 “設(shè)計(jì) - 制造 - 傳動(dòng) - 執(zhí)行” 的全棧架構(gòu)登場(chǎng)，為中國(guó)制造業(yè)智能化轉(zhuǎn)型破局。這不是簡(jiǎn)單產(chǎn)品升級(jí)，而是重構(gòu)智能制造底層邏輯的革命。
彭志輝（稚暉君）創(chuàng)立的智元機(jī)器人預(yù)計(jì)明年出貨量達(dá)數(shù)萬(wàn)臺(tái) 2026是盈利元年
人在 “產(chǎn)品、技術(shù)、商業(yè)、生態(tài)、資本、團(tuán)隊(duì)” 各方面的全鏈條布局。 在智元機(jī)器人首屆合作伙伴大會(huì)上智元正式發(fā)布了最新產(chǎn)品靈犀X2-W，這是一款基于X2平臺(tái)衍生，針對(duì)“作業(yè)智能”開發(fā)的輪
不到萬(wàn)元！智元機(jī)器人高自由度靈巧手做到了
電子發(fā)燒友網(wǎng)綜合報(bào)道 日前，智元機(jī)器人正式推出 OmniHand 2025 系列靈巧手，包含面向交互服務(wù)的「靈動(dòng)款」與專注專業(yè)作業(yè)的「專業(yè)款」兩大產(chǎn)品。靈動(dòng)款尺寸為 180mm，重量為 500g，共
智子科技攜小智機(jī)器人首秀高校講臺(tái)
近日，上海建橋?qū)W院課堂迎來(lái)一位特殊“講師”——小智機(jī)器人。在智子科技專業(yè)團(tuán)隊(duì)的支持下，這位機(jī)器人“助教”以生動(dòng)形式為“自媒體創(chuàng)作及應(yīng)用”微專業(yè)的學(xué)生帶來(lái)了一堂聚焦前沿營(yíng)銷科技的互動(dòng)課程，核心內(nèi)容是智子科技自主研發(fā)的SingerM
勱微機(jī)器人攜無(wú)人叉車解決方案亮相LET 2025廣州物流展
5月21日，勱微機(jī)器人攜三向叉式無(wú)人叉車等智能物流解決方案的重磅產(chǎn)品亮相2025中國(guó)（廣州）國(guó)際物流裝備與技術(shù)展，全方位展示在無(wú)人叉車及其智能物流解決方案領(lǐng)域的卓越實(shí)力與品牌影響力。
橋接智能制造：PROFINET與Devicenet混合架構(gòu)賦能汽車擦凈機(jī)器人升級(jí)
橋接智能制造：PROFINET與Devicenet混合架構(gòu)賦能汽車擦凈機(jī)器人升級(jí)
常見(jiàn)的PFC拓?fù)?b class='flag-5'>架構(gòu)及控制方法
本期，芯朋微技術(shù)團(tuán)隊(duì)將為各位fans分享常見(jiàn)的PFC拓?fù)?b class='flag-5'>架構(gòu)及控制方法，為設(shè)計(jì)選型提供參考。
工商網(wǎng)監(jiān)
評(píng)論