国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

S3E:用于協作SLAM的大規模多模態數據集

3D視覺工坊 ? 來源:3D視覺工坊 ? 作者:3D視覺工坊 ? 2022-11-04 11:47 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

0. 引言

機器人協作在搜索救援、工業自動化、智慧農業等領域發展迅猛,而協同SLAM(C-SLAM)是實現多機器人協作的核心技術。現有的EuRoc、KITTI等數據集雖然在單機SLAM領域發揮了重要作用,但卻很難去評價多機協同的軌跡和建圖精度。近日,中山大學團隊開發了一種用于協作SLAM的大規模多模態數據集,由3個無人車沿四種軌跡采集,包含7個室外場景和5個室內場景。這是第一個使用各種室內和室外環境的激光雷達、視覺和慣性數據的C-SLAM數據集,研究機器人協作的小伙伴一定不要錯過!

2. 摘要

隨著使用一組機器人協作完成任務的要求越來越高,研究界對協作同步定位和地圖繪制越來越感興趣。不幸的是,現有的數據集在它們捕獲的協作軌跡的規模和變化方面是有限的,盡管不同主體之間的交互軌跡的一般化對于協作任務的整體可行性是至關重要的。為了幫助將研究社區的貢獻與現實世界的多主體協調SLAM問題結合起來,我們引入了S3E,這是一個由無人駕駛地面車輛車隊沿著四個設計的協作軌跡范例捕獲的新的大規模多模態數據集。S3E由7個室外和5個室內場景組成,每個場景都超過200秒,由同步和校準良好的高質量雙目相機、激光雷達和高頻IMU數據組成。至關重要的是,我們的努力在數據集大小、場景可變性和復雜性方面超過了以前的嘗試。它的平均記錄時間是開創性的EuRoC數據集的4倍。我們還提供仔細的數據集分析以及協作SLAM和單個對應方的基線。

3. 數據集介紹

3.1 數據采集車

如圖1所示是用于采集S3E數據集的無人車,每個無人車上都有2個高分辨率彩色相機、1個16線激光雷達、1個9軸IMU以及1個雙天線RTK。表1所示是無人車所使用傳感器的具體參數。 表1 傳感器設備參數

9c51d56a-5bf0-11ed-a3b6-dac502259ad0.png

無人車所使用的平臺是Agilex Scout Mini,它是一款四輪驅動、最高車速10km/h的全地形高速遙控移動平臺。在具體的數據采集過程中,作者使用Velodyne VLP-16 Puck來記錄360°點云數據。使用兩臺HikRobot MV-CS050-10GC GigE相機采集雙目視覺數據,其中雙目相機的基線為360mm,圖像通過全局快門掃描捕獲,并從原始圖像降采樣到1224x1024。此外,還使用9軸Xsens MTi-30-2A8G4 IMU記錄三個加速度計和三個陀螺儀。為了進行驗證和測試,作者還使用Femtomes Nano-D RTK配備雙天線在GNSS可用區域捕獲軌跡真值,真值采集頻率為1 Hz。無人車平臺上所有傳感器的安裝位置如圖2所示,采集到的S3E數據集樣例如圖3所示。

9c79b454-5bf0-11ed-a3b6-dac502259ad0.jpg

圖2 傳感器布局和坐標系

9c985ca6-5bf0-11ed-a3b6-dac502259ad0.jpg

圖3 S3E數據集的數據示例,每行都顯示了不同平臺同時捕捉到的雙目圖像和點云。

3.2 傳感器同步

在多傳感器融合中,時間同步和傳感器校準至關重要。因此,作者在此方面也做了很多的工作。 (1) 時間同步:如圖4所示,S3E的同步系統使用Altera EP4CE10板作為觸發器,Intel NUC11TNKv7作為主機。對于不同機器人間的同步,作者把這個問題分成兩種情況來討論。首先,應用GNSS時間作為室外場景中的全局時間源來校準機器人的計時器。之后,在無GNSS系統中(室內場景),所有機器人運行時間校準程序,通過無線網絡從PTP服務器獲取外部全局時間數據。 對于內部同步,觸發單元周期性地產生脈沖來觸發激光雷達、雙目攝像機和IMU。值得注意的是,FPGA產生1 Hz脈沖來觸發激光雷達,然后激光雷達返回10 Hz數據,并在接收到觸發信號后刷新內部計數器寄存器。攝像機和IMU在收到觸發脈沖后立即返回數據。 (2) 傳感器校準:在圖2所示的傳感器布局中,所有的坐標系都遵循右手定則。作者使用標準棋盤校準來運行相機的內部校準。對于激光雷達和IMU,由廠家進行內部傳感器校準。之后進行雙目相機聯合標定和激光雷達-相機聯合標定。此外,在利用Allan標準差對IMU噪聲建模后,作者還進行了相機和IMU的聯合標定。

9cc67f78-5bf0-11ed-a3b6-dac502259ad0.jpg

圖4 基于FPGA的同步系統架構

3.3 軌跡范例

如圖5所示,在S3E數據集中,作者設計了遵循四種不同的機器人內/機器人間規范的閉環軌跡。 第一種軌跡是C-SLAM應用中的典型情況,即機器人編隊同時繞目標運行,主要用于對目標進行稠密三維重建。第二個軌跡模擬區域搜索和救援任務,每個機器人在不同的區域搜索,并在交互過程中與其他機器人共享信息。這種情況要求C-SLAM算法在小的公共區域內具有可靠的機器人內部閉環能力和高效的機器人之間閉環能力。第三條軌跡集中于僅具有機器人間環路閉合的場景,所有的機器人都從不同的地方開始,并在路徑中的一些會合點前進,最后在同一個地方相遇。第四條軌跡中,機器人從不同的地方開始,終點是同一個地點。這種情況在C-SLAM中非常困難,因為所有的機器人只在終點相遇,幾乎沒有為回環提供任何信息。 圖6顯示了室外環境中S3E數據集的軌跡,它包含校園內五個有代表性的功能區域,即廣場、圖書館、學院、操場和宿舍。

9cff2f4e-5bf0-11ed-a3b6-dac502259ad0.jpg

圖5 四種軌跡范例

9d3b956a-5bf0-11ed-a3b6-dac502259ad0.jpg

圖6 S3E數據集的室外軌跡,Alpha、Bob和Carol在室外環境中的軌跡用橙色、紫色和青色標注。 S3E數據集的室外和室內分布情況如表2所示,與其他主流SLAM數據集的對比如表3所示。S3E數據集的平均時間為459.1s,這對解決C-SLAM的長期評估問題具有較大幫助。值得注意的是,對于每個設計的軌跡,該數據集至少包含一個序列。此外,Dormitory為第三類和第四類的混合軌跡,Laboratory_1為第二類和第四類的混合軌跡。 表2 S3E數據集分析

9d6e1ae4-5bf0-11ed-a3b6-dac502259ad0.png

表3 與一些流行的SLAM數據集的對比

9da1b688-5bf0-11ed-a3b6-dac502259ad0.png

4. 實驗

4.1 基線

如表4所示,作者在S3E數據集上提供了四個單機器人SLAM和三個C-SLAM基線,評價指標為ATE,均是目前的主流SLAM算法。其中前者包括ORB-SLAM3、VINS-Fusion、LIO-SAM以及LVI-SAM。后者包括COVINS、DiSCo-SLAM以及DCL-SLAM。 作者采用了三種方法來生成軌跡真值:在GNSS可用區域,由雙天線RTK設備記錄的厘米級定位真值。對于無GNSS的場景,用RTK設備記錄建筑物外軌道的起點和終點。并利用運動捕捉設備來記錄室內情況下的起點和終點。 表4 室外環境下單SLAM和C-SLAM的基準ATE。α、β和γ分別代表ALPHA、BOB和CAROL

9dccb8c4-5bf0-11ed-a3b6-dac502259ad0.png

4.2 結果對比

對于單機器人SLAM,基于激光雷達的方法通常優于基于視覺的方法。在S3E中,大多數基于視覺的方法在轉彎時無法跟蹤幀,因此,基于LiDAR的C-SLAM超過了基于視覺的C-SLAM。同時,C-SLAM在成功檢測到回環時,可以狀態估計的魯棒性和準確性。例如DCL-SLAM相比其前端LIO-SAM,平均ATE降低了0.42。在Playground_1序列中,部署單LIO-SAM時,同心圓Alpha和Bob均無法跟蹤幀,單通過DCL-SLAM可以成功跟蹤,并且精度實現了大幅提升。在Square_1中,COVINS以7.09的ATE超過了單SLAM,Carol在ORB-SLAM3失敗時通過協作實現了1.75 ATE。 如圖7所示,紅色圓圈表示C-SLAM成功檢測到回環。在左側,DiSCo-SLAM和DCL-SLAM在簡單的情況下取得成功,因為不同觀測之間的大量重疊保證了后端優化的冗余特性。與DCL-SLAM相比,COVINS在兩個機器人同向移動的端點處成功檢測到不同機器人之間的回環,但在兩個機器人相對移動的中點處未能匹配到Bob和Carol之間的特征。這也是DCL-SLAM優于COVINS的原因之一。結果表明,先進的C-SLAM系統可以在具有相當大重疊度的軌跡間表現良好。

9e90a446-5bf0-11ed-a3b6-dac502259ad0.png

圖7 C-SLAM的定性結果

5. 結論

近期,中山大學開發了一種由三個無人車記錄的大規模C-SLAM數據集,它包含激光雷達-視覺-IMU數據。S3E數據集包含7個室外場景和5個室內場景,并進行了時間同步和傳感器校準。此外,S3E數據集中包含了多個回環檢測,并評估了當前最先進的C-SLAM及其單機器人前端比較器的性能。多機協同是機器人領域的一個重要發展趨勢,而目前多機數據集還較少,S3E很大程度上填補了這方面的空白。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 機器人
    +關注

    關注

    213

    文章

    31092

    瀏覽量

    222350
  • 計時器
    +關注

    關注

    1

    文章

    434

    瀏覽量

    35210
  • 數據集
    +關注

    關注

    4

    文章

    1236

    瀏覽量

    26202

原文標題:S3E:用于協作SLAM的大規模多模態數據集

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    全球首個最大規模跨本體視觸覺模態數據白虎-VTouch發布

    全球首個最大規模跨本體視觸覺模態數據——白虎-VTouch(Vision-Based Tactile Sensor),總
    的頭像 發表于 01-29 14:41 ?501次閱讀

    格靈深瞳模態大模型榮登InfoQ 2025中國技術力量年度榜單

    靈感實驗室聯合LLaVA社區發布的模態大模型LLaVA-OneVision-1.5,實現了訓練數據、代碼和模型權重的全鏈路開源,在多項公開模態
    的頭像 發表于 01-05 10:05 ?514次閱讀

    商湯科技正式發布并開源全新模態模型架構NEO

    商湯科技正式發布并開源了與南洋理工大學S-Lab合作研發的全新模態模型架構 —— NEO,為日日新SenseNova 模態模型奠定了新一
    的頭像 發表于 12-08 11:19 ?1024次閱讀
    商湯科技正式發布并開源全新<b class='flag-5'>多</b><b class='flag-5'>模態</b>模型架構NEO

    基于蜂鳥E203架構的指令K擴展

    向量操作指令,例如向量加法、向量乘法等。 在蜂鳥E203架構中,可以添加K擴展指令,以處理大規模數據,可以添加以下指令: 1.VADD
    發表于 10-21 09:38

    淺析模態標注對大模型應用落地的重要性與標注實例

    ?在人工智能邁向AGI通用智能的關鍵道路上,大模型正從單一的文本理解者,演進為能同時看、聽、讀、想的“多面手”。驅動這一進化的核心燃料,正是高質量的模態數據,而將原始數據轉化為“機器
    的頭像 發表于 09-05 13:49 ?2329次閱讀

    三維高斯潑濺大規模視覺SLAM系統解析

    近期興起的神經輻射場(NeRF)與三維高斯潑濺(3DGS)技術在視覺SLAM中展現出令人鼓舞的突破性成果。然而,當前主流方法依賴RGBD傳感器,并且僅適用于室內環境。在
    的頭像 發表于 05-27 14:13 ?1581次閱讀
    三維高斯潑濺<b class='flag-5'>大規模</b>視覺<b class='flag-5'>SLAM</b>系統解析

    薄型、頻段、大規模物聯網前端模塊 skyworksinc

    電子發燒友網為你提供()薄型、頻段、大規模物聯網前端模塊相關產品參數、數據手冊,更有薄型、頻段、大規模物聯網前端模塊的引腳圖、接線圖、封
    發表于 05-15 18:32
    薄型、<b class='flag-5'>多</b>頻段、<b class='flag-5'>大規模</b>物聯網前端模塊 skyworksinc

    東軟集團入選國家數據數據標注優秀案例

    近日,東軟飛標醫學影像標注平臺在國家數據局發布數據標注優秀案例名單中排名第一(案例名稱“模態醫學影像智能
    的頭像 發表于 05-09 14:37 ?1241次閱讀

    愛芯通元NPU適配Qwen2.5-VL-3B視覺模態大模型

    熟悉愛芯通元NPU的網友很清楚,從去年開始我們在端側模態大模型適配上一直處于主動緊跟的節奏。先后適配了國內最早開源的模態大模MiniCPM V 2.0,上海人工智能實驗室的書生
    的頭像 發表于 04-21 10:56 ?3163次閱讀
    愛芯通元NPU適配Qwen2.5-VL-<b class='flag-5'>3</b>B視覺<b class='flag-5'>多</b><b class='flag-5'>模態</b>大模型

    FK10-18S18E2C3 FK10-18S18E2C3

    電子發燒友網為你提供AIPULNION(AIPULNION)FK10-18S18E2C3相關產品參數、數據手冊,更有FK10-18S18E2C3的引腳圖、接線圖、封裝手冊、中文資料、英文資料,FK10-18
    發表于 03-20 18:49
    FK10-18<b class='flag-5'>S18E2C3</b> FK10-18<b class='flag-5'>S18E2C3</b>

    DD10-36S24E3C2 DD10-36S24E3C2

    電子發燒友網為你提供AIPULNION(AIPULNION)DD10-36S24E3C2相關產品參數、數據手冊,更有DD10-36S24E3C2的引腳圖、接線圖、封裝手冊、中文資料、英文資料,DD10-36
    發表于 03-20 18:47
    DD10-36<b class='flag-5'>S24E3</b>C2 DD10-36<b class='flag-5'>S24E3</b>C2

    DD6-05S24E3C2 DD6-05S24E3C2

    電子發燒友網為你提供AIPULNION(AIPULNION)DD6-05S24E3C2相關產品參數、數據手冊,更有DD6-05S24E3C2的引腳圖、接線圖、封裝手冊、中文資料、英文資料,DD6-05
    發表于 03-20 18:46
    DD6-05<b class='flag-5'>S24E3</b>C2 DD6-05<b class='flag-5'>S24E3</b>C2

    FK6-36S24E2C3 FK6-36S24E2C3

    電子發燒友網為你提供AIPULNION(AIPULNION)FK6-36S24E2C3相關產品參數、數據手冊,更有FK6-36S24E2C3的引腳圖、接線圖、封裝手冊、中文資料、英文資料,FK6-36
    發表于 03-20 18:41
    FK6-36<b class='flag-5'>S24E2C3</b> FK6-36<b class='flag-5'>S24E2C3</b>

    ?模態交互技術解析

    模態交互 模態交互( Multimodal Interaction )是指通過多種感官通道(如視覺、聽覺、觸覺等)或多種交互方式(如語音、手勢、觸控、眼動等)與計算機系統進行自然、
    的頭像 發表于 03-17 15:12 ?4413次閱讀

    AgiBot World Colosseo:構建通用機器人智能的規模數據平臺

    的匱乏,制約了通用操縱能力的突破。上海人工智能實驗室與AgiBot公司聯合研發的AgiBot World Colosseo平臺,通過構建大規模模態的真實世界數據
    的頭像 發表于 03-12 11:42 ?1992次閱讀
    AgiBot World Colosseo:構建通用機器人智能的<b class='flag-5'>規模</b>化<b class='flag-5'>數據</b>平臺