国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

教你如何做機器人與視覺的融合仿真

3D視覺工坊 ? 來源:空中機器人前沿 ? 2023-03-17 16:31 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

四旋翼無人機自發(fā)明以來已經(jīng)有了非常長遠的發(fā)展,現(xiàn)階段對四旋翼無人機的運動學和動力學模型已經(jīng)有了很多較深入的研究,無人機仿真方面的軟件和工具也是層出不窮。

例如Gazebo有優(yōu)秀的物理引擎,可以模擬出真實的物理環(huán)境,同時也能夠自主搭建環(huán)境;鳳凰模擬器能夠模擬遙控器手動飛行,對于飛手的訓練有非常大的幫助。

77be1a80-c494-11ed-bfe3-dac502259ad0.gif

Gazebo 中四旋翼無人機飛行效果圖

8602e706-c494-11ed-bfe3-dac502259ad0.gif

鳳凰模擬器中用遙控器控制四旋翼的飛行?? 現(xiàn)如今機器視覺人工智能飛速發(fā)展,但是仿真軟件中的環(huán)境不夠逼真,直觀看起來比較假,同時背景環(huán)境也不夠豐富,并不能充分驗證計算機視覺等相關算法。

AirSim就是在這種情況下應運而生的,它將四旋翼的動力學模型與游戲引擎(虛幻引擎Unreal)相結合,借助游戲引擎強大的視覺渲染能力和豐富的場景,彌補了這一缺陷。

虛幻引擎 Unreal Engine,簡稱UE,中文譯名為虛幻引擎,是非常出名的游戲引擎,它是一套完整的游戲開發(fā)工具,目前已經(jīng)被廣泛應用于游戲開發(fā)、建筑設計與渲染、汽車展示、廣播與實況活動、影視渲染、訓練與模擬等各個領域中。

虛幻引擎同時還具備編輯器功能,具有照片級逼真的視覺渲染水平、支持動態(tài)物理模擬的效果,能夠制作出栩栩如生的動畫,甚至可以制作電影大片級的場面。其豐富而強大的數(shù)據(jù)接口,能夠為各行各業(yè)的專業(yè)人士帶來無限的創(chuàng)作自由。

從UE4版本開始,其源代碼就可以從Github開源社區(qū)下載,所以實質上你可以修改任何東西,包括:物理引擎、渲染效果和用戶界面等。同時 UE4的跨平臺特性支持 Windows PC、Linux、Max OSX、iOS、安卓等平臺,甚至可以支持VR等虛擬現(xiàn)實的設備。

虛幻商城中有非常豐富的逼真場景可供選擇,甚至有復原了完整的著名城市和建筑群,下圖展示的有:沙漠景觀、城市建筑、公園、森林。虛幻引擎中的所有場景都可以設置為AirSim無人機仿真的環(huán)境場景。

虛幻商城中部分環(huán)境展示:沙漠、城市、公園、森林 這些豐富的場景中,還包含了風沙雨雪霧、落葉等不同天氣或氣候情況下的渲染,甚至包括同一地區(qū)不同季節(jié)時的景觀。

這些在仿真中都可以任意設置,能夠充分測試視覺算法在不同的場景下的效果。

虛幻商城中Realistic Landscapes 環(huán)境不同季節(jié)和氣候的景色展示

什么是 AiriSim

AirSim 是微軟公司開發(fā)的基于游戲引擎的一個開源的跨平臺仿真器,它可以用于無人機、無人機車等機器人的物理和視覺仿真。

它同時支持基于PX4 和 ArduPilot等飛行控制器的軟件在環(huán)仿真,目前還支持基于PX4的硬件在環(huán)仿真。 AirSim 是作為虛幻游戲引擎的插件而存在的,適配基于虛幻引擎搭建的環(huán)境,目前AirSim也有一個實驗版本的插件適用于Unity引擎。

得益于游戲引擎優(yōu)秀的視覺渲染效果,AirSim 仿真平臺在具備物理仿真的同時也具備了逼真的視覺仿真效果,這是其一大亮點,非常適用于進行基于深度學習等視覺AI仿真驗證。

AirSim提供了很多API接口,用于讀取數(shù)據(jù)、控制車輛、控制天氣等,使用 API接口可以實現(xiàn)自動收集數(shù)據(jù)集的功能,還可以測試視覺算法。

AirSim的開發(fā)者希望這個平臺能夠幫助研究人員用于深度學習、計算機視覺、強化學習等人工智能相關的研究,適用于無人機、無人駕駛、機器人等領域的應用。

AirSim支持多平臺運行,在Windows、LinuxMac系統(tǒng)中可以運行,但是目前只有在Windows系統(tǒng)下才可以創(chuàng)建工程,而對于Linux系統(tǒng)下的使用,需要首先在 Windows 系統(tǒng)下創(chuàng)建好工程,再復制到Linux系統(tǒng)下。

AirSim 可以做什么

1. 手動飛行(駕駛)

使用可以接入電腦的無人機遙控器或者 XBox,都可以實現(xiàn)手動飛行仿真中的無人機,它不只能夠訓練飛手的飛行技術,還可以瀏覽美景。得益于虛幻商城中的豐富且逼真的場景,能夠給予玩家震撼的視覺效果,使用1比1復原的實現(xiàn)場景時,甚至有一種駕駛飛機瀏覽世界各地名勝的感覺。

2.程序控制無人機飛行(控制算法測試)

AirSim 提供了豐富的程序控制接口,用戶可以使用多種編程語言來編寫程序,實現(xiàn)對無人機的狀態(tài)讀取和飛行控制。AirSim 還支持硬件在環(huán)仿真,可以最大程度模擬四旋翼的飛行效果。

控制接口功能豐富,

包括四旋翼的: 位置控制、速度控制、姿態(tài)控制、電機控制 等,

支持 電機轉速控制 、底層飛控的 PID參數(shù)調節(jié) ,滿足了從基礎控制到 高機動控制 等不同的任務需求。

使用AirSim APIs 接口可以讀取無人機的狀態(tài)(位置、速度、姿態(tài)等),包括真實狀態(tài)、傳感器測量到的有噪聲的狀態(tài)信息。

AirSim 還支持同時仿真多架無人機,可以測試 集群和多無人機協(xié)同 算法。

AirSim 支持在視口中直接作圖,由此可以顯示無人機的 飛行軌跡 。

多無人機協(xié)同編隊控制 無人機跟蹤8字形軌跡

3. 數(shù)據(jù)集自動收集、視覺算法測試

仿真場景中可以知道全部的信息,使用程序控制,可以很方便地實現(xiàn)對無人機位置和姿態(tài)的控制,同時也能方便地控制相機的姿態(tài)和內參。也可以同時添加多個相機,安裝在無人機的不同位置。

AirSim 中可以獲得的圖像包括: 單目 RGB圖像、雙目深度圖、分割圖、紅外 等。

由于是仿真模擬,深度圖和分割圖非常完美,并不能完全模擬顯示中的不確定性。

紅外圖是基于分割圖生成的,需要自己定義每個物體的溫度。

自由設置相機的 數(shù)量、位置、內參 等。

自由添加噪聲: 相機畸變、運動模糊、圖片隨機噪 等。

自由設置不同的天氣狀態(tài): 雨、雪、霧、風速、落葉、沙塵 等。

自由 改變無人機的外觀 ,可以將無人機外形設置成任意型號的無人機,如 DJI Mavic。

可以導入現(xiàn)實中的環(huán)境。

設置時間流逝,由此可以 改變一天中太陽的位置 ,從而產生光照強度、光源位置變化,產生環(huán)境變化。

4.強化學習

AirSim 支持獲取碰撞信息,碰撞信息不止包括是否發(fā)生碰撞,還包括:發(fā)生碰撞的位置、發(fā)生碰撞的表面、碰撞深度等信息。使用程序可以讀取碰撞信息、無人機狀態(tài)等,加上強化學習算法,可以實現(xiàn)強化學習的訓練。

5. 多傳感器融合

AirSim 目前支持的傳感器有:相機、雙目相機、紅外相機、雷達、距離傳感器、氣壓計、IMU、GPS、磁力計。同時使用多個傳感器,可以測試多傳感器融合算法。





審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 機器人
    +關注

    關注

    213

    文章

    31075

    瀏覽量

    222191
  • 機器視覺
    +關注

    關注

    165

    文章

    4798

    瀏覽量

    126045
  • 遙控器
    +關注

    關注

    18

    文章

    877

    瀏覽量

    71848
  • 距離傳感器
    +關注

    關注

    3

    文章

    77

    瀏覽量

    15836
  • 四旋翼無人機

    關注

    2

    文章

    18

    瀏覽量

    5708

原文標題:走進Airsim,教你如何做機器人與視覺的融合仿真

文章出處:【微信號:3D視覺工坊,微信公眾號:3D視覺工坊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    索尼FCB-EV9500M MIPI輸出:機器人視覺系統(tǒng)的革新引擎

    在工業(yè)自動化與智能服務機器人快速發(fā)展的今天,視覺系統(tǒng)已成為機器人感知環(huán)境、執(zhí)行任務的核心組件。索尼FCB-EV9500M作為一款搭載MIPI接口的一體化高清攝像機模組,憑借其卓越的圖像質量、低延遲
    的頭像 發(fā)表于 02-26 10:27 ?175次閱讀

    3月赴滬!Vision China 2026(上海)邀你共探機器視覺與AI、機器人融合未來

    2026年3月25-27日,亞洲機器視覺領域風向標——Vision China 2026(上海)機器視覺展,即將于上海新國際博覽中心W4&W5館震撼啟幕!本屆展會以 “ VISION+
    的頭像 發(fā)表于 01-13 15:30 ?378次閱讀
    3月赴滬!Vision China 2026(上海)邀你共探<b class='flag-5'>機器</b><b class='flag-5'>視覺</b>與AI、<b class='flag-5'>機器人</b>的<b class='flag-5'>融合</b>未來

    高精度機器人控制的核心——基于 MYD-LT536 開發(fā)板的精密運動控制方案

    處理器,支持 1.8 GHz 主頻,并集成2Tops NPU、G2D、VPU 4K高清視頻編解碼器,為復雜控制算法與視覺融合計算提供充足算力。米爾MYD-LT536開發(fā)板 在“高精度機器人控制”場景中
    發(fā)表于 11-14 15:48

    變焦、高速、高清:索尼FCB-ER9500機芯如何重塑機器人視覺

    在現(xiàn)代化工業(yè)車間里,一臺搭載了新型視覺系統(tǒng)的機器人正精準地檢測著精密零部件的微小瑕疵,這是工業(yè)自動化領域正在發(fā)生的變革場景。 工業(yè)機器人正逐漸成為智能制造的核心力量,而視覺系統(tǒng)作為
    的頭像 發(fā)表于 11-13 09:39 ?707次閱讀

    RK3576機器人核心:三屏異顯+八路攝像頭,重塑機器人交互與感知

    瑞芯微RK3576 AIoT處理器處理器憑借其卓越的多屏異顯與8路攝像頭接入能力,為機器人領域帶來革新。米爾電子MYD-LR3576開發(fā)板實測數(shù)據(jù)顯示,在高負載下CPU占用僅34%,完美實現(xiàn)多路視覺
    發(fā)表于 10-29 16:41

    巡檢機器人落地攻略:RK3576驅動12路低延遲視覺

    解 RTSP/SRT/WebRTC 端到端 120~150ms 6TOPS NPU 邊緣AI 弱網(wǎng)穩(wěn)定回傳 02|為什么選擇 RK3576 巡檢機器人的“視覺底座”?多路并發(fā)與同步3×4-lane
    發(fā)表于 10-24 16:53

    機器人競技幕后:磁傳感器芯片激活 “精準感知力”

    。 同時,磁傳感器還是多傳感器融合中的 “穩(wěn)定錨點”。在機器人運動系統(tǒng)的融合定位中,它常作為核心基準。以 “足球機器人” 項目為例,當視覺
    發(fā)表于 08-26 10:02

    NVIDIA助力構建人形機器人全身遙操作仿真平臺

    清華大學與銀河通用機器人聯(lián)合研發(fā),推出了專為人形機器人全身仿真遙操作設計的平臺 OpenWBT_Isaac。該平臺依托 NVIDIA Isaac Sim 與 Isaac Lab 的強大仿真
    的頭像 發(fā)表于 07-28 15:01 ?1870次閱讀

    工業(yè)機器人的特點

    的基礎,也是三者的實現(xiàn)終端,智能制造裝備產業(yè)包括高檔數(shù)控機床、工業(yè)機器人、自動化成套生產線、精密儀器儀表、智能傳感器、汽車自動化焊接線、柔性自動化生產線、智能農機、3D 打印機等領域。而智能制造裝備中工業(yè)
    發(fā)表于 07-26 11:22

    盤點#機器人開發(fā)平臺

    地瓜機器人RDK X5開發(fā)套件地瓜機器人RDK X5開發(fā)套件產品介紹 旭日5芯片10TOPs算力-電子發(fā)燒友網(wǎng)機器人開發(fā)套件 Kria KR260機器人開發(fā)套件 Kria KR260-
    發(fā)表于 05-13 15:02

    詳細介紹機場智能指路機器人的工作原理

    負責接收旅客的語音指令,以便機器人理解旅客的需求。 環(huán)境感知與信息融合 :這些傳感器收集到的信息會進行融合處理。例如,激光雷達提供的距離信息和攝像頭捕捉的視覺信息相結合,能讓
    發(fā)表于 05-10 18:26

    【「# ROS 2智能機器人開發(fā)實踐」閱讀體驗】視覺實現(xiàn)的基礎算法的應用

    的cv_bridge庫,可以輕松實現(xiàn)ROS圖像消息與OpenCV格式的轉換,這在實際開發(fā)中極為便利。 視覺巡線與二維碼識別的應用 視覺巡線是機器人自主導航的經(jīng)典案例,書中從仿真到真
    發(fā)表于 05-03 19:41

    【「# ROS 2智能機器人開發(fā)實踐」閱讀體驗】+ROS2應用案例

    地圖構建,包括算法原理介紹、安裝與配置方法、仿真環(huán)境中的SLAM以及真實機器人上的SLAM。 這一過程不僅涉及到計算機視覺機器人學的知識,還需要對ROS 2的節(jié)點管理和數(shù)據(jù)處理有一定
    發(fā)表于 04-27 11:42

    【「# ROS 2智能機器人開發(fā)實踐」閱讀體驗】+內容初識

    、Gazebo仿真(含RGBD相機/激光雷達仿真)、實物機器人運動控制,實現(xiàn)\"仿真→實物\"的無縫銜接 高階應用篇(7-9章) 聚焦視覺S
    發(fā)表于 04-27 11:24

    大象機器人攜手進迭時空推出 RISC-V 全棧開源六軸機械臂產品

    識別聯(lián)調。 進迭時空致力于為智能機器人提供完整全棧優(yōu)化的RISC-V AI軟硬件解決方案,第一代RISC-V AI CPU芯片K1已完成AI視覺感知、AI語音處理、自動避障、路徑規(guī)劃、運動控制等
    發(fā)表于 04-25 17:59