智能機器人的研發往往需要掌握許多領域的專業知識，這對于 AI 初學者和初創公司來說，具有極高的技術門檻。

“Isaac 提供了一個機器人開發、訓練和測試的集合，大大降低了機器人的開發難度，降低了研發的技術門檻。” 這是知乎大咖機器人孔博士（知乎粉絲 10 萬+，機器人領域科技創新和應用者）對于 Isaac 的見解與評價。本期文章我們將分享機器人孔博士的深度文章《如何快速地讓機器人變得更智能，更聰明？》。

為什么智能機器人的研發門檻高？

因為研發一款智能機器人需要掌握機械和電子硬件、驅動程序、各種傳感器、規劃算法、計算機視覺、人工智能（包括深度學習、機器學習、人工神經網絡等）多個領域的專業知識。這對于初學者和初創公司具有極高的技術門檻。

最近，我發現了一款好產品，大大降低了機器人研發門檻。

它是 NVIDIA 開發的一款智能機器人開發平臺 Isaac，還有 Replicator 合成數據生成引擎——面向機器人、用于 Isaac Sim 的 Isaac Sim Replicator。

首先，為了方便大家理解，先解釋一下這些概念都是什么。

NVIDIA：世界著名的人工智能公司 NVIDIA 英偉達，創始人是江湖人送綽號黃教主的黃仁勛。

?

Omniverse：英文字面意思 “全能宇宙”。它是 NVIDIA 開發的一款支撐元宇宙技術的技術開發平臺，適用于 3D 設計協作和模擬。

Replicator：英文字面意思 “復制程序”，在虛擬世界中訓練數據，生成模型以后，可以快速移植到現實世界的物理單元上，例如機器人大腦上。它是一個先驅架構，能夠實現物理上準確的 3D 合成數據生成，加速感知網絡的訓練，并提高模型的準確性。

Isaac：NVIDIA 開發的一款智能機器人開發平臺。這個平臺提供了一個機器人開發、訓練和測試的集合，大大降低了機器人的開發難度，降低了研發的技術門檻。

Isaac Sim：由 Omniverse 提供底層支持，是一種可擴展的機器人仿真應用程序和合成數據生成工具，可支持逼真、物理精確的虛擬環境，用來開發、測試和管理基于 AI 的智能機器人。

Isaac SimReplicator：一個建立在可擴展的 Omniverse 平臺上的高度可擴展 SDK，它可以生成物理級精確的 3D 合成數據來加速 AI 感知網絡的訓練和性能。開發者、研究人員和工程師現在可以使用 Isaac Sim Replicator 生成的大規模逼真合成數據來引導和提高現有深度學習感知模型的性能。

其次，介紹一下 NVIDIA 機器人仿真開發平臺的特點。

?

（1）逼真的模擬

Isaac Sim 借助 Omniverse 平臺的強大模擬技術，包括使用 PhysX 5 支持 GPU 的高級物理模擬、實時光線和路徑跟蹤的真實感，以及基于物理渲染的 MDL 材質定義支持。

（2）模塊化架構包含了最常用的應用程序

Isaac Sim 解決了最常見的機器人用例，包括操作、導航、訓練數據的合成數據生成，例如模擬機器人動力學測試控制算法，模擬機器人傳感器生成真實感相機、深度和分割圖像、激光雷達、IMU，模擬不同的環境和場景，在不同的條件和環境下測試算法，模擬代理，機器人周圍提供有趣動態環境的人類演員，將域隨機化，以創建具有隨機變化的對象和環境屬性的巨大多樣的訓練集。此外，由于其模塊化設計，該工具可以定制并擴展到許多新的用例。

（3）無縫連接和互操作性

Isaac Sim 支持協作構建、共享和導入環境和機器人模型。通過Isaac SDK 和 ROS/ROS2 接口、功能齊全的Python 腳本、用于導入機器人和環境模型的插件，輕松將機器人的大腦連接到虛擬世界。

最后，以一個智能服務機器人的研發案例，講一下 Isaac Sim Replicator 的作用。

以往智能機器人開發，通常是先購置一款芯片與開發板，然后安裝開源的機器人操作系統 ROS，根據場景添加各類傳感器，再進行適配驅動調優，最后選擇相應算法，很明顯整個研發過程非常復雜，需要掌握很多專業知識，并且多人協作，技術門檻很高。

?

圖 3 是一款智能服務機器人的構成。這款機器人技術含量特別高，其中有一項核心技術叫 VSLAM 即 Visual Simultaneous Localizationand Mapping，主要是指用視覺圖像對機器人進行定位、地圖構建和導航（再配合一個慣性傳感器）。

圖 3 中的左眼和右眼是一對攝像頭，這種配置叫雙目視覺。我們要做的，就是根據一張張連續運動的圖像，從中推斷機器人的運動以及周圍環境的情況。

?

為了訓練這款機器人在室內行走，我們做了大量的標定工作，把整個辦公室和走廊都貼滿了標定符號。

?

為了訓練一個用于感知任務的深度神經網絡 DNN，通常需要從數百萬圖像中手動采集數據，然后，對這些數據進行手動注釋和有選擇性的增強。

人工數據采集和注釋是一項費力而主觀的任務。在采集和注釋真實圖像的過程中，即便只是像大規模 2D bounding box 這樣的簡單注釋也會帶來許多人力協調方面的挑戰。分割等所涉及到的注釋存在資源限制，并且手動執行此類任務時的準確性要差得多。

在采集和注釋完畢后，數據將被轉換成 DNN 可用的格式，然后訓練用于感知任務的 DNN。一般情況下，接下來會通過超參數調節或改變網絡結構來優化網絡性能。在對模型性能進行分析時，可能會導致數據集發生變化，在大多數情況下，還需要進行一輪手動數據采集和注釋，這種人工數據采集和注釋的迭代循環成本高，并且非常緩慢。

利用 Isaac Sim Replicator 可以把訓練感知模型的任務直接放到虛擬環境中完成。Isaac SimReplicator 是一個建立在可擴展的 Omniverse 平臺上的高度可擴展 SDK，它可以生成物理級精確的 3D 合成數據來加速 AI 感知網絡的訓練和性能。開發者、研究人員和工程師現在可以使用 Isaac SimReplicator 生成的大規模逼真合成數據來引導和提高現有深度學習感知模型的性能。

NVIDIA Isaac 機器人平臺現可輕松集成至機器人操作系統 ROS 中。ROS 是常用的開源機器人操作系統，也是機器人的大腦，這款軟件平臺應用廣泛，具有大量成熟的軟件庫和工具。

為了加快機器人的部署，可以采用 NVIDIA Isaac GEMs。它是 NVIDIA 為 ROS2 應用程序提供的一套 GPU 加速包，大大提高了圖像處理和基于 DNN 的感知模型的吞吐量。

?

NVIDIA Isaac GEMs 的能力是非常強大的。NVIDIA IsaacGEMs 中自帶了 VSLAM 算法，大大節省了機器人工程師的開發工作量。

它還包含了用于立體相機視差預測的 DNN--- GEM ESS，為機器人應用提供基于視覺的連續深度感知；用于基于視覺的障礙預測的 DNN--- GEM Bi3D，以檢測自由空間，同時預測障礙物。

總之，正如 NVIDIA 系統軟件總監 Nathan Ratliff 在最近的 GTC 演講中所說：“我們的目標是讓具有任務意識的機器人的編程，變得像游戲 AI 編程那樣簡單。” 這無疑大大降低了智能機器人開發的技術門檻，并可以讓機器人快速地變得更加聰明。