問

從頭開始創建機器人是不是很有挑戰性？

答

從零開始創建一個機器人并非及其困難，使用合適的工具，就能夠輕松達到事半功倍的效果。

問

那么應該怎么開始呢？

答

從 0 到 1 搭建機器人系列文章將從第一步開始，拆解并串聯起關于機器人創建的必要知識和所涉工具，希望能以 NVIDIA 提供的前沿解決方案為您鋪平開發實踐的道路。

今天我們將先從數據標記、模型訓練開始，出場的是Isaac Sim Replicator和NVIDIA TAO 工具套件，前者用于生成合成數據，后者可對合成數據進行訓練，為機器人的仿真打下堅實的基礎。

虛擬環境和合成數據

在現實世界中，制造機器人需要從頭開始創建數據集，涉及到采集和注釋海量真實圖像等，這一過程耗時又費錢，存在人力協調方面的挑戰，而且會減緩部署速度。因此，開發人員轉向了合成數據生成 (SDG）、預訓練 AI 模型、遷移學習和機器人仿真這幾種方式。

合成數據是計算機模擬或算法所生成的帶有注釋的信息，可以用于代替真實數據。雖然是人造數據，但合成數據能夠從數學或統計學上反映真實數據。研究表明，在訓練 AI 模型方面，合成數據與基于實際物體、事件或人的數據一樣好。采用合成數據生成 (SDG) 無疑可以節省時間并降低成本。

預訓練 AI 模型則是一種為了完成某項特定任務而在大型數據集上進行訓練的深度學習模型，既可以直接使用，也可以根據某個應用的具體需求進行進一步微調。比如，在創建一個能夠識別獨角獸的模型時，首先會為其提供獨角獸、馬、貓和其他動物的圖像作為傳入數據。然后再構建具有代表性的數據特征層。從線條、顏色等簡單特征開始，深入到復雜的結構特征。依據計算出的概率，這些特征將被賦予不同程度的相關性。一個生物看起來越像馬，它是獨角獸而不是貓的概率就越大。這些概率值被存儲在 AI 模型的每個神經網絡層。隨著層數的增加，模型對表征的理解程度也在提高。試想一下，若要從頭開始創建一個這樣的模型，通常需要調用包含數十億行數據的巨大數據集，幾乎是一個‘事倍功半’的過程。相反，如果在預訓練模型基礎上進行開發，則可以更快創建出 AI 應用，無需處理堆積如山的傳入數據或計算密集的數據層的概率。NVIDIA NGC即匯集了通過 GPU 優化的 AI 軟件、模型和 Jupyter Notebook 示例，包括各種預訓練模型以及為 NVIDIA AI 平臺優化的 AI 基準和訓練方式。

熟悉 NVIDIA 的開發者對 Isaac Sim 一定不會感到陌生，這是一個機器人仿真應用程序，用于創建虛擬環境和生成合成數據。更進一步，Isaac Sim Replicator 是一個建立在可擴展的Omniverse平臺上的高度可擴展 SDK，它可以生成物理級精確的 3D 合成數據來加速 AI 感知網絡的訓練和性能。開發者可以使用 Isaac Sim Replicator 生成的大規模逼真合成數據，來引導和提高現有深度學習感知模型的性能。

有關于仿真測試的更多技術應用細節，我們將在以后的機器人系列文章中具體談到。

數據標注和模型訓練

選擇好合適的模型后，就可以進一步訓練和微調出更為準確的 AI 模型了，這也是 NVIDIA TAO 工具套件的用武之地。NVIDIA TAO 是一個框架，可使用自定義數據訓練、調整和優化（TAO: Train, Adapt, and Optimize）計算機視覺 （CV） AI 模型和對話式 AI 模型，所需時間非常少，也無需擁有大型訓練數據集或 AI 專業知識。

TAO 工具套件是 TAO 的低代碼版本，基于 TensorFlow 和 PyTorch 構建，通過抽象出 AI/深度學習框架的復雜性來加速模型訓練過程。有了 NVIDIA TAO 工具套件，開發者可以進行遷移學習，通過適應和優化，在短時間內達到最先進的精度和生產級吞吐量。在 NVIDIA GTC23 上，NVIDIA 發布了NVIDIA TAO 工具套件 5.0，帶來了 AI 模型開發方面的突破性功能提升。

AI 輔助的數據標注和管理

如前文所述，數據標注仍然是一個昂貴且耗時的過程。對于 CV 任務尤其如此，比如需要在標注對象周圍生成像素級別分割掩碼的分割任務。通常，分割掩碼的成本是對象檢測或分類的 10 倍。

通過 TAO 工具套件 5.0 ，用最新的 AI 輔助標注功能對分割掩碼進行標注，速度更快，成本更低。可以使用弱監督分割架構 Mask Auto Labeler (MAL) 來幫助進行分割注釋，以及固定和收緊用于對象檢測的邊界框。實況數據中對象周圍的松散邊界框可能會導致非最佳檢測結果，但通過 AI 輔助標注，可以將邊界框收緊到對象上，從而獲得更準確的模型。

NVIDIA TAO 工具套件自動標記工作流程

在任何平臺、任何位置部署 NVIDIA TAO

NVIDIA TAO 工具套件 5.0 支持 ONNX 模型導出。無論是 GPU、CPU、MCU、DLA 還是 FPGA 的邊緣或云上的任何計算平臺，都可以部署使用 NVIDIA TAO 工具套件訓練的模型。NVIDIA TAO 工具套件簡化了模型訓練過程，優化了模型的推理吞吐量，為數千億臺設備的 AI 提供了動力。

除了傳統對象檢測和分割，NVIDIA TAO 工具套件也加速了其他的各種 CV 任務。TAO 工具套件 5.0 中新增的字符檢測和識別模型使開發人員能夠從圖像和文檔中提取文本。文檔轉換實現了自動化，并加速了在保險和金融等行業的用例。

為了提高透明度和可解釋性， TAO 工具套件以開源形式提供。開發者能夠從內部層查看特征圖，并繪制激活熱圖，以更好地理解 AI 預測背后的推理過程。此外，訪問源代碼使開發者能夠靈活地創建定制的 AI，提高調試能力，并增加對模型的信任。

到此為止，我們已經完成了數據的合成和訓練，接下來讓我們一起期待如何進行機器人模型的仿真與測試吧！

• 下載 NVIDIA TAO 工具套件（https://developer.nvidia.com/tao-toolkit-get-started）并開始創建自定義 AI 模型。

• 您也可以在 LaunchPad （https://www.nvidia.com/en-us/launchpad/ai/develop-fine-tune-computer-vision-models-with-tao-automl/）上體驗 NVIDIA TAO 工具套件。

點擊“閱讀原文”，或掃描下方海報二維碼，在 8 月 8日聆聽NVIDIA 創始人兼 CEO 黃仁勛在 SIGGRAPH 現場發表的 NVIDIA 主題演講，了解 NVIDIA 的新技術，包括屢獲殊榮的研究，OpenUSD 開發，以及最新的 AI 內容創作解決方案。