大多數無人機檢查工作仍然需要人工檢查視頻中的缺陷。計算機視覺可以幫助實現無人機檢查的自動化并加快檢查進程。但如果缺失大量包含潛在缺陷的標記數據，那么訓練計算機視覺模型以實現自動化檢查這一工作會十分困難。

在一場 NVIDIA GTC 分會上，專家分享了 Exelon 如何在 NVIDIA Omniverse 中使用 Omniverse Replicator 進行合成數據生成，從而自動創建涵蓋各種電網資產缺陷的數千個已標記的逼真示例。本文將重點介紹如何將合成圖像用于訓練實時無人機檢查模型，以便優化電網維護，提升電網的可靠性和彈性。

項目概述

Exelon 是一家電力公司，其負責為美國多地的 1000 多萬客戶提供服務。

根據其“Path to Clean”計劃，這家能源供應商計劃到 2030 年減少 50% 的排放，到 2050 年實現凈零排放。

該項目能夠為公司帶來許多好處，包括降低工作人員暴露在危險現場的風險、減少在審核圖像上花費的人工勞動、通過縮短從圖像采集到解決缺陷的時間來提高電網可靠性等。

Exelon 的方法在確定了目標電網資產以及圖像數據中的相關缺陷后，會創建一個使領域專家（SME）能夠標記資產和缺陷的資產圖像標記流程。然后，Exelon 與領域專家一起構建、測試并驗證計算機視覺資產和缺陷檢測模型。最后努力向企業相關人員推廣該解決方案。

過程中他們也遇到了許多挑戰。項目需要大量經過標記的真實世界缺陷數據來訓練和測試 AI 模型，Exelon 想知道在 Omniverse Replicator 中生成的合成數據是否能解決這一挑戰。Omniverse Replicator 是建立在 Omniverse 平臺和通用場景描述（USD）上的一個核心擴展程序，能夠生成用于訓練計算機視覺模型并符合物理學的合成數據。

他們還想建立一個端到端的可擴展生態圈，以便幫助其加快如高壓線、輸電塔、變電站等其他輸配電資產的部署。

無人機檢查流程

BGE（Baltimore Gas and Electric）是 Exelon 旗下的一家公司，該公司為美國馬里蘭州的 100 多萬客戶提供服務。在對指定目標進行現場無人機檢查時，BGE 也會派出一個現場小組，使用無人機在約 8-15 英尺遠的地方從正面、側面、上面、背面等不同角度拍攝多張照片。這主要是為了至少有一張圖像中能看到電線桿、橫擔、絕緣子、變壓器等資產的任何缺陷。統一的圖像采集流程能夠幫助專家研究如何使用 AI 和計算機視覺技術實現自動缺陷檢測。

圖 1 使用 NVIDIA Omniverse 模擬用于訓練 AI 檢測模型的木桿缺陷。

這個項目集中于識別橫擔的缺陷，對橫擔缺陷的識別與修復將提高系統的可靠性。橫擔最常見的缺陷是開裂，該缺陷可能會影響所安裝的絕緣子的穩定性，并導致客戶停電。

團隊最初使用人工標記的地面數據訓練并驗證模型是否能夠準確檢測和計算無人機圖像中的橫擔。接下來的目標是使用經過標記的真實世界數據以及合成數據生成進行橫擔缺陷檢測。Exelon 目前正在真實圖像與合成圖像上訓練其缺陷檢測模型并正在與企業相關人員驗證模型。

資產檢測模型的訓練和評估

由于缺陷檢測中會存在識別物體確切像素等需求，團隊選擇在圖像標記工作中使用分割掩碼。

理論上，分割會返回 positive identifications 并能夠識別所有圖像像素及區分物品。因此這在檢測線性裂縫、接縫、填充物和陰影方面能夠有更好的性能。

Exelon 的數據科學家花費了大量時間來測試標記圖像，并去理解不同的標注技術會如何影響模型的準確性。

圖 2 資產檢測模型訓練和橫擔缺陷評估。

Exelon 已經看到了資產檢測的早期成果，他們知道對多種潛在缺陷的大量標記數據的缺乏，將使得缺陷檢測變得更加困難。NVIDIA Omniverse 和 Omniverse Replicator 能夠大大提高其構建 3D 模型和生成反映現場電網資產缺陷的合成數據的能力。

在與 NVIDIA 的合作過程中，Exelon 與 NVIDIA 舉行了多次會議，一起為其架構出謀劃策。Exelon 通過 Omniverse Replicator 生成了不同的橫擔缺陷，這些缺陷將為檢測模型的訓練生成標記數據。他們同時還使用 Omniverse 按照尺寸、形狀和位置創建了不同類型的橫擔缺陷。

在生成了足夠多的變化和缺陷后，團隊將輸出結果添加到整個桿件結構中。然后按照不同的場景、橫擔數量和缺陷數量生成合成圖像。

與第三方一起生成合成圖像

在與 NVIDIA 的討論會議中，Exelon 意識到 3D 建模是一項極具挑戰性的工作，并且超出了其數據科學核心重點。對他們來說需要有經驗的藝術家和建模師來構建 3D 模型、將其整合到逼真的環境中并操控照明和場景條件。NVIDIA 幫助 Exelon 與數家供應商建立了聯系，這些供應商正在使用 Omniverse 并為其他公用事業公司以及公用事業行業以外的其他用例提供圖像。

圖 3 德勤使用 NVIDIA Omniverse 的合成數據生成 3D 工作流程。

在這次試點中，Exelon 選擇了德勤公司幫助開發用于橫擔的合成圖像。德勤使用 Autodesk Maya 構建資產和缺陷的 3D 模型，然后使用 Epic 虛幻引擎進一步開發出逼真的周邊環境，并將精準的照明和場景條件導入到 Omniverse。最后，他們的設計師和開發人員一起輸出用于訓練缺陷檢測模型的標記圖像。

未來的重點領域和機遇

Exelon 的最終目標是創建一個端到端的可擴展生態圈，可以利用這個生態圈從一種資產擴展到另一種資產。比如從橫擔開始，一直擴展到其輸配電、石油和天然氣資產。

構建分析產品需要整個團隊的努力。通過與 NVIDIA 和德勤合作，Exelon 推動了合成圖像的生成并使其能夠在外部專家的幫助下建立 3D 模型、設計背景和標記圖像。德勤正在圍繞 Omniverse 來集成所有可用于創建 3D 圖像的工具，并提供開發大型橫擔數據集所需的框架。

在圖像采集中利用智能技術仍將是 Exelon 和其他公用事業公司的重點。如果這個項目取得成功，Exelon 將能夠擴展到其他輸配電資產，比如電線桿、變壓器、絕緣子插銷、橫擔支架或輸電塔等。

點擊“閱讀原文”，深入了解NVIDIA Omniverse Replicator。

掃描下方海報二維碼，觀看 NVIDIA 創始人兼 CEO 黃仁勛在 COMPUTEX 2023 的主題演講直播回放，主題演講中文字幕版已上線，了解 AI、圖形及其他領域的最新進展！