Google近日發布了全新的移動端3D識別方案Objectron，該方案可在2D圖像中發現物體并通過AI模型估算其位置、方向和尺寸。Google表示，Objectron對機器人技術、自動駕駛汽車、圖像檢索和AR技術影響深遠，例如，其可以幫助工廠車間的機器人實時規避障礙。

目前，跟蹤3D對象是一個棘手的問題，尤其是在處理有限的計算資源時。由于缺乏數據以及物體的外觀和形狀的多樣性，當僅有的可用圖像為2D時，情況會變得更糟。

為此，Objectron研發團隊開發了一種圖片標記工具，該工具可以通過分屏視角顯示2D視頻幀，支持標記者使用分屏視圖顯示2D視頻幀來標記對象的3D邊界框（即矩形邊框）。這些3D邊界框將疊加在點云數據、攝像頭畫面和識別到的平面上。

標記者在3D視圖中標記3D邊界框后，可以在2D視頻幀中進行驗證，而對于靜態圖像，標記者只需在單個幀中標記目標對象即可。標記工具還使用AR session數據中的實際攝像頭信息來確定該物體在所有幀中的位置。

為了補充現實世界中的數據以提高AI模型預測的準確性，Google研發團隊開發了一種引擎，將虛擬對象放置到包含AR會話數據的場景中，這樣就可以使用攝像機圖像檢測到的平面區以及預測的光線，來生成與場景匹配的光照在物理中的位置，從而產生高質量的合成數據。在驗證測試中，綜合數據的準確性提高了約10％。