8月23日消息，美國專利商標局發布了蘋果一項VR/MR頭顯相關追蹤專利，專利中指出了一種采用inside-out方式，可追蹤頭部、身體和環境的系統。據悉，該專利申請于2018年第三季度，其技術基于蘋果在2017年11月收購的AR/VR混合頭顯開發商Vrvana的一項專利技術。

蘋果在專利中寫到，若要營造VR的沉浸感，需要考慮多種因素，包括：顯示屏畫質、刷新率、像素分辨率、高動態范圍（HDR）、圖像暫留和紗窗效應等等。如果FOV過小，或者追蹤功能出現延遲或不準確，也會降低沉浸感。而在MR中，虛擬物體與真實世界表面的實時交互也需要依賴優質的追蹤效果。

總之，對于優質的VR/MR體驗來講，各種追蹤功能都是必要的，尤其是頭部追蹤、身體追蹤和環境追蹤，對于營造沉浸感將起到關鍵作用。因此，蘋果提出了一種集成全部追蹤元件且便于移動的緊湊型VR/MR頭顯。

該頭顯可采用的多個傳感器包括：一對RGB攝像頭傳感器（配備紅外光截止濾光片的透鏡）、一對配備近紅外帶通濾波器和相關透鏡的單攝像頭傳感器、一個慣性測量單元（IMU）、一個配備相關紅外線發射器的ToF攝像頭傳感器、一個斑點圖案發射器。

其中RGB攝像頭將用于支持頭顯的MR透視功能，而紅外攝像頭將用于為追蹤功能提供視覺數據。

專利中還詳細描述了頭顯所搭載的各種傳感器的追蹤方式，其中頭部追蹤的方法是，通過識別透視功能捕捉到的2D圖像特征，識別并匹配每個特征的深度，并生成3D點云，然后通過對3D點云的實時追蹤來推斷頭部方向。此外，IMU傳感器也可以提供補充信息。

而追蹤用戶身體姿態的方法是，顯示在密集的深度圖上對人體圖像進行分割，提取與姿態網格和身體分割圖，然后再從網格中提取出骨骼模型，然后通過追蹤用戶身體活動，并將姿態模型與骨骼模型和身體動作相匹配，來識別人體姿態。

最后，環境追蹤的方式是，利用透視立體圖和姿態追蹤數據生成一個運動模型，然后識別關鍵節點，利用描述符來提取關鍵點附近的特征，接著通過將密集深度圖與提取的特征相結合，預測出環境表面描述符。