?

據麥姆斯咨詢報道，蘋果（Apple）公司近日在全球開發者大會上發布了首款混合現實（MR）頭顯Apple Vision Pro。這款售價高達3499美元的設備，旨在取代用戶的智能手機、筆記本電腦、手表、平板電腦、電視甚至鼠標，它配備了豐富的傳感器，可以跟蹤用戶的動作、視線、手勢、語音命令以及在環境中的位置。根據蘋果公司的公告，Vision Pro的內部和外部有多達14個攝像頭，1個激光雷達掃描儀，以及多顆紅外LED照明器，可以幫助它了解用戶在哪里以及在做什么。除此之外，這款頭顯還搭載了一顆新的專用R1芯片，負責處理來自所有這些傳感器（以及其它一些傳感器）的數據，以支持蘋果帶領我們轉向“空間計算”時代。

?

什么是“空間計算”？

“Vision Pro是一種全新的計算機。”蘋果公司首席執行官Tim Cook在首次展示這款混合現實頭顯時說，“這是第一款用戶‘透’過它看世界的蘋果產品。”這標志著蘋果由此轉向空間計算。那么什么是空間計算？臺式電腦被認為是世界上第一臺個人電腦，或者我們今天普遍稱呼的PC，而筆記本電腦將臺式機縮小為便攜式電腦，智能手機的出現，在此基礎上再次將其縮小，智能手表則更進一步，將計算機縮小到了用戶的手腕上。空間計算，標志著蘋果首次擺脫個人計算的束縛，從某種意義上說，用戶從現在開始將不再受到顯示器的限制——無論大小。“由此，用戶無論身處何地，都可以在其周圍構建熒幕。”Tim Cook總結道，然后他把舞臺交給了設計副總裁Alan Dye。

空間計算標志著一個新的計算時代，用戶的工作環境不會對Vision Pro的顯示造成任何限制。用戶的任意真實環境都可以變成工作空間，就像真實顯示屏上的文件夾、窗口和小組件一樣，Vision Pro能夠支持用戶在3D空間中創建它們。Dye解釋說，在空間計算中，用戶不必最小化一個窗口來打開一個新窗口，只需將一個窗口拖到一邊，然后打開另一個即可。蘋果的VisionOS系統將用戶的房間和視覺周邊變成了一個操作系統，用戶可以在任意地點創建多個屏幕/窗口，移動并調整它們的大小。這就像科幻大片里鋼鐵俠的全息電腦……但有了更好、更優雅的界面。

M2和R1芯片如何處理空間計算？

Vision Pro的核心是兩個芯片——M2和R1，它們協同工作以實現虛擬和現實的無縫結合。Vision Pro配備了蘋果公司的M2芯片，執行計算和多任務處理，還配備了專有的新款R1芯片，該芯片與Vision Pro內外的所有傳感器協同工作，以跟蹤用戶的視線、控制輸入，并幫助虛擬元素在現實世界中無縫呈現，實現很多令人驚艷的功能，比如在用戶周圍的世界投下陰影，當你四處走動時角度會隨之改變，或者當現實中有人走進用戶的視野時消失/淡出。

R1芯片可以說是Vision Pro的秘密武器。它處理來自設備上每個傳感器的數據，同時以驚人的精度跟蹤用戶的環境、位置、手，甚至眼球的運動。跟蹤用戶的眼球運動，是Vision Pro掌握用戶想與哪些元素交互的基礎，實際上可以將它們變成真正的光標。令人印象深刻的是，R1芯片還利用用戶的眼睛數據來了解屏幕上哪些元素需要渲染，哪些元素不需要渲染。鑒于人在任何給定的時間只能專注于有限的區域，R1芯片知道只渲染視覺外圍的一部分，而不是浪費資源渲染整個場景。這是一種非常聰明的方法，可以優化電池使用，同時提供身臨其境的卓越體驗。然而，這還不是它的全部能力……

蘋果工程師透露R1芯片的強大功能

蘋果公司的一位神經技術工程師揭秘了Vision Pro的內部技術到底有多復雜。在受到保密協議約束的前提下，工程師Sterling Crispin在其推特上分享了Vision Pro如何跟蹤用戶的視線，然后完美實現界面導航。R1芯片在預測用戶的視線路徑和意圖方面近乎神奇。Crispin提到：“最酷的是R1能夠在用戶實際‘點擊’之前預測用戶將要點擊的內容。用戶的瞳孔在點擊之前會做出反應，部分原因在于人眼會對點擊后產生的結果有預期反應。因此，我們可以通過監測用戶的眼睛行為，利用他們的大腦構建生物反饋，并實時重新設計用戶界面來創建更多的預期瞳孔反應。”

Crispin進一步解釋稱：“推斷認知狀態的其他技巧包括，以用戶可能無法察覺的方式快速向用戶閃現視覺效果或聲音，然后檢測他們對此的反應。另一項專利詳細介紹了如何利用機器學習和來自身體及大腦的信號來預測用戶的注意力、放松程度或學習效果。然后更新虛擬環境以增強這些狀態。由此，想象一個自適應的沉浸式環境，它可以通過改變用戶在背景中的所見所聞來幫助學習、工作或放松。”

全面了解Apple Vision Pro中的傳感器

各種各樣的傳感器主導著Vision Pro的空間計算能力，下面我們來看看蘋果在主題演講中重點介紹的傳感器，以及Vision Pro內部的其他一些傳感器。本文給出的傳感器可能并不完整，因為目前還沒有人真正拆解過Vision Pro。

攝像頭：Vision Pro有14個攝像頭，可以幫助它捕捉頭顯內外的細節。Vision Pro外部有多達10個攝像頭（2個主攝像頭、4個向下的攝像頭、2個原深感攝像頭和2個側面攝像頭），以3D立體方式感知用戶的環境，其內部還有4個紅外相機，可以跟蹤用戶的眼睛并對虹膜進行3D掃描，幫助設備驗證用戶身份。

激光雷達掃描儀：激光雷達掃描儀的用途是利用光飛行時間原理測量距離，創建用戶周圍環境的3D地圖。目前，它已被用于大多數自動駕駛汽車系統，而在iPhone的后置攝像頭系統中通過它掃描周圍3D場景實現增強現實應用。在Vision Pro上，激光雷達掃描儀位于用戶鼻子正上方的正中央，可以捕捉用戶周圍世界的完美3D視圖。

紅外相機：現在，很多設備上都配有紅外相機，它們能夠在可見光相機無法工作的情況下起到關鍵的成像作用。紅外傳感器能夠在絕對黑暗條件下工作，這使它們比傳統可見光相機具有顯著的優勢。這就是為什么Vision Pro內部配備了4個紅外相機，其外部配備的紅外相機/傳感器（數量不詳）可以幫助設備在照明不佳的條件下看清周圍環境。Vision Pro內部的紅外相機在眼動跟蹤和虹膜3D掃描方面表現卓越，能夠執行蘋果的安全Optic ID認證。

照明器：雖然這些不是傳感器，但它們在傳感器完美實現功能方面發揮著關鍵作用。Vision Pro外部有2個紅外照明器，可以閃爍不可見的紅外點陣網格，幫助準確掃描人臉（與Face ID非常相似）。在Vision Pro內部，用戶的每只眼睛周圍都有不可見的LED照明器，可以幫助紅外相機跟蹤眼睛的運動、反應，并對虹膜進行詳細掃描。這些照明器在低光環境中起著至關重要的作用，為紅外相機提供了工作所需要的數據。

MEMS加速度計和陀螺儀：盡管蘋果在Vision Pro發布會上沒有提這些傳感器，但很明顯，Vision Pro有多個加速度計和陀螺儀來幫助它跟蹤運動和傾斜。與所有優秀的XR頭顯產品一樣，Vision Pro能夠實現6個自由度的跟蹤，能夠檢測左、右、前、后、上、下移動。加速度計可以幫助頭顯捕捉這些動作，而陀螺儀可以了解用戶何時傾斜頭部。這些傳感器，連同相機和掃描儀，為R1芯片提供了所需要的數據，以掌握用戶的站姿、移動和視線。

MEMS麥克風：Vision Pro中內置了數量不詳的麥克風，可執行語音檢測和空間音頻功能。語音命令是用戶與Vision Pro交互的核心部分，可以幫助用戶執行搜索查詢、調用應用程序/網站，并與Siri自然交談。不僅如此，麥克風還需要對用戶的房間進行聲學掃描，就像相機需要進行視覺掃描一樣。這樣做是為了讓聲音與用戶所在的房間相匹配，提供適當的混響、音調頻率等。此外，在空間音頻應用中，當用戶轉頭時，聲音感覺仍然來自原來的同一位置，從而創造一種聲音錯覺，讓耳朵聽到的“匹配”眼睛所看到的。

其它關鍵組件

除了傳感器，Vision Pro還配備了從屏幕到電池等一系列高科技組件。

顯示器：從其名稱就可以看出，Vision Pro顯然非常注重用戶的視覺感受。它采用了有史以來最令人驚艷的顯示器。Vision Pro有兩個郵票大小的顯示器（每只眼睛一個），每個顯示器的像素都比4K電視高。這使Vision Pro主顯示器的總像素數達到了驚人的2300萬像素，以及12毫秒的刷新率（約為83 fps）。同時，Vision Pro外部還有一個顯示屏，可以向周圍的人顯示用戶的眼睛。盡管外部顯示器的素質尚不清楚，但它是一個曲面OLED屏幕，前面有一層透鏡膜，可以給人一種3D顯示的印象，所以人們看到的是有深度的圖像，而不僅僅是平面圖像。

音頻驅動器：Vision Pro的系帶在用戶兩側鬢角位置都內置了音頻驅動器，當用戶戴上后，可以向耳朵發射豐富的、環境響應的音頻。蘋果公司提到，Vision Pro為每只耳朵都提供了雙音頻驅動，這可能表明其音質可以與AirPods Max相媲美。

風扇：為了保證整個設備的散熱，Vision Pro配備了數量不詳的風扇，有助于保持其內部的最佳溫度。這些風扇很安靜，但功能強大，可以為耳機內的兩顆強大芯片提供散熱。底部的設計細節有助于排出熱空氣。

數字旋鈕：借鑒Apple Watch，Vision Pro也有一個數字旋鈕，它可以旋轉來召喚主屏幕，切換淹沒用戶周圍的沉浸式環境，以獲得真正的VR體驗。

快門按鈕：數字旋鈕還配有快門，可用于拍攝3D照片和視頻，這些照片和視頻可以在Vision Pro中查看。

電池：Vision Pro有一個獨立的電池單元，使用專有連接器連接設備。Vision Pro之所以采用獨立的電池組，是為了盡可能減輕頭顯設備本身的重量。考慮到電池的重量問題，采用外置電池方案有助于分配負載。蘋果公司沒有分享電池的具體容量，介紹稱充滿電后可以連續使用2小時。另外，獨立電池如何充電也沒有提及。

編輯：黃飛

?