在今天凌晨的FacebookConnect2020大會上，Facebook今天正式發布了Projectaria——這個全新的研究項目將幫助Facebook制造第一代可穿戴增強現實設備。

　　1.驚人的挑戰

　　想象一下，一副眼鏡能夠在物理世界的視圖之上疊加一層3d數字內容，并在其中包含有意義的情景相關信息。這樣的設備可以幫助我們更好地完成日常任務，比如尋找鑰匙，在一個陌生城市中導航，或者記錄一個感人瞬間；但它同時可以為我們帶來一種全新的世界旅行方式。

　　智能手機是令人驚嘆的設備，而且它們一直在變得越來越好。但FacebookRealityLabs設想了這樣一個時代：我們可以享受到聯網的所有優點（以及更多），但不必再像以往那樣低頭查看設備。想象一下，在與遠方朋友通訊時，你是與栩栩如生的虛擬化身對話；想象一下，一個足夠智能的數字助理可以檢測道路危險，在商務會議中提供統計數據，甚至可以幫助你在嘈雜的環境中聽到自己想聽的聲音。在這個世界里，設備本身完全消融在日常生活之中。

　　當然，這其中有很多依然是屬于科幻小說的描述。要真正制造出足夠靈活并適應大多數臉型的眼鏡，并同時開發出支持它們的軟件，我們需要數個迭代的突破，比如增強視聽輸入的系統，情境化的人工智能，以及一個能夠容納所有一切的輕量級鏡架。這種增強現實需要計算技術的根本性進步，一種能夠反映從圖書館和固定電話，再到個人PC和智能手機的飛躍的突破。

　　2.一種視覺搜索工具

　　ProjectAria正是朝著所述方向邁出的一步。Facebook已經構建了一款可以幫助研究人員理解構建目標ar眼鏡所需的軟件和硬件的研究設備。ProjectAria眼鏡不是消費品，也不是原型品。它們不會在鏡片顯示任何信息，研究被試無法查看或收聽設備捕捉到的原始數據。作為一種研究設備，所述的眼鏡設備將使用傳感器從佩戴者角度捕捉視頻和音頻，以及眼球運動和位置數據，從而幫助工程師和程序員理解AR在實踐中的運作。眼鏡將加密、壓縮和存儲數據，并上傳到指定的后端存儲系統。

　　從概念到實施，ProjectAria的設計都是為了幫助團隊安全而負責任地進行創新。所以，為了制定必要的保障措施和社會規范來管理AR眼鏡和未來可穿戴設備的使用，FacebookRealityLabs正在收集研究被試，以及在公共場合遇到佩戴所述設備的人員的反饋。為了更好地理解這項技術如何幫助身體能力各異的人群，團隊正與卡內基梅隆大學的認知輔助實驗室（CognitiveAssistanceLaboratory）開展一個試點項目。雙方將構建博物館和機場的3D地圖，并將其用于一系列的用例，如幫助視力受損人群更好地感知周圍環境。另外，研究收集的數據將由卡內基梅隆大學保存。

　　FacebookRealityLabs指出，公司不會向公眾開放這款設備，亦不會對市場出售。從今年9月開始，它將提供給美國特定的Facebook員工和簽約者。作為說明，有關人員將接受過“在何時何地可以使用所述設備，以及于何時何地不應使用所述設備”的培訓。所述設備在家中，Facebook園區（重新開放之后）和公共場合收集到的數據將用于支持頭部追蹤，眼動追蹤和音頻算法的開發，從而有朝一日實現AR眼鏡的夢想。ProjectAria同時將提供構建LiveMaps所需的第一人稱透視數據，以及培訓日后可以幫助人們感知和理解世界的個性化數字助手。因為這個最初的數據集必須與盡可能多的人相關，Facebook正在邀請不同性別、身高、體型、種族的人群參與研究計劃。

　　3.隱私至上

　　FacebookRealityLabs再次強調了團隊再保護人們隱私方面的措施。公司已經在fb.com/projectaria頁面編寫了相關的問題回答，主要包括：

　　3.1于何時何地采集數據

　　第一批研究參與者將限于大約100名Facebook員工和簽約者，地點主要包括舊金山灣區和西雅圖。所有被試將首先接受關于何時何地收集數據的培訓。被試無法訪問收集的數據。在采集數據時，所有設備都將突出顯示一道白光。所有設備都提供一個物理按鈕，按下按鈕后將停止收集數據。ProjectAria的研究被試將在Facebook園區、私人住宅和公共場所采集數據。未經商店、飯店等場所的書面同意，被試將不得在相關場所采集數據。洗手間、祈禱室、更衣室等敏感區域，或敏感會議和其他私人場合都不允許錄制數據，而且只有在所有家庭成員同意的情況下，被試才能在家中錄制數據。

　　3.2透明數據采集

　　當在公共場合佩戴研究設備時，每名被試都需要穿戴特定的服飾，從而表明其屬于ProjectAria研究的參與被試。相關的服飾同時會包括一個網站地址，以便周遭人員可以從中了解更多關于所述項目及其研究目的信息。隨著時間的推移，FacebookRealityLabs將繼續評估相關的外部指標，從而確保項目的透明度。被試可以隨時關閉設備，停止錄制或刪除數據段。具體來說，被試可以通過智能手機端的配套應用程序來操作相應的時間戳。但同樣，被試無法訪問原始數據。配套應用程序同時將包括初始培訓課程的說明，比方說如何刪除錄制數據，于何時何地及如何以合適的方式采集數據和其他技術信息。

　　3.3數據隱私保護

　　與任何地圖數據一樣，數據的安全性至關重要。Facebook將通過一個加密的安全系統將數據從設備上傳到Facebook后端存儲系統，從而保證ProjectAria數據的安全。Facebook將安全地將數據和數據衍生地圖存儲在一個單獨的指定存儲空間中，并且只有獲得批準的研究人員能夠訪問。一旦上傳，數據將隔離三天，這意味著研究人員在所述時間段內無法訪問數據。在隔離期內，被試可以查看低分辨率的縮略圖，并從系統中刪除錄制的數據段。在提供給研究人員之前，于公共場所收集到的任何數據數據都將自動模糊臉部和車牌。設備不使用面部識別技術，Facebook同時不會使用所述數據來驅動Facebook產品的廣告。

　　所有隱私和數據保護控制措施都是在隱私專家的參與下制定，所述專家包括猶他州立大學發展與機遇中心（CenterforGrowthandOpportunity）的高級研究院士伊萊·杜拉多（EliDourado），以及美國信息技術與創新基金會（InformationTechnologyandInnovationFoundation）的數據創新中心主任丹尼爾·卡斯特羅（DanielCastro）。

　　在繼續探索增強現實的可能性時，Facebook承諾將繼續與隱私專家接觸并完善相關的條款。對這項技術了解得越多，團隊就越能預見問題并提前解決它們。FacebookRealityLabs今天收集的任何數據都是為了在未來允許沉浸式硬件以最少的干擾性進行數據捕獲，并確保收集的任何數據都能提供盡可能多的用戶價值。

　　團隊表示：“我們將繼續堅持負責任的創新原則，而最重要的是：始終以人為本。”

　　4.技術亮點

　　團隊一開始面臨的最大挑戰是，尋找一種能夠利用現有傳感器，并將它們嵌入至被試可以實際佩戴的眼鏡之中的方法。ProjectAria眼鏡的獨特之處在于，它們不僅擁有常見于vr頭顯的空間感知傳感器，同時可以通過GPS計算位置，拍攝高分辨率圖片，并捕捉多聲道音頻和眼動圖像。

　　作為一種研究設備，當前的傳感器配置并不是一成不變。團隊特別感興趣的是，是否能夠以一種高能效的方式來將一組傳感器應用于多個任務。在理想情況下，這樣的產品能夠同時使用所有的傳感器來更好地理解你的意圖，并在需要時提供信息。如果你在一家雜貨店，前置攝像頭可能會掃描整個房間并識別出店里的物品，而眼動追蹤攝像頭則會識別你的目光落在何種水果之上，然后顯示功能將彈出與所述水果相關的標識、價格、營養價值和潛在配方等。

　　這只是一個例子，但我們很容易想象這樣的產品將如何幫助存在精神障礙或身體殘疾的人士，患有記憶問題的人士，存在語言障礙或技能障礙的人士，又或者只是嘗試在一個陌生城市中導航的人員。只要在適當的時候提供一點背景和信息，世界就會變得不同。

　　FacebookRealityLabs同時在探索如何使用設備的頭部追蹤傳感器，并將虛擬對象添加到物理環境中。所以，與其購買一臺實體電視，我們倒不如利用AR魔法創造出一臺數字電視，并將它放到任何位置。從長遠來看，為了降低未來眼鏡的整體功率和熱需求，并減少對圖像傳感的需求，FacebookRealityLabs將使用ProjectAria的數據，并探索是否能夠利用諸如嚴格TightLearnedInertialOdometry等技術。

　　5.構建一種全新的地圖

　　所有這些在技術都非常具有挑戰性，但當你添加一個虛擬對象并希望它在你離開后保持固定不變時，研究課題會變得更加有趣。這是因為團隊需要一個框架來存儲和索引你的虛擬對象。如果你希望和其他人共享虛擬對象，你將需要一個共同的坐標系。如果你希望和一個住在另一個城市的朋友的虛擬化身共享空間，你不僅需要精確的位置和方位，而且需要理解周圍空間的真實世界對象，這樣虛擬化身就不會被一張桌子切成兩半，而你可以擺出自然的姿勢，比如坐在椅子之上。

　　為了支持AR眼鏡確定自己在空間中的位置，有效地看到和理解你周圍的環境，它們需要一個虛擬的三維地圖來描繪周遭的一切。但從零開始實時掃描和重建一個空間的功耗太高，所以AR眼鏡需要依賴于現有的地圖，然后實時進行更新。

　　Facebook在OculusConnect6分享了解決所述問題的方法：LiveMaps。通過使用計算機視覺來構建一個與你周遭世界相關的虛擬三維地圖，LiveMaps能夠支持未來的眼鏡有效地混合虛擬世界和現實世界。AR眼鏡屆時可以從3D地圖中下載最新數據，然后只需檢測變化（如新的街道名稱或新停車場的外觀），并用這些變化來更新3D地圖。ProjectAria設備正在測試這個流程。

　　6.展望未來

　　將AR設備和LiveMaps的愿景轉化為現實是FRLResearch最具雄心和具有深遠意義的目標之一。團隊設想了這樣一個世界：LiveMaps能夠支持Facebook的AR產品能以各種有意義的方式來幫助人們彼此，及與世界建立聯結。

　　從為殘疾人提供直觀的導航支持，到與居住在另一個國家的姐妹或父母的逼真化身共享空間，再到加強工人培訓并幫助人們在嘈雜的環境中提高聽感（特別是因為年齡增長而造成的聽力衰退），未來各行各業的人們將能夠以意義深遠的方式使用增強現實。

　　這是一個設備越發消融于幕后，我們能夠花更多時間與家人和朋友共度美好時光的時代，機會將由本人的興趣決定，而不再受地理位置或環境的制約。在這個未來世界里，先進的臨場感將允許人們能夠以今天不可能的方式一起工作，并在娛樂、教育和其他領域迸發出一系列不同的創新。

　　這是一個我們所有人都期待的世界。