去年蘋果發布ARKit軟件框架，以及今年發布ARKit2，這兩次的發布對AR產業的發展將有很大的促進作用，值得我們保持很高的關注。

從技術上來說，AR牽涉到的面很廣，從傳感器（視覺/IMU等）、手機/眼鏡等硬件設備、軟件框架SDK、內容生產工具（建模/渲染等）、各種交互技術（語音、視覺、觸覺等）、AR云平臺，以及基于云平臺之上的地圖、AI識別等技術，可以說是集各種先進技術于一體。

蘋果ARKit的軟件框架，主要包含了三層，第一層主要是快速穩定的物理定位，包括實時運算、運動定位；第二層是讓虛擬內容和現實環境的無縫銜接，包括平面和邊界的感知；第三部分是渲染。按照下圖的軟件架構，ARKit的工作流程為：

1、ARSCNView加載場景SCNScene

2、SCNScene啟動相機ARCamera開始捕捉場景

3、捕捉場景后ARSCNView開始將場景數據交給ARSession

4、ARSession通過管理ARSessionConfiguration實現場景的追蹤并且返回一個ARFrame

5、給ARSCNView的scene添加一個子節點（3D物體模型）

而在ARKit2上又增加了新的功能，包括滿足多個設備同時顯示同一個虛擬場景，滿足多人合作游戲、工作的需求，以及統一的AR文件格式USDZ（類似于做成PDF統一的格式）。在WWDC大會上還用AR演示了樂高模型，用iPad 對準一個真實的樂高模型之后，它在屏幕中也變得“虛擬”了，用戶可以打開模型的墻面看到里面的結構。這說明ARKit已經能支持識別、3D重建技術了。

Google的ARCore從軟件架構與原理上與ARKit類似，都允許使用手機攝像頭，并能調整虛擬物體與物理世界的匹配，都支持Java/OpenGL，Unity和Unreal等。當然ARKit只支持蘋果系列的產品，是相對封閉的，而Google是支持安卓系統的。由于不同廠商的手機型號兼容性問題，而AR是需要軟硬件的緊密依賴，特別是在傳感器端，需要Google做大量的工作，所以從這個角度來看，蘋果會走的更靠前。

在傳感器端，VIO（Visual InertialOdometry，視覺慣性測量系統）一直是關注重點。高通推出了針對VR/AR的專用芯片XR1，推出的VIO技術，用以追蹤頭部6-DOF（6自由度）運動，這個系統使用 Hexagon 682 DSP來處理攝像頭約30fps的視頻流，同時使用始終喚醒（All-Ways Aware）的DSP 以800Hz或1000Hz的速率捕捉加速度計和陀螺儀的數據。將這些數據相結合，就能得到6自由度的位置信息。

深度信息的提取對VIO是至關重要的，從傳感器技術路線來說包含了ToF、結構光和雙目，各技術路線都有優缺點，但只有3D信息才能為AR帶來更多的應用服務，包括視覺定位服務、跟蹤、3D重建、交互等。深度視覺在手機的應用一直是個挑戰，蘋果IphoneX在前置端采用結構光，而Vivo的NEX在前置采用的是ToF。采用ToF的最大好處是不需要DOE，相比結構光整個硬件結構更為緊湊。據傳下代蘋果會推后置的ToF，那對AR的應用生態會帶來很大的變化。

目前市面上的大部分AR都沒有對物理實體的3D重建，AR中的虛擬內容看起來僅僅是在鏡頭中現實物體的前面移動而已。但實際上3D重建（我的老本行，可惜荒廢了）對AR來說具有重大的意義，3D 重建系統能夠找出場景中真實物體的形狀和結構，并且允許虛擬事物之間相互碰撞以及隱藏在真實世界的后面。3D 重建通過從場景中獲取的點云，然后將其轉換為網格，并將隱形網格傳遞給Unity(連同真實世界的坐標)。之后將真實世界網格精準地放置在所捕獲的場景上，這意味著虛擬事物似乎能夠與現實世界互動。

在 3D 重建之后，從語義上對3D場景的理解會非常有意思。有別于現在CV廠商做的二維圖像識別，這是三維的世界（當然并不排斥在很多AR場景應用中，采用2D的識別技術來做），所以會圍繞3D的數據建立新的知識圖譜，這里面肯定需要大量AI技術的應用。

目前傳統的地圖仍然存在著起點看不懂，轉向難辯認的問題，AR地圖則是很好的工具。目前國內的AR導航，例如“隨便走”，采用的是識別關鍵字標簽+攝像頭傳感器+直觀箭頭指引，為用戶指明方向。

這種技術實際上還是比較初級的，其一是由于與傳統地圖GPS的簡單映射，誤差很大，其二是你無法知曉路上、建筑物、商場等的信息。英國的Blippar公司通過整合ARkit VIO和GPS，在圖像的特征點提取匹配的基礎上加上IMU，將里程計、光流和慣導做數據融合，實現更高精度的定位。利用類似于Google街景數據庫的可視化數據，根據用戶對周圍環境的識別來確定用戶的坐標位置。同時能夠實現對環境的識別，建筑物的名稱，街邊商鋪的店名、評價、評分（POI）都會顯示在地圖上。AR地圖的整個采集過程，從技術原理上應該類似于現在火熱的自動駕駛地圖的采集，但是在3D重建、渲染、以及識別上應該有更高的要求。

由于目前AR還處于早期發展階段，從產業的商業化策略來說，目前大都采用比較簡單的AR技術，在游戲、娛樂、教育、營銷等領域做商業化落地。

2017年網易成立了人工智能事業部，把AR部分劃到里面。由于在游戲方面的優勢，網易天然會把AR技術應用在游戲上，推出了《悠夢》、《破曉喚龍者》2款游戲。同時在營銷上，網易洞見、網易云音樂，與農夫山泉共同打造了一次AR營銷，在4億瓶“樂瓶”上，印上了精選樂評，手機一掃，AR實時呈現每一瓶礦泉水自帶的音樂和故事，引發病毒式傳播討論。在策略上，網易主要在廣告營銷、游戲、新零售等領域突破，其技術積累也是圍繞這些方面展開，網易AR已經形成了一整套的AR工具組合（ARStudio），包括AR內容瀏覽器，以客戶端為載體；互聯網應用引擎，涵蓋了AR底層的定位、AR云端的服務，甚至多人聯機、基于圖片的跟蹤識別、3D內容渲染等；最后是游戲引擎，表現為AR Game Plugin。

美圖的策略則還是主要圍繞著人臉布局。2017年的財報顯示，美圖公司全年實現收益約45.28億元，同比增加186.8%；毛利10.44億元，同比增加336.7%；經調整凈虧損同比下降91.5%至4600萬元，公司全年收入及利潤增長超出市場之前的預期。美圖持續圍繞“變美”布局，已覆蓋超15億移動設備，超4.5億的月活躍用戶數。美圖秀秀除了擅長的圖片處理，還結合AR、人工智能等技術，不斷推出頗有創意的萌拍特效。積極與其他廠商合作帶來新的營收，比如與Dior合作，用戶打開美圖秀秀，進入Dior唇膏試色界面，用戶可通過使用唇膏濾鏡選擇色號，直接在自己的自拍照上試色，并可從客戶端直接跳轉到購買模式。一鍵式購買相當便利，而AR、人工智能等技術的運用保證了線上唇膏試色效果的真實。

小熊尼奧在教育領域采用IP內容+AR的策略，也取得了很大的成功。從成立以來，已經有了AR地球儀、口袋動物園、神奇立體識字卡片以及照照樂等軟硬件產品。在IP的塑造上，小熊尼奧推出了基于小熊尼奧的衍生動畫片，同時和迪士尼、孩之寶這些IP大廠達成合作。小熊尼奧的策略是，生產更多符合兒童興趣的創意AR產品，同時圍繞IP不斷去生產新的內容。

AR技術還有很多其他的應用，包括電商、短視頻、直播、金融、汽車、工業等等，AR本身是一項帶有人的感情的技術，所以利用AR技術做出的產品需要直達人的內心，與用戶建立情感的連接，才能把商業的落地做好。讓我們完全擁抱AR時代的到來！