針對VR一體機存在的用戶體驗差，系統標準缺乏以及VR內容資源貧乏這三個問題，中國移動智慧家庭運營中心基礎平臺研發團隊通過對VR中間件的研發，實現用戶體驗的提升，一體機系統標準的統一和VR內容的豐富。本文對VR中間件進行了詳細的介紹，主要包括：VR算法和技術優化、能力和應用集成、多應用引擎系統建設以及多硬件終端適配四個方面。

團隊介紹：

「智慧家庭運營中心（杭研）終端應用產品部基礎平臺研發團隊」

致力于以技術創新全面驅動數字化未來，賦能家庭領域產業全面進入數字化時代，通過開展智慧家庭網絡型及連接型業務的研發，結合業務實際開展技術革新，支撐重大課題研究，致力實現讓家庭更智慧、讓企業更智能的美好愿景。

1 VR行業背景

隨著雙千兆網絡的商用，VR技術日趨成熟、終端成本逐漸下降、產業生態不斷發展完善，VR內容將成為未來數字家庭內容新形態。VR用戶市場規模巨大，中國市場潛在用戶達2.86億， 據普華永道估算，截至2030年，VR技術將為中國經濟帶來約1833億美元收入，增加約682萬就業。近年VR硬件銷售迅速增長，2019年VR硬件出貨量為570萬臺，其中VR一體機達280萬臺，同比增長1倍多，預計2020年可達710萬臺。

VR設備（特別是VR一體機）作為蓬勃發展的VR行業的關鍵一環，當前還存在以下幾個重要問題，極大地影響了用戶體驗以及整個行業在國內的發展進程。

1、亟需提升用戶體驗，目前國內VR企業沒有自主知識產權，只是做個殼，成本高昂。很多VR一體機還缺乏設備管理、語音交互等常用功能，極大地影響了用戶使用體驗。

2、缺乏行業接口標準，目前行業沒有對上層應用的API接口或底層設備的接口建立統一標準，市面上大多數VR一體機設備廠商的操作系統都是在安卓操作系統上進行適配和優化，各個廠商接口參差不齊，導致互相之間需進行大量重復、冗余的適配工作，間接提升了VR設備的成本，不利于VR的銷售落地。

3、內容資源較為貧乏，當前VR應用程序必須使用每個VR設備系統專有 API，意味著應用程序如想在不同的VR 設備上運行，需不停進行重新編寫，這極大增加了內容應用的制作成本，阻礙了VR內容生態的豐富和發展。同時，VR硬件設備上由于缺乏可運行的內容應用，導致設備落地推廣困難，形成惡性循環。

2 VR中間件介紹

針對目前VR一體機存在的主要問題，VR中間件通過建立統一的系統框架，屏蔽多芯片種類的差異性，推動VR一體機系統標準建設，加速VR中間件標準化進程。主要完成了以下四個方面的工作：

首先，通過對安卓系統接口和架構的優化，建立了一套完整的VR技術體系，極大改善了用戶使用體驗。

其次，通過集成設備管理Andlink連接、語音交互、定制VR Launcher等多種應用能力，豐富系統基礎功能，增加設備可用性。

另外，通過多應用引擎系統向上適配多類型應用，降低了內容廠商的開發成本，為用戶提供更豐富的內容資源。

最后，通過設備插件擴展層向下適配多芯片方案，減少設備廠商復雜、冗余的適配工作，為VR設備廠商賦能，加速VR落地推廣。

VR中間件的整體框圖請參見圖1，主要包括VR優化算法和技術、能力和功能集成、多應用引擎系統、多硬件終端適配這四個部分。

圖1 VR中間件框圖

（一）VR優化算法和技術

VR中間件在安卓系統上針對VR做了一些列的優化和改進，主要包括以下幾點：

1、圖像反畸變

任何圖像經過光學鏡片之后都會發生光學畸變，由于VR一體機目前主要通過在屏幕上堆疊光學透鏡達到立體及近眼顯示的效果，故而會存在一定的光學畸變，如圖2所示。

圖2 VR光學畸變

VR中間件具備對圖像進行反畸變處理的能力，先將整個現實的圖像做反畸變變形，然后經過光學鏡片后還原為正常的圖像。采用獨特的反畸變、色散算法，不會增加額外渲染負擔；將所有光學參數配置于云端，具備極強的擴展兼容性。

2、低延遲渲染

在用戶使用VR設備的過程中，在獲得沉浸式體驗的同時，會對畫面顯示延遲有較高的敏感性，因此系統須加入低延遲渲染技術，且主要核心包含以下兩個內容：

（1）Front Buffer Rendering將三緩沖變為單緩沖區，Display與GPU共享，降低延遲；

（2）Dynamic Time frame Replenishment（DTR），動態時間幀補償技術，通過補償算法使渲染幀率保持滿幀，降低渲染延遲，同時根據應用場景，動態調整時間幀調度，降低系統功耗，給用戶更好的體驗；。

3、IMU融合及預測技術

VR畫面渲染方式主要取決于用戶當前的頭部姿態，而用戶的頭部姿態由IMU傳感器（包含陀螺儀、加速計、電子羅盤）進行標定。IMU傳感器中每一種傳感器都各有優劣，無法單獨標定用戶頭部姿態，為此系統須具備穩定、準確的IMU融合算法，以準確標定用戶頭部姿態。

用戶頭部姿態滿足一定的約束模型，可以通過用戶頭部姿態的歷史數據對用戶未來短時間（20ms左右）的姿態進行預測，從而進一步降低整個系統的延遲。

其整個過程如圖3所示。

圖3 IMU融合及預測算法過程

4、2D應用VR化技術

傳統的安卓設備中存在著大量的內容資源（如手機、電視等平臺內容），如VR操作系統支持該類型的應用程序便可充分使用；同時，為提升用戶體驗，需將2D內容VR化，即將2D應用程序顯示在一個VR場景中。VR中間件通過在SurfaceFlinger層構建渲染引擎，在合成時改變渲染內容，將SurfaceFlinger層中不同Layer映射到三維場景中渲染。

（二）能力和應用集成

VR中間件集成了一些能力和應用，統一了使用體驗，增加設備的可用性，主要包括以下幾點。

1、Andlink能力：提供Andlink設備連接管理的能力，提供安全可靠的設備連接通信能力。支持向上將設備相關數據發送到Andlink平臺，為后續的豐富場景應用提供數據支撐;向下將Andlink平臺數據下發的數據發送給設備，實現遠程管控，為VR設備、手機APP等多終端互動的各種場景實現提供技術基礎，具有億級設備的連接、百萬級并發處理能力。

2、語音平臺功能：通過前端聲學適配和語音平臺SDK的集成，實現語音控制。語音平臺以“語音+內容+智能”為切入點，統一語音入口，致力于為家庭、個人、企業打造一站式智能語音交互平臺和技能聚合平臺，提供世界領先的語音識別、語音合成、語義理解、技能開放、設備開放等服務能力，解決國內外企業獲取語音交互服務和技能的復雜過程，讓VR產品快速具備“能聽會說會思考”的功能，讓智能語音交互更簡單、實用，使VR用戶可隨時隨地享受全方位的人工智能服務。

3、定制VR Launcher：以拉動雙千兆業務發展為目標，中國移動定制的VR Launcher統一聚合行業VR精品內容，嵌入中國移動開放能力，把控VR內容入口，統一用戶體驗，助力分省精細化運營。

（三）VR多應用引擎系統

VR中間件對多個系統的接口和標準進行兼容，在安卓系統Library層上針對各個廠商系統實現對應的運行時（Runtime），對于應用來說，有效屏蔽了系統的差異性。

VR應用啟動時，會根據應用運行的系統要求自動選取對應的運行時（Runtime），可直接適配已有的應用，應用不需要對系統進行適配。

具體的應用和Runtime框圖如圖4所示，

圖4 VR多應用引擎系統框圖

VR應用多引擎系統改變了之前內容廠商發散式的應用適配的方式，VR中間件直接對相關系統接口和標準進行兼容，極大降低了內容廠商開發應用的時間和人力成本。從而能快速豐富VR的內容應用內容，有利于公司VR業務的落地和推廣。

VR多應用引擎系統具有以下兩點明顯的優勢：

1、提升了已有內容的兼容性：使用VR應用多引擎系統，可以實現對已適配過的內容應用的直接移植運行，無須再適配，節約內容應用適配和測試工作量，以及多版本維護等工作。

2、新資源對接工作量減少：一次開發，長久受益。在新設備的引入工作中，可實現“僅對接一次”的工作量，后續適配該設備的內容，包括未來開發的，都可以直接使用，后續工作中，隨著引入的設備和應用越多，整體節約的工作量越大。

（四）多硬件終端適配

設備插件擴展層向下兼容多種芯片平臺，屏蔽不同廠家設備接口的差異，將設備相關接口標準化，向上提供統一的接口，做到設備的快速適配。設備插件擴展層可以實現VR設備的快速適配，對VR芯片方案的一次適配，后續對同樣芯片方案的設備，能夠直接平移，不需要重新適配，減少了開發工作量，縮減適配周期，能加快業務推廣落地。

設備插件擴展層請參考圖5中背景標黃部分：

圖5 多硬件終端適配示意圖

3 打造移動VR新生態

VR中間件主要用于引入中國移動運營體系的VR一體機設備，整個系統具備良好的硬件兼容性，能夠解決當前行業中各家技術體系不統一的問題，同時保持了完備的功能及較好的用戶體驗，充分滿足用戶的使用需求。

后續中國移動會憑借運營商的優勢，持續發揮VR中間件的差異化優勢，借助省公司的落地渠道，發揮終端分銷作用，積極響應市場需求，推進VR設備落地。中國移動采用開放的策略，與硬件廠商、平臺軟件廠商、內容廠商等各個環節的合作伙伴建立緊密的技術和業務協同關系，深化產業鏈建設，形成軟硬件深度結合的體系，探索開放創新性VR系統的研發和發展模式，打造移動VR新生態。
責任編輯:pj