Paul Milgram 在 1994 年定義了著名的現(xiàn)實(shí)-虛擬連續(xù)體 ［1］。它一方面解釋了物理世界與另一方面完整的數(shù)字或計(jì)算機(jī)生成環(huán)境之間的過渡。但是，從技術(shù)的角度來看，引入了一個(gè)新的總稱，稱為擴(kuò)展現(xiàn)實(shí) （XR），通常稱為 XR。它是用于虛擬現(xiàn)實(shí) （VR）、增強(qiáng)現(xiàn)實(shí) （AR） 和混合現(xiàn)實(shí) （MR） 以及沉浸式技術(shù)可能創(chuàng)造的未來現(xiàn)實(shí)的總稱。XR 涵蓋了真實(shí)和虛擬環(huán)境的全部范圍。在圖 1 中，Reality-Virtual Continuum 被新的總括術(shù)語擴(kuò)展。如圖所示，出現(xiàn)了一個(gè)鮮為人知的術(shù)語，稱為增強(qiáng)虛擬性。該術(shù)語涉及一種方法，其中現(xiàn)實(shí)（例如用戶的手）出現(xiàn)在虛擬世界中。

圖 1 – XR擴(kuò)展現(xiàn)實(shí)方案

一、XR擴(kuò)展現(xiàn)實(shí)的概念和定義：

按照最常見的術(shù)語，XR擴(kuò)展現(xiàn)實(shí)的三個(gè)主要場景定義如下。

增強(qiáng)現(xiàn)實(shí) （AR）： 通過將虛擬空間的數(shù)字內(nèi)容與現(xiàn)實(shí)世界混合，使用虛擬元素增強(qiáng)對(duì)真實(shí)環(huán)境的感知。Pokémon Go 和 Snapchat 過濾器是智能手機(jī)或平板電腦使用的此類技術(shù)的常見示例。AR 也廣泛應(yīng)用于工業(yè)領(lǐng)域，工人可以戴上 AR 眼鏡在裝配、維護(hù)或培訓(xùn)期間獲得支持。

增強(qiáng)虛擬 （AV） 使用真實(shí)元素增強(qiáng)對(duì)虛擬環(huán)境的感知。現(xiàn)實(shí)世界的這些元素通常被實(shí)時(shí)捕獲并注入到虛擬環(huán)境中。注入到虛擬環(huán)境中的用戶身體的捕獲是旨在提高體現(xiàn)感的 AV 的一個(gè)眾所周知的示例。

虛擬現(xiàn)實(shí) （VR） 應(yīng)用程序使用耳機(jī)讓用戶完全沉浸在計(jì)算機(jī)模擬的現(xiàn)實(shí)中。這些耳機(jī)產(chǎn)生逼真的圖像和聲音，使用兩種感官來創(chuàng)建交互式虛擬世界。

混合現(xiàn)實(shí) （MR） 該定義包括 AR 和 AV。它融合了真實(shí)世界和虛擬世界以創(chuàng)建復(fù)雜的環(huán)境，物理和數(shù)字元素可以實(shí)時(shí)交互。它被定義為真實(shí)和虛擬環(huán)境之間的連續(xù)統(tǒng)一體，但不包括兩者。

二、XR擴(kuò)展現(xiàn)實(shí)系統(tǒng)

圖 2 顯示了擴(kuò)展現(xiàn)實(shí)系統(tǒng)的簡化示意圖。

圖 2：XR擴(kuò)展現(xiàn)實(shí)系統(tǒng)的主要組件

應(yīng)用程序（Application）：在左側(cè)，用戶正在使用 XR 應(yīng)用程序執(zhí)行任務(wù)。最新的XR4ALL 景觀報(bào)告提供了所有相關(guān)領(lǐng)域的完整概述，涵蓋廣告、文化遺產(chǎn)、教育和培訓(xùn)、工業(yè) 4.0、健康和醫(yī)學(xué)、安全、新聞、社交 VR 和旅游。

交互（Interaction）：用戶與場景交互，他/她的交互被一系列輸入設(shè)備和傳感器捕獲，可以是視覺、音頻、運(yùn)動(dòng)和許多其他類型。

處理和渲染（Processing and rendering）：獲取的數(shù)據(jù)作為 XR 硬件的輸入，在渲染引擎中執(zhí)行進(jìn)一步的必要處理。例如，渲染正確的視點(diǎn)或觸發(fā)與場景的期望交互。在同一份報(bào)告中，給出了主要算法和方法的概述。但是，渲染引擎不僅使用捕獲的數(shù)據(jù)，還使用來自其他來源的附加數(shù)據(jù)，例如邊緣云服務(wù)器或設(shè)備本身可用的 3D 數(shù)據(jù)。

反饋（Feedback）：然后將渲染的場景反饋給用戶，讓他/她感知場景。這是通過各種方式實(shí)現(xiàn)的，例如 XR 耳機(jī)或其他類型的顯示器和其他感官刺激。

［1］ P. Milgram， H. Takemura， A. Utsumi， and F. Kishino， “Augmented Reality： A class of displays on the reality-virtuality continuum”， Proc. SPIE vol. 2351， Telemanipulator and Telepresence Technologies， pp. 2351–34， 1994.

［2］ Ronald T. Azuma， “A Survey of Augmented Reality”， Presence： Teleoperators and Virtual Environments， vol. 6， issue 4， pp. 355-385， 1997.