元宇宙的目標是實現萬物的信息化和智能化，創造一個信息充分包圍人的虛實融合空間，演化生成時空無界的新型社會形態。 元宇宙是信息技術蓬勃發展的集大成應用環境，著名的元宇宙七層價值鏈圖上包含了許多當下先進的IT技術，如5G/6G、穿戴、眼鏡XR、AI、區塊鏈、3D引擎等。 元宇宙是面向終端用戶的，所以人機交互是核心關鍵技術。

01人機交互式核心關鍵技術

人機交互研究人機之間高可用的信息交換原理和技術，建立起計算機多種模態的輸入輸出軟硬件交互接口，及其構成的用戶終端界面，形成特定的交互模式。

縱觀計算機發展歷史，交互模式從字符用戶界面（CUI）的鍵入命令，到圖形用戶界面（GUI）的鼠標拖拽，再到智能手機上的動作語音操控，不斷突破用戶使用計算機的難度瓶頸，計算得以從少量專家用戶的科學計算擴增到數十億人的日常應用。 人機交互也是元宇宙系統的基礎能力，其性能水平直接決定了人在元宇宙中的能力邊界，進而決定了元宇宙對人類的價值。 元宇宙中所運用的人機交互應突破目前的兩種技術，進入第三階段：自然用戶界面。 不管是CUI還是GUI都要求用戶必須學習軟件開發者預先設置好的操作，而NUI只需要用戶用最自然的方式（語音、面部表情、動作手勢、移動身體、旋轉頭部……）和計算機交流。

02元宇宙的人機交互

目前有成熟可用于元宇宙的人機交互技術嗎？答案是沒有。

首先，元宇宙的用戶終端將從智能手機擴展開來，新型的終端將多種多樣，典型的包括智能眼鏡、AR/VR設備和智慧物聯網環境，如家居等。 這些新型終端在交互接口上的共性是接口的虛擬化、遠程化和多映射關系，不同于PC和手機的固定接口并能提供明確的反饋確認，這些新型終端在目前實現基本的交互功能尚有困難。 交互技術在不斷進步，輸入技術上，則都需要實現交互接口上的三個原子交互功能：操控目標對象，對象空間位置明確，又稱為可視目標、表達抽象命令，不是基于目標位置的、輸入語言內容，如下圖總結了歷史上幾種交互模式是如何實現這些原子交互功能的。

03現有產品設備的難題

目前一些科技巨頭在開發研究的智能眼鏡，意義是解放雙手，沉浸三維，回歸自然。

但自然交互上，由于失去了精準的輸入設備，如桌面的鼠標，缺少觸覺反饋的感知支持，如手機觸屏，完成這三類基本的交互功能，一直是智能眼鏡這類新型終端設備固有的難題。

視覺速度慢和眩暈

3D對象的訪問一般都需要人眼視覺參與，但我們用手訪問精細的3D對象時，視覺注意力的高度集中和隨動圖像難以準確匹配人的視覺感知，不僅訪問速度慢，還是造成用戶眩暈的重要因素。

手勢動作的可用性不高

手勢動作的設計空間雖然大，但手勢到命令的映射關系設計和用戶表達需要符合人的認知和表達能力，同時還存在傳感和識別技術上的困難。

文字輸入必要但難以實現

智能眼鏡用戶用手勢在空中使用虛擬鍵盤輸入文字時，速度慢到不及手機打字的1/3；而語音并不萬能，很多場合不方便出聲；并且缺少連續交互能力，每次輸入文字都需要特地喚醒設備。 因此，這些問題限制了用戶的表達能力，是智能眼鏡一直難以成為通用用戶終端的癥結所在。

為解決這些問題，市場上還出現了專屬折疊藍牙鍵盤和鼠標這樣不得不“回歸”的配置，完全失去了眼鏡解放雙手的意義。

04人機關系與交互的變革

進一步地，元宇宙空間，人機關系將發生重大變革，機器從被動應答者向主動服務者身份轉變，交互從單一的用戶動作表達向機器智能推理與用戶表達融合方向發展，在恰當時間與情境下提供用戶亟需的智能服務成為必然發展趨勢。

也就是說，人機交互的路徑，將從現在用戶記憶搜索應用和界面的模式，轉換到AI主動感知和推送服務，極大縮減交互路徑的模式。 由于用戶終端多樣，這一層面的問題還反映在同樣功能的服務需要設計實現為每種終端上的應用功能的開發難題。 元宇宙作為所有用戶可隨時隨地接入的虛擬空間，其中用戶的交互行為將無處不在、連續不斷，這會導致交互數據模糊，為AI推理用戶交互意圖的準確能力帶來巨大挑戰。 無論是擴展現實的智能眼鏡、VR設備還是智慧互聯的現實環境，交互接口都不再是單一固定的界面。 設備在虛擬化的空間上如何實現操控目標對象、表達抽象命令、輸入語言內容三個輸入交互接口上的原子功能，目前尚無高可用的產品技術，這是人機交互領域的熱點研究方向，也是元宇宙需要突破的人機交互技術。