互聯網時代，電腦是計算平臺的核心，而鼠標和鍵盤作為互聯網第一代交互方式，曾徹底引燃了電腦時代。到了移動互聯網時代，智能手機開始站上計算平臺的核心位置，多點觸摸操作成為第二代革命性交互方式的標志。

交互方式從一維的按鍵、點擊交互，演變到了二維的多點觸摸交互。我們看到，正在邁向的萬物互聯數字世界，三維多模交互手段必將在新的計算平臺XR（AR/VR/MR的統稱）中扮演極其重要的角色，為智能世界打造極致的超現實用戶體驗。如果說，Windows系統的圖形化界面把人們從Dos系統下解放出來，用更符合直覺和人性的方法讓人們對電腦進行操作是一次新技術的跨越的話，多模交互超現實體驗則是另外一次意義更為深遠的騰躍。網絡和電腦技術，終于使得數字世界和現實世界全面融合，人類升級為真正意義上的數位人。

實現超現實體驗的前提是什么？

多模交互的超現實體驗，需要虛擬世界與真實世界的無縫融合，并能夠準確感知、還原世界，在虛實結合的混合現實世界中理解用戶的意圖。此外，多模交互需要打通視覺、聽覺、觸覺、嗅覺等多種感官體驗，實現人與成千上萬種邊緣設備之間的交互。為實現這個目標，需要將用戶所處的整體環境作為一個超級數字世界來對待，依托語言、肢體、觸覺、光感、腦機、表情、意識等，進行信息采集和傳輸，并識別用戶意圖、再通過裸眼3D、全息投影、AR眼鏡、數字嗅覺和數字觸覺等科技呈現給用戶，從而實現超現實的交互體驗。

在超現實體驗里，傳統的鼠標、鍵盤和多點觸摸交互已經無法滿足XR設備的交互要求。簡單的說，在沒有實體屏幕和物理控制設備的前提下，人類無法在一個虛擬三維環境里，通過簡單的鍵盤、鼠標或多點觸摸來完成復雜的命令輸出。以手勢操控為例，終端設備需要捕捉到三維空間內手指的動作，同時完成對時間和空間的判斷，并同步發出指令以完成用戶的意圖。終端設備還必須清晰判斷出用戶發出的語音指令，甚至根據用戶的行為習慣來判斷用戶的下一步意圖是什么。這種交互方式，就是我們常說的本能交互--最大化以用戶心智模型出發，使用共識或易學、易用的操作，讓用戶少點思考、少點疑惑、少點反復。

真正的挑戰來了

雖然超現實體驗未來可期，但現有的交互設備和交互環境，還不能實現較高的操作精度，面向一般消費者的產品，仍然需要技術和商業上的不斷突破。

-面向移動

對移動位置的控制來說，設備需要完成用戶在三維空間上的原始解放。置身于近乎無限的在虛擬空間中，用戶可以在虛擬的三維空間中不受任何限制的移動。這種不受限的行動，雖然使用戶的感官上已經從現實世界里脫離了出來，但自身仍然無法脫離物理世界。絕對的行動自由，是對環境規則的否定。所以物理世界與數字世界仍然需要進一步的融合，才能讓用戶擺脫現實世界的束縛真正進入虛擬世界里去。這種融合的前提是：通過一種外部的框架來實現的支撐和隨動。

-面向手部操作

用戶的手部操作一般占日常整體動作的八成以上，如果沒有精準的手部動作捕捉、特征追蹤、動作識別、空間定位系統，整個基于手部的操作環境都難以建立。手部操作的功能性體現在終端的業務執行；手部操作表達性體現在窗口文字內容輸出；手部操作的社交性體現在肢體語言上，由手勢和肢體動作共同構成。

因此，手部交互設備除了要符合以上的基礎條件之外還要遵循輕量級、可拓展、開放性強等特點。

-面向數據輸入

從某種程度上來說，XR是人類真正數據化自身的開始。在這個起點，用戶的一切行為都可以被數據采集。同時，數據監測的范圍也有效擴大了，可以預見，未來一定是行為心理學和統計學的勝利。除去用戶肢體行為形成的數據，用戶在任何位置的停留、視覺選擇、手部操作，都可以成為用戶個人數據的采集范疇。而當務之急，能否形成一套基于動作、語言的數據輸入交互系統，對現階段繼續有效推進XR發展演進具有重要意義。有了高效的數據輸入系統，用戶才能提高表達效率，高效的輸入意味著用戶可以遵循更加可靠的輸入交互邏輯。

寫在最后

MR(混合現實)、VR(虛擬現實)、AR（增強現實）是構成未來數字世界的三個重要組織部分。依托新的計算平臺以及更先進的5G/6G技術，物理世界與虛擬數字世界的界限在不斷模糊，而XR技術的發展帶給從業者巨大的發展機遇和前所未有的挑戰。

展銳作為數字世界的生態承載者，數字世界底層建筑的構建者，擔負著構建未來數字世界底座的重任。在多模交互領域，展銳的智能手機平臺通過Sensor Hub傳感器系統，支持手勢操作、體感動作、面部動作等多種交互模式。另外，展銳在語音識別、語義理解、多語言系統等自然語言處理方面也有深度布局。基于展銳芯的終端品類從手機、平板手表、翻譯筆等，不斷向更豐富的物聯網領域擴展。在5G、短距連接、高性能計算平臺等創新成果的基礎上，展銳正在不斷突破邊界，向更廣闊的空間探索……

審核編輯：符乾江