“AR/VR/XR×元宇宙”時代的到來

虛擬現實技術VR通過逼真的、具有三維視、觸、嗅、聽等多感官體驗的虛擬世界，營造出如身臨其境的虛擬世界。

增強現實技術AR將文字、圖像、三維模型、音視頻等數字信息，通過顯示終端融入到現實世界，對現實世界信息不斷加以完善和增強。

混合現實技術XR融合了VR和AR技術與場景，通過更為多元的場景建構，搭建起現實世界、虛擬世界以及用戶之間實時、動態、可持續的交互與反饋，為用戶創建出更為多元化的情景內容和空間體驗。

從AR、VR到MR，構建虛擬世界與現實世界融合的各項技術以“XR”被統稱為擴展現實技術，并以沉浸式的交互模式、大膽的創新正在逐步改變著世界存在的形式。“十四五”規劃已明確將虛擬現實和增強現實列為數字經濟重點產業之一。

而元宇宙概念的提出徹底撕開了現實與虛擬世界間的面紗。“元宇宙”集成了擴展現實、腦機接口、區塊鏈、云計算、數字孿生、人工智能等多種技術，不再以技術為出發點，而是打破虛擬與現實的空間界限，以多元空間建構為基礎，創新場景應用與交互，探索人類社會新的空間關系，并逐漸改變著人們對空間的認知。

當下，基于“AR/VR/XR”融合的多元場景，正越來越多的應用在人類工業生產、教育、醫療、娛樂、運營服務等領域。比如基于復雜工業設備的虛擬操控訓練、課堂教學的沉浸式體驗、醫療手術中的遠程輔助、更具沉浸感的體驗游戲、對歷史場景的還原、服裝購買過程中的衣物試穿等場景。未來，或許這些場景也將成為大元宇宙空間的重要內容。而社交元宇宙、企業元宇宙等概念的提出，也只是元宇宙創新的一種形式，更多的可能正在探索的路上。“AR/VR/XR×元宇宙”時代已經到來。

感知識別或將成為元宇宙空間時代人機交互主要入口與載體

在打破虛擬與現實世界界限的元宇宙空間里，手勢、語音交互、腦機接口是最為直接的交互方式，或將成為下一代智能網絡時代新的人機交互入口和載體。

在擴展現實技術營造的多元空間場景中，屏顯設備建立起人與虛擬世界的視覺聯系；座椅、腳踏設備等建立起與人的身體與虛擬世界的運動感知；味道、水汽等物理環境創設輔助人在虛擬空間的嗅覺感知和環境觸覺感知；手勢識別、語音識別、腦機接口等交互模式建立起人與虛擬世界的持續交互操控。

手勢識別技術因其技術的成熟性，交互功能多樣性，成為當下擴展現實感知交互發展的重要內容與設備。手勢識別為身處元宇宙空間的人們提供了即時、高效、立體、多元和可持續的感觀交互體驗。手勢識別技術在擴展現實場景操控與交互過程中發揮越來越重要的作用。

手勢識別在沉浸式體驗中不可或缺

人手本身屬于人的操控器官，當人置身于虛擬世界中時，手眼協調是最自然的操控方式，且無需額外增加操控硬件。基于手勢識別技術以及輔助增強手感知和反饋的可穿戴設備，手勢識別可以幫助使用者建立起人手與虛擬世界場景間更為自然、真實的操控體驗，比如在虛擬世界中拿起一杯水、變形一個物體、打開一扇門等等。

通過手勢識別，可以更為直接的建立起手的動作感知與人腦間的自然連接，更為直接的聯動人的視覺、觸覺、聽覺等感知體驗，使人在虛擬情境中的感官體驗變得更加立體、多元和真實，形成現實世界與虛擬世界間關聯性更強的、更具沉浸感和交互性的體驗效果，進而，可以創作出更加豐富、細膩、具有想象力的內容情境。

手勢識別擴展現實情景交互場景

目前，手勢識別技術存在裸手手勢識別、觸覺手柄、觸覺手套、肌電手環等多種實現路徑。其中，裸手手勢識別通過基于攝像頭的多點視覺識別技術分析和識別手的位置和姿態，搭載頭顯設備的裸手手勢識別應用已經落地，并向更高精度發展；觸覺手柄在操控手柄原有的定位與操控功能之外，通過震動、抓握等簡單的交互方式增加觸覺反饋；觸覺手套通過搭載密集的執行器反饋點，在手勢識別的準確性、流暢性、靈活度以及細微觸覺感知等方面獨具優勢。

同時，在追蹤定位方面，搭配攝像頭+慣性測量單元的inside-out方案因能夠實現三類平移、三類旋轉的六自由度操作以及微動作、主體移動等功能，在消費級VR一體機上被廣泛應用。

具有高感知的手勢識別技術正逐漸走向成熟，推動手勢識別應用的不斷落地，為擴展現實情景內容交互的發展提供更多可能。

手勢識別芯片技術逐漸走向成熟

在VR、AR、MR等擴展現實情景下，感知交互突破了二維屏幕的限制。裸手手勢識別技術需要傳感器、芯片和算法的協同工作。在傳感器方面，需要識別精度更高、響應速度更快、覆蓋范圍更廣，以及價格耕地和體積更小的傳感器；在算法上，需要不斷改進算法模型，提供更高精度的數據集；在芯片算力上，需要能夠支撐更為復雜運算的芯片技術能力。

多角度成像手勢識別芯片成為主流

手勢識別最關鍵的技術是對手勢動作的跟蹤以及通過算法分析出手部的位置和姿態。根據硬件實現方式不同，手勢識別芯片方案主要有三種：

一種是基于結構光原理，通過激光折射以及相應算法計算出物體的位置和深度信息，進而復原整個三維空間，代表產品是微軟 KINECT一代，在深度計算和識別距離實現難度較大；一種是基于光飛時間原理，加載一個發光原件，通過CMOS傳感器捕捉計算光子飛行時間推算物體的深度信息，代表產品是intel帶手勢識別功能的三維攝像頭；一種是基于多角度成像原理，運用兩個或多個攝像頭同時采集圖像，對比不同攝像頭同一時刻獲得的圖像差別計算深度信息，形成三維圖像，業內Leap Motion、MakeSens等公司使用的都是一個或多個普通攝像頭組成的手勢識別技術方案。

與深度攝像頭方案相比，一個或多個普通攝像頭實現的手勢識別，在綜合了實現成本、技術難度以及識別精度等要求下，未來或可成為頭顯設備主流的手勢識別控制模式。

高感知手勢識別的必要條件

基于多角度成像算法的手勢識別系統，通過背景摳除、運動檢測和閾值、輪廓提取等實現手部識別以及區分左右手；通過對單手的21個或26個關鍵點的動態、實時識別與追蹤，確定手在圖像中的位置以及識別手勢所代表的信息；運用不同攝像頭同一時刻獲得的圖像差別計算圖像深度信息；進而，通過手勢信息所代表的操作命令實現對界面內容的瞄準、選擇和操控等操作。

為實現高感知手勢識別，需要高質量的手勢模型可以預測出更多的3D關節點；需要足夠高精度的數據訓練高質量的手勢模型；需要基于深度學習的推理運算，則可以處理手的復雜動作，同時抵抗不同環境要素的干擾。因而，在高感知的實現過程中，需要更高效率的算力解決復雜問題，對芯片功耗、時延和成本也有著更高的要求。

與SLAM攝像頭的兼容特性

在inside-out追蹤成為主流的情況下，近兩年，同步定位與建圖SLAM技術在擴展現實場景上的應用不斷增多。PC端VR頭顯、移動端VR一體機，AR眼鏡等設備幾乎全部加入了SLAM定位功能。SLAM攝像頭大多采用魚眼或是廣角灰度攝像頭，與RGB攝像頭相比，SLAM攝像頭在手勢識別精度上表現更高，且具有良好的兼容性性。

因而，增加SLAM功能的VR、AR設備在采用手勢識別時，可以直接采用SLAM灰度攝像頭進行手勢識別，不再需要增加額外硬件配件，不但其識別精度可以保證，兼容效果良好，也不會增加攝像頭的硬件成本，同時也無需考慮設備功耗負擔。以MakeSens的產品為例，在同時運行SLAM定位追蹤和手勢識別的情況下，即使完全使用CPU的模式下，所占用的CPU資源也能夠控制在30%以內，大部分的CPU運算都能夠留給軟件運行實現。MakeSens基于“感算共融”智能芯片架構，以模擬信息轉換技術解決能量效率瓶頸，其超低功耗智能AI芯片與傳統芯片相比，能耗可以降低三個數量級。

關于MakeSens

MakeSens手勢識別芯片上的創新與精進

5月12日，在由中國半導體行業協會IC設計分會（ICCAD）、芯原股份、松山湖管委會主辦的“AR/VR/XR×元宇宙”的“2023松山湖中國IC創新高峰論壇”上，國產智能感知芯片廠商MakeSens（MakeSens）智能科技（北京）有限公司總經理和大家交流了傳數字芯片處理高功耗形成的原因并闡明了MakeSens在模擬計算架構下是如何實現芯片低能耗的；同時，也發布了公司自主研發的，集成了多核NPU低功耗感算一體的智能芯片。

鄒天琦指出: 在摩爾定律運算邏輯下，傳統的數字計算架構下，90%的功耗都損耗在了數據在存儲和計算單元間的搬移過程中，并沒有用在數據處理過程中，且因數據搬移帶來了更高的延時，同時，依賴于制程提升的邏輯芯片性能也帶來工藝成本和散熱的問題。

而在傳統的感知計算鏈路下，傳感器采集的數據需要經過ADS模數轉換器對模擬信號進行數字信號轉換，再通過DSP數字信號處理器進行處理，CPU/GPU/FPGA計算芯片進行計算。計算鏈路較長帶來計算效率低、功耗大等問題。

相比之下，模擬計算架構通過近傳感計算芯片直接對傳感器采集的數據進行計算，將部分DSP芯片需要承擔的任務進行前置處理，精簡處理器信息后，再將處理后的數據通過ADC模數轉換器傳遞給CPU/GPU/FPGA等計算芯片。主芯片計算的是剔除不必要信息的精簡數據，減少了數據遷移量和數據處理量，進而提升了計算效率，也降低了整個計算鏈路的功耗。同時鄒天琦還代表MakeSens發布了公司首款面向面向手勢交互應用的低功耗感算一體智能芯片MKS2206。

該芯片集成多核自研NPU，該芯片支持包括圖像、語音等多種感知模態。在AR/VR場景應用中，該芯片功能支持雙手檢測、跟蹤與左右手識別；支持雙手21關鍵點和3D坐標檢測；支持多種典型手勢、自定義手勢。可以很好的滿足AR/VR場景應用需求；可以實現畫面抖動、低視頻分辨率、低照度及多目標類別等情況下穩定的手勢檢測和跟蹤功能。

在運算性能上，該芯片定位誤差小于10mm；實時處理幀率大于60fps；可實現小于50ms延遲的連續無卡頓交互；檢出成功率大于98%。在傳感器性能上，支持MIPI-CSI接口；典型配置為640x480單色，雙路分辨率最高支持1280x800；典型功耗< 200mW。同時，MakeSens還提供了完整的軟件棧，易于與AP集成。

據了解，該芯片基于40nm工藝，將會在今年二季度小規模量產，2023年三季度客戶導入，2024年二季度規模出貨。此外，MakeSens還計劃在2024年推出基于22nm工藝的新一代MK3xxx系列芯片，主要面向SLAM 6DoF定位、手勢交互、眼動追蹤動等場景應用。

MakeSens公司背景介紹

MakeSens公司源起于清華大學電子系集成智能感知（iVip）實驗室，2015首創提出“感算共融”的智能芯片架構，利用模擬計算的高能效特性優勢，極大降低了持續智能視覺感知計算下的能耗問題。MakeSens擁有一支經驗豐富的模擬計算研發團隊，核心人員擁有平均10年以上的行業從業經驗，18次流片經驗，并且與數家頂尖的公司在持續研發合作。

MakeSens推出的低功耗智能視覺感知平臺的核心部件，采用自主創新架構設計，該芯片能夠在復雜的識別任務中以低功耗、高精度、高性能和高穩定性脫穎而出，因此有望在AR/VR/MR以及智能座艙等復雜人機感知和交互場景中廣泛部署。通過集成輕量級識別交互算法，顯著降低系統功耗，提升整體性能，并達到同行業領先水平。

MakeSens的目標是在2024-2025年面向大客戶的完整解決方案，并實現億元以上營收。希望在2026-2028年完成平臺服務、生態搭建，建立以自研芯片為核心的全時域智能感知服務平臺，并實現IPO。

編輯：黃飛

?