對于VR/AR設備來說,顯示技術和內(nèi)容生態(tài)可能是最為重要的兩個元素,但同樣不可忽視的還有設備中集成的一系列傳感器。這些傳感器的存在是設備交互的關鍵,而VR/AR的本質其實就是人機交互的創(chuàng)新,沒有了這些傳感器,這些虛擬現(xiàn)實與尋常的顯示設備并無二致,毫無創(chuàng)新性可言。那么如今的VR/AR設備中,有哪些傳感器正在頻繁露面呢?我們不妨以在游戲VR設備上玩轉市場的索尼為例。
圖像傳感器
索尼在前不久發(fā)布了PSVR2,并聲稱支持了注視點渲染技術。這種渲染技術專注于渲染人注視點范圍內(nèi)的場景,通過降低周邊視覺的成像質量來降低設備負載。畢竟VR/AR設備說到底還是移動設備,其功耗和性能都相對有限,但在這樣的定位下,VR/AR往往需要更高的幀數(shù)。況且與人眼一樣,我們其實無需對視覺死角內(nèi)的場景付出過多關注,所以注視點渲染技術減輕GPU負擔的方案正在席卷整個業(yè)界。
那么這一技術是如何實現(xiàn)的呢?答案就是眼動追蹤。眼動追蹤有多種實現(xiàn)手段,但對于VR/AR設備來說,該技術主要利用光源對眼鏡進行照射來產(chǎn)生反射,并使用圖像傳感器來采集光源在角膜和瞳孔上的反射,從而通過角度等參數(shù)來計算眼動的向量,最終判斷人的視線方向。

Tobii Eye Tracker 5 / Tobii
比如Tobii的眼動儀就采用了近紅外光源,并利用兩個圖像傳感器、先進的圖像處理算法和三維眼球模型來計算眼睛和視線的位置。而索尼的PSVR2也配備了兩個紅外攝像頭,分別完成兩個眼睛的眼動追蹤,另有四個攝像頭來完成控制器與頭顯的跟蹤。
眼動追蹤不僅可以用于注視點渲染,也為VR/AR創(chuàng)造了另一重數(shù)據(jù)輸入,這對于游戲或者視頻內(nèi)容的創(chuàng)作者來說,也就多了一重交互方式,方便他們用眼動數(shù)據(jù)來創(chuàng)造面部表情追蹤、注視反饋和視線鎖定目標等功能。
運動傳感器
為了進一步提升沉浸感,VR/AR設備中往往還加入了陀螺儀、磁力計和加速度計等運動傳感器,陀螺儀主要用于確定角度和姿勢輸入,而磁力計主要用磁場強度等參數(shù)來定位設備位置,而加速度計則顧名思義用來測量加速度。這些傳感器不僅分布在頭戴設備上,也集成在了控制器上。

運動傳感器完成姿勢識別 / 索尼
索尼在去年底公開了一份專利,其中就提到了如何用這些運動傳感器來完成人體姿勢的識別匹配。索尼稱目前許多定位方案需要攝像頭或激光之類的視覺追蹤,所以除了頭戴設備和控制器上的傳感器以外,還需要在使用區(qū)域內(nèi)部署額外的距離傳感器,且中間不能存在障礙物。

PSVR2 Sense控制器 / 索尼
而索尼的這項專利減少了追蹤設備的數(shù)量,僅使用頭顯和控制器上的運動傳感器就能重構真實的人體模型。該技術根據(jù)陀螺儀、磁力計和加速度計的數(shù)據(jù)來在數(shù)據(jù)庫中找到正確的匹配,最終確定姿勢和動作。不過從索尼的PSVR2和PSVR2 Sense控制器的規(guī)格來看,兩者仍然在采用三軸陀螺儀+三軸加速度計的六軸運動感知系統(tǒng)。

BMX160絕對方向傳感器 / 博世
當然了,目前更常見的是IMU和絕對方向傳感器這樣的高集成方案,比如博世的BMI270和BMX160。BMX絕對方向傳感器集成了一個3軸數(shù)字加速度計、16位數(shù)字陀螺儀和地磁傳感器,即便在三者同時運行時也只有1585μA的低功耗,非常適合作為AR/VR可穿戴設備的傳感器融合方案。
小結
傳感器其實本來就是針對特定工作而生的元件,如今在元宇宙概念為AR/VR煥發(fā)的第二春下,專為虛擬現(xiàn)實場景準備的傳感器也將迎來新一輪爆發(fā)式增長。考慮到還有蘋果、微軟和騰訊等大廠的入局,及時把握這一輪增長,AR/VR與傳感器廠商都能從中獲益。
圖像傳感器
索尼在前不久發(fā)布了PSVR2,并聲稱支持了注視點渲染技術。這種渲染技術專注于渲染人注視點范圍內(nèi)的場景,通過降低周邊視覺的成像質量來降低設備負載。畢竟VR/AR設備說到底還是移動設備,其功耗和性能都相對有限,但在這樣的定位下,VR/AR往往需要更高的幀數(shù)。況且與人眼一樣,我們其實無需對視覺死角內(nèi)的場景付出過多關注,所以注視點渲染技術減輕GPU負擔的方案正在席卷整個業(yè)界。
那么這一技術是如何實現(xiàn)的呢?答案就是眼動追蹤。眼動追蹤有多種實現(xiàn)手段,但對于VR/AR設備來說,該技術主要利用光源對眼鏡進行照射來產(chǎn)生反射,并使用圖像傳感器來采集光源在角膜和瞳孔上的反射,從而通過角度等參數(shù)來計算眼動的向量,最終判斷人的視線方向。

Tobii Eye Tracker 5 / Tobii
比如Tobii的眼動儀就采用了近紅外光源,并利用兩個圖像傳感器、先進的圖像處理算法和三維眼球模型來計算眼睛和視線的位置。而索尼的PSVR2也配備了兩個紅外攝像頭,分別完成兩個眼睛的眼動追蹤,另有四個攝像頭來完成控制器與頭顯的跟蹤。
眼動追蹤不僅可以用于注視點渲染,也為VR/AR創(chuàng)造了另一重數(shù)據(jù)輸入,這對于游戲或者視頻內(nèi)容的創(chuàng)作者來說,也就多了一重交互方式,方便他們用眼動數(shù)據(jù)來創(chuàng)造面部表情追蹤、注視反饋和視線鎖定目標等功能。
運動傳感器
為了進一步提升沉浸感,VR/AR設備中往往還加入了陀螺儀、磁力計和加速度計等運動傳感器,陀螺儀主要用于確定角度和姿勢輸入,而磁力計主要用磁場強度等參數(shù)來定位設備位置,而加速度計則顧名思義用來測量加速度。這些傳感器不僅分布在頭戴設備上,也集成在了控制器上。

運動傳感器完成姿勢識別 / 索尼
索尼在去年底公開了一份專利,其中就提到了如何用這些運動傳感器來完成人體姿勢的識別匹配。索尼稱目前許多定位方案需要攝像頭或激光之類的視覺追蹤,所以除了頭戴設備和控制器上的傳感器以外,還需要在使用區(qū)域內(nèi)部署額外的距離傳感器,且中間不能存在障礙物。

PSVR2 Sense控制器 / 索尼
而索尼的這項專利減少了追蹤設備的數(shù)量,僅使用頭顯和控制器上的運動傳感器就能重構真實的人體模型。該技術根據(jù)陀螺儀、磁力計和加速度計的數(shù)據(jù)來在數(shù)據(jù)庫中找到正確的匹配,最終確定姿勢和動作。不過從索尼的PSVR2和PSVR2 Sense控制器的規(guī)格來看,兩者仍然在采用三軸陀螺儀+三軸加速度計的六軸運動感知系統(tǒng)。

BMX160絕對方向傳感器 / 博世
當然了,目前更常見的是IMU和絕對方向傳感器這樣的高集成方案,比如博世的BMI270和BMX160。BMX絕對方向傳感器集成了一個3軸數(shù)字加速度計、16位數(shù)字陀螺儀和地磁傳感器,即便在三者同時運行時也只有1585μA的低功耗,非常適合作為AR/VR可穿戴設備的傳感器融合方案。
小結
傳感器其實本來就是針對特定工作而生的元件,如今在元宇宙概念為AR/VR煥發(fā)的第二春下,專為虛擬現(xiàn)實場景準備的傳感器也將迎來新一輪爆發(fā)式增長。考慮到還有蘋果、微軟和騰訊等大廠的入局,及時把握這一輪增長,AR/VR與傳感器廠商都能從中獲益。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
-
傳感器
+關注
關注
2576文章
55041瀏覽量
791298 -
vr
+關注
關注
34文章
9694瀏覽量
157233
發(fā)布評論請先 登錄
相關推薦
熱點推薦
onsemi AR0820AT:高性能8.3 MP CMOS圖像傳感器的卓越之選
在當今的電子科技領域,圖像傳感器對于汽車、機器人等多個行業(yè)的發(fā)展起著至關重要的作用。onsemi推出的AR0820AT CMOS圖像傳感器,以其出色的性能和豐富的功能,成為了眾多應用場景中的理想選擇。
ON Semiconductor AR0132AT:1/3 英寸 CMOS 數(shù)字圖像傳感器深度解析
在當今的電子設備領域,圖像傳感器的性能對于眾多應用的成功至關重要。ON Semiconductor 的 AR0132AT 作為一款 1/3 英寸 CMOS 數(shù)字圖像傳感器,憑借其卓越的特性和廣泛
AR0830圖像傳感器:低功耗高性能之選
在當今的電子設備中,圖像傳感器的性能和功耗是工程師們關注的重點。onsemi的AR0830圖像傳感器,作為Hyperlux LP產(chǎn)品家族的一員,憑借其出色的性能和低功耗特性,在眾多應用領域展現(xiàn)出了巨大的潛力。
onsemi AR0234CS:高性能全局快門CMOS圖像傳感器解析
在電子設備飛速發(fā)展的今天,圖像傳感器作為關鍵組件,其性能直接影響著設備的成像質量和應用范圍。onsemi的AR0234CS圖像傳感器憑借其卓越的性能和豐富的功能,在眾多領域展現(xiàn)出了強大的競爭力。
onsemi AR2020圖像傳感器:低功耗高性能的理想之選
在當今的圖像傳感領域,對高分辨率、低功耗且具備出色性能的傳感器需求愈發(fā)迫切。onsemi的AR2020圖像傳感器,作為Hyperlux LP產(chǎn)品家族的一員,憑借其先進的技術和卓越的特性
使用安森美圖像傳感器的AR與VR頭戴設備系統(tǒng)應用方案
增強現(xiàn)實(AR)與虛擬現(xiàn)實(VR)頭顯標志著人機交互領域的重大飛躍,其打造的沉浸式體驗遠超傳統(tǒng)屏幕交互模式。AR 頭顯通過同步定位與地圖構建(SLAM)、深度感知及計算機視覺等核心技術,將三維物體
onsemi AR0235CS圖像傳感器:工業(yè)視覺領域的新選擇
在電子工程領域,圖像傳感器是許多應用的核心組件,特別是在工業(yè)檢測、掃描等需要捕捉清晰圖像的場景中。今天我們要介紹的是安森美(onsemi)的一款高性能圖像傳感器——AR0235CS,它在設計和性能上都有諸多亮點,值得工程師們深入
onsemi AR0544:高性能5MP CMOS數(shù)字圖像傳感器的卓越之選
在當今的圖像傳感領域,高性能、低功耗的圖像傳感器需求日益增長。onsemi的AR0544數(shù)字圖像傳感器便是一款滿足這些需求的杰出產(chǎn)品。本文將深入剖析
onsemi AR0145CS Hyperlux? 圖像傳感器技術解析與應用指南
安森美 AR0145CS Hyperlux? SG圖像傳感器是1/4.3“ CMOS數(shù)字圖像傳感器,有源像素陣列為1280(H)x800(V)。安森美 AR0145CS采用創(chuàng)新型全局快
TDK推出新型TMR定制傳感器解決方案
TDK株式會社重磅推出新型TMR傳感器作為TDK廣泛一系列面向玩家及游戲設備廠商的定制傳感解決方案,賦予游戲鍵盤、手柄、鼠標、攝像頭、AR/VR設備、方向盤及踏板極致性能和非凡游戲體驗
如何在CYUSB2014和AR0144CS圖像傳感器之間建立通信?
我們正在嘗試在 CYUSB2014 和 AR0144CS 圖像傳感器之間建立通信。
我們不會使用 UVC 框架,因為設備的枚舉不應該在設備管理器的 Windows 攝像頭下進行。
因此我們考慮
發(fā)表于 05-19 08:28
如何將CYUSB2014與傳感器AR0144CS連接起來?
我們正在嘗試將 CYUSB2014 與傳感器 AR0144CS 連接起來。
我參考了AN65974來實現(xiàn)從屬fifo接口通信。
在這里,我的疑問是,由于它是一個傳感器接口,賽普拉斯 FX3 應該充當
發(fā)表于 05-19 06:11
TDK推出全新SmartMotion PositionSense傳感器
運動傳感器,作為監(jiān)測人與物體運動的核心元件,已成為現(xiàn)代生活中不可或缺的一部分,廣泛應用于智能手機、可穿戴設備、AR/VR耳機及導航系統(tǒng)等設備中。傳感器的應用場景持續(xù)擴展,幫助用戶在繁忙
CX3上的AR0245傳感器的探頭控制分辨率錯誤怎么解決?
你好。我正在開發(fā)一款使用 AR0234CS 傳感器和 CX3( CYUSB3065-BZXI )芯片的相機,并努力獲得正確的視頻流分辨率。
該傳感器能夠以 120 fps 提供 1920 x
發(fā)表于 05-12 07:02
晶體晶振在AR/VR設備中的作用
在 AR/VR 的奇妙世界里,每一次精彩呈現(xiàn)都離不開精準頻率的技術支撐。晶體晶振,作為 AR/VR 設備的核心元件,在其中默默發(fā)揮著無可替代的關鍵作用。
VR/AR吃下的傳感器紅利
評論