電子發(fā)燒友網綜合報道,在混合現實(MR)設備的交互體驗中,注視追蹤(Gaze Tracking)不僅是提升沉浸感的核心技術之一,更是實現自然人機交互、優(yōu)化渲染效率與節(jié)能控制的重要基礎。近期蘋果公司公布了一項關于注視追蹤技術的重大專利,該技術能夠結合直接眼球視圖與特殊透鏡捕捉的反射圖像。
雙視圖融合:突破傳統(tǒng)眼動追蹤局限
當前Apple Vision Pro所采用的注視追蹤系統(tǒng)主要依賴于直接成像——即通過紅外攝像頭捕捉用戶瞳孔與角膜的反射點來推算視線方向。然而,這一方法在實際使用中仍面臨諸多挑戰(zhàn):例如用戶佩戴角度偏移、鏡片遮擋、強光干擾或快速眼動造成的圖像模糊等問題,都會顯著影響追蹤精度。
蘋果新專利提出了一種“雙視圖”方案:在保留直接眼球成像的同時,引入通過特殊光學鏡片反射形成的眼部圖像作為輔助數據源。具體而言,當紅外光源照射用戶眼睛時,系統(tǒng)不僅捕獲眼球表面的直接影像,還同步獲取其在鏡片上的反射圖像。這種復合圖像可在單幀內呈現眼球的多角度視圖,從而有效增強微光信號的可見度,并擴展有效追蹤視野。
該設計巧妙地利用了平面與曲面反射鏡片對紅外光的選擇性反射特性,在不增加額外攝像頭的前提下,實現了更全面的眼部信息采集。這不僅有助于解決因頭部姿態(tài)變化或佩戴偏移導致的部分眼部區(qū)域被遮擋的問題,也顯著提升了系統(tǒng)在復雜光照環(huán)境下的魯棒性。
除了硬件層面的創(chuàng)新,該專利還引入了多項先進圖像處理與建模技術。例如,采用連拍成像技術以減少快速眼動帶來的運動模糊;運用光度立體法構建高保真的虹膜-瞳孔-角膜三維幾何模型。這些技術共同作用,使得系統(tǒng)能夠更精確地解析眼球細微運動,進而實現更精準的注視點定位。
從Vision Pro到XR眼鏡
值得注意的是,盡管專利圖示更貼近頭顯形態(tài),但其說明文本明確指出:“該系統(tǒng)可集成于眼鏡式頭戴顯示設備”,并詳細描述了“類似傳統(tǒng)眼鏡的框架結構與雙透明鏡片設計”。這意味著,這項注視追蹤技術并非僅服務于高端頭顯,也是蘋果面向未來輕量化XR眼鏡產品的重要技術儲備。
隨著蘋果計劃在后續(xù)推出更便攜的MR眼鏡設備,如何在有限空間內實現高性能眼動追蹤成為關鍵難題。而此次專利所展示的“單攝像頭+反射鏡片”方案,恰好在精度、體積之間取得了平衡,為未來消費級XR眼鏡的落地提供了可行路徑。
除了眼動追蹤技術,蘋果圍繞三維交互、虛擬化身、自動測量、呼吸追蹤等交互維度的專利布局,例如一項名為“使用混合傳感器方法進行控制器接合檢測”的專利中顯示,蘋果融合圖像識別、接近傳感器與運動傳感器,智能判斷用戶是否握持控制器,實現輸入模式自動切換;此外,一項名為“有選擇地使用傳感器獲取上下文數據”的專利提出根據語音語義分析結果動態(tài)啟用攝像頭等傳感器,以獲取上下文信息輔助任務執(zhí)行。
可以看出,蘋果正系統(tǒng)性構建一個以高精度感知、自然交互與沉浸內容為核心的MR生態(tài)體系,構建下一代空間計算平臺的關鍵拼圖。可以期待,蘋果在MR領域的技術積累正逐步轉化為產品競爭力。

雙視圖融合:突破傳統(tǒng)眼動追蹤局限
當前Apple Vision Pro所采用的注視追蹤系統(tǒng)主要依賴于直接成像——即通過紅外攝像頭捕捉用戶瞳孔與角膜的反射點來推算視線方向。然而,這一方法在實際使用中仍面臨諸多挑戰(zhàn):例如用戶佩戴角度偏移、鏡片遮擋、強光干擾或快速眼動造成的圖像模糊等問題,都會顯著影響追蹤精度。
蘋果新專利提出了一種“雙視圖”方案:在保留直接眼球成像的同時,引入通過特殊光學鏡片反射形成的眼部圖像作為輔助數據源。具體而言,當紅外光源照射用戶眼睛時,系統(tǒng)不僅捕獲眼球表面的直接影像,還同步獲取其在鏡片上的反射圖像。這種復合圖像可在單幀內呈現眼球的多角度視圖,從而有效增強微光信號的可見度,并擴展有效追蹤視野。
該設計巧妙地利用了平面與曲面反射鏡片對紅外光的選擇性反射特性,在不增加額外攝像頭的前提下,實現了更全面的眼部信息采集。這不僅有助于解決因頭部姿態(tài)變化或佩戴偏移導致的部分眼部區(qū)域被遮擋的問題,也顯著提升了系統(tǒng)在復雜光照環(huán)境下的魯棒性。
除了硬件層面的創(chuàng)新,該專利還引入了多項先進圖像處理與建模技術。例如,采用連拍成像技術以減少快速眼動帶來的運動模糊;運用光度立體法構建高保真的虹膜-瞳孔-角膜三維幾何模型。這些技術共同作用,使得系統(tǒng)能夠更精確地解析眼球細微運動,進而實現更精準的注視點定位。

從Vision Pro到XR眼鏡
值得注意的是,盡管專利圖示更貼近頭顯形態(tài),但其說明文本明確指出:“該系統(tǒng)可集成于眼鏡式頭戴顯示設備”,并詳細描述了“類似傳統(tǒng)眼鏡的框架結構與雙透明鏡片設計”。這意味著,這項注視追蹤技術并非僅服務于高端頭顯,也是蘋果面向未來輕量化XR眼鏡產品的重要技術儲備。
隨著蘋果計劃在后續(xù)推出更便攜的MR眼鏡設備,如何在有限空間內實現高性能眼動追蹤成為關鍵難題。而此次專利所展示的“單攝像頭+反射鏡片”方案,恰好在精度、體積之間取得了平衡,為未來消費級XR眼鏡的落地提供了可行路徑。
除了眼動追蹤技術,蘋果圍繞三維交互、虛擬化身、自動測量、呼吸追蹤等交互維度的專利布局,例如一項名為“使用混合傳感器方法進行控制器接合檢測”的專利中顯示,蘋果融合圖像識別、接近傳感器與運動傳感器,智能判斷用戶是否握持控制器,實現輸入模式自動切換;此外,一項名為“有選擇地使用傳感器獲取上下文數據”的專利提出根據語音語義分析結果動態(tài)啟用攝像頭等傳感器,以獲取上下文信息輔助任務執(zhí)行。
可以看出,蘋果正系統(tǒng)性構建一個以高精度感知、自然交互與沉浸內容為核心的MR生態(tài)體系,構建下一代空間計算平臺的關鍵拼圖。可以期待,蘋果在MR領域的技術積累正逐步轉化為產品競爭力。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
發(fā)布評論請先 登錄
相關推薦
熱點推薦
M0系列高性價比芯片,96M主頻+48M SPI玩轉超輕量級GUI設計
實用外設。 一、核心芯片性能 開發(fā)板核心為武漢芯源CW32L012C8T6芯片,最高主頻可達96M,配備8K RAM與64K FLASH,能滿足多數輕量級嵌入式項目的運算與存儲需求。芯片外設覆蓋傳統(tǒng)常用類型
NXP 產品包裝革新:輕量級卷軸的引入
NXP 產品包裝革新:輕量級卷軸的引入 一、通知概述 NXP 在 2014 年 3 月 30 日發(fā)布了編號為 201403006I 的客戶信息通知,該通知于 2014 年 4 月 30 日生效
NVIDIA RTX加速的計算機現可直接連接到Apple Vision Pro
Innoactive XR 流媒體解決方案的 Immersive for Autodesk VRED,傳輸至 Apple Vision Pro。
谷歌XR生態(tài)加速落地:Galaxy XR上線月入60+應用,Project Aura明年發(fā)售
了其在XR領域的最新進展,包括Galaxy XR功能的更新、Project Aura的更新、AI智能眼鏡的更新,以及為開發(fā)者帶來的Android X
三星出擊!首款XR頭顯Galaxy XR登場,AI智能眼鏡蓄勢待發(fā)
表示,今天標志我們承諾的XR和AI十年的開始。 ? 16GB+驍龍XR2+ Gen 2!4.3K Micro-OLED Galaxy XR具備三大技術特點:一是以AI
【CW32】uart_obj_fw 輕量級串口框架
輕量級跨平臺串口通信框架,專為資源受限的嵌入式設備設計。單個對象RAM占用最小68字節(jié)左右(不算緩沖區(qū)),ROM占用1-2k字節(jié)左右,功能支持裁剪,資源占用小并不代表低性能,該庫參考了freeRTOS
vivo MR也來了!中國XR賽道的“Vision時刻”,輕量化+AI成破局利刃
? 電子發(fā)燒友網報道(文/莫婷婷)今年,盡管AR市場增速超過VR市場,VR頭顯市場也并非毫無進展,市場創(chuàng)新依舊。特別是備受關注的蘋果?Vision Pro即將升級2代產品,業(yè)內對于該產品是否會升
谷東智能如何攻克AI+AR眼鏡產業(yè)痛點
自蘋果公司發(fā)布Vision Pro后,有關蘋果公司正大力投資研發(fā) AI+AR 眼鏡的消息過去 1 年中不斷傳出,海外知名記者馬克?古爾曼指出
靈犀微光推動AR眼鏡在文旅場景中的落地
Meta即將發(fā)布的高端智能眼鏡Hypernova,再次把輕量級AR眼鏡推向了公眾視野。據公開信息,Meta此次重點押注“陣列光波導”技術方案。
小米AI眼鏡×商湯日日新 商湯“日日新”大模型交互平臺「商量」已探索性接入小米AI眼鏡
程度:據國內XR Vision報道,小米AI眼鏡首銷3天銷量或已接近5萬副,創(chuàng)下了中國AI眼鏡最快銷售紀錄。 作為小米長期生態(tài)合作伙伴,商湯“日日新”大模型交互平臺「商量」已探索性接入
基于米爾瑞芯微RK3576開發(fā)板部署運行TinyMaix:超輕量級推理框架
本文將介紹基于米爾電子MYD-LR3576開發(fā)平臺部署超輕量級推理框架方案:TinyMaix
摘自優(yōu)秀創(chuàng)作者-短笛君
TinyMaix 是面向單片機的超輕量級的神經網絡推理庫,即 TinyML
發(fā)表于 07-25 16:35
如何在RK3576開發(fā)板上運行TinyMaix :超輕量級推理框架--基于米爾MYD-LR3576開發(fā)板
本文將介紹基于米爾電子MYD-LR3576開發(fā)平臺部署超輕量級推理框架方案:TinyMaix摘自優(yōu)秀創(chuàng)作者-短笛君TinyMaix是面向單片機的超輕量級的神經網絡推理庫,即TinyML推理庫,可以
蘋果發(fā)布的主動散熱專利,或將開啟移動電影攝影的未來
開始拼合——它們共同指向一款為嚴肅電影創(chuàng)作者打造的iPhone。▌蘋果的主動散熱專利:一顆前所未有的電影級傳感器6月25日,YMCinema獨家報道了
輕量級≠低效能:RK3506J核心板如何用性價比感動用戶?
瑞芯微 RK3506J憑借多核異構架構設計與國產化供應鏈整合,以輕量級硬件資源實現工業(yè)級性能輸出,重新定義了控制芯片的性價比邊界,為工業(yè)控制芯片領域帶來了全新的解決方案與發(fā)展方向。
【awinic inside】艾為芯 + 全彩刻蝕光波導!雷鳥AI眼鏡 X3 Pro震撼上市
近日,雷鳥創(chuàng)新發(fā)布雷鳥AI眼鏡X3pro,該眼鏡是全彩刻蝕光波導AR眼鏡。雷鳥X3Pro突破芯片、交互、空間計算、重量與光學顯示五大核心技術
Vision Pro只是開始?蘋果新專利為輕量級XR眼鏡鋪平道路
評論