增強現(xiàn)實系統(tǒng)的主要任務是進行真實世界和虛擬物體的無縫融合，需要解決真實場景和虛擬物體的合成一致性問題。為了確保真實世界和虛擬對象的無縫融合，根據(jù)Ronald Azuma對增強現(xiàn)實技術的定義，在AR應用系統(tǒng)開發(fā)中必須要解決好三大關鍵問題和三項關鍵技術。

1. 增強現(xiàn)實應用系統(tǒng)開發(fā)三大關鍵問題

增強現(xiàn)實應用系統(tǒng)開發(fā)的三大關鍵問題是如何解決真實場景和虛擬物體在幾何、光照和時間方面的一致性問題。幾何一致性是解決虛擬對象和真實場景在空間中的一致性，是最基本的要求；光照一致性是虛實融合場景真實感繪制的要求；時間一致性是實現(xiàn)實時交互的要求。在三大問題中，幾何一致性和時間一致性是研究光照一致性的前提，因為只有高效、實時恢復場景的幾何表示，才能進行精確的光照恢復，才能夠得到具有強烈真實感的融合效果。

2. 增強現(xiàn)實應用系統(tǒng)開發(fā)的三大關鍵技術

根據(jù)Ronald Azuma提出的增強現(xiàn)實的定義，增強現(xiàn)實應用系統(tǒng)開發(fā)的三大關鍵技術可總結(jié)為三維注冊技術、虛實融合顯示技術以及人機交互技術。為了解決好增強現(xiàn)實應用系統(tǒng)開發(fā)中面臨的三大關鍵問題，必須解決好三大關鍵技術。

（1）三維注冊技術

三維注冊技術是實現(xiàn)移動增強現(xiàn)實應用的基礎技術，也是決定移動增強現(xiàn)實應用系統(tǒng)性能優(yōu)劣的關鍵，因此三維注冊技術一直是移動增強現(xiàn)實系統(tǒng)研究的重點和難點。其主要完成的任務是實時檢測出攝像頭相對于真實場景的位姿狀態(tài)，確定所需要疊加的虛擬信息在投影平面中的位置，并將這些虛擬信息實時顯示在屏幕中的正確位置，完成三維注冊。

注冊技術的性能判斷主要有三個標準：實時性、穩(wěn)定性和魯棒性。

目前基于移動終端的移動增強現(xiàn)實系統(tǒng)的研究中主要采用以下幾種注冊方式：基于計算機視覺、基于硬件傳感器的以及混合注冊方法，如圖所示：

圖：移動增強現(xiàn)實三維注冊技術分類

基于計算機視覺的注冊算法：主要是指利用計算機視覺獲取真實場景的信息后，經(jīng)過圖像處理方面的知識來識別和跟蹤定位真實場景的過程。基于計算機視覺的注冊算法又分為基于傳統(tǒng)標志的注冊算法和基于自然特征點無標志注冊算法。

基于硬件傳感器的注冊算法：傳統(tǒng)增強現(xiàn)實系統(tǒng)的硬件傳感器跟蹤技術主要包括慣性導航系統(tǒng)、全球定位系統(tǒng)（GPS）、電磁、光學或超聲波位置跟蹤器等。其中慣性導航系統(tǒng)的主要問題是被跟蹤物體的角度及位置的跟蹤誤差會隨時間增長而不斷增大，漂移較大，設備的體積重量也較大；GPS定位誤差較大，在室內(nèi)、峽谷或其他復雜地形的情況下GPS信號經(jīng)常無法正常接收；電磁、光學或超聲波位置跟蹤器采用發(fā)射和接收的工作方式來進行跟蹤，使用場合固定，范圍有限。

而在維修誘導、教育培訓等應用領域，匹配精度要求比較高，較大的注冊誤差將破壞用戶對周圍環(huán)境的正確感知，改變用戶在真實環(huán)境中動作的協(xié)調(diào)性。因此要實現(xiàn)精確的增強現(xiàn)實三維注冊，必須要有高精度的跟蹤設備。移動終端上一般常用的硬件傳感器有陀螺儀、速度傳感器、磁場傳感器、方向傳感器等。這種注冊方法容易受到環(huán)境的干擾，注冊不精確。

混合注冊方法：Dularch和Mavor曾得出結(jié)論，由于系統(tǒng)的不精確性和系統(tǒng)延時方面的限制，目前單一的跟蹤技術不可能很好的解決增強現(xiàn)實應用系統(tǒng)的方位跟蹤問題。因此采用混合跟蹤的方法對增強現(xiàn)實系統(tǒng)進行跟蹤注冊也是國內(nèi)外著名大學和科研機構(gòu)人員研究的方向。混合跟蹤注冊算法主要是為了達到更加精確的注冊結(jié)果，將基于計算機視覺的注冊算法與基于硬件傳感器的注冊算法相結(jié)合。

（2） 虛實融合顯示技術

目前，增強現(xiàn)實系統(tǒng)實現(xiàn)虛實融合顯示的主要設備一般分為：頭盔顯示式、手持顯示式以及投影顯示式等。

頭盔顯示式被廣泛應用于增強現(xiàn)實系統(tǒng)中，用于增強用戶的沉浸感。按照實現(xiàn)原理大致分為光學透視式和視頻透視式兩類，分別如圖所示。光學透視式增強現(xiàn)實系統(tǒng)具有簡單、分辨率高、沒有視覺偏差等優(yōu)點，但它同時也存在著定位精度要求高、延遲匹配難、視野相對較窄和價格高等缺陷。視頻透視式增強現(xiàn)實系統(tǒng)采用的基于視頻合成技術的穿透式HMD(Video See-through HMD)，利用攝像機采集到的真實環(huán)境的視頻信息與計算機生成的三維虛擬信息相融合，從而加強用戶對真實世界數(shù)據(jù)信息的認知能力。

圖：頭盔顯示器分類

手持顯示式一般多指手機、PDA、平板電腦等移動終端設備的顯示器，他們具有較高的便攜性的優(yōu)點，可以隨時隨地使用，而且手持式顯示設備具有可觸控的特點，便于進行人機交互的設計。

投影式顯示是將生成的虛擬對象信息直接投影到需要融合的真實場景中的一種增強顯示技術。投影式顯示能夠?qū)D像投影到大范圍場景中，但是投影設備體積龐大，比較容易受到光照變化影響，適合于室內(nèi)場景使用，但不適合室外大場景。

虛實融合場景顯示研究的主要問題有兩個方面：

一是如何完成真實場景和虛擬對象信息的融合疊加，

二是如何解決融合過程中虛擬對象信息延遲的現(xiàn)象。

對于光學透視式頭盔顯示器，用戶可以實時地看到周圍真實環(huán)境中的情景，而對真實場景進行增強的虛擬對象信息要經(jīng)過一系列的系統(tǒng)延時后才能顯示到頭盔顯示器上。當用戶的頭部或周圍景象、物體發(fā)生變化時，系統(tǒng)延時會使增強信息在真實環(huán)境中發(fā)生“漂移”現(xiàn)象。而采用視頻透視式顯示方式的話可以在一定程度上解決這樣的問題。開發(fā)人員可以通過程序來控制視頻顯示和虛擬對象信息的顯示頻率，可以達到實時性的需求并且緩解甚至杜絕“漂移”的現(xiàn)象。本文研究的是基于移動終端的增強現(xiàn)實技術， 某種程度上跟視頻透視式類似，但是手持式顯示能看到的場景更加廣闊，只是沉浸感不如視頻透視式頭盔顯示強烈。

（3） 自然人機交互技術

增強現(xiàn)實系統(tǒng)交互技術是指將用戶的交互操作輸入到計算機后，經(jīng)過處理將交互的結(jié)果通過顯示設備顯示輸出的過程。

目前增強現(xiàn)實系統(tǒng)中的交互方式主要有三大類：外接設備、特定標志以及徒手交互。

外接設備：如鼠標鍵盤，數(shù)據(jù)手套等。傳統(tǒng)的基于PC機的增強現(xiàn)實系統(tǒng)習慣采用鍵盤鼠標進行交互。這種交互方式精度高、成本低，但是沉浸感較差。另外一種是借助數(shù)據(jù)手套、力反饋設備、磁傳感器等設備進行交互，這種方式精度高，沉浸感較強，但是成本也相對較高。隨著可穿戴增強現(xiàn)實系統(tǒng)的發(fā)展，語音輸入裝置也成為增強現(xiàn)實系統(tǒng)的交互方式之一，而且在未來具有很大的發(fā)展前景，例如Google Glass。

特定標志：標志可以通過事先進行設計。通過比較先進的注冊算法，可以使標志具有特殊的含義，當用戶看到標志之后就知道該標志的含義。因此基于特定標志進行交互能夠使用戶清楚明白操作步驟，降低學習成本。這種方式沉浸感要稍高于傳統(tǒng)外接設備。

徒手式交互：一種是基于計算視覺的自然手勢交互方式，需要借助復雜的人手識別算法。首先在復雜的背景中把人手提取出來，再對人手的運動軌跡進行跟蹤定位，最后根據(jù)手勢狀態(tài)、人手當前的位置和運動軌跡等信息估算出操作者的意圖并將其正確映射到相應的輸入事件中。這種交互方式沉浸感最強，成本低，但算法復雜，精度不高，容易受光照等條件的影響。另外一種主要是針對移動終端設備。現(xiàn)如今移動終端的顯示設備都具有可觸碰的功能，甚至可支持多點觸控。因此可以通過觸碰屏幕來進行交互。目前幾乎所有的移動應用都采用這種交互方式。