增強現實系統的主要任務是進行真實世界和虛擬物體的無縫融合，需要解決真實場景和虛擬物體的合成一致性問題。為了確保真實世界和虛擬對象的無縫融合，根據Ronald Azuma對增強現實技術的定義，在AR應用系統開發中必須要解決好三大關鍵問題和三項關鍵技術。

1. 增強現實應用系統開發三大關鍵問題

增強現實應用系統開發的三大關鍵問題是如何解決真實場景和虛擬物體在幾何、光照和時間方面的一致性問題。幾何一致性是解決虛擬對象和真實場景在空間中的一致性，是最基本的要求；光照一致性是虛實融合場景真實感繪制的要求；時間一致性是實現實時交互的要求。在三大問題中，幾何一致性和時間一致性是研究光照一致性的前提，因為只有高效、實時恢復場景的幾何表示，才能進行精確的光照恢復，才能夠得到具有強烈真實感的融合效果。

2. 增強現實應用系統開發的三大關鍵技術

根據Ronald Azuma提出的增強現實的定義，增強現實應用系統開發的三大關鍵技術可總結為三維注冊技術、虛實融合顯示技術以及人機交互技術。為了解決好增強現實應用系統開發中面臨的三大關鍵問題，必須解決好三大關鍵技術。

（1）三維注冊技術

三維注冊技術是實現移動增強現實應用的基礎技術，也是決定移動增強現實應用系統性能優劣的關鍵，因此三維注冊技術一直是移動增強現實系統研究的重點和難點。其主要完成的任務是實時檢測出攝像頭相對于真實場景的位姿狀態，確定所需要疊加的虛擬信息在投影平面中的位置，并將這些虛擬信息實時顯示在屏幕中的正確位置，完成三維注冊。

注冊技術的性能判斷主要有三個標準：實時性、穩定性和魯棒性。

目前基于移動終端的移動增強現實系統的研究中主要采用以下幾種注冊方式：基于計算機視覺、基于硬件傳感器的以及混合注冊方法，如圖所示：

圖：移動增強現實三維注冊技術分類

基于計算機視覺的注冊算法：主要是指利用計算機視覺獲取真實場景的信息后，經過圖像處理方面的知識來識別和跟蹤定位真實場景的過程。基于計算機視覺的注冊算法又分為基于傳統標志的注冊算法和基于自然特征點無標志注冊算法。

基于硬件傳感器的注冊算法：傳統增強現實系統的硬件傳感器跟蹤技術主要包括慣性導航系統、全球定位系統（GPS）、電磁、光學或超聲波位置跟蹤器等。其中慣性導航系統的主要問題是被跟蹤物體的角度及位置的跟蹤誤差會隨時間增長而不斷增大，漂移較大，設備的體積重量也較大；GPS定位誤差較大，在室內、峽谷或其他復雜地形的情況下GPS信號經常無法正常接收；電磁、光學或超聲波位置跟蹤器采用發射和接收的工作方式來進行跟蹤，使用場合固定，范圍有限。

而在維修誘導、教育培訓等應用領域，匹配精度要求比較高，較大的注冊誤差將破壞用戶對周圍環境的正確感知，改變用戶在真實環境中動作的協調性。因此要實現精確的增強現實三維注冊，必須要有高精度的跟蹤設備。移動終端上一般常用的硬件傳感器有陀螺儀、速度傳感器、磁場傳感器、方向傳感器等。這種注冊方法容易受到環境的干擾，注冊不精確。

混合注冊方法：Dularch和Mavor曾得出結論，由于系統的不精確性和系統延時方面的限制，目前單一的跟蹤技術不可能很好的解決增強現實應用系統的方位跟蹤問題。因此采用混合跟蹤的方法對增強現實系統進行跟蹤注冊也是國內外著名大學和科研機構人員研究的方向。混合跟蹤注冊算法主要是為了達到更加精確的注冊結果，將基于計算機視覺的注冊算法與基于硬件傳感器的注冊算法相結合。

（2） 虛實融合顯示技術

目前，增強現實系統實現虛實融合顯示的主要設備一般分為：頭盔顯示式、手持顯示式以及投影顯示式等。

頭盔顯示式被廣泛應用于增強現實系統中，用于增強用戶的沉浸感。按照實現原理大致分為光學透視式和視頻透視式兩類，分別如圖所示。光學透視式增強現實系統具有簡單、分辨率高、沒有視覺偏差等優點，但它同時也存在著定位精度要求高、延遲匹配難、視野相對較窄和價格高等缺陷。視頻透視式增強現實系統采用的基于視頻合成技術的穿透式HMD(Video See-through HMD)，利用攝像機采集到的真實環境的視頻信息與計算機生成的三維虛擬信息相融合，從而加強用戶對真實世界數據信息的認知能力。

圖：頭盔顯示器分類

手持顯示式一般多指手機、PDA、平板電腦等移動終端設備的顯示器，他們具有較高的便攜性的優點，可以隨時隨地使用，而且手持式顯示設備具有可觸控的特點，便于進行人機交互的設計。

投影式顯示是將生成的虛擬對象信息直接投影到需要融合的真實場景中的一種增強顯示技術。投影式顯示能夠將圖像投影到大范圍場景中，但是投影設備體積龐大，比較容易受到光照變化影響，適合于室內場景使用，但不適合室外大場景。

虛實融合場景顯示研究的主要問題有兩個方面：

一是如何完成真實場景和虛擬對象信息的融合疊加，

二是如何解決融合過程中虛擬對象信息延遲的現象。

對于光學透視式頭盔顯示器，用戶可以實時地看到周圍真實環境中的情景，而對真實場景進行增強的虛擬對象信息要經過一系列的系統延時后才能顯示到頭盔顯示器上。當用戶的頭部或周圍景象、物體發生變化時，系統延時會使增強信息在真實環境中發生“漂移”現象。而采用視頻透視式顯示方式的話可以在一定程度上解決這樣的問題。開發人員可以通過程序來控制視頻顯示和虛擬對象信息的顯示頻率，可以達到實時性的需求并且緩解甚至杜絕“漂移”的現象。本文研究的是基于移動終端的增強現實技術， 某種程度上跟視頻透視式類似，但是手持式顯示能看到的場景更加廣闊，只是沉浸感不如視頻透視式頭盔顯示強烈。

（3） 自然人機交互技術

增強現實系統交互技術是指將用戶的交互操作輸入到計算機后，經過處理將交互的結果通過顯示設備顯示輸出的過程。

目前增強現實系統中的交互方式主要有三大類：外接設備、特定標志以及徒手交互。

外接設備：如鼠標鍵盤，數據手套等。傳統的基于PC機的增強現實系統習慣采用鍵盤鼠標進行交互。這種交互方式精度高、成本低，但是沉浸感較差。另外一種是借助數據手套、力反饋設備、磁傳感器等設備進行交互，這種方式精度高，沉浸感較強，但是成本也相對較高。隨著可穿戴增強現實系統的發展，語音輸入裝置也成為增強現實系統的交互方式之一，而且在未來具有很大的發展前景，例如Google Glass。

特定標志：標志可以通過事先進行設計。通過比較先進的注冊算法，可以使標志具有特殊的含義，當用戶看到標志之后就知道該標志的含義。因此基于特定標志進行交互能夠使用戶清楚明白操作步驟，降低學習成本。這種方式沉浸感要稍高于傳統外接設備。

徒手式交互：一種是基于計算視覺的自然手勢交互方式，需要借助復雜的人手識別算法。首先在復雜的背景中把人手提取出來，再對人手的運動軌跡進行跟蹤定位，最后根據手勢狀態、人手當前的位置和運動軌跡等信息估算出操作者的意圖并將其正確映射到相應的輸入事件中。這種交互方式沉浸感最強，成本低，但算法復雜，精度不高，容易受光照等條件的影響。另外一種主要是針對移動終端設備。現如今移動終端的顯示設備都具有可觸碰的功能，甚至可支持多點觸控。因此可以通過觸碰屏幕來進行交互。目前幾乎所有的移動應用都采用這種交互方式。