行人是路面上的高危群體，行人檢測成為安全駕駛領域的一個研究熱點。基于視覺的行人檢測過程分為個連續的步步驟：行人定位、行人識別和行人跟蹤。熱電堆和紅外傳感器是一種環境友好型的傳感器，是不需要照亮周圍環境，就可以被動地完成行人檢測任務。

過去的20年里,視覺傳感器在智能交通系統中變得越來越重要。一方面，從交通基礎設的角度來看，使用基于交通流監視器的視覺技術以及相關的控制策略，可以顯著提升現有交通數據收集和道路監控方法的效果。另一方面在視覺傳感器的幫助下,現代駕駛人輔助系統可以對危險情況和錯誤的駕駛行為提出預警，例如偏離車道，忽視交通標志等；如果駕駛人沒有做出反應，輔助系統甚至會做出自動控制車輛的舉動。現階段，基于駕駛安全系統的視覺技術已成為下一代交通工具的必要組成部分。

在過去的30年里,基于安全駕駛的視覺技術受到廣泛關注，產生了大量研究成果，前景廣闊。從功能上看，視覺傳感器分為兩類，監控車內環境的車內傳感器和監控車外環境的車外傳感器，如圖所示。

視內和視外智能視覺傳感器的劃分與功能

CMOS/CCD攝像頭是智能交通工具中應用最廣泛的視覺傳感器。正如許多文獻中提到的那樣,在響應速度、安裝、操作、維護，監控范圍等方面CMOS/CCD攝像頭優于其他許多傳感器。但是CMOS/CCD攝像頭只有在比較理想的工作環境下才有完美的表現。在實際場景下，樹木、云朵的陰影和微弱的光照條件等因素,都會導致難于獲取對比度較好的清斷圖像。

近期，作為攝像頭替代品的毫米波段雷達、激光和紅外傳感器得到了研究人員的積極嘗試。這些新型傳感器的優勢是受天氣、光照的干擾小。盡管CMOS/CCD攝像頭還難以被完全取代，但新型傳感器已經在大量應用場量中取代了傳統的攝像頭。

這些新型傳感器被看作是一般的視覺傳感器來進行討論，我們還將考慮不同視覺傳感器的信息融合問題。

智能車輛的基本視覺傳感器任務有以下幾點：

(1)車外視覺傳感器

1)提取車道邊界，特別是在車道邊界未被清楚地標明和惡劣天氣場景下。

2)檢測車輛行駛情況，估計它們的位置、速度和加速度。

3)識別相關的交通標志和交通信號燈。

4)測其他交通參與者、障礙，例如行人和大石塊。

(2)車內檢測傳感器

1)監測駕駛人的眼部動作情況，應用于疲勞檢測過程。

2)監測駕駛人的手部運動，完成假設行為學習。

3)監測駕駛人、乘客的姿勢和頭部位置，從面進行精準的氣囊保護。

為了了解該領域其他研究人員的成果，本章首先對該研究領域的成果進行了匯總。同時論述了相關的研究工作和存在的問題，并著重討論了以下兩個問題：

① 覺和非視覺傳感器的磁合；

② 視覺信息在車內、車間通信過程中的共享問題。

基于視覺信息進行行人識別的優勢

行人是路面上的高危群體。歐洲每年因交通事故受傷的行人超過15萬人，致死的超過6000人。美國交通事故中有12%及行人。中國在2004年有9217人因交通事故致死,其中三分之一是行人。為了解決這一問題，過去20年里，行人檢測成為安全駕駛領域的一個研究熱點。

研究人員Gavrila使用分類的思路來進行行人運動檢測，該方法基于兩個準則：限蹤空間的維度(二維或三維)和模型類型（例如空間信息的、統計的和基于板圖的）。盡管該方法在智能監控、虛擬現實、運動分析和其他應用中表度良好，但在運動車輛上，其對行人的檢測效果大打折扣。研究者Lombardi提出了一種新的分類方法。根據其處理過程是否包含兩個步驟，首先將這些方法分為三組：二步法、單步法和“盲”方法。

然后將這些方法分成檢測步和識別步驟。檢測步驟主要有光流法、背景差分法、閾值法和行人模板法。識別步驟主要有運動分析和利用興趣點的人體形狀分析法。然而，該分類方式并沒有考慮使用行人檢測方式完成跟蹤過程的方法。在下面的內容中，基于視覺的行人檢測過程分為個連續的步步驟：行人定位、行人識別和行人跟蹤。

使用CCD/CMOS攝像頭的行人檢測

1.行人定位

檢測步驟的目的是找到行人可能出現的區域，然后在這些區域中完成行人識別和跟蹤過程。與車輛檢測類似，該領域的三種主要方法是基于先驗知識的方法、基于立體視覺的方法和基于運動的方法。

許多方法使用了人體的形狀信息。這些方法一般不需要時間維度的信息，可以避免背景變化帶來的問題。另一方面，由于行人運動過程中身體形狀多變，會給這種方法帶來極大的計算量。例如，Curio等研究人員首先根據局部圖像熵值來獲取主動區域，然后進行形狀匹配。該方法使用Λ形狀來表示多變的腿部形狀信息。此外，它們使用逆透視映射來檢測短距離障礙物。最后,他們使用DAF( Dynamic Activation Field,DAF)策略來進行下一步的處理，如下圖所示。

左圖是使用熵信息、輪廓信息和三維信息來得到DAF，然后進行初次行人檢測的示例。右圖是行人行走模型的典型步態，a-l是行人行走過程的12個階段。

另一種行人潛在區域的檢測方式是使用立體圖的方法，例如，有研究者使用基于多變量的判別分析方法來提取三維物體的特征，最終得到區分行人和周圍物體的三個有效變量。還有的研究者使用兩個車載攝像頭成對圖像中的位置差別來計算得到主體車輛與某特征點的距離。同時,他們使用梯度方向光流法來檢測物體的運動情況。結合立體視覺方法和運動信息方法的優勢，他們提出了光流和深度約束法，該方法可以在多種情況下快速完成行人的檢測任務。

對于提取興趣區域而言，行人運動信息至關重要。基于運動信息的行人定位方法的一個優勢是可以檢測被其他行人部分遺擋的行人。然而，該方法需要分析多幀的信息，這大大增加了運行時間和計算量。同時，該方法不能檢測靜態的行人，所以該方法常常用于行人識別過程。

2.行人識別

確定行人可能出現的區域后，需要進行行人識別過程，從面去掉錯誤的區域。近剛的研究分為兩類：基于運動的方法和基于人體形狀的方法。第一類方法考慮了時間維度的信息，試圖檢測行人運動的周期性特征。第二類方法沒有用圖像序列中的特點，而是分析人體形狀信息。

運動模式，尤其是步態周期模式是區分行人和其他運動物體的一個重要信息。例如，有的研究者使用最大熵算法來研究行人運動所引發的圖像強度變化。他們利用運動過程分解得到的時間頻率和空間頻率信息，進行模型的匹配過程。也有研究者使用時頻分析和帶 Harming窗的短時傅里葉變換來得到行走周期的變化信息。還有研究者使用自適應時間延遲神經網絡算法從輸入的圖像序列中提取局部時空特征，跟使用全局特征的方法不同，該方法在低計算量、低存儲需求的情況下，可以取得更好的識別別效果。

基于人體形狀的識別方法不僅可以識別運動行人，也可以識別靜態行人。該類方法的主要困難是光照變化、衣服變化、姿態變化和遮擋情況下的行人識別間題。

據悉，研究者Gavrila使用模板來匹配行人，然后調整這些配區域,最后使用徑向基函數對這些區域進行分類。有研究者也使用了基于輪廓信息的四配方法。首先，基于拉普拉斯濾波來檢測邊沿，進面得到二值邊沿圖。然后，利用距離變換將邊沿圖轉換為DT圖。最后，使用DT圖跟模板進行匹配，小于特定閾值的被看作是真正的行人區域。為了減少計算量，有的研究者使用主動搜索法完成后續的圖像差分搜索計算過程。有的研究者還指出之前的方法所提取的運動信息主要是攝像頭的運動而非行人的運動，所以他們主要在靜態圖上完成行人識別過程，利用的是行人腿部的信息。有的研究者使用 Adaboost訓練算法將一組分類準準確率略高于50%的弱分類器整合成一個準確率接近100%的強分類器。有研究者提出單幀分類算法，將獲取的圖像分成許多子區域。然后在每個子區域上分別進行分類操作，得到局部的判別結果，最后使用特征向量分類器整合這些局部結果。研究者Bertozzi等人在基于人體形狀的方法中引入蟻群優化算法，得到行人存在的潛在區域。

許多單步法也使用了人體形狀信息。研究者Papagcorgiou等人使用小波模板定義了物體的形狀。小波模板包含了大量對應于不同小波子集不同尺度上的規則區域。不同區域間的關系可以用小波系數來表示和加以限制。雖然不同區域的強度會有較大變化，但其關系卻變化不大。 Elein等研究人使用基于小波的特征提取算法和模板匹配方式來檢測行人。他們對訓練圖像分塊后使用Haar小波變換提取相關特征，得到特征模板，然后將測試圖像的特征向量跟模板進行匹配，得到檢測結果。

3.行人跟蹤

行人跟蹤能夠有效評估行人的運動過程，同時預測可能的碰撞情況，從而成為現階段的一個研究熱點。跟蹤過程中會綜合使用位置、速度、形狀和圖像序列中的其他特征。卡爾曼濾波、 Condensation算法和動態貝葉斯網絡也被用到該任務中。

借助行人的線性形狀模型，研究者Philomin等人使用 Condensation器來完成目標的跟蹤任務，最終使用準蒙特卡洛方法將其轉化為高維問題， Gavrila等人使用特定的（α-β）跟蹤器來估計物體的狀態參數。跟蹤器本身是一個卡爾曼濾波器，其速度固定，帶有穩態增益。由于檢測過程已經成功解決了物體的形變問題，跟蹤器只需要完成定位任務。研究者Bertozzi等人使用卡爾曼濾波器來估計行人位置，計算行人運動，進而實現行人跟蹤。

使用紅外攝像頭的行人檢測

盡管大量研究人員使用視覺信息進行行人檢測，但該類方法在實際應用中仍然存在許多困難。例如室外場景的復雜多變，行人外形因為服飾、姿態和運動面變化多端。由于車輛處于運動狀態，背景場景的變化也不可避免。

為解決這些問題,近期的一些研究在智能車輛系統中使用了熱電堆和紅外傳感器。由于行人比周圍背景的溫度高，有研究人員使用熱電堆傳感器來探測視野中的物體。基于同樣的原理理，有研究者使用紅外傳感器進行行人檢測。可以從這些二推熱圖像中分析形態學特征和熱特征，進面找到行人。

熱電堆和紅外傳感器的優點是檢測過程簡便易行。檢測率高于傳傳統的基于視覺的方法。下圖形象地說明了利用紅外圖像從周圍環境檢出行人的過程。此外，基于紅外攝像頭的方法似乎是唯一可靠的夜間行人檢測方法

立體紅外攝像頭系統的預處理過程

a)最初的輸人圖 b)注意力焦點區域

熱電堆和紅外傳感器的另一個優點是不需要照亮周圍環境，就可以被動地完成行人檢測任務。因此，它們對環境不產生額外的干找,是一種環境友好型的傳感器。紅外攝像頭的唯一缺點是其成本較高，這限制了它的應用范圍。今后，如何使用低成本的車載紅外攝像頭完成行人檢測將成為一個熱點問題。