1、在檢測到人臉并定位面部關(guān)鍵特征點(diǎn)之后，主要的人臉區(qū)域就可以被裁剪出來，經(jīng)過預(yù)處理之后，饋入后端的識別算法。識別算法要完成人臉特征的提取，并與庫存的已知人臉進(jìn)行比對，完成最終的分類。我們在這方面的主要工作包括：

　　· 基于LGBP的人臉識別方法

　　問題：

　　統(tǒng)計學(xué)習(xí)目前已經(jīng)成為人臉識別領(lǐng)域的主流方法，但實(shí)踐表明，基于統(tǒng)計學(xué)習(xí)的方法往往會存在“推廣能力弱”的問題，尤其在待識別圖像“屬性”未知的情況下，更難以確定采用什么樣的訓(xùn)練圖像來訓(xùn)練人臉模型。鑒于此，在對統(tǒng)計學(xué)習(xí)方法進(jìn)行研究的同時，我們還考慮了非統(tǒng)計模式識別的一類方法。

　　思路：

　　對于給定的人臉圖像，LGBP方法首先將其與多個不同尺度和方向的Gabor濾波器卷積（卷積結(jié)果稱為Gabor特征圖譜）獲得多分辨率的變換圖像。然后將每個Gabor特征圖譜劃分成若干互不相交的局部空間區(qū)域，對每個區(qū)域提取局部鄰域像素的亮度變化模式，并在每個局部空間區(qū)域內(nèi)提取這些變化模式的空間區(qū)域直方圖，所有Gabor特征圖譜的、所有區(qū)域的直方圖串接為一高維特征直方圖來編碼人臉圖像。并通過直方圖之間的相似度匹配技術(shù)（如直方圖交運(yùn)算）來實(shí)現(xiàn)最終的人臉識別。在FERET四個人臉圖像測試集合上與FERET97的結(jié)果對比情況見下表。由此可見，該方法具有良好的識別性能。而且LGBP方法具有計算速度快、無需大樣本學(xué)習(xí)、推廣能力強(qiáng)的優(yōu)點(diǎn)。

表.LGBP方法與FERET'97最佳結(jié)果的對比情況

　　· 基于AdaBoost的Gabor特征選擇及判別分析方法

　　問題：

　　人臉描述是人臉識別的核心問題之一，人臉識別的研究實(shí)踐表明：在人臉三維形狀信息難以準(zhǔn)確獲取的條件下，從圖像數(shù)據(jù)中提取多方向、多尺度的Gabor特征是一種合適的選擇。使用Gabor特征進(jìn)行人臉識別的典型方法包括彈性圖匹配方法（EGM）和Gabor特征判別分類法（GFC）。EGM在實(shí)用中需要解決關(guān)鍵特征點(diǎn)的定位問題，而且其速度也很難提高；而GFC則直接對下采樣的Gabor特征用PCA降維并進(jìn)行判別分析，盡管這避免了精確定位關(guān)鍵特征點(diǎn)的難題，但下采樣的特征維數(shù)仍然偏高，而且簡單的下采樣策略很可能遺漏了非常多的有用特征。

　　摘要：

　　針對上述問題，我們考慮如何對Gabor特征進(jìn)行有效降維，將目前受到極大關(guān)注的AdaBoost算法創(chuàng)新性的應(yīng)用于Gabor特征的選擇上來，用于提取對識別最有利的特征（我們稱這些選擇出來的Gabor特征為AdaGabor特征），并最終通過對AdaGabor特征的判別分析實(shí)現(xiàn)識別（稱該方法為AGFC識別方法）。在CAS-PEAL和FERET人臉圖像庫上的對比實(shí)驗表明：AGFC方法不但可以大大降低Gabor特征的維數(shù)從而可以更加有效地避免“維數(shù)災(zāi)難問題”，降低了計算復(fù)雜度，同時識別精度也有了較大的提高。將AGFC與EGM，GFC進(jìn)一步比較可以看出：無論是EGM還是GFC，均是主觀的選擇若干面部關(guān)鍵特征點(diǎn)提取人臉的特征表示，而我們提出的AGFC方法則是通過機(jī)器學(xué)習(xí)的方法自動的選擇那些對區(qū)分不同人臉具有關(guān)鍵作用的Gabor特征。參見下圖所示三者之間的區(qū)別與聯(lián)系。

　　三種不同的人臉建模方法比較示意圖

　　· 基于SV的Kernel判別分析方法sv-KFD

　　摘要：

　　支持向量機(jī)（SVM）和Kernel Fisher分析是利用kernel方法解決線性不可分問題的兩種不同途徑，我們將二者進(jìn)行了有機(jī)結(jié)合。我們首先證明了SVM最優(yōu)分類面的法向量在基于支持向量的類內(nèi)散度矩陣的前提下具有零空間性質(zhì)，基于此定義了核化的決策邊界特征矩陣（Kernelized Decision Boundary Feature Matrix，簡寫為KDBFM），最后利用基于零空間的Kernel Fisher方法計算投影空間。我們還進(jìn)一步提出了融合類均值向量差及KDBFM來構(gòu)建擴(kuò)展的決策邊界特征矩陣（EKDBFM）的方法，并把這兩種方法成功地應(yīng)用到了人臉識別領(lǐng)域，在FERET和CAS-PEAL數(shù)據(jù)庫的實(shí)驗結(jié)果表明該方法比傳統(tǒng)人臉識別算法具有更好的識別性能。

　　· 基于特定人臉子空間的人臉識別方法

　　問題：

　　Eigenface是人臉識別領(lǐng)域最著名的算法之一，本質(zhì)上是通過PCA來求取人臉圖像分布的線性子空間，該空間從最佳重構(gòu)的角度反映了所有人臉圖像分布的共性特征，但對識別而言，這樣的特征卻未必有利于識別，識別任務(wù)需要的是最大可能區(qū)分不同人臉的特征。

　　摘要：

　　“特征臉”方法中所有人共有一個人臉子空間，而我們的方法則為每一個體人臉建立一個該個體對象所私有的人臉子空間，從而不但能夠更好的描述不同個體人臉之間的差異性，而且最大可能地擯棄了對識別不利的類內(nèi)差異性和噪聲，因而比傳統(tǒng)的“特征臉?biāo)惴ā本哂懈玫呐袆e能力。另外，針對每個待識別個體只有單一訓(xùn)練樣本的人臉識別問題，我們提出了一種基于單一樣本生成多個訓(xùn)練樣本的技術(shù)，從而使得需要多個訓(xùn)練樣本的個體人臉子空間方法可以適用于單訓(xùn)練樣本人臉識別問題。在Yale Face DatabaseB人臉庫對比實(shí)驗也表明我們提出的方法比傳統(tǒng)的特征臉方法、模板匹配方法對表情、光照、和一定范圍內(nèi)的姿態(tài)變化具有更優(yōu)的識別性能。

　　2、人體面貌識別技術(shù)包含三個部分：

　　（1） 人體面貌檢測

　　面貌檢測是指在動態(tài)的場景與復(fù)雜的背景中判斷是否存在面像，并分離出這種面像。一般有下列幾種方法：

　　①參考模板法

　　首先設(shè)計一個或數(shù)個標(biāo)準(zhǔn)人臉的模板，然后計算測試采集的樣品與標(biāo)準(zhǔn)模板之間的匹配程度，并通過閾值來判斷是否存在人臉；

　　②人臉規(guī)則法

　　由于人臉具有一定的結(jié)構(gòu)分布特征，所謂人臉規(guī)則的方法即提取這些特征生成相應(yīng)的規(guī)則以判斷測試樣品是否包含人臉；

　　③樣品學(xué)習(xí)法

　　這種方法即采用模式識別中人工神經(jīng)網(wǎng)絡(luò)的方法，即通過對面像樣品集和非面像樣品集的學(xué)習(xí)產(chǎn)生分類器；

　　④膚色模型法

　　這種方法是依據(jù)面貌膚色在色彩空間中分布相對集中的規(guī)律來進(jìn)行檢測。

　　⑤特征子臉法

　　這種方法是將所有面像集合視為一個面像子空間，并基于檢測樣品與其在子孔間的投影之間的距離判斷是否存在面像。

　　值得提出的是，上述5種方法在實(shí)際檢測系統(tǒng)中也可綜合采用。

　　（2）人體面貌跟蹤

　　面貌跟蹤是指對被檢測到的面貌進(jìn)行動態(tài)目標(biāo)跟蹤。具體采用基于模型的方法或基于運(yùn)動與模型相結(jié)合的方法。

　　此外，利用膚色模型跟蹤也不失為一種簡單而有效的手段。

　　（3）人體面貌比對

　　面貌比對是對被檢測到的面貌像進(jìn)行身份確認(rèn)或在面像庫中進(jìn)行目標(biāo)搜索。這實(shí)際上就是說，將采樣到的面像與庫存的面像依次進(jìn)行比對，并找出最佳的匹配對象。所以，面像的描述決定了面像識別的具體方法與性能。目前主要采用特征向量與面紋模板兩種描述方法：

　　①特征向量法

　　該方法是先確定眼虹膜、鼻翼、嘴角等面像五官輪廓的大小、位置、距離等屬性，然后再計算出它們的幾何特征量，而這些特征量形成一描述該面像的特征向量。

　　②面紋模板法

　　該方法是在庫中存貯若干標(biāo)準(zhǔn)面像模板或面像器官模板，在進(jìn)行比對時，將采樣面像所有象素與庫中所有模板采用歸一化相關(guān)量度量進(jìn)行匹配。

　　此外，還有采用模式識別的自相關(guān)網(wǎng)絡(luò)或特征與模板相結(jié)合的方法。

　　人體面貌識別技術(shù)的核心實(shí)際為“局部人體特征分析”和“圖形/神經(jīng)識別算法。”這種算法是利用人體面部各器官及特征部位的方法。如對應(yīng)幾何關(guān)系多數(shù)據(jù)形成識別參數(shù)與數(shù)據(jù)庫中所有的原始參數(shù)進(jìn)行比較、判斷與確認(rèn)。一般要求判斷時間低于1秒。

　　3、人體面貌的識別過程

　　一般分三步：

　　（1）首先建立人體面貌的面像檔案。即用攝像機(jī)采集單位人員的人體面貌的面像文件或取他們的照片形成面像文件，并將這些面像文件生成面紋（Faceprint）編碼貯存起來。

　　（2）獲取當(dāng)前的人體面像

　　即用攝像機(jī)捕捉的當(dāng)前出入人員的面像，或取照片輸入，并將當(dāng)前的面像文件生成面紋編碼。

　　（3）用當(dāng)前的面紋編碼與檔案庫存的比對

　　即將當(dāng)前的面像的面紋編碼與檔案庫存中的面紋編碼進(jìn)行檢索比對。上述的“面紋編碼”方式是根據(jù)人體面貌臉部的本質(zhì)特征和開頭來工作的。這種面紋編碼可以抵抗光線、皮膚色調(diào)、面部毛發(fā)、發(fā)型、眼鏡、表情和姿態(tài)的變化，具有強(qiáng)大的可靠性，從而使它可以從百萬人中精確地辯認(rèn)出某個人。

　　人體面貌的識別過程，利用普通的圖像處理設(shè)備就能自動、連續(xù)、實(shí)時地完成。