社區的智能守護者：利用識別技術的智能安全系統

智能社區安全

在討論人類社會的未來時，智慧社區的話題不容忽視。2020年5月，中國2020年國務院政府工作報告提出，重點支持“兩新一大”類型的智慧社區。

智慧社區可以包括新型基礎設施建設、新城建設和交通、水利等重大項目。前兩個——新基建和新城建設——以智慧社區為重點。

智能社區利用一系列新技術來改善和促進日常生活。除了無人社區超市，典型應用還包括智能家居系統和自動泊車。在這些無數的應用中，社區安全系統是最關鍵的。從鄰里和住宅樓門禁系統到整個社區的攝像頭網絡，智能系統可以代替保安人員執行身份識別、鄰里監視、危險警報等。

在美國，CBS 電視劇“疑犯嫌疑人”描繪了一個由配備強大功能的先進人工智能支持的安全系統。安裝在特定城市各處的攝像頭網絡可能能夠記錄全方位的信息，包括身份、行為甚至人際關系，而中央大腦會分析這些信息以確定威脅，甚至對潛在威脅做出預測。當然，該劇近乎神明的人工智能系統目前還牢牢停留在科幻領域。但它所描繪的智能安防系統現在正在慢慢變成現實。在智慧社區和智慧城市中，智能安防系統可以作為結合人臉識別、行為識別和人類身份識別的人工智能系統。

人臉識別技術

基于計算機的面部識別技術的研究始于 20 世紀中葉。最早的努力是在模式識別上看到的，之后逐漸發展和完善了用于人臉檢測、人臉對齊、人臉屬性識別、人臉驗證和識別的各種算法。這些技術現在已經廣泛應用于日常生活中，包括手機和相機上的人臉抓拍軟件、上下班打卡的自動人臉識別，以及新建社區增加的配備人臉識別技術的門禁系統。

人臉檢測

開發面部識別算法的第一步是確定給定圖像或視頻中是否存在面部，并識別與所述面部相對應的像素范圍。2001年，保羅·維奧拉和邁克爾·瓊斯共同發明了現在著名的維奧拉·瓊斯目標檢測方法，該方法為后來的人臉檢測算法提供了基礎。

Viola-Jones 算法包括兩個部分：特征和分類器。該算法利用人臉的 Haar 特征，對應于由模擬目標不同部分之間的明暗關系的黑白矩形形成的特征。這些特征可用于尋找對象面部存在的明暗對比區域，例如比眼睛亮的鼻梁和通常比其他區域暗的嘴巴. 這些特征可用于匹配目標圖像中的某些候選框，然后通過 AdaBoost 分類器輸出人臉或非人臉標簽。值得注意的是，在 Viola-Jones 算法中，多個分類器被鏈接在一起形成一個集成分類器。

其他后續研究也基于特征和分類器解決了這個問題。在特征方面，今天的安全系統使用其他相對復雜的特征來代替Haar特征。這樣一方面可以提高系統的檢測率，另一方面。可以更好的解決被攝人臉沒有正對攝像頭導致檢測失敗的問題。在分類器方面，可以使用非最大抑制（NMS）方法將位置和大小相似的候選框組合起來，從而大量減少候選框的數量。相比之下，深度神經網絡可以使用顯卡來執行大部分所需的計算，大大提高了計算速度。

面部對齊

因為標準化人臉的使用使得包括人臉識別在內的算法的結果更加穩定，所以關鍵步驟是在稱為人臉對齊的過程中，通過算法將具有不同角度和分辨率的人臉匹配到標準位置。從這個角度來看，所有人臉都可以看作是標準人臉仿射變換（縮放、旋轉和平移）的結果，而人臉對齊算法的目標是基于目標人臉的特征點來反轉該變換過程。

計算機科學家最初定義了 68 個特征點，可以大致捕捉人臉的主要特征。開發此類算法的典型方法是讓計算機學習如何使用這些特征點將標準人臉圖像逐步轉換為真實圖像。標準人臉圖像到真實人臉圖像的映射是通過訓練一系列回歸器實現的，這樣每個回歸器都能學習一部分轉換后的信息。

人臉屬性識別

人臉屬性包括性別、種族、年齡、表情等，準確區分這些屬性可以更好地判斷主體的偏好和心理狀態。一旦進行了人臉檢測和對齊，人臉屬性識別就相對簡單了。它本質上是借助大數據進行圖像分類和回歸。

2015年，微軟開發了一款年齡預測應用程序（how-old.net），可以根據用戶的圖像對照片中的人進行年齡預測。在這個系統中，人臉首先被圈起來。然后提取的特征向量通過分類器分配性別標簽，之后使用年齡回歸分析器獲得相應的年齡數據。當利用深度神經網絡時，可以將特征提取和分類回歸集成到一個算法中，同時實現多個屬性的實時預測。同樣，面部表情可以分類并進行回歸。然后它們可以用于智能家居控制系統和安全系統，以便在發生危險時，可以在眨眼間發出警報。

面部驗證和識別

使用上述算法，可以在稱為面部驗證的過程中確定兩張圖片是否為同一個人。推而廣之，對于任何面部圖像輸入，計算機都可以在數據庫中匹配相關人員的數據，并在稱為面部識別的過程中輸出他或她的身份信息和屬性信息（圖 1）。

該算法的速度對于確保流暢的用戶體驗至關重要，因為需要將輸入圖像與數據庫中包含的大量圖像進行比較。一種解決方案是從每個目標圖像中提取特征。一種這樣的方法是主成分分析 (PCA)，這是一種從檢測到的面部選擇框中獲得面部特定特征的過程，之后使用相關性分析來獲得最接近的信息匹配。另一個重要特征是尺度不變特征變換 (SIFT)，它可以高精度地匹配圖像中的特征點，即使圖像已經過旋轉、縮放，甚至在使用不同相機時分辨率發生變化。

在不同的光照條件下或通過不同的媒體呈現時，人臉看起來會有所不同。直接特征提取可能無法滿足所有面部識別場景的需求，因此將目標面部特征與光照數據等信息解耦至關重要。完善的局部二進制模式 (LBP) 算法可用于刪除光照信息。在 LBP 中，每個像素與其相鄰像素進行比較，然后保留整個圖像中像素之間的大小關系，但刪除它們的特定值。這樣，面部特征仍然保留，同時消除了由光照或紋理引起的像素偏移。Disentangled representation是近年來發展起來的一種新技術，

行為識別與識別技術

除了人臉識別技術，行為識別與識別也是智能安防系統的重要組成部分。具體而言，行為識別是指對視頻中的人所執行的行為進行分類。相比之下，身份識別是指基于攝像頭網絡識別同一個人，之后確定他們的移動軌跡，并評估他們的意圖是否可疑。結合身份識別和行為識別，我們可以更好地確定給定視頻中主體的動作狀態。

行為識別

最初，行為識別被視為圖像分類的一個特例。分類目標從圖像變為視頻，并且動作受分類而不是對象和面部。視頻作為智能安防系統的主要存儲介質，可以看作是多幅圖像的組合，因此圖像分類方法（如深度學習算法）可以直接用于行為識別（圖2 ）). 然而，由于主體行為固有的時間特性，相關的時間特征也可以提高準確性。光流是一種應用于視頻的特征，它標記圖像的兩個連續幀之間對應點的變化路徑。當屬于多個連續幀的對應點及其周圍的像素信息被編碼成單個特征時，就形成了視頻軌跡。多個軌跡的組合提供了行為信息的良好表示。

近年來，深度學習算法在行為識別領域取得了長足的進步。香港中文大學計算機科學家提出的時間段網絡（TSN）算法提高了行為識別的準確性。在 TSN 算法中，同時使用原始視頻和相應的光流圖來訓練深度神經網絡，從而允許單個模型對外觀信息和動態信息進行編碼。此外，同一視頻被隨機采樣以構建多個組合，以便也可以識別同一動作的不同速度。除了以TSN為例的一類算法，新加坡南洋理工大學還發布了一個大型標簽行為識別數據庫（NTU RGB+D），其中包含醫院和療養院常見的幾種動作（例如坐下、躺下和跌倒）。使用這些算法和數據訓練的行為識別系統非常適合對關鍵人物和區域進行監控。

身份識別

用于識別的特征可以是包羅萬象的，包括面部特征、身體特征、姿勢特征、運動特征、服裝特征等。由于相機分辨率的限制，面部特征只能作為身份識別的輔助手段。相比之下，姿勢、動作、服裝等較大的特征被用作主要特征，服裝特征占據較大份額，作為類似于人眼的識別過程的一部分。因此，構建身份識別算法的關鍵在于如何最好地利用多個特征。

深度學習算法仍然發揮著重要作用。它們允許深度神經網絡通過大量數據的輸入自動提取特征并為不同的特征分配不同的權重。同時，他們還訓練了多個分類器來沿著不同的維度做出判斷。具體來說，身份識別算法結合了幾個組合目標，包括外觀分類（服裝、背包、吊墜等）、體型分類（男性/女性、身高等）和成分分類（手臂、腿、軀干、等），最終結果是多個分類器的加權組合。近年來，為了同時放大不同個體之間的區別并減少同一個體不同場景之間的區別，

技術挑戰與展望

人臉識別和身份行為識別在安防系統應用中都具有很大的優勢。最重要的是，計算機可以完成人類無法實現的 24 小時全天候監控，并且覆蓋范圍的擴大提高了整個系統的安全性。其次，強大的計算機可以快速處理大量數據，大大提高識別安全隱患的速度。此外，所使用的信息是外部信息（例如面孔、動作和衣服），不僅易于訪問，而且還允許在主體不知情的情況下進行全面的監控和分析。然而，雖然具有上述功能的智能攝像頭開始在一些公共場所和社區中使用，但在實現大規模部署之前，仍需要解決一些技術挑戰。

系統健壯性

在人臉識別中，人臉經常被眼鏡、墨鏡、口罩等遮擋，在行為和身份識別中，有時會遮擋四肢。這些問題對算法提出了重大挑戰。雖然某些照明問題可以通過解耦算法部分解決，但某些條件（例如黑暗環境或具有不同分辨率的相機）仍然會影響算法的準確性。此外，看起來相似的面孔、著裝和動作相似的人以及面部和動作特征隨時間的變化都會導致識別不準確。

數據范圍及反饋速度

從理論上講，數據量越大，可以對計算機進行更全面的訓練。然而在現實中，人臉、行為和身份識別數據集可能非常龐大，只有經過人工標記后才能用于訓練機器學習算法。因此，僅標記一項就需要大量的人力投資。另一方面，一旦部署了安全系統，計算機每秒需要處理大量新數據，這會減慢反饋速度。在安全系統中，計算機還需要從數據中提取關鍵特征和信息并進行綜合，以獲得更復雜的結果（圖3 ）). 目前，算法仍然只負責特定的功能，例如人臉檢測和行為識別。未來，當數據集規模和計算能力達到一定水平時，需要新的算法從多角度綜合信息，快速反饋給安全管理者。

圖 3：安全系統需要從數據中提取關鍵特征和信息并對其進行綜合以獲得更復雜的結果。（來源：MONOPOLY919/Shutterstock.com）

數據和算法安全

安全系統本身的安全性能是評價此類系統的重要標準。然而，在互聯網時代，數據安全仍然是一個巨大的挑戰。由于社交媒體的流行，幾乎每個人的面部數據和身份信息都可以在線獲取。一旦這些信息與成像技術甚至 3D 打印相結合，面部識別系統可能會受到損害。例如，一些研究人員現在專注于如何將真假面部識別納入面部識別系統，以防范此類潛在的安全威脅。

其他算法也在不斷升級，對現有的識別技術提出了新的挑戰。例如，近年來，生成對抗網絡已經生成了真實人臉的圖像，甚至帶有自動換臉功能的視頻也變得司空見慣。這些生成的人臉甚至可以騙過現有的人臉識別系統。此外，最近的一篇論文表明，如果對身份識別系統進行干擾，則可以修改算法的身份匹配結果，使其不反映現實。犯罪分子甚至可以干擾算法以逃避系統的跟蹤。

結論

上面我們已經表明，新算法的開發仍然是實現智能社區智能安全系統的先決條件。除了提高現有算法對大規模數據處理的魯棒性外，還需要逐步引入新型數據和算法保護機制，以應對新的挑戰和需求。計算機科學家仍在不斷努力克服這些困難。基于稀疏表情構建的人臉識別系統可以識別不同遮蓋條件下的人臉，提高了人臉識別算法處理特殊環境數據的能力。在訓練識別算法時，可以引入生成對抗網絡和遷移學習等學習機制，以在部署時利用容器技術和聯邦學習。這不僅可以讓算法執行識別任務，還可以讓算法區分不同的數據源和惡意攻擊，從而更好地保護系統的數據和算法。未來，隨著算法在這些領域不斷迭代改進，更先進的自動識別技術將成為智慧社區和智慧城市不可或缺的組成部分。數據和算法。未來，隨著算法在這些領域不斷迭代改進，更先進的自動識別技術將成為智慧社區和智慧城市不可或缺的組成部分。數據和算法。未來，隨著算法在這些領域不斷迭代改進，更先進的自動識別技術將成為智慧社區和智慧城市不可或缺的組成部分。

王東剛是悉尼大學的在讀博士。他的研究涉及醫學影像、人工智能、神經科學和視頻分析，一直致力于將機器學習技術應用到日常生活中。曾在CVPR、ECCV等國際頂級會議發表論文，擔任IEEE Transactions on Circuits and Systems for Video Technology、IEEE Transactions on Multimedia等期刊和AAAI、ICML等會議的審稿人。他在開發機器學習和計算機視覺算法方面經驗豐富。與中國、美國、澳大利亞的公司和機構合作項目包括多視角動作識別、基于監控視頻的道路管理、腦CT自動分診系統等。

審核編輯hhy