人群的監控與監測已經成為當前的一個重要領域。政府和安全部門都已經開始尋求在公共場所智能監測人群的更先進的方式，從而避免在來不及采取行動之前檢測到任何異常活動。但是在有效達成這一目的之前還需要克服一些障礙。例如，如果需要一天 24 小時同時監測整個城市里所有可能的人群活動，僅靠全人工監測是不可能的，尤其在安裝有數千部 CCTV 攝像頭的情況下更是如此。

　　這個問題的解決方案在于開發全新的智能攝像頭或視覺系統，借助先進的視頻分析技術自動監測人群的活動，從而能夠立即向中央控制站報告任何異常事件。

　　設計這種智能攝像頭/視覺系統不僅需要標準的成像傳感器和光學設備，還需要高性能視頻處理器來執行視頻分析工作。使用這種功能強大的板載視頻處理器的原因在于先進視頻分析技術具有較高的處理要求，大多數此類技術通常會使用計算密集型視頻處理算法。

　　FPGA 非常適合于此類高性能要求的應用。借助賽靈思Vivado Design Suite 中高層次綜合 （HLS） 功能實現的 UltraFast 設計方法，現在可以為 FPGA 輕松創建理想的高性能設計。此外，賽靈思 MicroBlaze等嵌入式處理器與 FPGA可重配置邏輯的完美融合，讓用戶現在能夠將具有復雜控制流的應用方便地移植到 FPGA 上。

　　鑒于這種情況，我們使用 Vivado HLS、賽靈思嵌入式開發套件 （EDK） 和 ISE Design Suite 中基于軟件的EDA工具，設計出一種用于人群運動分類和監測系統的原型。這種設計方法基于我們所認為的軟件控制和硬件加速架構。我們的設計采用低成本的賽靈思 Spartan-6 LX45 FPGA。我們在較短時間內即完成了總體系統設計，其在設計的實時性能、低成本和高靈活性方面均展現出頗有前景的結果。

　　系統設計

　　總體系統設計分兩個階段完成。第一階段是開發人群運動分類算法。在這個算法的驗證完成后，接下來是把它實現到 FPGA 中。在開發的第二階段，我們主要關注基于 FPGA 的實時視頻處理應用的架構設計方面。具體工作包括開發實時視頻流水線、開發硬件加速器，最后將二者集成并實現到算法控制和數據流中，從而完成系統設計。

　　下面介紹每個開發階段，首先從簡要介紹算法設計開始，然后詳細介紹如何將算法實現到 FPGA 平臺上。

　　算法設計

　　就人群監視和監控而言，文獻中提出了多種算法。大多數此類算法從在人群場景中檢測（或布置）特征點

　　開始，然后隨時間推移跟蹤這些特征點，采集運動統計數據。隨后把這些運動統計數據投射到一些之前預先計算好的運動模型上，用來預測任何異常活動 。進一步改進包括聚集特征點，跟蹤這些集群而非單獨的特征點。

　　本文的人群運動分類算法基于相同的概念，除了我們優先使用模板匹配方法進行運動估計，而不是采用 Kanade-Lucas- Tomasi （KLT） 特征跟蹤器等傳統方法。該模板匹配方法經驗證表明，增加一些計算量能顯著改善低對比度或對比度不斷變化情況下的運動估計。

　　為將這一方法用于運動估計，我們將視頻幀劃分為更小矩形貼片組成的網格，然后使用基于加權絕對差之和 （SWAD） 的方法對每個貼片的當前圖像和之前圖像進行運動計算。每個貼片相應地提供一個運動向量，用于說明該特定位置兩幀之間的運動范圍和方向。結果就是需要在整個圖像上計算超過 900 個運動向量。計算這些運動向量涉及的具體步驟如圖1所示。

　　圖1：計算運動向量的步驟，從圖像采集開始（上）

　　此外，我們使用加權高斯內核實現圖像中遮擋區和零對比度區的可靠性。而且，用于計算一個運動向量的一個貼片處理工作獨立于其它貼片的處理工作，因此該方法非常適合使用 FPGA 上的并行實現方案。

　　在計算完整個圖像上的運動向量后，該算法隨即計算它們的統計屬性。這些屬性包括平均運動向量長度、運動向量數量、運動的主導方向和類似指標。

　　另外我們還計算了運動向量方向的 360 度柱狀圖，進一步分析其標準偏差、平均偏差和偏差系數等屬性。這些統計屬性隨后被投射到預先計算好的運動模型上，從而將當前運動分類到幾大類別之一。隨后我們運用多個幀來解釋這些統計屬性，從而確認分類結果。

　　預先計算好的運動模型采用加權決策樹分類器的形式構建，其充分考慮了這些統計屬性來對所觀察到的運動進行分類。例如，如果觀察到運動速度快而且場景中有動量突變，同時運動方向隨機或超出圖像平面，就可以分類為可能的恐慌情況。該算法的開發工作使用微軟 Visual C++ 配合 OpenCV 庫完成。算法的完整演示請參閱本文文末提供的 Web 鏈接。