摘要： 分析了傳統電子穩像平臺的缺陷，研究并設計了基于FPGA的專用平臺。針對該平臺研制過程中所涉及的一些關鍵問題進行了詳盡的分析與探討，給出了可行的解決辦法。實驗結果表明該平臺工作穩定，擴展性好。

關鍵詞： 視頻處理 電子穩像 FPGA

電子攝像系統已廣泛應用于軍用及民用測繪系統中，但是效果受到其載體不同時刻姿態變化或震動的影響。當工作環境比較惡劣，尤其是在航空或野外操作時，支撐攝像機平臺的震動會引起圖像畫面的抖動，令觀察者視覺疲勞，從面產生漏警和虛警。所以在運行中，如何穩像成為十分重要的問題，特別是在長焦距、高分辨力的監視跟蹤系統中更加突出。具璞蒿、實性性強、體積小巧等特點，得到更廣泛的應用。

圖1

穩像系統的反應速度是電子穩像要解決的關鍵技術之一。傳統的基于“攝像機-圖像采集卡-計算機”模式的穩像系統、圖像檢測和匹配算法全部由計算機以軟件方式實現。盡管當今計算機的性能很高，能夠部分滿足單傳感器電子穩系統的實時處理要求，但在以下幾個方面有著難以解決的問題：首先，其固有的串行工作方式使得單計算機難以適應其于多傳感器視頻處理系統的實時穩像，阻礙了在實際中的應用adw欠，傳統的圖像采集卡中能將采集圖像數據實時傳輸給計算機，而不能傳輸給標準接口的視頻監視設備lk之很多應用場合對聽要求很高。因此，研制專用的電子穩像平臺，既能實時地高速獲取視頻數據，又能將數據實時地傳后續的圖像處理系統，既有實際意義又有工程價值。

1 系統涉及的關鍵技術

攝像頭輸入的PAL制式電視信號首先通過視頻處理接口完成對其解碼、同步和數字化的工作，數字化后的圖像信息進入到由FPGA實現的幀存控制器中，完成數據的交換（數據的緩沖），同時完成系統要求的去隔行和放大的操作，最后處理好的數據通過VGA控制器，完成時序變化，經視頻、A變為模擬信號送到VGA監視器上實時顯示。

圖3

1.1 視頻處理接口

由于在進行視頻處理時，多為從攝像頭輸入模擬信號，如NTSC或PAL制式電視信號，除圖像信號外，還包括行同步信號、行消隱信號、場同步信號、場消隱信號以及槽脈沖信號等。因而對視頻信號進行A/D轉換的電路也非常復雜。Philips公司將這些轉換電路集成到了一塊芯片中，從而生產出功能強大的視頻輸入處理芯片SAA7111，為視頻信號的數字化應用提供了極大的方便。

系統設計采用SAA7111對復合信號進行采樣、同步產生、亮色分離并輸出標準的數字化信號。SAA7111輸出的數字化圖像信息符合CCIR.601建議，PAL制式的模擬信號數字化后的圖像分辨率為720×572，像素時鐘13.5MHz。在本穩像系統中要求圖像輸出符合VGA（640×480，60Hz）標準，因此在采集數據時要對數據進行選擇，避開行、場消隱信號和部分有效像素信息，在較大的圖像中截取所需要的大小。SAA7111向幀存控制電路輸出像素時鐘（LCC2）、水平參數（HREF）、垂直參考（VREF）、奇偶場標志信號（ODD）和16位像素信息（RGB565）.其中LCC2用來同步整個采集系統；HREF高電平有效，對應一行720個有效像素；VREF高電平有效，對應一場信號中的286個有效行；ODD=1時，標志當前場為奇數場；ODD=0時，標志當前場為偶數場。采用16位RGB表示每個像素的彩色信息。圖1（a）為數字化圖像中的一行像素的時序圖。其中兩個HREF分別表示有效行的起始與結束位置，實際為一個信號；可以清楚地看到一行中有效的720個像素與像素時鐘LLC2的對應關系，在采集時通過幀存器控制電路選擇其中部的640個像素進行采集。圖1（b）為一幀數字圖像的輸出時序圖。可以看到在第624～22行時，VREF處于無效狀態，因此在后續的采集中，這部分的信息不予處理并通過ODD的電平區分奇偶場數據。

圖4

1.2 去隔行支持

PAL制電視信號采用隔行掃描機制，采用人眼的視覺暫留來實現兩場1/50s掃描312.5行的圖像構成625行（一幀）圖像。而標準的VGA顯示模式采用逐行掃描方式，在一個掃描周期內實現對圖像的完全掃描。因此需要對視頻信號進行去隔行處理。視頻信號在經過緩沖后，按照取樣時鐘把經過模數轉換的數字信號送入存儲器緩存，通過數據內插的方法進行數據擴展，即相鄰行之間按照一定的算法進行加權，從而得到內插行的數據，再以適當的速度讀取處理后的數據，即可實現倍行頻/倍場頻的掃描。倍行頻掃描可以消除行間的閃爍現象，倍場頻掃描雖然行掃描頻率不變，但是場頻加倍，即能消除行間閃爍現象，還可以消除場間的大面積閃爍。去隔行問題的實質就是在每一場中填補被跳過的那些行，其過程如圖2所示。

實際上為實現去隔行已經提出了很多簡單的濾波器。一種選擇是用同一場中的垂直內插值，這是個一維二倍上轉換的問題。理想的垂直濾波器是一個半帶低通濾波器。然而，這個濾波器要求無限長度沖擊響應是不可實現的。實際應用中使用的是短得多的濾波器。最簡單的是行平均，它用丟失行的上一行和下一行的平均來估計該丟失行。在圖2中，對于第t場，D=(C+E)/2。由于沒有使用時域濾波，所以它沿時間頻率軸具有全通特性。為了改進性能，另一種選擇是使用更長的垂直內插濾波器，其頻率響應更接近理想的半帶低通濾波器。對于第t場的行，滿意的內插方法是D=(A+7C+7E+G)/16。以上兩種方法都是只用了垂直內插。一種替代方法是使用時間內插。值得注意的是，對于一場中每個丟失行，在同一幀的另一場中有一個對應行。一個簡單的時間內插方案是復制此對應行，即D=K，J=C。這種方法稱為場合并。因為每一個去隔行幀都由合并兩場獲得,但是這兩場的時間內插是相反的（對于某些特殊圖案可能會產生視覺人為失真）。由于只在時間方向上進行了濾波，因此在垂直方向上是全通的。

為了改進性能，可以使用一種對稱的濾波器，例如，對前一場和后一場中的對應行去平均以獲得當前場中丟失的行，即D=(K+R)/2。這種方法稱為場平均。然而這種辦法內插任何一場需要涉及三個場，需要兩幀存儲器。與場合并的方法相比，在存儲器容量和延時上有不可忽視的增加。為了在時間和空間人為失真方面達到折衷，較好的方法是既用垂直內插也用時間內插。例如，通過對同一場中上一個和下一個像素以及前一場和后一場取平均進行內插的辦法得到一個丟失的像素。綜上所述，當成像的景物在相鄰兩場之間靜止時，在奇數場中丟失的偶行數應該與前一個和后一個偶場中對應的偶數行完全一樣。因此時間內插將產生精確的估計。另一方面，當景物中存在運動時，相鄰場中對應行可能不在同一個物體位置上，時間內插將產生不可接受的人為失真。而同時使用空間和時間平均的方法將產生不太嚴重的人為失真，但在存儲器容量和反應時間方面作出犧牲。

通過上述方案的對比及系統的具體要求，設計中采用了場合并的辦法，具體實現由幀存控制器完成。

1.3 幀存控制器

幀存儲器是圖像處理器與顯示設備之間的通道，所有要顯示的圖形數據先存放到幀存儲器中，然后再送到顯示設備進行顯示，因此幀存儲器的設計是圖形顯示系統設計的一個關鍵。傳統上，可以實現幀存儲器的存儲器件有多種，如DRAM、SDRAM及SRAM等。DRAM、SDRAM屬于動態存儲器，容量大、價格全家但速度較慢，且在使用中需要定時刷新。對于基于FPGA的視頻處理器，需要設計專用的刷新電路，增加了系統設計的復雜程度。SRAM速度高、接口簡單、容量較小。隨著集成電路技術的不斷發展，容量不斷增大，價格也不斷下降。在需要高速實時顯示的視頻處理系統中的使用越來越普遍。

幀存控制器的設計對于實現兩種不同視頻系統之間的圖像信號的存儲、采集和顯示顯得非常重要。為了保證數據處理與采集的連續，設計中使用了兩組幀存儲器（FRAM1、FRAM2），由于數字化的圖像每幀大小為640×480=307200（16bit）共300K×16bit的數據量，筆者使用每組512K×16bit的靜態存儲器，存儲時間為12ns，可以保證快速地讀出和寫入圖像數據。圖3為幀存控制器的邏輯框圖。

由于輸入信號為隔行掃描的圖像數據，顯示輸出需要逐行掃描數據，因此數據存入幀存儲器時需要進行處理。設計中采用場合并行法，將兩場的數據寫入一個幀存中，構成一幅完整的逐行掃描圖像，系統利用VREF信號對此進行控制，產生的幀切換控制信號控制數據在兩個幀存中的切換。當VREF信號有效時，表明新的一場開始了，此時無效行計數器開始工作，控制不需要采集的圖像行，計數到閾值后，有效行計數器開始工作，控制所要采集的圖像行，并發出高位地十信號A[18..11]；同樣，當HREF有效后，無效像素計數器開始計數每行中的無效像素，然后有效像素計數器開始計數需要采集的行聽有效像素；每次計滿640個像素后，等待下一次有效行信號的到來，同時將有效行計數器加1。由于系統選用的幀存容量較大，因此利用ODD的反相信號作為幀存地址的A10，為每行圖像提供了1024個存儲空間（實際使用640個），可以簡化數據寫入與讀出的控制電路。隔行的視頻信號就會被逐行地存儲到幀存體中。總線隔離與控制電路用來完成數據在幀存中的寫入與讀出的同步。由于采用SRAM作為幀存體，有效像素的寫入與后續視頻接口的讀出不能在一個幀存體中同時進行，系統采用雙幀存輪流操作的方法，系統采用雙幀存輪流操作的方法：當數字化后的圖像信息寫入其中的一個幀存時，幀存控制器將另一個幀存中的像素順序讀出，送到顯示設備，反之亦然。

1.4 視頻圖像的放大變換

應用柵格理論幾何變換處理過程可以按下面方式進行描述：給定一個定義于點陣Λ1上已采樣信號，需要產生一個定義于另一個點陣Λ2上的信號。如果，Λ1中的每一個點也在Λ2中，那么此問題是上轉換（或內插）問題，可以先將那些在Λ2中而不在Λ1中的點添零（即零填充），然后用一個作用于Λ2上的內插濾波器估計這些點的值；若Λ1）Λ2，即為下轉換（或抽取）問題，可以簡單地從Λ1中取出那么也在Λ2中的點。然而，為避免下采樣信號中出現混疊，需要對信號進行預濾波，以將其帶寬限制到Λ2*的沃格納晶體。上轉換和下轉換的過程示于圖4（a）、(b)中。更一般的情況，如果Λ1和Λ2互相不包含，就需要找到另一個即包括Λ1又包括Λ2的點陣Λ3，可以先將Λ1上采樣到Λ3，然后再下采樣到Λ2。此過程示于圖4（c）。圖4（c）中Λ3中的中間濾波器完成兩個任務：首先，內插出Λ1中漏下的采樣點；其次把Λ3中的信號頻譜限制于Λ2*的沃格納晶格。

由于系統中進行放大變換采用FPGA實現，因此本文討論的重點在于如何簡化實現并提高轉換速度，上轉換中的上采樣過程為：

?

（1）式中Ψs,1和Ψs,3分別為原理圖像和上采樣信號；U（.）為上采樣運算；Λ2＼Λ1表示在Λ2而不在Λ1內的點的集合。插值濾波器的定義如下：

?

（2）式中，d(Λ)為柵格Λ的采樣密度；v*表示柵格Λ的轉逆柵格的Voronoi單元，即柵格Λ原點的單位元，它向所有柵格點平移將會無重疊地覆蓋整個連續空間。最簡單的插值濾波為線性插值，也可以采用二加權濾波的方法。圖像的縮放還可以采用3次樣條插值和小波分解的方法，雖然這些方法在理論上可以取得很好的圖像縮放效果，但計算復雜，即使采用快速算法，也難以實現視頻圖像的實時顯示。

針對視頻信號數據量大、數據流速度的特點，采用FPGA設計，可以完成幀存控制、視頻信號的實時放大與疊加功能。基于運算速度與算法實現的難易程度分析，對視頻信號的放大采用了簡單的線性插值的辦法，原理如圖5所示。視頻信號是以場或幀進行存儲的，由于數據寫入時存儲地址與圖像顯示的空間位置有確定的對應關系，因此系統需要的放大處理就變為對幀存儲體的地址線的控制問題。

對于本系統具體的4倍放大要求，將行同步信號先進行二倍行使能運算，并利用場同步信號對該寄存器進行復位，將生成后的二分頻行同步信號控制行地址發生器，也就是產生幀存儲器所需的高位地址；類似地利用像素時鐘、行同步信號和場同步信號就可以得到所需的低位地址。由于在幀存控制器向幀存儲器寫入數據時采用了一行點1024個位置的辦法，所以在低位地址后連接了一個比較器，當產生的低位地址小于640時，幀存儲器的讀信號有效，否則無效，以保證不會混疊入無效的數據。

1.5 VGA接口控制器

標準的VGA（640×480，60Hz）接口需要提供以下幾組信號：3個RGB模擬信號、行同步信號HS和場同步信號VS。它的信號時序如圖6所示。

圖7

圖6中VS為場同步信號，場周期為16.683ms，每場有525行，其中480行為有效顯示行，45行為場消隱區，場同步信號每場有一個脈沖，該脈沖的低電平寬度為63μs（2行）。行周期為31.78μs，每顯示行包括800點，其中640點為有效顯示區，160點為行消隱區（非顯示區）。行同步信號HS每行有一個脈沖。該脈沖的低電平寬度為3.81μs（即96個脈沖）。因此，VGA控制器的任務就是按要求產生所需要的時序。

DISCLK為視頻顯示時鐘，頻率為25MHz，首先輸入到模等于800的像素計數器中，輸出的計數值與一個預先設好的比較器進行比較，當計數器的值大于160時，輸出高電平，反之輸出低電平，作為行同步信號；同理，利用一個模等于525的計數器對行同步信號進行計數和一個閾值為45的比較器可以產生所需要的場同步脈沖VS。

產生的行、場同步信號和像素顯示時鐘分別被送到兩個地址發生器中，產生所需要的控制幀存儲器的地址信號。由于前面介紹的幀存控制器中采用為每行數據提供1024個存儲空間的辦法，因此在數據讀出時也要進行相應管理。低位地址發生器產生的地址數據與一個比較器進行比較。當地址小于640時，幀存儲器的讀信號MEMRD位低電平有效，否則無效，這樣有效像素數據就被完整地提出。由于VGA是一個模擬的接口標準，RGB彩色信息需要輸入模擬量，因此幀存儲器輸出的數字信息還要經過D/A變換。系統先用飛利浦公司出品的TDA8771AH，它內部集成了三個視頻D/A轉換器，基于電阻網絡架構，轉換速率最高可達35MHz。由于它專用于數字電視、視頻處理等相關領域，因此使用十分簡單，只需要提供24bit數字信息和一個轉換時鐘即可。VGA控制器原理圖如圖7所示。

圖8

2 系統集成

綜上所述，完整的電子穩像系統結構如圖8所示。攝像頭輸入的信號采用PAL制式，經過視頻處理接口后形成RGB565格式的數字視頻信號和控制信息；幀存控制器作為整個平臺的核心，在將數據寫入幀存儲器的同時，對數字化的圖像信息進行去隔行處理，再將數據讀出送往VGA控制器時進行放大變換。VGA控制器則負責將數據按照VGA標準時序送往顯示器上。

在該平臺上實現了文獻中K0等人提出的一種最簡單的基本位平面的電子穩像算法，對于8位的灰度圖像，可以表示為：利用第4層進行運算，其依據是在多幀圖像進行BPM運算后發現，該層的誤差結果較平滑。然而，K0的BMP-b4算法在不同的圖像序列和信噪比的情況下，并不能總得到一個最優解；在某些情況下，b4、b5或b6會得到更好的結果。

目前資料顯示電子穩像技術作為近年新興技術還處于試驗研究階段，因其適用范圍廣闊而展現了樂觀的研發前景。