基于FPGA算法實現兩路視頻圖像同步判別的研究分析

1、引言

由于兩路視頻信號的產生來源于相同景物的不同區域且有交疊部分，在任意拍攝時刻得到的兩幀圖像必然存在一定程度上的內容相關性，本算法將從圖像重疊區域內容相關性入手，判別并調整兩路視頻的同步關系。同時，對于嵌入式系統的算法實現上，數據運算量的簡化也是很重要的問題，直接影響到系統的實時性。

2、算法設計

如圖1.a、b所示，An和Bn是兩路視頻圖像，且基于內容同步，白色箭頭指向的是當前時刻播放的圖像幀。如果按照圖1（a）的方式播放，兩路視頻是同步的；但是，由于播放器的獨立性以及各種干擾的存在，如圖1（b）的幀錯位情況會出現。由此可見，需要解決的主要問題是：①判斷當前播放是否同步；②若不同步，錯位多少幀，如何快速有效地找到同步幀。

圖1（a）圖1（b）

A. 兩幀圖像同步判別

在任意時刻，兩路邊緣重疊的黑白圖像信號（亮度信號為8位）的重疊區域圖像對應兩個矩陣。這兩個矩陣的關系可是直接反應出兩幅圖像的同步關系。

1）相關函數模型

2）抽樣處理

利用上述方法判定兩幀圖像同步時，嚴格的統計相關算法的結果準確度是最高的，但是必須付出極其大的運算量。因為計算相關系數需要將重疊部分圖像的每一點的亮度值納入計算范圍；同時，矩陣A和B相關系數的計算是二維運算。以175×288點大小圖像計算（702×576隔行掃描的1/4重疊部分），cov（A，B）需要進行50400次8位2進制乘法運算和50400次8位2進制加法，DA、DB也各需要50400次8位2進制乘法運算和50400次8位2進制加法。顯然，這樣的運算兩使得運用嵌入式系統是難以滿足實時性要求的。

由于大部分情況下圖像中的一點是與周圍像素具有較強相關性的，所以沒有必要在相關函數的運算過程中代入所有象素點的亮度值，而可以以適當的方式進行像素抽樣。正是基于這種考慮，如果我們僅用對原圖像采取隔1 行、隔1列取一個像素的方法進行像素抽樣，形成1/4 大小的新圖像，再用新圖進行判別，則計算量就將減少了3/ 4。

在判別過程中，我們繼續采用像素抽樣的方法?？紤]到M×N的圖像通常M≤N，所以考慮到采用隔6行、隔8列的方式抽樣。如果每一行都從第1列開始選取如圖2 （a）所示，則未被選擇的點與最近鄰采樣點的距離為5p （p為兩個相鄰像素的距離）。如果采用圖2 （b）所示偶數行從第5列開始選擇原點，則未被選擇的點距最近鄰抽樣點的最大距離為3p （圖中虛線點的位置距最近鄰選擇點的距離為3p）。圖像中像素越接近，相似性越強; 換言之，抽樣點與未選點距離越小，圖像保留下來的特征就越多，為此在匹配點數目不變時我們在偶數行向后移兩個像素選擇抽樣點的選擇方法如圖2（b）所示，可以使抽樣點最大限度保留圖像的特征。

3） FPGA算法設計

B. 錯位幀數檢測

3、Matlab算法有效性仿真

1、相關性模型有效性檢驗

圖4 兩路同步視頻

如圖4所示，第二路視頻圖像由第一路視頻圖像經過零均值方差0.002的高斯噪聲處理得到（這里的圖像格式為180×288）。兩路同步的視頻圖像在進行相關系數運算后得到的結果如表1所示。可以看出在同步的情況下，即使有較強的干擾存在，任意檢測兩幀圖像的相關系數都是很接近于1的。

如圖5所示，第二路視頻圖像由第一路視頻圖像經過零均值方差0.002的高斯噪聲處理并超前一幀得到。兩路同步的視頻圖像在對應位置進行相關系數運算后得到的結果如表2所示?？梢钥吹剑谌魏我唤M非同步幀的相關系數運算結果都遠小于1。因此，相關系數用來判別兩路視頻是否同步。

若以第一路視頻圖像的第四幀作為基準，與第二路視頻圖像作相關運算，得到的結果如表3所示?？梢钥吹?，第一路視頻圖像的第四幀與第二路視頻圖像的第三幀的相關系數最近接1，能夠據此得出第一路視頻的第四幀與第二路視頻的第三幀的同步幀的結論。

2、抽樣方案比較檢驗

分別用兩種方式進行抽樣：①對于180×288的圖像橫向、縱向均作32點均勻抽樣，且起始點均為抽樣行的起始點；②對于180×288的圖像橫向、縱向均作32點均勻抽樣，起始點在抽樣的奇數行為起始點，偶數行為第三點，進行蜂窩抽樣。

由抽樣①、②得到的數據分別進行互相關運算得到的互相關系數ρ1、ρ2，與未抽樣時的相關系數ρ相減得到的ρ1-ρ，ρ2-ρ，可以反映兩種抽樣方式的有效性。如圖6所示，對20幅圖像作ρ1-ρ，ρ2-ρ，繪出曲線，曲線①為ρ1-ρ，曲線②為ρ2-ρ，可以看到曲線①偏離0的程度明顯大于曲線②偏離0的程度，證明了抽樣②在同樣抽樣點數的情況下優于普通采樣①。經過對多組圖像進行曲線繪制，得到了相似的結論。