采用DSP 和FPGA 協(xié)同技術(shù)設(shè)計實現(xiàn)了一個高性能的MPEG24 視頻編碼器。FPGA 模塊完成視頻采集、YUV 分離、數(shù)據(jù)I/ O 等功能，而使用DSP 專一進(jìn)行視頻壓縮編碼。針對DSP 片內(nèi)資源特點設(shè)計了片內(nèi)存儲器數(shù)據(jù)分配方案，并根據(jù)該方案優(yōu)化了MPEG24 視頻壓縮的數(shù)據(jù)流模式。提出了基于宏塊空間復(fù)雜度的宏塊類型判斷算法，有效地降低了視頻壓縮算法的計算復(fù)雜度。測試結(jié)果表明，采用MPEG24 視頻標(biāo)準(zhǔn)該視頻編碼器每秒能夠壓縮3912 幀CIF 圖像。

隨著寬帶Internet 的快速發(fā)展和電子設(shè)備計算能力的迅速提高，在Internet 上實時傳輸高清晰度視頻信息成為可能，以Internet 為傳輸媒介的視頻會議、視頻監(jiān)控、Internet 電視臺等視頻應(yīng)用方興未艾。這些應(yīng)用的一個共同特點是，都需要一個高性能的實時視頻編碼器，特別是高分辨率的視頻應(yīng)用給視頻編碼器的計算能力提出了很高的要求。例如，一幅720 ×576 的4∶2∶2 視頻格式的畫面，包含有3240 個16 ×16 的YUV 宏塊（Macro Block ，即MB） 。如果該視頻幀按照P 幀或者B 幀進(jìn)行壓縮，那么每一個YUV 宏塊都要進(jìn)行運(yùn)動估計、運(yùn)動補(bǔ)償、DCT （Discrete Cosine Transform） / 反DCT 變換、量化/ 反量化和VLC（Variable Length Coding） 等環(huán)節(jié)的運(yùn)算。如果進(jìn)行實時壓縮（每秒鐘壓縮25 幀） 的話，大致需要316～ 5G IPS （ Inst ruction per second） 的計算能力 。

目前，單一的CPU/ DSP 一般還不具備這樣的計算能力。為了解決高清晰畫面的實時視頻壓縮問題， 本文提出了DSP 和FPGA （ Field Pro-grammable Gate Array） 協(xié)同設(shè)計方案。使用FP-GA 完成視頻采集、YUV （視頻亮度Y、色度分量

UV） 分離、數(shù)據(jù)I/ O（ Input/ Output） 等所有周邊功能，使用高性能的DSP 進(jìn)行視頻壓縮編碼，因而在視頻編碼器內(nèi)DSP 和FPGA 能夠進(jìn)行流水操作，有效地提高了編碼器的性能。

為了降低算法的計算復(fù)雜度，本文提出了基于宏塊空間復(fù)雜度的宏塊編碼類型判別算法（MTJBSC） 。在標(biāo)準(zhǔn)MPEG24 視頻運(yùn)動估計算法中，判別宏塊的編碼類型是通過計算當(dāng)前宏塊內(nèi)像素值方差和參考宏塊與當(dāng)前宏塊之間的方差來實現(xiàn)的，因此計算量很大。MTJBSC 算法首先計算出當(dāng)前宏塊的空間負(fù)責(zé)度（MBC） ，然后通過比較當(dāng)前宏塊的MBC 與SAD（Sum of Absolute Difference） 值來判斷當(dāng)前宏塊的編碼類型，大大降低了算法的計算復(fù)雜度。

1 　硬件設(shè)計方案

基于TI 公司的圖像開發(fā)工具包（ Imaging Developer Kit ，即IDK）? 架構(gòu)，設(shè)計了視頻編碼器的硬件平臺。從整體上來講，視頻編碼器的硬件實現(xiàn)由DSP 和FPGA 兩個模塊組成，其邏輯框圖如圖1 所示。由于視頻壓縮編碼計算量很大，為了盡可能提高視頻壓縮幀率，由DSP 專門負(fù)責(zé)視頻壓縮編碼，而視頻采集、YUV 轉(zhuǎn)換和編碼器I/ O 接口等其它功能則交由FPGA 模塊來實現(xiàn)。

如圖1 所示，用戶控制命令（例如視頻壓縮模式） 由FPGA 模塊首先截獲，然后FPGA 模塊向DSP 模塊產(chǎn)生外部中斷，DSP 在響應(yīng)中斷時讀取存儲在FPGA 中的用戶控制命令字，然后DSP 解析命令字，并根據(jù)用戶要求的視頻格式、幀圖像分辨率和視頻壓縮碼流速率進(jìn)行視頻壓縮編碼。

模擬視頻信號經(jīng)視頻解碼器轉(zhuǎn)換為裸視頻數(shù)據(jù)流，該數(shù)據(jù)流（或從數(shù)字?jǐn)z像機(jī)直接獲得的數(shù)據(jù)流） 經(jīng)FPGA 預(yù)處理后送入幀存中。DSP 讀取幀存中的數(shù)據(jù)進(jìn)行壓縮編碼，壓縮后的視頻數(shù)據(jù)送入FIFO 中，最后FIFO 中的數(shù)據(jù)通過串口送給信道編碼器。

FPGA 模塊的邏輯框圖見圖2 。如圖2 所示，視頻解碼器首先將模擬視頻信號量化為復(fù)合的YUV 數(shù)據(jù)，然后經(jīng)FPGA 進(jìn)行YUV 分離（和濾波） 后送到幀存（圖1 中的SDRAM1） 中，C6201使用DMA 通道（異步方式） 通過FPGA 讀取幀存中的YUV 數(shù)據(jù)進(jìn)行壓縮編碼。幀存（SDRAM1）在刷新（ ref resh） 或缺頁（page miss） 時會引起DMA 讀等待，為了平滑這種等待引起的DMA 讀數(shù)據(jù)的抖動，設(shè)計時在FPGA 的內(nèi)部實現(xiàn)了一個高速FIFO。視頻幀存采用了乒乓結(jié)構(gòu)，將8M 字節(jié)SDRAM 分為兩個4M 字節(jié)的地址空間（每一個地址空間可以容納一幀YUV 視頻數(shù)據(jù)（720 ×576 ×115 字節(jié)） ） ，一個地址空間用于存儲當(dāng)前正在采集的視頻數(shù)據(jù)，另一個地址空間用于DSP 的數(shù)據(jù)讀取。在壓縮CCIR601 格式的視頻圖像（每秒25 幀） 時，由于DSP 的處理速度（大約每秒10幀） 慢于視頻采集的速度，所以FPGA 模塊在采集完一幀數(shù)據(jù)進(jìn)入等待狀態(tài)，直到DSP 壓縮完上一幀視頻數(shù)據(jù)時，這2 個地址空間才進(jìn)行互換。

DSP 模塊接收FPGA 模塊送過來的YUV 視頻數(shù)據(jù)，然后進(jìn)行視頻壓縮編碼，最后將壓縮的碼流再轉(zhuǎn)交給FPGA 模塊，由FPGA 模數(shù)據(jù)發(fā)送出去。DSP 模塊的存儲單元（圖1 中的SDRAM2） 用來存放參考幀數(shù)據(jù)和中間運(yùn)算結(jié)構(gòu)。MPEG-4 壓縮編碼算法指令存放在PROM 中，為縮短取指時間， 編碼器在啟動時已將指令從PROM 讀到片內(nèi)存儲器中。MPEG 壓縮碼流是變速碼流（VBR） ，而當(dāng)該碼流在恒定速率（CBR）的信道上發(fā)送時，需要一個FIFO 緩存來平滑編碼器輸出碼率的波動。

該設(shè)計的特點主要表現(xiàn)在以下2 個方面：

①可擴(kuò)展性好。FPGA 模塊除了負(fù)責(zé)數(shù)據(jù)I/ O功能外，還作為協(xié)處理器使用，可根據(jù)需要增加FPGA 的門數(shù)來實現(xiàn)原來由DSP 完成的功能，例如Huffman 編碼、運(yùn)動估計等; ②靈活的視頻壓縮編碼格式控制，編碼器能夠?qū)崟r地根據(jù)用戶的要求進(jìn)行壓縮編碼。

2 　視頻壓縮算法優(yōu)化

（1） MPEG-4 數(shù)據(jù)流優(yōu)化設(shè)計

實驗表明，如果代碼和代碼要訪問的數(shù)據(jù)在C6201 片內(nèi)存儲區(qū)（ PRAM 和DRAM） ，其代碼執(zhí)行速度要比代碼和數(shù)據(jù)在片外同步SDRAM 中平均快17 倍（片內(nèi)總線寬度為256 位，數(shù)據(jù)訪問為1 個CPU 周期） ［3 ］ 。因此，將執(zhí)行代碼和數(shù)據(jù)放到片內(nèi)將大大提高程序的運(yùn)行速度。

在MPEG-4 算法中，由于沒有考慮存儲器的限制，算法每次讀入一幀YUV 數(shù)據(jù)進(jìn)行壓縮編碼 。但對于C6201 來說，片內(nèi)只有64K 字節(jié)DRAM ，不可能一次將一幀數(shù)據(jù)讀到片內(nèi)存儲器進(jìn)行壓縮。如果將一幀數(shù)據(jù)一次讀到片外存儲器（SDRAM） 中進(jìn)行壓縮，又會大大降低代碼的執(zhí)行速度，因此，我們對視頻壓縮算法進(jìn)行了改進(jìn)，一次對一個切片（ slice） 數(shù)據(jù)進(jìn)行壓縮編碼，并將壓縮碼流數(shù)據(jù)直接送入到發(fā)送緩沖區(qū)中。

編碼器一次將一個切片的YUV 數(shù)據(jù)（當(dāng)前幀） 讀入到片內(nèi)存儲器中，然后根據(jù)計算決定切片宏塊的編碼類型（幀內(nèi)/ 幀間編碼） 。如果宏塊進(jìn)行幀內(nèi)編碼，則YUV 數(shù)據(jù)被分成8 ×8 的像素塊（一個宏塊包含4 個Y分量像素塊和2 個UV 分量像素塊） 進(jìn)行DCT 變化，以消除圖像空間冗余信息。DCT 變化后的系數(shù)經(jīng)過量化后進(jìn)行游程編碼（ Run Length Coding 即RLC） 和變長編碼（Variable Length Coding ，即VLC） ，變長編碼的結(jié)果送入到視頻發(fā)送緩沖區(qū)中。與此同時，量化后的DCT 系數(shù)經(jīng)過反量化（結(jié)果放入內(nèi)存B 中） 和反DCT 過程形成重建幀，重建幀用作下一幀的參考幀。

如果宏塊進(jìn)行幀間編碼，則以宏塊為單位進(jìn)行運(yùn)動估計，根據(jù)運(yùn)動估計的結(jié)果建立預(yù)測幀。當(dāng)前幀和預(yù)測幀的差值形成了殘差幀（ residue frame） ，殘差幀的編碼過程與幀內(nèi)編碼過程相同。

（2） 宏塊編碼類型判別算法

在MPEG-4 算法中采用了快速運(yùn)動估計算法，但是在進(jìn)行宏塊編碼類型判別時計算量仍然很大。為此，本文提出了基于宏塊空間復(fù)雜度的判別算法MTJBSC ，進(jìn)一步降低了運(yùn)動估計過程中的計算量。

在編碼P 幀宏塊的時候，首先要決定宏塊是進(jìn)行幀內(nèi)編碼還是幀間編碼。在標(biāo)準(zhǔn)MPEG-4算法中是通過以下方法決定的 ：

設(shè)參考宏塊的像素值（ Y 分量值，以下同） 用P（ x ， y） 表示， 當(dāng)前宏塊的像素值用C （ x ， y） 表示， x ， y 表示宏塊的縱、橫坐標(biāo)， M ， N 表示宏塊的寬和高。當(dāng)前宏塊像素值的方差用EVAR表示，其值為

參考宏塊和當(dāng)前宏塊的方差用EVMC表示，其值為

EVMC值越小（比如EVMC 《 EVAR） ，說明參考宏塊和當(dāng)前兩宏塊的相關(guān)性越大，應(yīng)該采用幀間編碼。另一方面，還要考慮當(dāng)前宏塊方差的大小，如果當(dāng)前宏塊的方差較小（比如EVAR 《 EVMC） 則應(yīng)該進(jìn)行幀內(nèi)編碼;但此時如果EVMC足夠的小，還是應(yīng)該采用幀間編碼。因此有如下判斷準(zhǔn)則：

if （ EVMC 》 EVAR and EVMC ≥9） then 幀內(nèi)編碼else幀間編碼

顯然，在MPEG-4 算法中，為了判斷宏塊的編碼模式進(jìn)行了大量的計算（對于每一個P 幀宏塊都要進(jìn)行上面的計算） 。為了減少計算復(fù)雜度，本文提出了基于宏塊空間復(fù)雜度（ EMBC） 的宏塊類型判斷（MTJBSC） 算法，用以判斷P 幀宏塊的幀內(nèi)/ 幀間編碼模式。

定義宏塊的空間復(fù)雜度為水平方向上相鄰像素差值的絕對值之和，即

在基于幀間差原理進(jìn)行視頻壓縮的MPEG標(biāo)準(zhǔn)中，一般都是采用絕對差總合（ ESAD） 來進(jìn)行運(yùn)動估計的。在MPEG 標(biāo)準(zhǔn)中，宏塊的ESAD值定義為

式中： m ， n 為該宏塊的運(yùn)動向量。

根據(jù)上述定義，MTJBSC 算法可簡單描述為：

如果宏塊的ESAD小于其EMBC ，則該P(yáng) 幀宏塊進(jìn)行幀間編碼;否則進(jìn)行幀內(nèi)編碼。實驗表明，在壓縮質(zhì)量和壓縮輸出碼率均沒有大的變動的情況下，該算法有效降低了視頻編碼器的計算復(fù)雜度，編碼器的壓縮幀率（f/ s） 得到明顯提高。

3 　測試結(jié)果

表1 為編碼器進(jìn)行裝載測試的測試結(jié)果（1幀的平均值） 。裝載測試是首先將視頻測試序列裝載到編碼器的SDRAM 中，然后進(jìn)行壓縮編碼。使用的視頻序列為標(biāo)準(zhǔn)測試序列mother （CIF 格式，彩色， YUV 4 ∶2 ∶0 ， 5 幀） ，DSP 主頻設(shè)置為200 MHz。

表2 為美國TI （ Texas Inst rument） 公司基于DSK 6711 EVM 板開發(fā)的H. 263 視頻編碼器的性能測試數(shù)據(jù)（ 裝載測試） ， DSP 主頻為150MHz。TI 公司針對DSK 6711 對H. 263 做了全面優(yōu)化，算法關(guān)鍵代碼采用了線性匯編語言編寫。H. 263 視頻編碼算法與MPEG 視頻編碼算法的壓縮編碼原理、過程和計算復(fù)雜度大致相當(dāng)，因此二者具有可比性。

從表1 和表2 可以看出，研制的視頻編碼器平均壓縮幀率為39. 2f/ s （CIF 圖像） ，而TI 公司開發(fā)的視頻編碼器平均壓縮幀率為20f/ s （CIF 圖像） ，絕對性能提高了96 % ，考慮到DSP 主頻的因素，相對性能仍然提高了47 %。

4 　結(jié)　論

采用DSP 和FPGA 協(xié)同技術(shù)設(shè)計實現(xiàn)了一個高性能的MPEG24 視頻編碼器。使用FPGA完成編碼器I/ O 功能，使用DSP 進(jìn)行視頻壓縮編碼，二者能夠很好地并行工作，系統(tǒng)設(shè)計結(jié)構(gòu)簡捷，硬件工作可靠。同時，針對DSP C6201 片內(nèi)資源特點優(yōu)化了視頻壓縮的數(shù)據(jù)流模式，采用MTJBSC 算法有效地降低了壓縮算法的計算復(fù)雜度。測試結(jié)果表明，采用MPEG24 視頻標(biāo)準(zhǔn)該視頻編碼器每秒能夠每秒壓縮39. 2 幀CIF 圖像。