基于S3C2440在Linux上實現視頻監控系統的FFmpeg編解碼設計

引言

隨著視頻編解碼技術、計算機網絡技術、數字信號處理技術和嵌入式系統的發展，以嵌入式網絡視頻服務器為核心的遠程視頻監控系統開始在市場上嶄露頭角。該系統把攝像機輸出的模擬視頻信號通過內置的嵌入式視頻編碼器直接轉換成視頻流，通過計算機網絡傳輸出去。嵌入式網絡視頻服務器具備視頻編碼處理、網絡通信、系統控制等強大功能，直接支持網絡視頻傳輸和網絡管理，使得監控范圍達到前所未有的廣度。在遠程視頻監控系統中，攝像頭獲取的原始視頻流在傳輸之前需要壓縮，而FFmpeg可以將原始視頻壓縮為H264格式視頻流，H264是一種被廣泛使用的高精度視頻的錄制、壓縮和發布格式，因此采用FFmpeg來實現。

1、系統方案

系統是在S3C2440平臺上運行嵌入式Linux系統，使用CMOS攝像頭OV9650獲取實時視頻圖像數據，采用H264標準通過FFmpeg原始視頻進行壓縮編碼成視頻流，通過網絡傳輸，用戶在接收處理端經過FFmpeg解碼之后，使用OpenCV顯示播放即可實時查看遠程視頻圖像。

系統由兩部分組成：采集發送端和接收處理端，采用Client／Server設計模式來實現兩者之間的相互通信，由接收處理端向采集發送端發送控制信號，采集發送端開啟攝像頭進行視頻數據采集，采集的原始視頻數據是yuv422格式，經過FFmpcg編碼壓縮成H．264格式視頻流，經通信網絡傳輸到接收處理端；接收處理端接收到視頻流數據后，經FFmpeg解碼，通過OpenCV進行顯示。采集發送端視頻數據采集和發送采用三星公司的具有ARM920T內核的S3C2440作為嵌入式微控制器，接收處理端采用普通電腦。系統方案如圖1所示。

基于S3C2440在Linux上實現視頻監控系統的FFmpeg編解碼設計

2、采集發送端

采集發送端主要包括嵌入式Linux平臺和攝像頭兩部分，嵌入式Linux平臺需要搭建交叉編譯環境，而攝像頭需要驅動程序才能正常工作。

嵌入式Linux平臺采用三星公司的S3C2440A處理器為硬件平臺，S3C2440A處理器是一款基于ARM920T內核的16／32bit嵌入式處理器，主頻

400MHz，最高可達533MHz，支持30／130／200萬像素CMOS攝像頭，支持linux2.4和Wince4.2雙操作系統，適合應用于對功率和成本都較敏感的嵌入式系統場合。

攝像頭采用Omni Visio公司生產的CMOS攝像頭OV9650，具有高敏感度、低功耗，高分辨率（最高1300X1028 pixels），支持大量常用的圖像格式、支持自動圖像控制等優點。在接口上能夠保持與S3C2440的一致性。輸出圖像最大為130萬像素，輸出圖像格式包括SXGA，VGA，QVG A，CIF，QCIF等，并可以輸出不同尺寸的圖像。對于不同的輸出圖像格式，最高幀率可以不同，最高可達120f／s，輸出的8位數據格式包括YUV／YCbCr（4：2：2）、GRB（4：2：2）、原始RGB數據3種。

2．1 建立嵌入式Linux平臺

建立嵌入式Linux系統的基本流程：首先在宿主機上建立交叉編譯環境，然后移植Linux的引導程序到目標板，最后構建嵌入式Linux系統并移植到目標板。構建嵌入式Linux系統主要包括對內核進行裁剪和配置，根據實際的硬件系統進行內核和外設驅動程序的移植開發，以及構建Linux的根文件系統。

2．2 攝像頭驅動配置

CMOS攝像頭驅動以MODULES的形式編寫，因為MODULES形式的驅動可動態加載到Linux內核。

加載驅動程序后，就可以像操作普通文件一樣對攝像頭進行操作。如：定義intm_filev412，通過m_filev412=open（“／dev／camera” O_RDWR）打開攝像頭，通過read（fd，&inyuv422，D SIZE）讀取攝像頭的視頻數據到數組inyuv422中，通過closc（m_filev412）關閉攝像頭。有了視頻數據后，就可以通FFmpeg進行編碼。

2. 3 FFmpeg編碼

2．3．1 FFmpeg簡介

FFmpeg是一個開源免費跨平臺的視頻和音頻流方案，屬于自由軟件，采用LGPL或GPL許可證（依據所你選擇的組件），是一個集錄制、轉換、音／視頻編解碼功能為一體的、完整的開源解決方案。FFmpeg的開發基于Linux操作系統，也可在大多數操作系統中編譯和使用。FFmpeg支持MPEG、DivX、MPEG4、AC3、DV、FLV等40多種編碼，AVI、MPEG、OGG、Matroska、ASF等90多種解碼；TCPMP、VLC、MPlayer等開源播放器都用到了FFmpeg。

FFmpeg中FF是指Fast Forward。

2．3．2 編碼

OV9650攝像頭輸出的數據為yuv422格式，而FFmpeg編碼需要輸入yuv420格式數據，因此在編碼之前需要先將yuv422格式數據轉化為yuv 420格式。FFmpeg中的函數sws_scale（）可以實現這個過程。

在使用FFmpeg編碼之前，首先需要對FFmpeg庫進行初始化，注冊所有的編解碼器以及文件格式，設置編碼器碼率、幀速率、編碼像素格式等參數，然后尋找編碼器并打開，打開編碼器之后才可以進行編碼。通過設置結構體AVCodecContext中的各個成員參數來完成參數的設置過程，例如通過設置AVCodecContext-》bit_rate，AVCodecContext-》width，AVCodecContcxt-》height等可以設置碼率，寬度和高度等，通過設置AVCodecContext-》pix_fmt=PIX_FMT_YUV420P設置YUV420像素格式。編碼核心函數是avcodec_encode_video（）。系統每采集一幀數據，就送給avcodec_encode_video（）函數編碼成H.264視頻流。其編碼流程如圖2所示。

基于S3C2440在Linux上實現視頻監控系統的FFmpeg編解碼設計

下面對編碼流程的各個步驟中主要函數的作用進行詳細介紹：

1）av_register_all（）：注冊庫中含有所有文件格式和編解碼器，沒有這一步將無法打開編解碼器。

2）av_open_imput_file（）：打開攝像頭視頻文件。

3）av_find_stream_info（）：尋找視頻流。

4）av_find_encoder（）：尋找編碼器，編碼器參數需在pCodec中初始化，參數的初始化很重要，對編碼的圖像質量有很大影響。

pCodec=avcodec_find_encoder （CODEC_ID_H264）；／／尋找H．264格式編碼器

5）avcodec_alloc_frame（）：為編碼幀分配內存。

pFrame=avcodec_alloc_frame（）；／／pFrame為AVFrame格式

6）avcodec_open（）：打開編碼器。

7）av_read_frame（）：從視頻流中讀取一幀視頻數據。

8）avcodec_encode_video（）：編碼一幀視頻數據。

9）avcodec_close（）：關閉編碼器。

10）avformat_close_mput file（）：關閉視頻攝像頭文件。

3、接收處理端

接收處理端可以與任意一個采集發送端進行連接通信。連接后可以接收采集發送端發送的視頻數據，經過FFmpeg解碼后顯示。

3．1 FFmpeg解碼

用FFmpeg解碼的流程與編碼的流程大致相同，只是解碼的核心函數為avcodec_decode_video（）。接收處理端接收到一幀數據后，通過avpicture_fill（）存儲到AVFrame格式的內存空間中，然后再使用avcodec_decode_video（）函數進行解碼。其解碼流程如圖3所示：

基于S3C2440在Linux上實現視頻監控系統的FFmpeg編解碼設計