隨著現代圖像及視頻處理技術的不斷發展，人們對圖像處理提出了新的要求，最近幾年，圖像的分辨率和掃描頻率都有了較大范圍的提升，1080P分辨率的視頻已經非常流行，2K甚至4K分辨率的圖像也在火熱發展中。

基于軟件的圖像處理方法存在著一些局限性，尤其是計算速度和算法效率方面。所以大家很自然的就想到了FPGA作為嵌入式圖像應用的平臺。許多圖像處理本身就是并行計算的，并且FPGA的編程硬件，本質上也是并行的。

FPGA（Field-Program mable Gate Array），即現場可編程門陣列，它是在PAL、GAL、CPLD等可編程器件的基礎上進一步發展的產物。它是作為專用集成電路（ASIC）領域中的一種半定制電路而出現的，既解決了定制電路的不足，又克服了原有可編程器件門電路數有限的缺點。

下面以米爾VECP邊緣視覺套件作為圖像處理的硬件平臺，帶你玩轉FPGA之視頻圖像抓取。

FPGA功能描述圖示：

MYD-CZU3EG-ISP 提供4K分辨率的攝像頭功能，同時輸出4K分辨率的圖像顯示到圖像輸出接口，下面帶一起來體驗FPGA的圖像抓取和圖像顯示的操作和應用。

一、前期準備工作

將產品資料光盤中的鏡像文件和攝像頭測試文件復制到TF卡中，并安裝光盤中的工業相機采集軟件OCT SDK工具，同時去cypress官網下載FX3 SDK工具進行固件燒錄。（具體文件路徑請看板卡配套資料）

二、操作過程

（1）將開發板的啟動模式switch 開關SW1 的1 撥到OFF，2 撥到ON，3撥到OFF，4 撥到ON，設置成TF 卡啟動模式；

（2）插入已存入文件的TF 卡，連接串口，波特率設置為115200，開發板上電；
（3）開發板將引導進入Ramdisk 文件系統，進入Linux 命令行:

Welcome to myir board
myir login: root
[root@myir?~]#

（4）打開OCT SDK 工具，如下圖，選擇“OCAM Technology”，點擊右鍵選擇Connect>Window:1:

光標移到右側視屏區，點擊右鍵，選擇Start
（5）發送控制指令，設置Gige（網絡接口）為輸出接口的視頻源為1，選擇PS VDMA為輸出的視頻源；
[root@myir?~]# cd /mnt/mmcblk1p1/
[root@myir?mmcblk1p1]# ./setispcmd 81 01 12 00 01 00 02 ff
（6）抓取攝像頭圖像，輸入如下命令，將會生成圖像文件rgb888；
[root@myir?mmcblk1p1]# ./ispcaptest
（7）顯示抓取攝像頭圖像；
[root@myir?mmcblk1p1]# cat rgb888 >/dev/fb0
（8）OCT 工具將會顯示抓取的攝像頭圖像；

三、HDMI接口顯示

如果要用hdmi 接口的4k 顯示器顯示攝像頭圖像，輸入如下命令，將會顯示如下圖的攝像頭圖像。
[root@myir?~]# cd /mnt/mmcblk1p1/
[root@myir?mmcblk1p1]# ./setispcmd 81 01 12 00 01 00 01 ff
[root@myir?mmcblk1p1]# ./ispcaptest
[root@myir?mmcblk1p1]# cat rgb888 >/dev/fb0

四、USB顯示輸出

如果要用usb 顯示攝像頭圖像，按照“MYD-CZU3EG-ISP 功能描述和編譯”的文檔生成包含usb 顯示圖像的功能的BOOT.bin，替換TF 卡中的BOOT.bin文件，將會顯示如下圖的攝像頭圖像。
[root@myir?~]# cd /mnt/mmcblk1p1/
[root@myir?mmcblk1p1]# ./setispcmd 81 01 12 00 01 00 04 ff
[root@myir?mmcblk1p1]# ./ispcaptest
[root@myir?mmcblk1p1]# cat rgb888 >/dev/fb0

五、HDMI 顯示QT 界面

將開發板的啟動模式switch開關SW1 的1 撥到OFF，2 撥到ON，3撥到OFF，4 撥到ON，設置成TF 卡啟動模式；
插入已存入燒寫文件的TF 卡，連接串口波特率為115200，開發板上電；
開發板將引導進入Ramdisk文件系統，進入Linux 命令行，輸入命令開始更新：
Welcome to myir board
myir login: root
[root@myir?~]#/updatesys.sh /mnt/mmcblk1p1

腳本將把BOOT.bin，devicetree.dtb，Image 燒寫到QSPI-Flash，把rootfs.tar燒寫到eMMC。
燒寫完成之后，將開發板的啟動模式switch 開關SW1的1撥到ON，2撥到OFF，3撥到ON，4撥到ON，
設置成Qspi flash 啟動模式，重新上電，進入燒寫的rootfs文件系統，輸入如下命令。
Welcome to myir board
myir login: root
[root@myir?~]# /mnt/mmcblk1p1/setispcmd 81 01 12 00 01 00 01 ff
[root@myir?~]# /usr/lib/qt/examples/widgets/painting/deform/deform

六、選擇視頻源的指令說明

選擇視頻源的指令說明見下表，查看ISP 控制指令集，請參考《MYD-CZU3EG -ISP圖像控制指令手冊》文檔

VECP邊緣視覺套件簡介

MYD-CZU3EG開發板由MYC-CZU3EG核心板加MYB-CZU3EG-C-ISP底板組成。核心板采用了Xilinx最新的基于16nm工藝的Zynq UltraScale+ All Programmable SoC平臺，集成了四核Cortex?-A53 處理器，雙核Cortex?-R5 實時處理單元以及Mali-400 MP2圖形處理單元及16nm FinFET+可編程邏輯相結合的異構處理系統。

底板搭載的接口包括PL端的HDMI輸出，千兆網口，USB3.0 device接口，MIPI接口，高速擴展IO，以及PS端的USB3.0 HOST接口，千兆網口，TF卡接口，USB 轉調試串口等，擁有超低延時4k圖像處理技術，并且圖像處理IP支持定制。
編輯：hfy