圖像預處理是圖像處理關鍵中間環節，通過優化傳感器到主機的數據傳輸處理為后續減負。其算法依托硬件執行，搭載FPGA的友思特圖像采集卡以高速運算和并行特性縮短處理時間、降低延遲并提升吞吐量，助力高速分揀等系統快速決策。針對高速接口及實時 / 大數據量場景，該采集卡是必備組件，可在 FPGA 上完成去拜耳化、HDR等預處理，為視覺系統高效運行奠基。

前言

圖像預處理是圖像處理過程中的一個中心中間步驟，圖像從傳感器到圖像采集卡中進行處理，再到在主機 PC 中輸出結果。它確保圖像數據針對相應的應用進行優化，安全地傳輸。圖像預處理的目的是準備數據，以簡化進一步的處理步驟并減輕主機PC處理的負擔。

預處理中使用的圖像處理算法取決于相機傳感器的現有的圖像質量。這些算法可以在圖像采集卡的板載FPGA上執行，也可以在其他視覺硬件（如相機本身、后端PC等）上執行。

而FPGA的高速運算和并行特性可縮短圖像處理時間，從而降低系統延遲和提高吞吐量。此外，FPGA圖像處理可以允許高速分揀機、表面和幅材檢測等系統的控制器更快速地基于所采集的圖像作出決策

（友思特FPGA圖像采集卡）

（FPGA vs PC預處理CPU使用對比）

對于高速接口（如 CoaXPress、Camera Link 和 Camera Link HS）而言，圖像采集卡是整個系統搭建必要組件，并且對于實時要求較高或大數據量傳輸來說，圖像采集卡是必不可少的。它可以直接在FPGA上進行更廣泛的預處理。例如高質量的去拜耳化、圖像有損/無損壓縮、高動態范圍（HDR）、Blob分析、白平衡等，具體取決于應用。

通過壓縮減少數據量:JPEG壓縮,Lossless壓縮,Quality+壓縮

方案一：Quality+壓縮方案

1:20+ 壓縮比情況下保證更加優秀圖像質量

友思特合作伙伴Gidel的Quality+（Q+）壓縮算法實時壓縮彩色濾鏡陣列（CFA - 例如，拜耳）、Mono、RGB圖像和視頻。

Q+算法徹底改變了傳統圖像壓縮算法，在保持原始圖像質量的同時，為高帶寬圖像流實現了高達1：20+甚至更高的壓縮比。

與會降低圖像保真度的傳統壓縮方法不同，Quality+通過保持原始信噪比（SNR）來保持圖像質量不降低，同時智能優化壓縮，Quality+通過將圖像中的無效噪聲替換為壓縮高效的噪聲，從而在不犧牲關鍵細節的情況下提高壓縮效率。

Quality+算法支持動態訓練，允許系統根據特定視頻流特征自適應優化壓縮參數，確保針對不同應用場景（如半導體檢測、高速運動捕捉）實現壓縮效率最大化。Quality+運行于HawkEye系列FPGA圖像采集卡，徹底釋放 CPU/GPU負載算力壓力，支持千兆像素/秒級吞吐量，實現無瓶頸壓縮處理。

(通過調整GOP值，實現圖像質量與壓縮間平衡)

Quality+具有最小的延遲和幀延遲下的處理，可確保實時響應能力，使其成為錄制和流媒體應用程序的理想解決方案。

方案二：無損壓縮方案

兩種壓縮模式，多種素材格式實時壓縮

通過在FPGA上實現的無損壓縮IP，可對彩色濾光片陣列（CFA – 例如拜耳）、Mono和RGB圖像和視頻執行實時壓縮。在Airra 10 FPGA 資源上，在實際視頻應用中實現了接近1：3的無損壓縮比。

并且根據不同壓縮方式，得到的壓縮效果也有差異，主要有兩種壓縮模式：

√ 壓縮單個圖像幀

√ 使用I幀和P幀對整個視頻實現更高壓縮比

同時，壓縮可以通過基于樣本圖像數據的預訓練或基于實時數據的動態訓練優化。

壓縮前 2400*1600,10.9MB	無損壓縮后 2400*1600,3.66MB

方案三：實時JPEG壓縮方案

壓縮程度可選，平衡存儲大小和圖像質量

實時JPEG圖像壓縮（編碼器）IP可在FPGA上實現高性能JPEG壓縮。壓縮IP具有快速處理能力、低延遲和緊湊的芯片利用率。由于其緊湊性，該壓縮IP可以在小型FPGA器件上實現，以實現高性能的相機圖像流壓縮，或者，該IP可以在單個較大的FPGA器件上多次部署。

JPEG壓縮IP的輸入流為YCbCr格式，帶有RGB、Mono等可選的轉換器。用戶可以調整圖像壓縮程度，從而在存儲大小和圖像質量之間進行選擇性權衡。

壓縮前 2400*1600,10.9MB	JPEG壓縮后 2400*1600,2.13MB

（JPEG壓縮IP支持壓縮比例動態調整，存儲大小和圖像質量之間進行選擇性權衡）

HDR擴大圖像動態范圍

主要特點

√ 高性能單次曝光實現高動態范圍 （HDR）

傳統 HDR 依賴于多次曝光，但這種方法對于涉及運動或高數據速率的應用程序來說通常是不切實際的。友思特HDR IP 通過創新的單次曝光算法克服了這些限制，使用基于FPGA的處理提供完美的HDR質量和性能。

√高圖像質量和無限吞吐量

通過提供實時、高質量的 HDR，幾乎零延遲的圖像預處理IP。HDR IP不僅分析每個像素的亮度數據，還分析周圍像素，動態調整 HDR 處理以考慮局部亮度變化，從而脫穎而出。這種環境敏感的方法可以增強細微的細節，即使在具有挑戰性的照明下也是如此，從而提供具有出色保真度的圖像。Gidel專有的HDR 算法與FPGA架構相結合，能夠同時處理無限的多個像素，從而在超寬像場中實現高速、高效的 HDR 性能。

√ 集成到 ISP 管道

同時HDR CPU卸載可以輕松集成到HawkEye圖像采集卡和 FPGA 模塊中。它可以與用戶IP和/或其他實時、零延遲圖像增強模塊結合使用，例如Gamma 校正、白平衡、去拜耳化和壓縮等。這種模塊化方法允許完全優化的端到端解決方案，以滿足任何成像應用的特定需求。

ROI提高傳輸速率，專注感興趣區域處理

友思特HawkEye采集卡的優勢在于，能夠在板載FPGA上實時處理識別圖像中的感興趣區域(ROIs)，并能智能、動態地調整ROI區域和參數并優化傳輸效率。FPGA通過硬件并行性（如流水線處理和定制IP核）實現微秒級ROI提取。同時板載圖像處理可實現僅傳輸ROI數據(而非全幀)，降低傳輸負載，實現高效數據傳輸。

友思特圖像預處理解決方案

PCIE圖像采集卡

提供GigE Vison、Cameralink、Coaxpress等多種接口的圖像采集卡，兼容性極強，采用強大的Arria 10 FPGA，具備大容量內存、高帶寬數據傳輸通道和豐富的I/O接口，保證100%的幀捕獲，廣泛用于實時、高帶寬視覺和圖像處理等應用。

FantoVision嵌入式邊緣計算機

基于FPGA和GPU實現20Gb/s & 40Gb/s高帶寬圖像采集、記錄與處理的嵌入式邊緣計算機，FantoVision的架構使用NVIDIA Jetson嵌入式計算機與高端圖像采集的實時圖像處理結合起來，具有高性能的FPGA處理能力，開放式架構，可自定義圖像處理，為各類應用場景帶來更高的處理速度和更高帶寬選擇。

審核編輯 黃宇