視頻處理是現代世界的一項關鍵技術；它使電子系統能夠捕獲、處理和提取視頻中包含的數據。因此，視頻處理是許多應用的基礎技術，從智能城市交通管理到廣播。

所有這些應用程序都需要處理高分辨率幀的能力——例如，幀速率為每秒 60 幀或更高的 4K 或 8K 分辨率。這相當于在 4K 分辨率下每秒處理 5 億像素或在 8K 分辨率下每秒處理 19.9 億像素。對于僅顯示接收到的視頻的簡單視頻捕獲和顯示管道，這些是具有挑戰性的性能數據。當需要額外的處理步驟時——例如，檢測和分類對象或執行轉碼——實現幀速率所需的處理要求是相當大的。如果視頻分析對時間至關重要，例如在智能城市交通監控部署中，高級算法使用人工智能和機器學習預測和平滑交通流，則尤其如此。

創建復雜的視頻處理系統超出了對純處理能力的需求，還需要高 I/O 數量以連接各種外部傳感器、相機和執行器。對于智能城市交通管理系統，這種接口可能意味著支持多個視頻傳感器，同時使用 JPEG XS 提供高性能網絡接口和關鍵事件的本地存儲/記錄。再舉一個例子，考慮一種依賴視頻處理的醫療外科機器人系統。該系統必須與傳感器接口，同時控制照明，并提供對一系列電機和執行器的精細控制。對于這兩種應用程序，接口挑戰都非常大。行業對具有支持多個高速傳感器并提供與廣泛的網絡和工業接口進行通信所需的接口功能的性能的設備存在很高的需求。

FPGA 在視頻處理中的作用

系統設計工程師用來應對這些性能和接口挑戰的領先技術之一是現場可編程門陣列 (FPGA)。FPGA 提供了可用于實現高度并行流水線處理結構的設計器邏輯資源。與內部架構的靈活性一樣，FPGA 的 I/O 結構也非常靈活，可以實現高速和低速接口的連接。這種靈活性使 FPGA 能夠支持多種高性能視頻傳感器和網絡接口，并實現用于控制執行器、傳感器、電機和其他外部設備的低帶寬工業、傳統和自定義接口。

在邏輯中實現視頻處理算法可以創建深度并行化的實現。這些并行實現增加了確定性并減少了延遲，因為可以消除處理系統中的瓶頸。

選擇 FPGA

當然，FPGA 的選擇會因應用而異，以確保最有效的解決方案。設計工程師根據邏輯容量和性能、接口功能以及專門的硬宏來選擇設備。例如，Intel ? Arria ? 10 系列的設備通常被選擇用于醫療和專業 A/V 視頻處理應用，而Stratix ? 10系列的設備則非常適合廣播解決方案。除了高性能邏輯，Arria ? 10 系列還為開發人員提供了一系列與 GT 和 GX 系列的高帶寬互連解決方案，而 SX 系列則提供了 Arm ?能夠實現順序處理的 A9 處理器，例如人機界面 (HMI)、GUI、通信協議等。

英特爾? Stratix ? 10 家族在功能上提供了重大的進步，在 SX 設備中提供嵌入式 Arm ? A53內核，在 GX 設備中提供高性能浮點和吞吐量解決方案，并在 NX 設備中支持 AI/ML。可供選擇的器件種類繁多，允許開發人員為手頭的應用選擇最合適的 FPGA。

無論選擇何種設備，設計工程師都需要范圍廣泛的生產就緒 IP 來滿足日益苛刻的項目時間表。

在英特爾? Quartus ? Prime 設計軟件中，開發人員可以使用英特爾全面的視頻和圖像處理套件。該套件具有 20 多個高度優化的、可直接用于生產的 IP 塊，它們提供了實施視頻和圖像處理管道所需的核心功能。為了實現 VIP 套件內核之間的高性能集成和連接，IP 塊使用英特爾的Avalon ?流接口進行連接。這實現了使用視頻 IP 塊的混合匹配方法，根據需要將塊插入視頻處理管道。視頻 IP 為設計工程師提供了一系列功能，包括：

接口：支持從 HDMI 到 SDI、DisplayPort、MIPI 和以太網 (GigE Vision) 的一系列不同的相機和傳感器接口

捕獲、校正和處理：能夠根據處理需要格式化視頻——例如，顏色空間轉換、去隔行、伽馬校正、剪輯、色度重采樣、同步——并使用 2D 過濾器從視頻中去除時間和光譜噪聲和視頻流清潔器。

格式化：使用 Alpha 混合、縮放和隔行掃描來格式化輸出視頻的能力。

緩沖：支持在 DDR 中讀取和寫入幀緩沖區。這使開發人員能夠更改輸入和輸出幀速率，并使處理后的視頻可用于處理器系統進行高級視頻處理。

分析和測試：支持動態視頻統計和測試模式生成，以在沒有傳感器/攝像頭的情況下啟用視頻處理路徑。

雖然視頻和圖像處理套件功能廣泛，但可能需要其他專業 IP 功能。在這種情況下，開發人員可以利用范圍廣泛的合作伙伴生態系統 IP。此類 IP 合作伙伴包括提供一系列壓縮 IP（包括 JPEG-XS）的 IntoPIX、提供 MIPI 接口解決方案的 Rambus（前身為 Northwest Logic）以及提供一系列 IP 視頻解決方案的 Macnica。

廣泛的英特爾?和合作伙伴生態系統 IP 使開發人員能夠快速輕松地開發自定義視頻處理應用程序。對于自定義算法實現，開發人員可以利用英特爾的 HLS 編譯器。HLS 編譯器允許開發人員使用更高級的語言定義算法，與寄存器傳輸級實現相比，進一步減少了設計和驗證時間。

結論

創建能夠支持 4K 和 8K 分辨率的現代視頻處理應用程序需要強大的處理和接口功能。廣泛的英特爾和合作伙伴生態系統視頻處理和連接 IP 允許設計人員挑選功能，而高性能 FPGA 結構是處理高分辨率視頻流的理想選擇。這些功能與強大的軟件設計流程一起，為下一代智能視頻應用程序的快速開發提供了條件。