機器視覺在工業自動化系統中的應用已經有一定的歷史，它取代了傳統的人工檢查，提高了生產質量和產量。 我們已經看到了相機在計算機、移動設備和汽車等日常生活設備中的迅速普及，但是機器視覺的最大進步莫過于處理能力。隨著處理器的性能以每兩年翻一番的速度不斷提升，以及多核CPU和FPGA等并行處理技術日益受到關注，視覺系統設計人員現在可以應用復雜的算法來可視化數據，并創建出更加智能的系統。

性能的提高意味著設計人員可以獲得更高的數據吞吐量，從而實現更快速的圖像采集，使用更高分辨率的傳感器，并充分利用市場上具有最高動態范圍的一些新款相機。性能的提高不僅可讓設計人員更快速地采集圖像，而且還能更快速地處理圖像。預處理算法(如閾值和濾波)或處理算法(如模式匹配)也可以更快速地執行。最終設計人員能夠比以往更快地基于可視化數據制定決策。

德州奧斯汀NI總部數據采集和控制產品市場經理，主要負責機器視覺領域的Brandon Treece認為，隨著視覺系統越來越多地集成最新一代多核CPU和強大FPGA，視覺系統設計人員需要了解使用這些處理元件的好處和得失。他們不僅需要在正確的硬件上運行正確的算法，還需要了解哪些架構最適合作為其設計的基礎。

內聯處理和協處理

在研究哪種類型的算法最適合哪個處理元件之前，您應該了解每個應用最適合的架構類型。在開發基于CPU和FPGA的異構架構的視覺系統時，需要考慮兩個主要的使用情況： 嵌入式處理和協處理。

如果是FPGA協處理，FPGA和CPU將共同工作，共享處理負載。這種架構最常用于GigE Vision和USB3 Vision相機，因為它們的采集邏輯最好是在CPU上實現：

您可以使用CPU采集圖像，然后通過直接存儲器訪問(DMA)將其發送到FPGA，以便FPGA可以執行諸如濾波或顏色平面提取等操作。然后，您可以將圖像發送回CPU以進行更高級的操作，例如光學字符識別(OCR)或模式匹配。

在某些情況下，您可以在FPGA上實現所有的處理步驟，并只將處理結果發送回CPU。這使得CPU可以將更多的資源用于運動控制、網絡通信和圖像顯示等其他操作。

圖1.在FPGA協處理中，圖像使用CPU進行采集后，通過DMA發送到FPGA，然后由FPGA對圖像進行處理。

在嵌入式FPGA處理架構中，您可以將相機接口直接連接到FPGA的引腳，以便像素可直接從相機發送到FPGA。這種架構通常與Camera Link相機一起使用，因為它們的采集邏輯易于使用FPGA上的數字電路來實現。 這個架構有兩個主要的好處：

首先，與協處理一樣，在FPGA上執行預處理功能時，可以使用嵌入式處理將部分工作從CPU轉移到FPGA。例如，在將像素發送到CPU之前，可以在FPGA上執行高速預處理，如濾波或閾值處理。這也減少了CPU必須處理的數據量，因為CPU上的邏輯只需捕獲感興趣區域的像素，這最終提高了整個系統的吞吐量。

這種架構的第二個好處是可以在不使用CPU的情況下直接在FPGA內進行高速控制操作。FPGA是控制應用的理想選擇，因為它們可以提供非常快速且高度確定的循環速率。其中一個例子就是高速分類，其中FPGA向執行器發送脈沖，當脈沖通過執行器時，執行器會對零件進行剔除或分類操作。

圖2.在嵌入式FPGA處理架構中，您可以將相機接口直接連接到FPGA的引腳，以便像素可直接從相機發送到FPGA。

CPU與FPGA視覺算法

在對構建異構視覺系統的不同方式有了基本了解，您可以看一下在FPGA上運行的最佳算法。 首先需要了解CPU和FPGA的工作原理。 為了解釋這一概念，我們假設一個理論算法可對圖像執行四個不同的操作，然后看一下這四個操作部署到CPU和FPGA上時分別是如何運行的：

CPU按順序執行操作，因此第一個操作必須在整個圖像上運行結束后，第二個操作才能啟動。在本例中，假設算法中的每個步驟在CPU上運行需要6ms; 因此，總處理時間是24ms。

現在考慮在FPGA上運行相同的算法。由于FPGA本質上是大規模并行的，所以該算法中的四個操作可以同時對圖像中的不同像素上操作。這意味著接收第一個處理的像素僅需2ms的時間，處理整個圖像需要4ms的時間，因而總處理時間為6ms。這比CPU的執行速度快得多。

即使使用FPGA協處理架構并將圖像傳輸到CPU，整個處理時間(包括傳輸時間)也比單獨使用CPU要短得多。

圖3.由于FPGA在本質上是大規模并行的，因此相比CPU，可顯著性能提升。

現在考慮一個真實的例子，比如粒子計數所需的圖像。

首先需要應用卷積濾鏡來銳化圖像。