圖 1：基于深度學習的目標檢測可定位已訓練的目標類別，并通過矩形框（邊界框）對其進行標識。

在討論人工智能（AI）或深度學習時，經常會出現“神經網絡”、“黑箱”、“標注”等術語。這些概念對非專業人士而言往往難以理解，人們也常常誤以為需要扎實的編程技能才能真正掌握并合理使用這項技術。事實上，這種印象忽視了該技術為機器視覺（乃至生產自動化）帶來的潛力，因為深度學習并非只屬于計算機科學家或程序員。

從頭開始：什么是深度學習？

作為機器學習的子集，深度學習基于多層神經網絡，它們能夠逼真地模擬人腦的復雜結構和過程，并獨立做出決策。在全面的訓練過程中，深度學習模型通過分析數據學習識別特定模式和關系。

那么，深度學習技術為何在機器視覺領域如此成功呢？因為機器視覺會產生海量的圖像數據，這為神經網絡的有效訓練提供了完美基礎。與此同時，用戶也能從深度學習技術中獲益：深度學習能提供的識別率達到了新的質量水平，這也使得全新的機器視覺自動化應用成為可能。

整體而言，深度學習為機器視覺注入了新的發展動力，因此越來越多人認為深度學習值得使用。許多大大小小的公司都在考慮引入AI或深度學習，但往往因某些顧慮而遲遲未有行動。實際上，使用該技術并不像他們想象的那么復雜，目前也有工具能簡化深度學習的應用流程。

適配不同應用的深度學習方法

在落地實踐中，最核心的問題是：你究竟想自動化什么任務？集成商、工廠運營商、機器制造商可使用的深度學習方法，正在不斷增多。

（1）異常檢測

異常檢測能快速輕松地識別缺陷，使質量管理流程中的缺陷檢測效率大大提高。其最大的優勢在于：傳統深度學習方法相比，該技術需要更少的訓練數據—— 完整的訓練只需 20~100 張圖像。而且，異常檢測僅需“正常圖像”即可滿足要求，這使訓練數據集的生成速度大大加快。基于正常圖像訓練的異常檢測模型，能夠識別與訓練圖像的結構偏差（即異常），從而檢測出此前未知的缺陷形態。

（2）全局背景異常檢測

全局背景異常檢測更進一步，它能識別全新的異常類型，如部件缺失、變形或排列錯誤。因此，缺陷檢測不再局限于結構缺陷，還涵蓋了邏輯異常，這為半導體制造中的印刷電路板檢測、印刷驗證等全新場景開辟了道路。

編輯

?

圖2：基于深度學習的全局上下文異常檢測技術，可以實現半導體生產中印刷電路板的可靠檢測。

（3）分類

分類利用圖像數據將對象歸屬于特定類別或等級，例如“合格品”或“不良品”。這使得每張圖像都能以一定概率確定其所屬類別。

（4）目標檢測

基于深度學習的目標檢測技術，能定位目標的位置并識別其類別。該過程能夠識別不同目標類別和實例的各種目標實體，包括它們在圖像中的位置。

（5）分割

基于深度學習的分割有兩種類型：語義分割和實例分割。

· 語義分割：對經過訓練的目標、結構和缺陷進行像素級精確定位。在此過程中，圖像中的每個像素都會被分配類別標簽，并基于訓練數據“教導”模型，使其能夠對新圖像中的每個像素的所屬類別進行高概率預測。這種方法使得執行此前無法實現或僅能通過大量編程工作才能完成的檢測任務成為可能。

· 實例分割：結合了語義分割和目標檢測的雙重優勢，能以像素級精度為不同目標分配類別標簽。該技術特別適用于物體緊密排列、相互接觸或重疊的應用場景，典型應用包括從料箱中隨機抓取散放工件（料箱隨機抓取），以及識別和測量自然生長的結構。

（6）邊緣提取

這是一種基于深度學習的可靠的創新性邊緣提取方法，它能夠從圖像中大量可見的邊緣中精準地提取目標邊緣。該技術即使在低對比度或強噪聲環境下也能穩定識別邊緣，可提取傳統邊緣識別濾波器無法識別的邊緣。該技術通常與基于規則的機器視覺方法結合使用。

?

圖 3A：使用深度學習的光學字符識別（OCR）示例，即深度 OCR。

?

圖3B：未使用深度學習時，光學字符識別（OCR）的結果精度低于深度 OCR。

（7）深度 OCR（光學字符識別）

基于深度學習算法的 OCR 被稱為深度 OCR，即使在挑戰性條件下（如識別傾斜文本、變形字符、印在或蝕刻在反光表面上的字符，或高紋理彩色背景上的字符）也能輸出可靠結果。深度 OCR 可以自動對字符分組以識別單詞，避免相似字符的誤判，從而提升識別性能。

（8）深度計數

深度計數可快速定位和計數大量目標，不僅基于部件形狀，還通過深度學習整合顏色、圖案或紋理等其他特征。其顯著優勢在于，即使目標由高反光或無定形材料制成，也能實現可靠計數，還能可靠記錄大量相互接觸或部分重疊的目標。因此，該技術非常適合食品飲料行業中各類產品的計數，以及螺母、螺栓等小物件的精準包裝核驗。

深度學習的最佳應用場景在哪里？

深度學習開辟了全新的應用領域，讓更多不熟悉機器視覺或不愿自己編寫算法的人，也能使用機器視覺。AI系統通常可通過自有圖像文件進行設置，其優勢在于：通過訓練神經網絡，AI系統往往能比傳統算法輸出更可靠的檢測結果。例如，當所有目標外觀完全相同時，傳統的匹配算法才表現良好；但當數據存在大量變化時（如果蔬的自然差異，此時很難提前明確定義傳統特征，如怎樣的表面算合格？），AI系統則更具優勢。AI系統的另一個應用場景是對質量標準要求極高的生產制造領域。

圖 4：深度計數可用于快速且可靠地對大量目標（如玻璃瓶）進行計數。

某些企業的生產線幾乎零缺陷，因此無法為基于規則的系統提供缺陷樣本圖像——畢竟瑕疵可能萬中無一，且缺陷形態事前無法預知。基于AI的異常檢測技術此時便能大顯身手：該技術無需預知缺陷特征，僅需學習良品特征即可建立檢測模型。這類應用在傳統規則編程框架下是無法實現的。

然而，實現完美機器視覺應用的最佳途徑，在于將深度學習算法與基于規則的機器視覺技術雙劍合璧。典型應用場景如下：企業利用AI進行預分類，以精準定位待測興趣區域（ROI），再通過傳統方法在該區域內執行高精度測量。這種協同策略不僅能提升整體檢測效率，也能獲得更準確的檢測結果。

如何在機器視覺中啟用深度學習？

要在機器視覺應用中部署深度學習，首先要構建經典的機器視覺硬件：包含工業相機、適配的光源及高性能計算設備（如配備高性能 CPU 或 GPU的工控機）。而整套系統的核心是強大的機器視覺軟件，這可以從 MVTec 等多家公司獲取。

（1）深度學習訓練中的圖像數據優化準備

實施深度學習應用需首先完成訓練圖像的標注——即在圖像中標記出模型應輸出的目標信息，包括圖像類別或物體位置坐標。配備直觀用戶界面的標注軟件，即使是不具備編程技能的初學者也能輕松操作。進行數據準備時需注意：圖像數據必須經過優化處理。

值得注意的是，某些深度學習技術（如異常檢測等無監督方法）僅需“正常圖像”即可訓練，通常獲取20至100幅良品圖像即可滿足需求（具體數量需視被檢物體狀態而定）。訓練過程更可一鍵啟動。

（2）窺探深度學習的“黑箱”

盡管深度學習常因決策過程不透明而受到詬病，但是一些最新的技術進展正在逐步揭示神經網絡的內在運作機制。例如，通過熱力圖工具高亮圖像中的決策關鍵區域（如圖5），這是追蹤或影響深度學習算法行為的一種方式。

圖5：熱力圖通過高亮圖像中的決策依據區域，有效提升深度學習推理的透明度。

借助“分布外檢測”（OOD）技術，可以在運行過程中識別由錯誤分類導致的意外行為，并采取相應措施。使用深度學習分類器時，系統通常會將未知目標分配到已學習的類別中，這可能會存在問題，尤其是在遇到之前從未見過的錯誤類型或異物時。這項新的深度學習功能，會在將未知目標分類到訓練數據中未包含的范圍時提醒用戶。例如，若系統僅針對帶紅色標簽或黃色標簽的瓶子訓練，當出現帶綠色標簽的瓶子時，會顯示“分布外”消息，并附帶 OOD 分數，以顯示目標與已訓練類別的偏離程度。

此外，還可以借助閾值來影響深度學習的結果。例如，為了進行異常檢測，可以將閾值設置得很高，在這種情況下，你只會得到“正常”的結果。如果將閾值設置得較低，系統相應地會輸出越來越少的 “正常” 結果，從而避免漏檢。這使用戶能夠靈活且個性化地調整模型對異常情況的響應靈敏度。

在機器視覺中開啟深度學習之路

如果企業想利用深度學習的諸多優勢，就需要制定周全的策略，以目標導向的方式落地并長期應用這項技術。然而，與所有人工智能方法一樣，深度學習也伴隨著一定的復雜性。事實證明，機器視覺是這一背景下的關鍵技術——在該領域中，被證實的深度學習方法能夠被高效且可獲利地應用部署。

來源：半導體芯科技

審核編輯 黃宇