機器視覺和深度學習在自動檢查領域的應用

今天講一下機器視覺和深度學習如何改變制造業中自動檢查的領域。

人工智能最終將改變游戲規則，幾乎在每個領域中都有無數的應用程序?，F在，它正在進入生產和制造領域，從而可以利用深度學習的力量，并在此過程中提供更快，更便宜，更優越的自動化。本文旨在簡要介紹自動視覺評估以及深度學習方法如何節省大量時間和精力。

什么是外觀檢查？

它涉及對生產線上的產品進行分析以達到質量控制的目的。目視檢查還可以用于生產設施中各種設備（例如儲罐，壓力容器，管道和其他設備）的內部和外部評估。

這是一個定期進行的過程，例如每天。反復表明，目視檢查會在生產過程中發現大多數隱藏的缺陷。

什么時候需要目視檢查？

目視檢查在制造中用于質量或缺陷評估時，但在非生產環境中，可以用來確定是否存在指示“目標”的特征并防止潛在的負面影響。

在許多需要目視檢查的行業中，有一些行業認為視力檢查具有很高的后果，并且是高度優先的活動，因為通過視力檢查可能產生的任何錯誤（例如傷害，死亡，損失）的潛在成本很高昂貴的設備，報廢的物品，返工或客戶流失。優先檢查視力的領域包括核武器，核電，機場行李檢查，飛機維修，食品工業，醫藥和制藥。

使用外觀檢查的行業細分

為什么不只堅持手工檢查呢？

盡管舊的可能是黃金，但人們可能會爭辯說，使用舊式的檢查方法有一些限制。

手動檢查需要一個人在場，一名檢查員對所涉實體進行評估并根據一些培訓或先前的知識對它進行判斷。除了訓練有素的檢查員的肉眼之外，不需要任何設備。

根據研究，目視檢查錯誤的范圍通常為20％至30％（Drury＆Fox，1975）。一些缺陷可以歸因于人為錯誤，而其他缺陷則歸因于空間的限制。某些錯誤可以通過培訓和實踐來減少，但不能完全消除。

檢驗過程（來源：視覺檢查在21世紀的作用（See＆Drury，2017）

影響檢驗績效的因素

制造中的外觀檢查錯誤采取以下兩種形式之一：遺漏現有缺陷或錯誤地標識不存在的缺陷（誤報）。與誤報相比，未命中的發生率要高得多（請參閱2012）。遺漏會導致質量下降，而誤報會導致不必要的生產成本和整體浪費。

手動檢查的局限性

此外，人工檢查還受到其他限制，例如這些：

仍然存在這樣一個事實，即人眼雖然比任何機械攝像機都具有更高的技術先進性，但也很容易被愚弄?？紤]一下與外觀檢查相關的一些弱點：

一種視覺錯覺，黑點似乎在白線的交點處出現并消失。

單憑人眼是不可靠的-像左圖這樣的錯覺可以證明人眼的可靠性如何。這并不一定意味著手動檢查是完全沒有用的，但是完全依靠它是不明智的。

平行線似乎在傾斜。

視力不精確?-人眼無法進行精確的測量，尤其是在很小的規模上。即使在比較兩個相似的對象時，眼睛可能也不會注意到一個對象比另一個對象稍小或更大。該概念也適用于特性，例如表面粗糙度，尺寸和任何其他需要測量的因素。

勞動力成本 -由于任命了（多名）訓練有素的人員，人工檢查仍然是一項昂貴的工作。從成本角度來看，人工檢查操作員的年薪可能在50,000至60,000美元之間。

資料來源：Glassdoor

新時代的替代

自動化的外觀檢查可以通過使外觀檢查的整個過程獨立于任何人工干預來克服這些問題。使用自動化系統通常會超過手動檢查的標準。

使用深度學習和機器視覺，不僅可以而且很容易實現構建智能系統，該系統執行徹底的質量檢查，直到最精細的細節。我們不需要走路說話的android 機器人來自動進行檢查等生產。需要最少的物理設備來自動化外觀檢查過程。相反，由于使用了深度學習，該過程變得更加智能。該方法通常涉及諸如圖像采集，預處理，特征提取，分類等步驟。這也被分類為廣義圖像識別。

什么是深度學習？它是什么因素？

深度學習技術使用包含數千層的神經網絡，這些神經網絡擅長模仿人類智能，以區分異常，零件和特征，同時容忍復雜模式下的自然變化。通過這種方式，深度學習將人類視覺檢查的適應性與計算機系統的速度和魯棒性融合在一起。

深度學習教機器如何做對人類自然的事情：以身作則。新的低成本硬件使部署模擬人腦神經元網絡的多層“深度”神經網絡變得切實可行。這使制造技術具有驚人的新功能，可以識別圖像，區分趨勢以及做出明智的預測和決策。深度神經網絡從初始訓練期間開發的核心邏輯開始，可以隨著新圖像，語音和文本的出現而不斷完善其性能。

深度學習過程的逐層分解（Source）

那么什么是機器視覺？

機器視覺是用于提供基于圖像的自動檢查的技術和方法。它是一個使用視覺計算技術的系統，以機械方式“看到”生產線上一個接一個的活動。自動檢查系統的組件通常包括照明，攝像機或其他圖像獲取設備，處理器，軟件和輸出設備。

在結構化場景的定量和定性測量中，機器視覺的速度，準確性和可重復性優于人類視覺。機器視覺系統可以輕松評估太小而無法被人眼看到的物體細節，并以更高的可靠性和更少的誤差對其進行檢查。在生產線上，機器視覺系統可以每分鐘可靠且重復地檢查數百或數千個零件，遠遠超出了人類的檢查能力。

光學字符識別（左）和缺陷檢測（右）是AVI中機器視覺的常見方面

傳統的自動化系統在最小化成本和提高效率的同時，還沒有人類所具有的靈活性或容忍度。手工檢查員能夠區分細微的，外觀上的和功能上的缺陷，并且可以解釋可能影響感知質量的零件外觀變化。盡管人們處理信息的速度受到限制，但是人類具有獨特的概念化和概括能力。人類擅長通過示例學習，并且可以區分各部分之間的輕微異常真正重要的部分。這就引出了一個問題，即在許多情況下，機器視覺如何才能為復雜，無結構的場景（尤其是那些具有細微缺陷和無法預測的缺陷的場景）的定性解釋做出最佳選擇。

為什么機器視覺和深度學習可以在這種情況下攜手并進

盡管機器視覺系統可以承受因縮放，旋轉和姿勢變形而導致的零件外觀變化，但復雜的表面紋理和圖像質量問題仍然帶來了嚴峻的檢查挑戰。單憑機器視覺系統就無法評估視覺上非常相似的圖像之間存在巨大差異和偏差的可能性。

基于深度學習的系統非常適合本質上更復雜的視覺檢查：以細微但可容忍的方式變化的模式。深度學習擅長解決復雜的表面和外觀缺陷，例如在車削，刷過或發亮的零件上的劃痕和凹痕。無論是用來定位，閱讀，檢查或分類感興趣的特征，基于深度學習的圖像分析在概念化和泛化零件外觀的能力上都與傳統的機器視覺有所不同。

這還不是全部

以下是在制造時選擇自動外觀檢查的更多原因：

更好的感知

機器視覺具有非常高的光學分辨率，這取決于用于圖像采集的技術和設備。與人的視覺相比，機器視覺具有“更廣泛”的視覺感知范圍，并且能夠在該范圍的紫外線，X射線和紅外區域進行觀察。

更快—?觀察和結論都非?？?，其速度以FLOPs為單位來衡量計算機的速度，并且還可以進行精確的計算。

該系統具有與更高處理速度相關聯的所有功能以及潛在的無限存儲容量。

可靠—?按照說明，毫無疑問，系統無偏見且可根據需要進行編程。

準確—?自動化系統能夠以標準化方式測量絕對尺寸。

不依賴于環境—??這樣的系統可以部署在危險和危險的條件下，或者可能被人類冒險的環境中。

如何開始自動外觀檢查

在需求方面，AVI并不需要太多的物理設備。開始自動化外觀檢查所需的設備可以分為硬件和軟件資源。

硬件

這些資源由主要設備（例如照相機，光度計，色度計）和可選的輔助設備（例如分級或分選所需的輔助設備）組成，這取決于工業和自動化流程。

我們本質上是在拍照并分析圖像，您只需一臺照相機！

根據使用設備的行業，實際可以將物理設備分為三個子系統。

?進紙系統?—均勻地散布物品并以恒定速度移動它們，以便光學系統可以捕獲單個物品的框架。

?光學系統?—由專門調整的光源和傳感器（通常是數碼相機）組成。光學系統捕獲被檢物品的圖像，以便軟件可以處理和分析它們。

?分離系統—清除有缺陷的項目和/或等級，并根據產品的質量將其分為幾類。

自動外觀檢查的處理流程

軟件

AVI的主要要求是軟件層，其核心是計算機視覺技術，該技術可幫助檢查產品或任何感興趣的對象是否存在缺陷以及某些部件是否存在。自動化視覺檢查系統的軟件部分需要高級圖像分析算法和繁重的編程。這些算法處理圖像以調整其質量，找到有趣的點和區域，最后根據這些區域中發現的特征進行決策。

深度學習技術使自動視覺檢查系統的性能優于人類或傳統機器視覺過程

由于深度學習模型在解決檢查問題方面取得了巨大的成功，因此已被證明是該軟件不可或缺的一部分。可以在螺栓的數千個圖像上對它們進行訓練，深度學習算法會逐漸學會檢測與螺栓“標準”外觀的任何有意義的偏差。根據您的用例，可以使用一個或多個不同任務（例如對象檢測，語義分割和圖像分類）來解決您的檢查問題。它還可能涉及OCR模型以讀取序列號或條形碼。