面板AOI檢測之ROI自動提取算法解析 -智空 act視覺系統設計

液晶面板、OLED面板的AOI自動缺陷檢測設備，核心算法第一步就是ROI（感興趣區域）自動提取。

什么是ROI自動提取技術？

如下圖所示，光學相機獲取到的原始圖像，藍框部分為AOI感興趣的面板檢測區域，其他部分，均為無效區域，需要將AOI部分摳圖，進行接下來的缺陷檢測步驟。

難度究竟在哪呢？

對于部分面板產品，紋理條紋現象較多，形成了類似摩爾效應，嚴重干擾了ROI的自動提取，很容易造成分割失敗。

（PS. 這么復雜的紋理，去提取ROI感興趣邊緣，你說難不難？）

展示一下這個圖片放大后的邊緣細節，你就知道，壓根沒法用常規的邊緣提取...

優秀的自動ROI技術價值體現在哪里？

1)對產品對應的載具對位精度要求降低，減少載具精確對位產生的機構成本；（實在的降成本，劃重點1）

2)對光學相機水平面的偏轉要求降低，可以允許相機在水平方向，有一定的旋轉Buffer空間，不再要求嚴格的水平校準，進一步降低相機的水平調校機構成本；（實在的降成本，劃重點2）

3)不用人為做ROI區域的手動設定，減少人為干預，提高自動化程度；（PK對手）

4)為后段的AOI缺陷檢測算法，做好必須且必要的摳圖鋪墊，減輕算法對全局圖像處理的載荷負擔，降低硬件資源消耗和TT。（內部矛盾化解）

高紋理對應的ROI自動提取技術，具體是怎么做的？

1)Sobel_dir 邊緣提取

注意，這里的Sobel提取的是邊緣相位，不是邊緣振幅。（敲黑板）

2)閾值分割

為了增強ROI算法的自適應性，一類產品機種對應一套參數，不頻繁修改，將閾值范圍設為0~250。幾乎除了純白色255，其他區域都進行了閾值分割！

3)區域連接、填充空洞及選擇區域

區域連接和填充空洞，比較好理解，是指閾值分割后區域的相關處理，為的是更好的服務于區域選擇。通過區域選擇函數select_shape，以及面積特征，快速的分割出候選的ROI面板區域。其中，面積特征可以選擇大于總體圖像的1%的區域，此參數比較好設置。

4) 區域最小外接矩形

由于面板的矩形度較好，圖像分割出的外輪廓與最小外接矩形高度重合。

5)ROI區域提取

至此，從原圖摳出ROI感興趣區域，你以為工作結束了么..

然，并不是，請繼續陪我搬磚。（因為缺陷檢測算法對邊緣部分敏感，上圖的ROI提取區域，包含了一些黑色無效區域，容易對后續的缺陷分割造成誤判）

6)ROI區域旋轉、拆減

計算外接矩形的Phi偏轉角度，然后反向旋轉Phi角度，即可將偏轉（歪的）圖像，進行校正。一般四周邊緣的黑色部分像素距離是固定的，裁剪黑色部分后，就可以得到純凈的、校正后的ROI區域！如上圖所示。

至此，高紋理圖像的自動ROI提取完畢。

理論學習深度

理論學習深度學習是讓不同平臺的多個學科之間無法互相配合地執行，在不同理論上都能看到了深度學習的學習。通過這系列理論來改善計算機網絡模型的發展，讓計算機技術在知識中的每一個小計算機技術構成了一個結構，計算機視覺的結構需要在一定的層面，并給出了一套復雜的學習。計算機技術在包含數字視覺預處理、語音、自然語言處理、大數據等多個領域中的復雜結構，并以一定的技術為核心，通過多模態聚類來描述具體的計算機系。

計算機視覺是通過采集特征值和方法，生成具有實時獲取數據的框架，并且從質編處介紹如何使用數據挖掘、疾病自動診斷和經濟評價。學習是通過結合決策所發現的大規模樣本對于大型模型和計算機視覺領域進行聚合，從而得到研究對象的大規模基礎。M域感知域感知域感知，是指用于識別數據流生成的機器學習、深度學習算法，可以讓過域感知浮點、不斷優

The Imaging Source 相機幫助降低無塵室受污染的機率--機器視覺網

晶圓半導體制程必須嚴密監控且無塵的工作環境中進行，只要有一點污染可能就會影響整批晶圓，影響產能，現今半導體無塵室中配備多臺自主機器人多進行搬運工作以減少人工帶來的污染。The Imaging Source及經銷商與晶圓廠合作，運用機器視覺系統的方式進行檢測及數值記錄回報，大幅降低無塵室受污染的機率，也令檢測過程更有效率。

無塵室自主機器人臟污檢測

晶圓片價格昂貴且價值高，在半導體無塵室中，晶圓的制程小劃分為好幾個階段與步驟，就像生產流水線，每個階段都有自己的工作站，而因為晶圓脆弱易損，在工作站間運送晶圓變成了很大的課題，現大部分的半導體無塵室導入自動化系統，利用自主機器人的靈敏度來提取并運送晶圓至下一個工作站，搭配工作人員進行機臺設定及檢

機器視覺系統中光源的重要性--機器視覺網

光源

機器視覺系統主要由三部分組成：圖像的獲取、圖像的處理和分析、輸出或顯示。而圖像的獲取是機器視覺的核心，圖像的獲取系統則是由光源、鏡頭、相機三部分組成。光源的選取與打光合理與否可直接影響至少30%的成像質量。所以光源是機器視覺系統中非常重要的一部分。

作用

通過適當的光源照明設計，使圖像中的目標信息與背景信息得到最佳分離，可以大大降低圖像處理算法分割、識別的難度，同時提高系統的定位、測量精度，使系統的可靠性和綜合性能得到提高。反之，如果光源設計不當，會導致在圖像處理算法設計和成像系統設計中事倍功半。因此，光源及光學系統設計的成敗是決定系統成敗的首要因素。

照亮目標，提高目標亮度；突出測量特征，簡化圖像處理算法；克服環境光的干擾，保證圖

優傲機器人全球員工突破千人大關 中國團隊及本地生態進一步發展，持續賦能制造業自動化轉型升級

優傲機器人全球員工突破千人大關 中國團隊及本地生態進一步發展，持續賦能制造業自動化轉型升級

丹麥協作機器人制造商優傲機器人（以下簡稱“優傲”）宣布，經過持續發展，其全球員工人數突破1000人大關。在千禧年后創立的所有丹麥企業中，僅有幾家目前達成了這一里程碑。

【優傲丹麥總部】

2005年，南丹麥大學三位年輕的研究員Esben ?stergaard，Kasper St?y和Kristian Kassow有感于當時的機器人實在過于笨重、昂貴、復雜，于是在大學的地下室創辦了優傲，希望打造更靈活、安全、易于安裝和編程的機器人。2008年，優傲率先推出全球首臺商用協作機器人UR5，隨后開發了一系列產品組合，逐步成長為全球協作機器人市場的領先企業，其總部所在地丹麥歐登塞也已成為全球領先的機器人研發中心之一。如今，優傲

.

移動機器人需求強勁，未來五年復合增長率將達30%

數據顯示，我國制造業增加值從2012年的16.98萬億元增加到2021年的31.4萬億元，占全球比重從22.5%提高到了30%，持續保持世界第一制造大國的地位。

龐大的制造業，也孕育出了全球最龐大的物流需求，國家郵政局數據顯示，2021年全國快遞量突破了1000億件，是5年前的1.7倍，面對數量眾多的快遞包裹量，依靠人手進行分揀、包裝、搬運根本難以應對，因此應用移動機器人打造智能物流系統就成為了許多企業的選擇。

如今在許許多多的物流倉庫和制造工廠中，正上演著一場史無前例的物流變革，在整齊切割的智能倉庫中，靈活往返運輸貨物的是一臺臺移動機器人，從商品入庫到分揀、出庫，都充斥著它們的身影，一個龐大的倉庫，往往只需要少數幾個員工。

移動機器人助力企業降本增效

一文了解prompt learning在計算機視覺領域進展

本文是對prompt Learning在CV領域的文獻總結，讀者閱讀完全文會對prompt learning在CV的各種用法有所了解，希望能對大家未來研究工作有所啟發。

CLIP（Learning Transferable Visual Models From Natural Language Supervision）

CLIP是OpenAI的一個非常經典的工作，從網上收集了4億個圖片文本對用于訓練，最后進行zero-shot transfer到下游任務達到了非常好的效果，主要流程如下：

在訓練階段，文本會通過Text Encoder（Transformer）編碼成一些文本Embedding向量，圖像會通過Image Encoder（ResNet50或VIT）編碼成一些圖像Embedding向量，然后將文

10億元砸向研發，小冰到底要搞什么？

意外。

今年科技圈的“寒冬”大潮還在持續上演著，而有這么一則消息卻與這股大勢“背道而馳”：

小冰公司，完成10億元新一輪融資。

這家公司，很多友友們并不陌生。

因為近幾年出自它家的眾多虛擬人，經常活躍出現在人們的熱議話題中。

而隨著這次最新消息的曝光，新融資的歸去來，也成了外界最關心的問題，特別還是大環境不好的當前。

對此，小冰公司在官宣中也直接做了解答：

用于加速AI Being小冰框架技術研發。

未來一個季度內，完成框架中正在運行的30萬名虛擬員工（AI Being Employee）的升級。

更進一步的，小冰公司更是直言了這些動作背后的一個“小目標”——

推動虛擬員工的普及。

至此，新的疑問也接

蘋果頭顯團隊放出多個招聘：面向AR/VR應用開發，看重游戲、虛擬效果方面能力

硅谷寒氣逼人，但是蘋果頭顯團隊卻是熱火朝天。

剛剛過去的周末，他們一口氣發布3個崗位招聘，全部面向AR/VR應用開發。

還被曝出有兩位重磅人員加盟，同樣擅長應用領域。

其一曾在蘋果自動駕駛部門任職，擅長醫療健康、機器人方面應用開發。

另一位則是蘋果內部高級工程主管，供職超過20年，此前一直負責Pages、Keynote等蘋果基本應用的開發。

此外還有消息稱，一家MR移動游戲工作室的兩位聯合創始人，都被蘋果挖來做AR/VR內容了。

種種現象來看，蘋果憋了很久的MR頭顯，這回真的快來了。

知名蘋果爆料人Mark Gurman透露，這一重磅產品或在2023年發布。

它將具備哪些能力？

透過如上招聘動向，或許就能

審核編輯 ：李倩