面板AOI檢測之ROI自動提取算法解析

面板AOI檢測之ROI自動提取算法解析 -智空 act視覺系統(tǒng)設計

液晶面板、OLED面板的AOI自動缺陷檢測設備，核心算法第一步就是ROI（感興趣區(qū)域）自動提取。

什么是ROI自動提取技術？

如下圖所示，光學相機獲取到的原始圖像，藍框部分為AOI感興趣的面板檢測區(qū)域，其他部分，均為無效區(qū)域，需要將AOI部分摳圖，進行接下來的缺陷檢測步驟。

難度究竟在哪呢？

對于部分面板產(chǎn)品，紋理條紋現(xiàn)象較多，形成了類似摩爾效應，嚴重干擾了ROI的自動提取，很容易造成分割失敗。

（PS. 這么復雜的紋理，去提取ROI感興趣邊緣，你說難不難？）

展示一下這個圖片放大后的邊緣細節(jié)，你就知道，壓根沒法用常規(guī)的邊緣提取...

優(yōu)秀的自動ROI技術價值體現(xiàn)在哪里？

1)對產(chǎn)品對應的載具對位精度要求降低，減少載具精確對位產(chǎn)生的機構成本；（實在的降成本，劃重點1）

2)對光學相機水平面的偏轉要求降低，可以允許相機在水平方向，有一定的旋轉Buffer空間，不再要求嚴格的水平校準，進一步降低相機的水平調(diào)校機構成本；（實在的降成本，劃重點2）

3)不用人為做ROI區(qū)域的手動設定，減少人為干預，提高自動化程度；（PK對手）

4)為后段的AOI缺陷檢測算法，做好必須且必要的摳圖鋪墊，減輕算法對全局圖像處理的載荷負擔，降低硬件資源消耗和TT。（內(nèi)部矛盾化解）

高紋理對應的ROI自動提取技術，具體是怎么做的？

1)Sobel_dir 邊緣提取

注意，這里的Sobel提取的是邊緣相位，不是邊緣振幅。（敲黑板）

2)閾值分割

為了增強ROI算法的自適應性，一類產(chǎn)品機種對應一套參數(shù)，不頻繁修改，將閾值范圍設為0~250。幾乎除了純白色255，其他區(qū)域都進行了閾值分割！

3)區(qū)域連接、填充空洞及選擇區(qū)域

區(qū)域連接和填充空洞，比較好理解，是指閾值分割后區(qū)域的相關處理，為的是更好的服務于區(qū)域選擇。通過區(qū)域選擇函數(shù)select_shape，以及面積特征，快速的分割出候選的ROI面板區(qū)域。其中，面積特征可以選擇大于總體圖像的1%的區(qū)域，此參數(shù)比較好設置。

4) 區(qū)域最小外接矩形

由于面板的矩形度較好，圖像分割出的外輪廓與最小外接矩形高度重合。

5)ROI區(qū)域提取

至此，從原圖摳出ROI感興趣區(qū)域，你以為工作結束了么..

然，并不是，請繼續(xù)陪我搬磚。（因為缺陷檢測算法對邊緣部分敏感，上圖的ROI提取區(qū)域，包含了一些黑色無效區(qū)域，容易對后續(xù)的缺陷分割造成誤判）

6)ROI區(qū)域旋轉、拆減

計算外接矩形的Phi偏轉角度，然后反向旋轉Phi角度，即可將偏轉（歪的）圖像，進行校正。一般四周邊緣的黑色部分像素距離是固定的，裁剪黑色部分后，就可以得到純凈的、校正后的ROI區(qū)域！如上圖所示。

至此，高紋理圖像的自動ROI提取完畢。

理論學習深度

理論學習深度學習是讓不同平臺的多個學科之間無法互相配合地執(zhí)行，在不同理論上都能看到了深度學習的學習。通過這系列理論來改善計算機網(wǎng)絡模型的發(fā)展，讓計算機技術在知識中的每一個小計算機技術構成了一個結構，計算機視覺的結構需要在一定的層面，并給出了一套復雜的學習。計算機技術在包含數(shù)字視覺預處理、語音、自然語言處理、大數(shù)據(jù)等多個領域中的復雜結構，并以一定的技術為核心，通過多模態(tài)聚類來描述具體的計算機系。

計算機視覺是通過采集特征值和方法，生成具有實時獲取數(shù)據(jù)的框架，并且從質(zhì)編處介紹如何使用數(shù)據(jù)挖掘、疾病自動診斷和經(jīng)濟評價。學習是通過結合決策所發(fā)現(xiàn)的大規(guī)模樣本對于大型模型和計算機視覺領域進行聚合，從而得到研究對象的大規(guī)?；A。M域感知域感知域感知，是指用于識別數(shù)據(jù)流生成的機器學習、深度學習算法，可以讓過域感知浮點、不斷優(yōu)

The Imaging Source 相機幫助降低無塵室受污染的機率--機器視覺網(wǎng)

晶圓半導體制程必須嚴密監(jiān)控且無塵的工作環(huán)境中進行，只要有一點污染可能就會影響整批晶圓，影響產(chǎn)能，現(xiàn)今半導體無塵室中配備多臺自主機器人多進行搬運工作以減少人工帶來的污染。The Imaging Source及經(jīng)銷商與晶圓廠合作，運用機器視覺系統(tǒng)的方式進行檢測及數(shù)值記錄回報，大幅降低無塵室受污染的機率，也令檢測過程更有效率。

無塵室自主機器人臟污檢測

晶圓片價格昂貴且價值高，在半導體無塵室中，晶圓的制程小劃分為好幾個階段與步驟，就像生產(chǎn)流水線，每個階段都有自己的工作站，而因為晶圓脆弱易損，在工作站間運送晶圓變成了很大的課題，現(xiàn)大部分的半導體無塵室導入自動化系統(tǒng)，利用自主機器人的靈敏度來提取并運送晶圓至下一個工作站，搭配工作人員進行機臺設定及檢

機器視覺系統(tǒng)中光源的重要性--機器視覺網(wǎng)

光源

機器視覺系統(tǒng)主要由三部分組成：圖像的獲取、圖像的處理和分析、輸出或顯示。而圖像的獲取是機器視覺的核心，圖像的獲取系統(tǒng)則是由光源、鏡頭、相機三部分組成。光源的選取與打光合理與否可直接影響至少30%的成像質(zhì)量。所以光源是機器視覺系統(tǒng)中非常重要的一部分。

作用

通過適當?shù)墓庠凑彰髟O計，使圖像中的目標信息與背景信息得到最佳分離，可以大大降低圖像處理算法分割、識別的難度，同時提高系統(tǒng)的定位、測量精度，使系統(tǒng)的可靠性和綜合性能得到提高。反之，如果光源設計不當，會導致在圖像處理算法設計和成像系統(tǒng)設計中事倍功半。因此，光源及光學系統(tǒng)設計的成敗是決定系統(tǒng)成敗的首要因素。

照亮目標，提高目標亮度；突出測量特征，簡化圖像處理算法；克服環(huán)境光的干擾，保證圖

優(yōu)傲機器人全球員工突破千人大關 中國團隊及本地生態(tài)進一步發(fā)展，持續(xù)賦能制造業(yè)自動化轉型升級

優(yōu)傲機器人全球員工突破千人大關 中國團隊及本地生態(tài)進一步發(fā)展，持續(xù)賦能制造業(yè)自動化轉型升級

丹麥協(xié)作機器人制造商優(yōu)傲機器人（以下簡稱“優(yōu)傲”）宣布，經(jīng)過持續(xù)發(fā)展，其全球員工人數(shù)突破1000人大關。在千禧年后創(chuàng)立的所有丹麥企業(yè)中，僅有幾家目前達成了這一里程碑。

【優(yōu)傲丹麥總部】

2005年，南丹麥大學三位年輕的研究員Esben ?stergaard，Kasper St?y和Kristian Kassow有感于當時的機器人實在過于笨重、昂貴、復雜，于是在大學的地下室創(chuàng)辦了優(yōu)傲，希望打造更靈活、安全、易于安裝和編程的機器人。2008年，優(yōu)傲率先推出全球首臺商用協(xié)作機器人UR5，隨后開發(fā)了一系列產(chǎn)品組合，逐步成長為全球協(xié)作機器人市場的領先企業(yè)，其總部所在地丹麥歐登塞也已成為全球領先的機器人研發(fā)中心之一。如今，優(yōu)傲

.

移動機器人需求強勁，未來五年復合增長率將達30%

數(shù)據(jù)顯示，我國制造業(yè)增加值從2012年的16.98萬億元增加到2021年的31.4萬億元，占全球比重從22.5%提高到了30%，持續(xù)保持世界第一制造大國的地位。

龐大的制造業(yè)，也孕育出了全球最龐大的物流需求，國家郵政局數(shù)據(jù)顯示，2021年全國快遞量突破了1000億件，是5年前的1.7倍，面對數(shù)量眾多的快遞包裹量，依靠人手進行分揀、包裝、搬運根本難以應對，因此應用移動機器人打造智能物流系統(tǒng)就成為了許多企業(yè)的選擇。

如今在許許多多的物流倉庫和制造工廠中，正上演著一場史無前例的物流變革，在整齊切割的智能倉庫中，靈活往返運輸貨物的是一臺臺移動機器人，從商品入庫到分揀、出庫，都充斥著它們的身影，一個龐大的倉庫，往往只需要少數(shù)幾個員工。

移動機器人助力企業(yè)降本增效

一文了解prompt learning在計算機視覺領域進展

本文是對prompt Learning在CV領域的文獻總結，讀者閱讀完全文會對prompt learning在CV的各種用法有所了解，希望能對大家未來研究工作有所啟發(fā)。

CLIP（Learning Transferable Visual Models From Natural Language Supervision）

CLIP是OpenAI的一個非常經(jīng)典的工作，從網(wǎng)上收集了4億個圖片文本對用于訓練，最后進行zero-shot transfer到下游任務達到了非常好的效果，主要流程如下：

在訓練階段，文本會通過Text Encoder（Transformer）編碼成一些文本Embedding向量，圖像會通過Image Encoder（ResNet50或VIT）編碼成一些圖像Embedding向量，然后將文

10億元砸向研發(fā)，小冰到底要搞什么？

意外。

今年科技圈的“寒冬”大潮還在持續(xù)上演著，而有這么一則消息卻與這股大勢“背道而馳”：

小冰公司，完成10億元新一輪融資。

這家公司，很多友友們并不陌生。

因為近幾年出自它家的眾多虛擬人，經(jīng)常活躍出現(xiàn)在人們的熱議話題中。

而隨著這次最新消息的曝光，新融資的歸去來，也成了外界最關心的問題，特別還是大環(huán)境不好的當前。

對此，小冰公司在官宣中也直接做了解答：

用于加速AI Being小冰框架技術研發(fā)。

未來一個季度內(nèi)，完成框架中正在運行的30萬名虛擬員工（AI Being Employee）的升級。

更進一步的，小冰公司更是直言了這些動作背后的一個“小目標”——

推動虛擬員工的普及。

至此，新的疑問也接

蘋果頭顯團隊放出多個招聘：面向AR/VR應用開發(fā)，看重游戲、虛擬效果方面能力

硅谷寒氣逼人，但是蘋果頭顯團隊卻是熱火朝天。

剛剛過去的周末，他們一口氣發(fā)布3個崗位招聘，全部面向AR/VR應用開發(fā)。

還被曝出有兩位重磅人員加盟，同樣擅長應用領域。

其一曾在蘋果自動駕駛部門任職，擅長醫(yī)療健康、機器人方面應用開發(fā)。

另一位則是蘋果內(nèi)部高級工程主管，供職超過20年，此前一直負責Pages、Keynote等蘋果基本應用的開發(fā)。

此外還有消息稱，一家MR移動游戲工作室的兩位聯(lián)合創(chuàng)始人，都被蘋果挖來做AR/VR內(nèi)容了。

種種現(xiàn)象來看，蘋果憋了很久的MR頭顯，這回真的快來了。

知名蘋果爆料人Mark Gurman透露，這一重磅產(chǎn)品或在2023年發(fā)布。

它將具備哪些能力？

透過如上招聘動向，或許就能

審核編輯 ：李倩