機(jī)器視覺和深度學(xué)習(xí)在自動(dòng)檢查領(lǐng)域的應(yīng)用

今天講一下機(jī)器視覺和深度學(xué)習(xí)如何改變制造業(yè)中自動(dòng)檢查的領(lǐng)域。

人工智能最終將改變游戲規(guī)則，幾乎在每個(gè)領(lǐng)域中都有無數(shù)的應(yīng)用程序?，F(xiàn)在，它正在進(jìn)入生產(chǎn)和制造領(lǐng)域，從而可以利用深度學(xué)習(xí)的力量，并在此過程中提供更快，更便宜，更優(yōu)越的自動(dòng)化。本文旨在簡(jiǎn)要介紹自動(dòng)視覺評(píng)估以及深度學(xué)習(xí)方法如何節(jié)省大量時(shí)間和精力。

什么是外觀檢查？

它涉及對(duì)生產(chǎn)線上的產(chǎn)品進(jìn)行分析以達(dá)到質(zhì)量控制的目的。目視檢查還可以用于生產(chǎn)設(shè)施中各種設(shè)備（例如儲(chǔ)罐，壓力容器，管道和其他設(shè)備）的內(nèi)部和外部評(píng)估。

這是一個(gè)定期進(jìn)行的過程，例如每天。反復(fù)表明，目視檢查會(huì)在生產(chǎn)過程中發(fā)現(xiàn)大多數(shù)隱藏的缺陷。

什么時(shí)候需要目視檢查？

目視檢查在制造中用于質(zhì)量或缺陷評(píng)估時(shí)，但在非生產(chǎn)環(huán)境中，可以用來確定是否存在指示“目標(biāo)”的特征并防止?jié)撛诘呢?fù)面影響。

在許多需要目視檢查的行業(yè)中，有一些行業(yè)認(rèn)為視力檢查具有很高的后果，并且是高度優(yōu)先的活動(dòng)，因?yàn)橥ㄟ^視力檢查可能產(chǎn)生的任何錯(cuò)誤（例如傷害，死亡，損失）的潛在成本很高昂貴的設(shè)備，報(bào)廢的物品，返工或客戶流失。優(yōu)先檢查視力的領(lǐng)域包括核武器，核電，機(jī)場(chǎng)行李檢查，飛機(jī)維修，食品工業(yè)，醫(yī)藥和制藥。

使用外觀檢查的行業(yè)細(xì)分

為什么不只堅(jiān)持手工檢查呢？

盡管舊的可能是黃金，但人們可能會(huì)爭(zhēng)辯說，使用舊式的檢查方法有一些限制。

手動(dòng)檢查需要一個(gè)人在場(chǎng)，一名檢查員對(duì)所涉實(shí)體進(jìn)行評(píng)估并根據(jù)一些培訓(xùn)或先前的知識(shí)對(duì)它進(jìn)行判斷。除了訓(xùn)練有素的檢查員的肉眼之外，不需要任何設(shè)備。

根據(jù)研究，目視檢查錯(cuò)誤的范圍通常為20％至30％（Drury＆Fox，1975）。一些缺陷可以歸因于人為錯(cuò)誤，而其他缺陷則歸因于空間的限制。某些錯(cuò)誤可以通過培訓(xùn)和實(shí)踐來減少，但不能完全消除。

檢驗(yàn)過程（來源：視覺檢查在21世紀(jì)的作用（See＆Drury，2017）

影響檢驗(yàn)績(jī)效的因素

制造中的外觀檢查錯(cuò)誤采取以下兩種形式之一：遺漏現(xiàn)有缺陷或錯(cuò)誤地標(biāo)識(shí)不存在的缺陷（誤報(bào)）。與誤報(bào)相比，未命中的發(fā)生率要高得多（請(qǐng)參閱2012）。遺漏會(huì)導(dǎo)致質(zhì)量下降，而誤報(bào)會(huì)導(dǎo)致不必要的生產(chǎn)成本和整體浪費(fèi)。

手動(dòng)檢查的局限性

此外，人工檢查還受到其他限制，例如這些：

仍然存在這樣一個(gè)事實(shí)，即人眼雖然比任何機(jī)械攝像機(jī)都具有更高的技術(shù)先進(jìn)性，但也很容易被愚弄?？紤]一下與外觀檢查相關(guān)的一些弱點(diǎn)：

一種視覺錯(cuò)覺，黑點(diǎn)似乎在白線的交點(diǎn)處出現(xiàn)并消失。

單憑人眼是不可靠的-像左圖這樣的錯(cuò)覺可以證明人眼的可靠性如何。這并不一定意味著手動(dòng)檢查是完全沒有用的，但是完全依靠它是不明智的。

平行線似乎在傾斜。

視力不精確?-人眼無法進(jìn)行精確的測(cè)量，尤其是在很小的規(guī)模上。即使在比較兩個(gè)相似的對(duì)象時(shí)，眼睛可能也不會(huì)注意到一個(gè)對(duì)象比另一個(gè)對(duì)象稍小或更大。該概念也適用于特性，例如表面粗糙度，尺寸和任何其他需要測(cè)量的因素。

勞動(dòng)力成本 -由于任命了（多名）訓(xùn)練有素的人員，人工檢查仍然是一項(xiàng)昂貴的工作。從成本角度來看，人工檢查操作員的年薪可能在50,000至60,000美元之間。

資料來源：Glassdoor

新時(shí)代的替代

自動(dòng)化的外觀檢查可以通過使外觀檢查的整個(gè)過程獨(dú)立于任何人工干預(yù)來克服這些問題。使用自動(dòng)化系統(tǒng)通常會(huì)超過手動(dòng)檢查的標(biāo)準(zhǔn)。

使用深度學(xué)習(xí)和機(jī)器視覺，不僅可以而且很容易實(shí)現(xiàn)構(gòu)建智能系統(tǒng)，該系統(tǒng)執(zhí)行徹底的質(zhì)量檢查，直到最精細(xì)的細(xì)節(jié)。我們不需要走路說話的android機(jī)器人來自動(dòng)進(jìn)行檢查等生產(chǎn)。需要最少的物理設(shè)備來自動(dòng)化外觀檢查過程。相反，由于使用了深度學(xué)習(xí)，該過程變得更加智能。該方法通常涉及諸如圖像采集，預(yù)處理，特征提取，分類等步驟。這也被分類為廣義圖像識(shí)別。

什么是深度學(xué)習(xí)？它是什么因素？

深度學(xué)習(xí)技術(shù)使用包含數(shù)千層的神經(jīng)網(wǎng)絡(luò)，這些神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)模仿人類智能，以區(qū)分異常，零件和特征，同時(shí)容忍復(fù)雜模式下的自然變化。通過這種方式，深度學(xué)習(xí)將人類視覺檢查的適應(yīng)性與計(jì)算機(jī)系統(tǒng)的速度和魯棒性融合在一起。

深度學(xué)習(xí)教機(jī)器如何做對(duì)人類自然的事情：以身作則。新的低成本硬件使部署模擬人腦神經(jīng)元網(wǎng)絡(luò)的多層“深度”神經(jīng)網(wǎng)絡(luò)變得切實(shí)可行。這使制造技術(shù)具有驚人的新功能，可以識(shí)別圖像，區(qū)分趨勢(shì)以及做出明智的預(yù)測(cè)和決策。深度神經(jīng)網(wǎng)絡(luò)從初始訓(xùn)練期間開發(fā)的核心邏輯開始，可以隨著新圖像，語音和文本的出現(xiàn)而不斷完善其性能。

深度學(xué)習(xí)過程的逐層分解（Source）

那么什么是機(jī)器視覺？

機(jī)器視覺是用于提供基于圖像的自動(dòng)檢查的技術(shù)和方法。它是一個(gè)使用視覺計(jì)算技術(shù)的系統(tǒng)，以機(jī)械方式“看到”生產(chǎn)線上一個(gè)接一個(gè)的活動(dòng)。自動(dòng)檢查系統(tǒng)的組件通常包括照明，攝像機(jī)或其他圖像獲取設(shè)備，處理器，軟件和輸出設(shè)備。

在結(jié)構(gòu)化場(chǎng)景的定量和定性測(cè)量中，機(jī)器視覺的速度，準(zhǔn)確性和可重復(fù)性優(yōu)于人類視覺。機(jī)器視覺系統(tǒng)可以輕松評(píng)估太小而無法被人眼看到的物體細(xì)節(jié)，并以更高的可靠性和更少的誤差對(duì)其進(jìn)行檢查。在生產(chǎn)線上，機(jī)器視覺系統(tǒng)可以每分鐘可靠且重復(fù)地檢查數(shù)百或數(shù)千個(gè)零件，遠(yuǎn)遠(yuǎn)超出了人類的檢查能力。

光學(xué)字符識(shí)別（左）和缺陷檢測(cè)（右）是AVI中機(jī)器視覺的常見方面

傳統(tǒng)的自動(dòng)化系統(tǒng)在最小化成本和提高效率的同時(shí)，還沒有人類所具有的靈活性或容忍度。手工檢查員能夠區(qū)分細(xì)微的，外觀上的和功能上的缺陷，并且可以解釋可能影響感知質(zhì)量的零件外觀變化。盡管人們處理信息的速度受到限制，但是人類具有獨(dú)特的概念化和概括能力。人類擅長(zhǎng)通過示例學(xué)習(xí)，并且可以區(qū)分各部分之間的輕微異常真正重要的部分。這就引出了一個(gè)問題，即在許多情況下，機(jī)器視覺如何才能為復(fù)雜，無結(jié)構(gòu)的場(chǎng)景（尤其是那些具有細(xì)微缺陷和無法預(yù)測(cè)的缺陷的場(chǎng)景）的定性解釋做出最佳選擇。

為什么機(jī)器視覺和深度學(xué)習(xí)可以在這種情況下攜手并進(jìn)

盡管機(jī)器視覺系統(tǒng)可以承受因縮放，旋轉(zhuǎn)和姿勢(shì)變形而導(dǎo)致的零件外觀變化，但復(fù)雜的表面紋理和圖像質(zhì)量問題仍然帶來了嚴(yán)峻的檢查挑戰(zhàn)。單憑機(jī)器視覺系統(tǒng)就無法評(píng)估視覺上非常相似的圖像之間存在巨大差異和偏差的可能性。

基于深度學(xué)習(xí)的系統(tǒng)非常適合本質(zhì)上更復(fù)雜的視覺檢查：以細(xì)微但可容忍的方式變化的模式。深度學(xué)習(xí)擅長(zhǎng)解決復(fù)雜的表面和外觀缺陷，例如在車削，刷過或發(fā)亮的零件上的劃痕和凹痕。無論是用來定位，閱讀，檢查或分類感興趣的特征，基于深度學(xué)習(xí)的圖像分析在概念化和泛化零件外觀的能力上都與傳統(tǒng)的機(jī)器視覺有所不同。

這還不是全部

以下是在制造時(shí)選擇自動(dòng)外觀檢查的更多原因：

更好的感知

機(jī)器視覺具有非常高的光學(xué)分辨率，這取決于用于圖像采集的技術(shù)和設(shè)備。與人的視覺相比，機(jī)器視覺具有“更廣泛”的視覺感知范圍，并且能夠在該范圍的紫外線，X射線和紅外區(qū)域進(jìn)行觀察。

更快—?觀察和結(jié)論都非?？欤渌俣纫訤LOPs為單位來衡量計(jì)算機(jī)的速度，并且還可以進(jìn)行精確的計(jì)算。

該系統(tǒng)具有與更高處理速度相關(guān)聯(lián)的所有功能以及潛在的無限存儲(chǔ)容量。

可靠—?按照說明，毫無疑問，系統(tǒng)無偏見且可根據(jù)需要進(jìn)行編程。

準(zhǔn)確—?自動(dòng)化系統(tǒng)能夠以標(biāo)準(zhǔn)化方式測(cè)量絕對(duì)尺寸。

不依賴于環(huán)境—??這樣的系統(tǒng)可以部署在危險(xiǎn)和危險(xiǎn)的條件下，或者可能被人類冒險(xiǎn)的環(huán)境中。

如何開始自動(dòng)外觀檢查

在需求方面，AVI并不需要太多的物理設(shè)備。開始自動(dòng)化外觀檢查所需的設(shè)備可以分為硬件和軟件資源。

硬件

這些資源由主要設(shè)備（例如照相機(jī)，光度計(jì)，色度計(jì)）和可選的輔助設(shè)備（例如分級(jí)或分選所需的輔助設(shè)備）組成，這取決于工業(yè)和自動(dòng)化流程。

我們本質(zhì)上是在拍照并分析圖像，您只需一臺(tái)照相機(jī)！

根據(jù)使用設(shè)備的行業(yè)，實(shí)際可以將物理設(shè)備分為三個(gè)子系統(tǒng)。

?進(jìn)紙系統(tǒng)?—均勻地散布物品并以恒定速度移動(dòng)它們，以便光學(xué)系統(tǒng)可以捕獲單個(gè)物品的框架。

?光學(xué)系統(tǒng)?—由專門調(diào)整的光源和傳感器（通常是數(shù)碼相機(jī)）組成。光學(xué)系統(tǒng)捕獲被檢物品的圖像，以便軟件可以處理和分析它們。

?分離系統(tǒng)—清除有缺陷的項(xiàng)目和/或等級(jí)，并根據(jù)產(chǎn)品的質(zhì)量將其分為幾類。

自動(dòng)外觀檢查的處理流程

軟件

AVI的主要要求是軟件層，其核心是計(jì)算機(jī)視覺技術(shù)，該技術(shù)可幫助檢查產(chǎn)品或任何感興趣的對(duì)象是否存在缺陷以及某些部件是否存在。自動(dòng)化視覺檢查系統(tǒng)的軟件部分需要高級(jí)圖像分析算法和繁重的編程。這些算法處理圖像以調(diào)整其質(zhì)量，找到有趣的點(diǎn)和區(qū)域，最后根據(jù)這些區(qū)域中發(fā)現(xiàn)的特征進(jìn)行決策。

深度學(xué)習(xí)技術(shù)使自動(dòng)視覺檢查系統(tǒng)的性能優(yōu)于人類或傳統(tǒng)機(jī)器視覺過程

由于深度學(xué)習(xí)模型在解決檢查問題方面取得了巨大的成功，因此已被證明是該軟件不可或缺的一部分。可以在螺栓的數(shù)千個(gè)圖像上對(duì)它們進(jìn)行訓(xùn)練，深度學(xué)習(xí)算法會(huì)逐漸學(xué)會(huì)檢測(cè)與螺栓“標(biāo)準(zhǔn)”外觀的任何有意義的偏差。根據(jù)您的用例，可以使用一個(gè)或多個(gè)不同任務(wù)（例如對(duì)象檢測(cè)，語義分割和圖像分類）來解決您的檢查問題。它還可能涉及OCR模型以讀取序列號(hào)或條形碼。

為了維持高圖像處理速度，通常必須在高資源計(jì)算機(jī)上部署經(jīng)過訓(xùn)練的深度學(xué)習(xí)模型。例如，必須有GPU才能實(shí)時(shí)獲取結(jié)果。

在最終的檢查模型準(zhǔn)確性和性能中，有幾個(gè)因素起作用—照明條件，要檢查的產(chǎn)品數(shù)量，要查找的缺陷類型，缺陷/物體的大小，圖像的分辨率等。因此，一個(gè)自動(dòng)化的外觀檢查系統(tǒng)需要一支由熟練的研發(fā)工程師組成的團(tuán)隊(duì)，他們能夠構(gòu)建這種復(fù)雜的系統(tǒng)。

每個(gè)制造單位都有不同且通常唯一的數(shù)據(jù)（圖像），這可能是由于不同的相機(jī)類型，室內(nèi)照明或產(chǎn)品本身。因此，AVI的軟件部分始終是為特定檢查需求量身定制的定制解決方案。

?