描繪未知：數(shù)據(jù)缺乏場(chǎng)景的缺陷檢測(cè)方案

了解更多方案細(xì)節(jié)，歡迎您訪問(wèn)官網(wǎng)（Neurocle | 友思特 機(jī)器視覺(jué) 光電檢測(cè) ）

導(dǎo)讀

深度學(xué)習(xí)模型幫助工業(yè)生產(chǎn)實(shí)現(xiàn)更加精確的缺陷檢測(cè)，但其準(zhǔn)確性可能受制于數(shù)據(jù)樣本的數(shù)量。友思特 Neuro-T 視覺(jué)平臺(tái)克服了數(shù)據(jù)缺乏狀況的困難，通過(guò)零代碼設(shè)置GAN模型和無(wú)監(jiān)督學(xué)習(xí)模型，輕松實(shí)現(xiàn)缺陷圖像的標(biāo)注、繪制和導(dǎo)出。

工業(yè)應(yīng)用中存在較多的缺陷檢測(cè)需求。針對(duì)缺陷檢測(cè)需求，常見(jiàn)的解決方案有兩種：

基于目標(biāo)正常圖像數(shù)據(jù)的模板匹配；

訓(xùn)練深度學(xué)習(xí)模型檢測(cè)目標(biāo)缺陷。

其中，第2種方式具有更強(qiáng)的魯棒性和泛化能力。然而由于深度學(xué)習(xí)模型的準(zhǔn)確率跟數(shù)據(jù)量的大小掛鉤，深度學(xué)習(xí)缺陷檢測(cè)方案面臨著缺乏足夠的缺陷樣本進(jìn)行模型訓(xùn)練的問(wèn)題。

友思特推出 Neuro-T 機(jī)器視覺(jué)軟件平臺(tái)，通過(guò)GAN和無(wú)監(jiān)督學(xué)習(xí)模型兩種不同的手段，以?xún)煞N不同的方式形成數(shù)據(jù)缺乏場(chǎng)景的缺陷檢測(cè)方案。

友思特Neuro-T支持的深度學(xué)習(xí)模型類(lèi)型

友思特 Neuro-T 支持八種不同的深度學(xué)習(xí)模型。

其中，GAN通過(guò)少量缺陷樣本，訓(xùn)練缺陷生成模型并生成大量缺陷圖像，從而解決缺陷數(shù)據(jù)缺乏的問(wèn)題；無(wú)監(jiān)督學(xué)習(xí)模型中的異常分類(lèi)和異常分割，只需用大量正常的圖像數(shù)據(jù)和少量的缺陷圖像進(jìn)行訓(xùn)練，即可輸出檢測(cè)異常圖像的深度學(xué)習(xí)模型。

有監(jiān)督學(xué)習(xí)模型

模型訓(xùn)練數(shù)據(jù)包括輸入圖像的特征和標(biāo)簽/目標(biāo)值；

訓(xùn)練過(guò)程中，模型嘗試通過(guò)特征和標(biāo)簽之間的聯(lián)系來(lái)學(xué)習(xí)如何預(yù)測(cè)/分類(lèi)。

無(wú)監(jiān)督學(xué)習(xí)模型

模型訓(xùn)練數(shù)據(jù)只包含輸入圖像的特征，無(wú)標(biāo)簽/目標(biāo)值；

模型嘗試發(fā)現(xiàn)數(shù)據(jù)中的模型或特征關(guān)系，而非預(yù)測(cè)特定的輸出。

監(jiān)督學(xué)習(xí)
分類(lèi)		將圖像分類(lèi)成不同的類(lèi)別或OK/NG組別
實(shí)例分割		分析圖像中檢測(cè)到的物體形狀并圈選
目標(biāo)檢測(cè)		檢測(cè)圖像中物體的類(lèi)別、數(shù)量并定位
OCR 字符識(shí)別		檢測(cè)和識(shí)別圖像中的字母、數(shù)字或符號(hào)
旋轉(zhuǎn)		旋轉(zhuǎn)圖像至合適的方位
GAN 對(duì)抗生成網(wǎng)絡(luò)		學(xué)習(xí)圖像中的缺陷區(qū)域并生成虛擬缺陷
無(wú)監(jiān)督學(xué)習(xí)
異常分類(lèi)		在大量正常圖像和少量缺陷圖像上訓(xùn)練以檢測(cè)異常圖像進(jìn)行分類(lèi)
異常分割		在大量正常圖像和少量缺陷圖像上訓(xùn)練以檢測(cè)異常圖像并定位缺陷位置

GAN模型

生成對(duì)抗網(wǎng)絡(luò) (Generative Adversarial Network, GAN)是一種深度學(xué)習(xí)模型，由生成器(Generator) 和判別器(Discriminator) 組成。

生成器網(wǎng)絡(luò)以隨機(jī)噪聲為輸入，通過(guò)層層映射和轉(zhuǎn)換逐漸生成逼真的數(shù)據(jù)樣本。判別器網(wǎng)絡(luò)則被訓(xùn)練用于區(qū)分生成器產(chǎn)生的樣本與真實(shí)樣本。兩部分通過(guò)對(duì)抗訓(xùn)練的方式相互博弈，學(xué)習(xí)數(shù)據(jù)的分布，使得生成器可以生成逼真的數(shù)據(jù)樣本，而判別器則可以對(duì)真實(shí)樣本和生成的樣本進(jìn)行有效區(qū)分。

生成器的目標(biāo)是最大化判別器無(wú)法區(qū)分生成樣本和真實(shí)樣本的概率。而判別器的目標(biāo)是最小化其錯(cuò)誤率，即盡可能準(zhǔn)確地區(qū)分生成樣本和真實(shí)樣本。通過(guò)反復(fù)迭代優(yōu)化，生成器和判別器逐漸互相提高，并最終達(dá)到一種動(dòng)態(tài)平衡狀態(tài)。

GAN模型廣泛應(yīng)用于文本、圖像、音視頻數(shù)據(jù)生成等場(chǎng)景。

Neuro-T GAN模型生成缺陷圖像操作步驟

01 訓(xùn)練GAN模型

1.1.1 新建項(xiàng)目

1.1.2 新建數(shù)據(jù)集

1.1.3 導(dǎo)入圖像數(shù)據(jù)

1.2.1 創(chuàng)建標(biāo)簽集

1.2.2 選擇模型類(lèi)型(GAN)

1.3.1 標(biāo)注數(shù)據(jù)

1.3.2 完成標(biāo)注

可以使用涂刷的方式選中缺陷區(qū)域

也可以用畫(huà)筆繪制任意多邊形圈選缺陷區(qū)域

1.4.1 劃分訓(xùn)練集/測(cè)試集

1.4.2 缺陷圖像/正常圖像

將缺陷圖像設(shè)置為訓(xùn)練集；將正常圖像設(shè)置為測(cè)試集

1.5.1 輸入訓(xùn)練模型名稱(chēng)

1.5.2 訓(xùn)練生成GAN模型

1.5.3 查看模型結(jié)果

02 創(chuàng)建缺陷圖像

2.1.1 進(jìn)入生成中心(Generation Center)

2.1.2 新建任務(wù)

2.2.1 導(dǎo)入正常圖像

2.2.2 加載GAN模型

用于創(chuàng)建缺陷的圖像數(shù)據(jù)必須跟用于訓(xùn)練GAN模型的數(shù)據(jù)對(duì)應(yīng)，后續(xù)將用這些正常圖像生成缺陷圖像。

①繪制生成缺陷：自定義模式Custom mode

2.3.1① 選擇缺陷生成類(lèi)型

2.3.2① 繪制缺陷

2.3.3① 完成繪制

2.3.4① 準(zhǔn)備生成

2.3.5① 生成缺陷圖像

應(yīng)用于比較直觀的缺陷。可以使用先前訓(xùn)練的缺陷形狀(Stamp)繪制缺陷，也可以使用畫(huà)刷工具(Brush)自由繪制缺陷。

②繪制生成缺陷：隨機(jī)模式Random mode

2.3.1② 選擇缺陷生成類(lèi)型

2.3.2② 設(shè)置缺陷數(shù)

2.3.3② 生成缺陷圖像

2.3.4② 得到缺陷圖像

2.3.5② 導(dǎo)出圖像數(shù)據(jù)

應(yīng)用于比較抽象的缺陷和批量缺陷圖像的生成?？梢绘I實(shí)現(xiàn)在所有正常圖像上繪制缺陷得到缺陷圖像，軟件界面可查看生成的批量缺陷圖像并導(dǎo)出。

Neuro-T無(wú)監(jiān)督學(xué)習(xí)模型輸出異常分類(lèi)or檢測(cè)模型操作步驟

（1）與使用Neuro-T訓(xùn)練其他深度學(xué)習(xí)模型一樣的步驟，新建項(xiàng)目 → 新建數(shù)據(jù)集→導(dǎo)入圖像數(shù)據(jù)→新建標(biāo)簽集→選擇標(biāo)簽集對(duì)應(yīng)的深度學(xué)習(xí)模型類(lèi)型。

（2）對(duì)于異常分類(lèi)模型：只需類(lèi)比分類(lèi)模型，給數(shù)據(jù)添加正常or異常的標(biāo)簽；對(duì)于異常分割模型：給數(shù)據(jù)添加正常or異常的標(biāo)簽，進(jìn)一步地，對(duì)于異常的圖像數(shù)據(jù)，需要圈選or涂選出異常區(qū)域。

（3）訓(xùn)練模型，查看模型檢測(cè)結(jié)果，可以通過(guò)設(shè)置敏感度閾值(Sensitivity Threshold)來(lái)過(guò)濾檢測(cè)出的圖像異常部分，從而滿(mǎn)足實(shí)際的應(yīng)用需求。

友思特Neuro-T應(yīng)用案例

1. 制造業(yè)

電池缺陷檢測(cè) 鋼材表面缺陷檢測(cè)

2. 醫(yī)療業(yè)

胸部CT病灶檢測(cè)
腹部超聲異常檢測(cè)

審核編輯 黃宇