基于CNN和DenseBlock的導(dǎo)光板標(biāo)記線缺陷檢測

目前越來越多的中外學(xué)者致力于機器視覺的研究, 但卻少有導(dǎo)光板檢測的成熟方法以及學(xué)術(shù)論文可被參考, 通過借鑒液晶屏缺陷檢測的研究方法進行研究. 在數(shù)字圖像算法檢測方法中, 文獻[1]中將圖像作為像素矩陣, 利用奇異值分解(SVD)檢測缺陷, 首先去除圖像背景, 然后利用剩余奇異值重建圖像并顯示缺陷區(qū)域. 但是這種方法中沒有提供消除各種缺陷類型時必須的奇異值數(shù), 以獲得良好的實驗結(jié)果. 文獻[2]中, 利用奇異值對圖像進行分類, 并將缺陷圖片分為粗缺陷和細缺陷兩類, 采用二維離散小波系數(shù)與區(qū)域增長相結(jié)合的方法提取缺陷區(qū)域, 該算法在時間復(fù)雜度上表現(xiàn)較為優(yōu)異, 但是在應(yīng)對導(dǎo)光板復(fù)雜特征時表現(xiàn)欠佳. 文獻[3]中擴展了原霍夫變換的點到線的距離差, 在非平穩(wěn)灰度梯度的缺陷檢測中得到了有效的應(yīng)用. 然而不同的距離差值與相同的控制參數(shù)組合將會導(dǎo)致得到不同的結(jié)果, 文中并未提到此自動檢測方法是否需要人工干預(yù)來設(shè)置參數(shù). 在神經(jīng)網(wǎng)絡(luò)的檢測算法中, 文獻[4]中作者為Mura缺陷的定量評估設(shè)計了一個模糊神經(jīng)網(wǎng)絡(luò), 然而對于低對比度的Mura缺陷, 如何準(zhǔn)確地提取到缺陷特征是一個挑戰(zhàn). 文獻[5]中作者為預(yù)測Gap Mura缺陷使用4種神經(jīng)網(wǎng)絡(luò), 分別是BP神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)、學(xué)習(xí)向量量化1和學(xué)習(xí)向量量化2進行訓(xùn)練, 但是BP神經(jīng)網(wǎng)絡(luò)本身具有收斂速度慢、權(quán)值收斂局部極小化等問題, 并不能提供穩(wěn)定的解決方案. 文獻[6]中作者針對Mura缺陷采用監(jiān)督學(xué)習(xí)網(wǎng)絡(luò), 將觀察到的Mura缺陷標(biāo)記為特征, 并被輸入到一個卷積神經(jīng)網(wǎng)絡(luò)提取所選擇的特征. 文中所使用的網(wǎng)絡(luò)需要提前表及特征, 過程繁雜, 工作量大, 且文中使用網(wǎng)絡(luò)結(jié)構(gòu)簡答單一, 捕獲特征較少, 無法應(yīng)對復(fù)雜紋理的圖像分類任務(wù). 文獻[7]中作者使用神經(jīng)網(wǎng)絡(luò)光學(xué)模型和遺傳算法等方法優(yōu)化設(shè)計棱鏡型液晶導(dǎo)光板, 以求在現(xiàn)有條件下獲得優(yōu)異的亮度均勻性. 但是使用的網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練方面問題多多, 無法保證使用不同的數(shù)據(jù)集時的檢測效果. 文獻[8]中作者融合STN和DenseNet卷積神經(jīng)網(wǎng)絡(luò)組成新型網(wǎng)絡(luò)結(jié)構(gòu)ST-DenseNet用于樹種葉片數(shù)據(jù)集分類. 文獻[9]中作者通過改進AlexNet完成遮擋獼猴桃目標(biāo)識別任務(wù). 文獻[10]中作者使用VGG16分類卷積神經(jīng)網(wǎng)絡(luò)對血液細胞進行診斷分類研究. 在理論研究方面, 人們在探索分類卷積神經(jīng)網(wǎng)絡(luò)時注意到了注意力這一概念。

上述分類卷積神經(jīng)網(wǎng)絡(luò)的分類效果雖然表現(xiàn)不錯, 但是由于網(wǎng)絡(luò)參數(shù)較多, 運行時卷積神經(jīng)網(wǎng)絡(luò)的時間復(fù)雜度較大. 因工業(yè)產(chǎn)品檢測需要考慮時間成本和資金成本, 無法直接使用上述分類網(wǎng)絡(luò)進行分類檢測. 由于目前用于工業(yè)檢測的卷積神經(jīng)網(wǎng)絡(luò)案例較少, 查閱相關(guān)文獻后, 選擇對現(xiàn)有卷積神經(jīng)網(wǎng)絡(luò)進行改進, 完成導(dǎo)光板分類檢測算法. 針對工業(yè)檢測需求, 更改DenseNet網(wǎng)絡(luò)中的卷積結(jié)構(gòu), 結(jié)合Bilinear-CNN算法提高卷積神經(jīng)網(wǎng)絡(luò)局部特征注意力. 最終在900張的測試圖片組成的測試數(shù)據(jù)集上達到了95.53%的準(zhǔn)確率, 平均單張圖像檢測時間為40.1 ms.

導(dǎo)光板是一種亞克力材質(zhì)的塑料板材, 經(jīng)過花紋燙印后, 被廣泛用于顯示器背光模組核心組件. 對導(dǎo)光板標(biāo)記線的檢測, 則是驗證當(dāng)前燙印工藝是否合格的一個重要標(biāo)準(zhǔn). 使用數(shù)字圖像算法檢測導(dǎo)光板標(biāo)記線雖然可以有效地對圖片進行檢測, 但是面對特征更加復(fù)雜的大面積氣泡、嚴(yán)重污染和無標(biāo)記線等情況無法得到滿意的結(jié)果. 使用深度學(xué)習(xí)方法進行工業(yè)檢測, 是學(xué)術(shù)界和工業(yè)界共同探索的課題. 使用深度學(xué)習(xí)的方法對小數(shù)據(jù)集、低對比、高紋理、高相似的導(dǎo)光板標(biāo)圖片進行缺陷檢測, 導(dǎo)光板缺陷板材示意圖如圖1所示.

1 相關(guān)理論方法

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)是一種特殊的人工神經(jīng)網(wǎng)絡(luò), 其主要的特點是卷積運算操作. 卷積神經(jīng)網(wǎng)絡(luò)在進行分類或者回歸的時候, 大致都分為兩個部分, 他們分別是前饋運算和反饋運算. 前饋運算是產(chǎn)生運算數(shù)據(jù)的過程, 其主要通過卷積操作、匯合操作和非線性激活函數(shù)映射等一系列操作共同完成. 反向傳播主要是計算預(yù)測值和真實值之間的誤差或損失, 憑借反向傳播算法將損失逐層向前反饋, 更新每一層的權(quán)重和偏置, 通過周而復(fù)始的進行前饋運算和反饋運算, 最終得到期望的模型.

2 基于雙線性CNN和DenseBlock的分類檢測框架

本文算法分上下兩步, 第1步, 基本權(quán)重訓(xùn)練: 通過修改DenseNet網(wǎng)絡(luò), 改進DenseBlock中特征計算單元的結(jié)構(gòu), 減少卷積神經(jīng)網(wǎng)絡(luò)卷積層數(shù)量, 避免過擬合, 以及減少卷積神經(jīng)網(wǎng)絡(luò)參數(shù)數(shù)量. 第2步, 權(quán)重模型優(yōu)化: 使用Bilinear-CNN分類算法組成混合深度模型進行遷移學(xué)習(xí), 將使用第1步訓(xùn)練得到的權(quán)重遷移到第2步的Bilinear-CNN分類網(wǎng)絡(luò)重新訓(xùn)練, 通過捕捉特征通道之間的成對相關(guān)性, 提高分類準(zhǔn)確率, 各步網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示. 通過對實驗的卷積神經(jīng)網(wǎng)絡(luò)算法的權(quán)重進行分析發(fā)現(xiàn), 本文所設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)算法僅需要極少的參數(shù)參與運算.

2.1 改進的神經(jīng)網(wǎng)絡(luò)模型介紹

與傳統(tǒng)的為提高識別精度, 通過增加卷積層數(shù)量或使用金字塔特征融合的方法不同. 卷積神經(jīng)網(wǎng)絡(luò)在工業(yè)檢測應(yīng)用的場景, 主要運行在工控機或者普通PC機上. 因此設(shè)計卷積神經(jīng)網(wǎng)絡(luò)時, 首先考慮減少卷積神經(jīng)網(wǎng)絡(luò)卷積層, 然后再考慮提高卷積神經(jīng)網(wǎng)絡(luò)分類精度.

2.1.1 減少卷積神經(jīng)網(wǎng)絡(luò)參數(shù)

減少DenseBlock中的卷積層數(shù), 通過減少卷積操作次數(shù)和卷積數(shù)量, 提高卷積神經(jīng)網(wǎng)絡(luò)運行速度. 減少卷積層數(shù)量可以在減少運行時間的同時減少網(wǎng)絡(luò)參數(shù)數(shù)量. 但是隨之而來的副作用, 則是無法獲得足夠的特征, 使得特征激活映射區(qū)域無法正確映射到目標(biāo)物體上.

減少卷積操作中的通道數(shù)量, 隨著卷積操作中通道數(shù)量的增加, 網(wǎng)絡(luò)參數(shù)數(shù)量也隨之增加, 使得網(wǎng)絡(luò)在運行時需要申請更多的顯存和內(nèi)存空間. 減少卷積操作中的通道數(shù)量, 可以有效的降低卷積神經(jīng)網(wǎng)絡(luò)的空間復(fù)雜度.

在特征計算單元中加入DropOut算法, 通過設(shè)置忽略特征檢測器的概率, 使某些神經(jīng)元的激活值以一定的概率停止工作. DropOut的加入可以使當(dāng)前模型泛化性更強, 減少對某些局部特征的依賴, 從而避免過擬合.

在每個DenseBlock后面加入多層感知器(MLP)[20], 與Caffe中MLP的實現(xiàn)方法不同, 實驗算法中的MLP算子中沒有使用3×3大小的卷積核進行卷積, 僅使用兩層1×1大小的卷積核進行卷積, 這樣做有助于在加深網(wǎng)絡(luò)卷積深度與增強網(wǎng)絡(luò)容量和復(fù)雜度的同時, 減少網(wǎng)絡(luò)參數(shù)數(shù)量[21].

2.1.2 加速損失函數(shù)收斂

在實驗中, 發(fā)現(xiàn)使用原DenseNet網(wǎng)絡(luò)結(jié)構(gòu)中的GAP結(jié)構(gòu), 無法有效降低損失函數(shù)的損失值. 在使用三層全連接層代替Global Average Pooling (GAP)之后, 損失函數(shù)的損失值快速下降. 對比前后結(jié)果, 三層全連接層作為一個小型網(wǎng)絡(luò), 相比于GAP算法其可以獲取更多的特征. 使用GAP算法對高紋理、低對比的灰度圖分類時, 會造成特征圖上的特征丟失.

GAP對所接收到的每一個特征圖都進行了極端降維, 它將尺寸為h×w×d的張量縮小為1×1×d大小的張量. GAP激活區(qū)域與分類結(jié)果之間的關(guān)系證明如下所示[22]:

使用三層全連接層可以有效地降低損失函數(shù)損失值, 加速了梯度下降, 促使網(wǎng)絡(luò)可以更加快速的擬合權(quán)重參數(shù), 找到當(dāng)前網(wǎng)絡(luò)的局部最優(yōu)解. 但是隨著三層全連接層的使用, 導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量增加, 所以在下一步的遷移學(xué)習(xí)過程中通過修改全連接層結(jié)構(gòu)的方法, 降低網(wǎng)絡(luò)參數(shù)數(shù)量.

2.2 雙線性CNN算法

雙線性CNN(如圖5)由兩組CNN特征提取器組成, 它使用兩個卷積神經(jīng)網(wǎng)絡(luò)的輸出在圖像的每個位置進行外積相乘, 并在原圖各個位置進行池化以獲得最終的圖像特征描述符. 通過外積操作捕捉特征通道之間的成對相關(guān)性, 對局部特征之間的交互進行建模. 由于雙線性CNN的兩個CNN的輸出是線性的, 所以被叫做雙線性CNN[23]. 在雙線性CNN算法中, 有并行子網(wǎng)絡(luò)A、B, 網(wǎng)絡(luò)A的作用是對圖像中對象的特征部位進行定位, 而網(wǎng)絡(luò)B則是用來對網(wǎng)絡(luò)A檢測到的特征區(qū)域進行特征提取, 由這兩個網(wǎng)絡(luò)共同完成了圖像分類中最重要的兩個任務(wù): 區(qū)域檢測和特征提取[24].

雙線性CNN的全局圖像描述符, 表示如下:

目前雙線性CNN有兩種實現(xiàn)方法, 第1種: 使用不同的兩組卷積神經(jīng)網(wǎng)絡(luò)作為特征提取器, 第2種: 使用同一組網(wǎng)絡(luò)獲取的最終特征描述符進行運算. 通過對比研究, 因考慮到算法最終的應(yīng)用環(huán)境, 最終選擇第2種實現(xiàn)方式進行實驗.

2.3 損失函數(shù)

3 實驗分析

訓(xùn)練數(shù)據(jù)集共有4059張圖片, 驗證和測試數(shù)據(jù)集各有896張圖片. 為應(yīng)對不同工廠的不同產(chǎn)品, 旨在尋找簡單易用的端到端的神經(jīng)網(wǎng)絡(luò), 本文分類卷積神經(jīng)網(wǎng)絡(luò)算法在訓(xùn)練時并未對圖片預(yù)處理.

實驗電腦硬件配置如下:

(1) CPU: Intel Core(TM) i5-4590; 四核四線程; 主頻: 3.3 GHz.

(2)實驗訓(xùn)練用GPU: NVIDIA Titan V; 顯存: 12 GB; 內(nèi)存: 250 GB.

(3)實驗測試用GPU: NVIDIA GTX 1060; 顯存: 6 GB.

(4)本機內(nèi)存: DDR3: 1600 MHz; 內(nèi)存: 16 GB.

實驗軟件環(huán)境如下:

(1)操作系統(tǒng): Windows 10, ubuntu 16.04.

(2)編程語言: Python.

(3)第三方庫: Pillow, numpy, matplotlib, tensor-flow, keras, scikit-image.

3.1 DenseNet實驗參數(shù)與結(jié)果

在第1步的訓(xùn)練中, 將訓(xùn)練集輸入到網(wǎng)絡(luò)中進行模型訓(xùn)練, 訓(xùn)練過程所涉及的參數(shù)有batch_size大小、學(xué)習(xí)率、激活函數(shù)、迭代次數(shù)和優(yōu)化函數(shù)(訓(xùn)練參數(shù)設(shè)置如表1所示).

使用實驗網(wǎng)絡(luò)模型對同一個數(shù)據(jù)集、在相同的訓(xùn)練參數(shù)下, 進行多次訓(xùn)練后發(fā)現(xiàn), 每次訓(xùn)練后得到的準(zhǔn)確率在92%左右震蕩. 從側(cè)面驗證, 通過改進所得到的卷積神經(jīng)網(wǎng)絡(luò)具有較好的魯棒性(loss變化圖如圖6所示, 本文使用留一法數(shù)據(jù)進行展示, 用以凸顯卷積神經(jīng)網(wǎng)絡(luò)擬合效果).

3.2 雙線性CNN實驗結(jié)果與分析

使用遷移學(xué)習(xí)技術(shù)對雙線性CNN網(wǎng)絡(luò)進行訓(xùn)練, 通過修改第一步中的DenseNet網(wǎng)絡(luò)結(jié)構(gòu), 使用雙線性CNN算法替換三層全連接層, 在減少網(wǎng)絡(luò)參數(shù)的同時提高了分類準(zhǔn)確率. 在第二步訓(xùn)練雙線性CNN時依然采用交叉熵損失函數(shù)作為圖像分類訓(xùn)練的損失函數(shù)(如圖7).

將訓(xùn)練集輸入到網(wǎng)絡(luò)中進行模型訓(xùn)練, 訓(xùn)練過程所涉及的參數(shù)有batch_size、學(xué)習(xí)率、激活函數(shù)、迭代次數(shù)和優(yōu)化函數(shù)等(如表2).

實驗所用訓(xùn)練數(shù)據(jù)集(如圖8)由3類缺陷圖片組成, 分別是無線、有線和氣泡, 每類有1353張圖片, 共計4059張訓(xùn)練圖片, 圖片大小為448×448×1的灰度圖片. 測試數(shù)據(jù)集和驗證數(shù)據(jù)集各有896張圖片, 在上述數(shù)據(jù)集中無線、有線和氣泡的缺陷圖片各有300張測試圖片, 圖片大小為448×448×1的灰度圖片. 使用實驗算法在測試數(shù)據(jù)集上測試, 最終得到分類準(zhǔn)確率為95.53%.

經(jīng)過對測試數(shù)據(jù)集圖片內(nèi)容逐張圖片驗證發(fā)現(xiàn), 誤判主要于有線板材被嚴(yán)重污染的情況下出現(xiàn). 在對氣泡和無線板材進行逐張圖片驗證時發(fā)現(xiàn), 這兩類圖片的檢測準(zhǔn)確率為100%. 根據(jù)工廠質(zhì)量品控標(biāo)準(zhǔn), 可以將合格的檢測為不合格的, 但是不能存在不合格檢測為合格的情況. 所以無線板材的準(zhǔn)確檢測是保障導(dǎo)光板質(zhì)量的最低標(biāo)準(zhǔn), 實驗算法基本實現(xiàn)了導(dǎo)光板標(biāo)記線的檢測要求. 實驗網(wǎng)絡(luò)分類結(jié)果如圖9.

使用VGG-16、V2-ResNet-101、AlexNet與本文網(wǎng)絡(luò)相對比, 分類結(jié)果如表3所示.

根據(jù)表3數(shù)據(jù)所示, DesneNet-BCNN 與其他主流網(wǎng)絡(luò)對比結(jié)果如下.

在網(wǎng)絡(luò)參數(shù)方面, 較V2-ResNet-101卷積神經(jīng)網(wǎng)絡(luò)參數(shù)減少了97.2%, 較AlexNet卷積神經(jīng)網(wǎng)絡(luò)參數(shù)減少了97.5%.

在準(zhǔn)確率方面, 較V2-ResNet-101卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率提升了0.44%, 較AlexNet卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率提升了3.34%.

在平均單張圖片檢測時間方面, 較V2-ResNet-101卷積神經(jīng)網(wǎng)絡(luò)快了13.3 ms, 較AlexNet卷積神經(jīng)網(wǎng)絡(luò)慢了29.5 ms.

4 結(jié)語

本文卷積神經(jīng)網(wǎng)絡(luò)主要分兩步完成, 第1步: 通過修改DenseNet 網(wǎng)絡(luò)結(jié)構(gòu)降低參數(shù)數(shù)量、提高檢測速度、減少圖片檢測所用時間以及避免訓(xùn)練過擬合. 第2步: 使用遷移學(xué)習(xí)方法, 將第1步訓(xùn)練所的權(quán)重遷移到雙線性CNN進行進一步訓(xùn)練, 通過外積操作捕捉特征通道之間的成對相關(guān)性, 提高分類準(zhǔn)確率. 使用本文算法在低對比、高紋理、高相似的灰度圖片小數(shù)據(jù)集上進行分類, 最終取得了95.53%的準(zhǔn)確率. 相比于V2-ResNet-101 網(wǎng)絡(luò)結(jié)構(gòu), 準(zhǔn)確率提升了0.44%, 參數(shù)減少了97.2%, 平均單張圖像檢測時間大約減少25%. 因為使用機器視覺的方法對導(dǎo)光板缺陷進行檢測的相關(guān)文獻較少, 使用深度學(xué)習(xí)方法的文獻更加稀少. 因此現(xiàn)有的導(dǎo)光板檢測方面的文獻, 無法提供有價值的參考和對比. 由于工場計件生產(chǎn)規(guī)則限制, 無法在工廠生產(chǎn)線上進行長時間的、大負荷的、連續(xù)的算法魯棒性和穩(wěn)定性評測. 但是在與傳統(tǒng)算法搭配進行缺陷檢測的過程中, 就目前的算法檢測結(jié)果來看, 已基本滿足工業(yè)生產(chǎn)的缺陷檢測需要. 下一步, 在面對減少缺陷檢測時間、提高缺陷檢測準(zhǔn)確率、保證算法魯棒性和穩(wěn)定性等方面, 需要更深入的研究和分析。

責(zé)任編輯：YYX