機器視覺技術(shù)與機器視覺檢測系統(tǒng)的應(yīng)用案例

利用視覺技術(shù)檢測熱軋鋼材的表面，即便鋼材的溫度超過1000℃，也好像它們是冷的一樣。

為了生產(chǎn)無縫鋼管，需要先將鋼坯輸送到爐中加熱。接著，將坯料穿孔以形成厚壁的中空殼體，之后將芯棒插入殼體中。然后在芯棒式無縫管軋機中進行伸長軋制。在伸長工藝之后，坯料輸送到推進臺，在那里它被推動穿過一系列軋輥機座。最終形成具有連續(xù)更小壁厚的中空長鋼管。

盡管與熱軋工藝一樣有效，在軋機臺架中的軋輥機座偶爾可以在鋼表面上產(chǎn)生標(biāo)記和缺陷，這些缺陷在熱條件下非常難以檢測。因此，在質(zhì)量改進項目中，許多制造商希望盡可能早地識別這些缺陷，以避免以相當(dāng)大的代價生產(chǎn)出大量有缺陷的材料。

視覺系統(tǒng)

為了解決這些問題，西班牙Tecnalia公司的工程師開發(fā)出了一套稱為Surfin'的機器視覺系統(tǒng)，其能使鋼鐵制造商在鋼板從推進臺推出時，就檢測到這類缺陷（見圖1）。檢測這種缺陷為制造商提供了生產(chǎn)過程中任何問題的指示，使制造商能在早期階段對推進臺進行預(yù)防性維護，防止將任何有缺陷的鋼管交付給客戶。

圖1：西班牙Tecnalia公司的工程師開發(fā)出了一套稱為Surfin'的機器視覺系統(tǒng)，其能使超過1000℃的鋼板從推進臺推出時，就可檢測到鋼材上的缺陷。

由軋輥機座產(chǎn)生的這種鋼管表面上的典型缺陷，通常遵循重復(fù)模式持續(xù)出現(xiàn)，直到軋機支架改變。這些缺陷包括表面上的裂縫、軋機支架阻擋標(biāo)記、裂紋以及分離的鋼材，其隨后會粘貼到鋼管表面的另一部分上。

開發(fā)人員面臨嚴峻的挑戰(zhàn)。這種生產(chǎn)環(huán)境中的條件可謂極端惡劣：不僅以6~7m/s的相對高速生產(chǎn)鋼管（Surfin'可以工作在高達10m/s下），而且鋼材從軋輥機座推出時的溫度約為1000℃，再加上環(huán)境臟、存在水和油蒸汽，從而使缺陷檢測更為棘手。

由于鋼材的熱表面輻射的光與IR、紅光、橙光和黃光波段的熱發(fā)射直接相關(guān)，因此捕獲鋼材表面反射的所有光的圖像，將使相機中的傳感器飽和，因為相機對鋼管輻射的所有光都敏感。為了解決這一問題，Surfin'系統(tǒng)（專利號ES2378602和EP2341330）使用的光，其波長遠離熾熱鋼材所發(fā)射光譜的波長。

然后，系統(tǒng)中相機捕獲的圖像，通過美國Edmund Optics公司的窄帶光學(xué)帶通濾光片（中心波長為470nm、帶寬為10nm）和一個紅外（IR）輻射濾光片。這兩個濾光片使CCD相機只接收所需波段中的輻射，而加入IR濾光片來保護電子系統(tǒng)免受熱輻射。受控照明技術(shù)允許系統(tǒng)捕獲鋼管整個表面的圖像，就好像鋼管是冷的一樣。

為了使系統(tǒng)能捕獲鋼管表面的360°圖像，該系統(tǒng)使用了加拿大Teledyne DALSA公司的三套14000 lines/s的Spyder 3線掃描相機，以120°的角度間隔垂直于軋制鋼管軸平面、安裝在保護性罩殼中，圍繞在推進臺的輸出端。在該系統(tǒng)的前一個版本中，在每臺相機的兩側(cè)使用加拿大Laserglow Technologies公司的兩個200mW 473nm藍光激光光源，對鋼管表面進行暗場照明。由于系統(tǒng)的幾何形狀，其可以實時地連續(xù)捕獲鋼管的完整圖像（見圖2a和b）。

圖2：a）：為了使系統(tǒng)能夠精確地捕獲鋼管表面（3）的360°圖像，系統(tǒng)使用三組激光器（1）和14000 lines/s線掃描相機（2）。B）：激光器和相機組以120°角度間隔安裝在垂直于滾動軸平面的同一平面內(nèi)，相機位于推進臺輸出端周圍的保護罩殼中。

由于環(huán)境的溫度很高，保持相機連續(xù)冷卻至關(guān)重要。為此，將壓縮冷卻空氣注入到保護罩殼中，保護相機和激光設(shè)備免受熱和惡劣環(huán)境的影響?？諝獠粌H冷卻系統(tǒng)，而且之后過量的空氣通過窗口排出，激光器通過該窗口輸出光束，相機通過該窗口捕獲圖像，防止鱗狀物、氧化物、灰塵和液體沉積。

圖像處理

一旦捕獲了鋼材表面的圖像，接下來便通過光纖千兆以太網(wǎng)鏈路將圖像傳送100m到達控制室中基于PC的服務(wù)器上。在這里，首先對圖像進行預(yù)處理，以利用諸如直方圖均衡等定制圖像增強算法，來增強圖像的對比度。由于原始圖像中的可用數(shù)據(jù)由近對比度值表示，所以該技術(shù)增加了圖像的全局對比度。

圖像增強之后，使用定制軟件處理，在系統(tǒng)的先前版本中，該軟件采用基于支持向量機（SVM）的輔助學(xué)習(xí)系統(tǒng)。一旦系統(tǒng)被教育通過紋理、對比度和尺寸，識別來自不同樣品的缺陷，則算法可以自動檢測和分類生產(chǎn)環(huán)境中最重要的生產(chǎn)缺陷（見圖3）。

圖3：鋼材中出現(xiàn)的典型缺陷包括（a）材料粘貼（b）材料被去除和（c）輥痕。

基于PC的服務(wù)器用于存儲來自相機的圖像、被發(fā)現(xiàn)的缺陷數(shù)據(jù)，以及缺陷在鋼管上位置，還將在Oracle數(shù)據(jù)庫中存儲壓力、溫度、速度信號、通信和其他鋼管生產(chǎn)數(shù)據(jù)的報警，用于質(zhì)量控制和可追溯性。還可以通過在連接到公司局域網(wǎng)（LAN）的計算機上安裝客戶端應(yīng)用，對服務(wù)器上的數(shù)據(jù)進行遠程檢查。

自從該系統(tǒng)最初開發(fā)以來，已經(jīng)經(jīng)歷了幾次增強，系統(tǒng)的結(jié)構(gòu)現(xiàn)在已經(jīng)過重新設(shè)計，能夠更容易地對準(zhǔn)和調(diào)整相機和調(diào)節(jié)照明。

較新版本的系統(tǒng)還采用了液體而非空氣制冷技術(shù)，使照明和傳感器能夠更靠近鋼管放置，從而實現(xiàn)更熱或更大面積的鋼管成像。美國Metaphase Technologies公司的LED光源也已經(jīng)替代了早期的激光器，使光源的壽命從2000小時增加到了50000小時，并且消除了諸如散斑之類可能破壞相機捕獲的圖像的因素。

軟件用戶界面也得到了改進，現(xiàn)在工廠操作員能在鋼材上出現(xiàn)缺陷時，看到它們的位置和特定屬性（見圖4）。現(xiàn)在還可以在數(shù)據(jù)庫上存儲幾個月的生產(chǎn)數(shù)據(jù)，這樣工廠經(jīng)理就能查看可能發(fā)生的任何錯誤的周期性，并安排定期預(yù)防性維護操作。該系統(tǒng)還可以支持多用戶，這些用戶不僅可以本地訪問系統(tǒng)，還可以通過互聯(lián)網(wǎng)訪問系統(tǒng)。

圖4：定制的軟件用戶界面，使工廠操作員能夠?qū)崟r看到鋼材上缺陷的位置和特定屬性。

分類變更

Surfin'系統(tǒng)最重要的一項最新發(fā)展，是用內(nèi)部開發(fā)的候選窗口探測平臺和用于缺陷分類的卷積神經(jīng)網(wǎng)絡(luò)（CNN），來替代之前基于SVM的分類器。CNN可以學(xué)習(xí)從訓(xùn)練圖像中提取表征每種類型缺陷的相關(guān)特征并執(zhí)行分類，而SVM僅將其輸入映射到可以揭示缺陷類別之間差異的一些高維空間。

通過假定所有感興趣的對象（例如缺陷）共享將它們與背景區(qū)分開的共同視覺屬性，候選窗口探測平臺輸出可能包含缺陷的一組區(qū)域。隨后，CNN提取學(xué)習(xí)特征，并且對圖像數(shù)據(jù)執(zhí)行實際的缺陷分類。

CNN分類器通過具有缺陷的熱鋼管圖像的定制圖像數(shù)據(jù)庫進行驗證，并且發(fā)現(xiàn)基于深度學(xué)習(xí)的方法，能夠減少檢測到的假陽性和假陰性的數(shù)量，其明顯優(yōu)于之前的SVM分類器。

執(zhí)行兩類分類（如缺陷與無缺陷）時，最相關(guān)的性能指標(biāo)是AUC，或ROC（接收器工作特征）曲線下的面積，通過在x軸上繪制假陽性率和在y軸上繪制真陽性率，然后計算此函數(shù)下的面積（見圖5）。

圖5：在執(zhí)行兩類分類（如有缺陷與無缺陷）時，最相關(guān)的性能指標(biāo)是AUC或ROC（接收器工作特征）曲線下的面積。模型越好，AUC越接近1。采用這種方式，當(dāng)比較幾種模型時，可以通過選擇最高的AUC來選出最佳模型。雖然SVM分類器的AUC值為0.88，但是對于兩類分類情況，CNN-Surfin'分類器的AUC值為0.997。

理想情況下，該函數(shù)的值對于x軸上的每個值都為1.00，因此模型越好，其AUC越接近1。以這種方式，當(dāng)比較幾種模型時，可以通過取最高AUC值來選擇最佳模型。雖然SVM分類器的AUC值為0.88，但是對于兩類分類情況，CNN-Surfin'分類器的AUC值為0.997。

此外，對于給定的模型，可以選擇閾值以使系統(tǒng)能夠決定樣品是否有缺陷。由于模型的輸出通常是0和1之間的概率值，如果概率值大于閾值，則樣本將被標(biāo)記為NOK，否則標(biāo)記為OK。

通過將閾值移向1.0，能以“增加假陰性的數(shù)量”為代價來減少假陽性的數(shù)量，反之亦然。然后可以通過在x軸上繪制閾值，以及在y軸上繪制特異性或真陰性率（= 1-假陽性率）和靈敏度或真陽性率（= 1-假陰性率），來可視化檢查系統(tǒng)工作在何處。

對應(yīng)于閾值的垂直線切割兩條曲線的點，產(chǎn)生假陽性率和假陰性率。閾值的常見選擇是產(chǎn)生近似相等的假陽性率和假陰性率。對于CNN-Surfin'，得到1.58%的假陽性率和1.49%的假陰性率（見圖6）。與之相比，SVM版本的Surfin'的假陽性率為17.98%，假陰性率為18.00%，由Surfin'做出的分類錯誤數(shù)量減少了12倍。

圖6：對應(yīng)于閾值的垂直線切割兩條曲線的點，產(chǎn)生假陽性率和假陰性率。閾值的常見選擇是產(chǎn)生近似相等的假陽性和假陰性率。對于CNN-Surfin'，假陽性率為1.58%，假陰性率為1.49%。

現(xiàn)在，新的分類器準(zhǔn)備在生產(chǎn)環(huán)境中運行。此外，Tecnalia公司的工程師們正在努力繼續(xù)改進系統(tǒng)，目的是使鋼鐵生產(chǎn)商能夠生產(chǎn)零缺陷鋼材。例如，已經(jīng)使用CNN-Surfin'評估了4類問題（OK以及3種類型的缺陷），通過AUC（平均延伸）進行歸類，得到AUC = 0.9956。但目前正在收集更多的樣本，以使結(jié)果更具統(tǒng)計學(xué)意義。

Surfin'系統(tǒng)自推出以來，已經(jīng)交付到諸如西班牙Tubos Reunidos和Aceros Inoxidables Olarra等公司，其能夠在熱工藝生產(chǎn)的早期階段檢測到生產(chǎn)問題。Tecnalia公司正與其他鋼鐵生產(chǎn)公司合作部署該系統(tǒng)，以檢測形狀更復(fù)雜的鋼材，例如用于建筑和土木工程的U型或H型截面鋼梁。

Tecnalia公司已經(jīng)與西班牙Sarralle集團建立了關(guān)系，在全球范圍內(nèi)分銷Surfin'系統(tǒng)。