摘要:
針對在智能電能表日常使用過程中,顯示屏區(qū)域的信息出現(xiàn)數(shù)字符號信息顯示錯誤,文字、符號信息顯示不完整的問題,提出了基于機器視覺技術(shù),利用Halcon軟件對智能電能表顯示屏字符信息顯示完整度進行檢測,對智能電能表顯示屏區(qū)域圖像提取,對提取后的顯示屏區(qū)域圖像進行直方圖均衡化處理后,采用邊緣檢測去除目標(biāo)區(qū)域中無意義或者過小的物體。
利用形態(tài)學(xué)開運算和閉運算的結(jié)合對智能電能表顯示屏進行字符信息分割,進而對智能電能表顯示屏區(qū)域字符信息進行檢測,根據(jù)顯示屏區(qū)域信息的不同類型采用分塊處理識別,將檢測結(jié)果與工業(yè)庫中的信息進行模板匹配,標(biāo)記出信息缺失區(qū)域,通過實驗分析驗證了智能電能表顯示屏信息缺失的檢測方法的可行性。
文章詳情
0 引 言
“電網(wǎng)2.0”,指的是電網(wǎng)發(fā)展過程中的一種智能化方式即智能電網(wǎng),智能電網(wǎng)擁有卓越的測量技術(shù)和計量手段,精度和準(zhǔn)確性能極高,機器設(shè)備等級處于較高水平,通過高速雙向通信網(wǎng)絡(luò)保障電網(wǎng)能夠在使用過程中安全、高效、以及綠色環(huán)保的運轉(zhuǎn)。隨著科技不斷發(fā)展突破,智能電網(wǎng)逐漸成為未來電網(wǎng)行業(yè)的整體發(fā)展趨勢,以其所擁有的激勵、自愈,以及使用條件簡便易行的特征,滿足了電力市場的需求。
智能電能表是智能電網(wǎng)的智能終端,智能電能表主要功能是對用戶的用電量進行記錄與計算,其中包含有電量計量、控制以及用戶交互的信息等。智能電能表除了具有傳統(tǒng)電能表進行用戶電量計量的功能外,還擁有獨特的雙向通信網(wǎng)絡(luò)和雙向電量計量的功能,此外能夠?qū)τ脩舳藢崟r監(jiān)測,防止出現(xiàn)漏電竊電的情況。智能電能表將會成為未來智能化服務(wù)終端發(fā)展行業(yè)的整體趨勢。
機器視覺是一門新興技術(shù),其包括計算機科學(xué)技術(shù)、圖像處理等學(xué)科,是當(dāng)下具有較好發(fā)展前景的方向。機器視覺因為其擁有的良好性能,在圖像處理的過程中發(fā)揮了不可或缺的作用。機器視覺具有缺陷檢測、尺寸測量、物體識別等功能, 具有智能化程度高、非接觸和精度高等優(yōu)點, 已被各工業(yè)檢測領(lǐng)域廣泛采納。
機器視覺系統(tǒng)能夠迅速處理短時間內(nèi)獲取的眾多信息,同時對信息中加工和檢測部分進行整合處理。因此,在自動化、智能化普及的日常生產(chǎn)中,機器視覺技術(shù)在產(chǎn)品質(zhì)量檢測、產(chǎn)品加工狀態(tài)檢測等眾多方面應(yīng)用廣泛。
在生產(chǎn)過程中遇到的一些問題需要采用柔性的解決方式,機器視覺技術(shù)能夠很好地適應(yīng)工作環(huán)境,完成一些特殊情況下人為檢測很難實現(xiàn)的工作,因此,相比于人工檢測來說,機器視覺技術(shù)對產(chǎn)品的檢測效率、精度都有很大程度的提高和改善,同時節(jié)省了大量勞動力資源,在自動化程度方面更有優(yōu)勢。
因此基于機器視覺技術(shù),利用Halcon軟件對顯示屏進行信息檢測,先對顯示屏區(qū)域進行圖像提取,消除無用信息的干擾,完成目標(biāo)區(qū)域提取后,采用直方圖均衡化增強圖像背景與字符信息之間的對比度,通過對顯示屏區(qū)域不同字符信息進行分塊處理,完成不同類別的字符信息檢測,最終實現(xiàn)了對智能電能表顯示屏的信息缺失檢測。
1 智能電能表顯示屏信息檢測
在智能電能表正式投入使用之前,需要對智能電能表進行質(zhì)量檢測,智能電能表顯示屏信息檢測是質(zhì)量檢測流程中的一個關(guān)鍵步驟。如果在檢測過程中發(fā)現(xiàn)顯示屏字符信息顯示不全,出現(xiàn)缺失的情況,需要對缺陷電能表進行收集并維修。
智能電能表顯示屏信息檢測先要對顯示屏的字符信息進行分割處理,便于后續(xù)信息提取,包括圖像提取、采用直方圖均衡化進行圖像增強、邊緣檢測、利用形態(tài)學(xué)開運算與閉運算結(jié)合的算法進行字符分割等,之后對智能電能表顯示屏字符信息(數(shù)字符號信息、文字、符號信息)進行檢測,檢測字符信息的方案如下:
對智能電能表顯示屏中的字符信息部分進行檢測。對于數(shù)字信息,讀取八個“8”字符,并將每個數(shù)字“8”分割出來,與工業(yè)庫中的數(shù)字進行匹配,若檢測結(jié)果一致則不存在缺失,反之存信息缺失;對于文字和符號信息,需要將檢測出的字符信息就近連接在一起,形成一個“塊”,剩余未連接成塊的空缺區(qū)域為信息缺失部分。
經(jīng)實驗驗證分析,此方案能夠完成對智能電能表顯示屏字符信息的檢測,對顯示屏信息缺失部分進行標(biāo)記,且檢測方法準(zhǔn)確率高,操作方便,因此采用這種檢測方式進行智能電能表顯示屏字符信息的檢測,反饋出是否為存在顯示屏信息缺失問題的電能表。
1.1 智能電能表顯示屏字符區(qū)域分割
智能電能表進行顯示屏信息檢測的準(zhǔn)確率的大小,取決于是否能夠完整地分割出顯示屏區(qū)域中的字符信息,如數(shù)字符號信息,文字與符號信息。另外,在使用工業(yè)相機進行圖像采集時,圖像質(zhì)量以及后續(xù)信息識別會受到外部環(huán)境影響,如光照不均、暗影等。圖像中字符與背景對比度較低,不易準(zhǔn)確識別出顯示屏區(qū)域字符信息,因此智能電能表顯示屏字符區(qū)域分割時,需要以智能電能表顯示屏區(qū)域圖像增強為基礎(chǔ),再進行后續(xù)處理。采集的電能表圖像如圖2所示。
1.1.1 顯示屏區(qū)域圖像提取
為了能夠準(zhǔn)確獲取目標(biāo)區(qū)域,消除背景中無用信息的干擾,需要進行感興趣區(qū)域(ROI)提取,即智能電能表顯示屏區(qū)域圖像。需要對電能表原始圖像利用算子find_model_contous進行ROI區(qū)域外輪廓的定位;
利用gen_region_contour_xld算子和smallest_rectangle算子選取感興趣區(qū)域ROI,如果存在方向傾斜的問題,需要使用rotate_image算子進行位置調(diào)整,再使用find_model_contous算子與reduce_domain算子得到感興趣區(qū)域 ROI 在電能表圖像中的準(zhǔn)確位置,從而完成感興趣區(qū)域(ROI)提取。ROI提取后如圖3所示。
1.1.2 顯示屏區(qū)域信息圖像增強
通過對提取出的智能電能表顯示屏區(qū)域分析可以看出,字符信息和顯示屏背景之間的對比度比較低,字符信息不清晰,并且顯示屏灰度分布不均勻。因此需要對顯示屏區(qū)域進行圖像增強,增加顯示屏區(qū)域的字符和背景之間的對比度,便于識別。
直方圖均衡化是一種典型的圖像增強方法,以累積分布函數(shù)作為參考理論基礎(chǔ)。通過直方圖均衡化能夠增強顯示屏背景和字符信息之間的對比度,凸顯出字符信息的輪廓特征,易于信息的檢測和識別,為字符檢測提供較好的外部環(huán)境。在直方圖中,L為圖像中灰度級數(shù)量的不確定值,rk為圖像的原始灰度,N為圖像的像素總數(shù),T(rk)為離散函數(shù),Pr表示圖像灰度級的概率值,nj為灰度rj的圖像的像素個數(shù),一副圖像中灰度級出現(xiàn)的概率如下:
圖像原始灰度rk的概率函數(shù)Pr(r)和變換函數(shù)T(r)之間存在一種特殊關(guān)系,稱之為累積分布函數(shù),即:
(2)
使用數(shù)學(xué)求和公式來表示累計分布求和函數(shù),即:
(3)
原始灰度rk在[0,1]區(qū)間內(nèi)取值時,計算公式如式(2)、式(3)所示,當(dāng)原始灰度級rk的取值范圍變化為[0,L-1]時,計算公式也需要發(fā)生相應(yīng)變化以達到統(tǒng)一,即:
(4)
對智能電能表顯示屏區(qū)域進行均衡化處理,如圖4所示。
圖4 直方圖均衡化 Fig.4 Histogram equalization
1.1.3 顯示屏區(qū)域信息邊緣檢測
邊緣檢測能夠準(zhǔn)確地檢測出感興趣區(qū)域的外在輪廓特征,去除很多無意義或者很小的無用信息,消除了目標(biāo)區(qū)域存在的外界干擾信息。通過對Halcon軟件中的邊緣檢測算子進行篩選,Canny算子和Sobel算子檢測性能較為適合,Sobel算子檢測效率高、操作簡便。
但是識別信息的準(zhǔn)確率低于Canny算子,且Canny算子能夠?qū)δ繕?biāo)區(qū)域邊緣進行準(zhǔn)確定位,檢測結(jié)果與實際圖像邊緣相似度最高,因此采用Canny檢測算子進行邊緣檢測。Canny檢測算子對目標(biāo)區(qū)域采用先平滑后求導(dǎo)的方法,具體分為以下幾個步驟:
Step 1:高斯模糊。這一步驟的目的是去除噪聲,平滑圖像。噪聲位于信號高頻區(qū),與實際圖像邊緣很接近,容易被誤識為偽邊緣。因此,在高斯模糊的半徑選擇方面要根據(jù)邊緣信息來選擇;
Step 2:對高斯模糊后的圖像邊緣信息進行梯度幅值和方向的計算。設(shè)高斯函數(shù),原始圖像,被平滑后的圖像通過二者卷積求得,即:
Fs(x,y)=G(x,y)·F(x,y)(5)
此時圖像的邊緣梯度如式(6)、式(7)所示,邊緣幅值和方向如式(8)、式(9)所示。
P[i,j]=(Fs[i,j+1]-Fs[i,j]+Fs[i+1,j+1]-Fs[i+1,j])/2(6)
Q[i,j]=Fs[i,j]-Fs[i+1,j]+Fs[i,j+1]-Fs[i+1,j+1])/2 (7)
(8)
θ[i,j]=arctan(Q[i,j]/P[i,j])(9)
Step 3:非極大值抑制處理。將相鄰邊緣幅值與像素點的局部最大值進行比較,若幅值小于局部最大值,則將其對應(yīng)灰度值賦值為0,此步驟可以去除絕大多數(shù)的偽邊緣點;
Step 4:雙閾值算法檢測和連接邊緣。在邊緣檢測中,選取兩個不同的高閾值和低閾值,針對偽邊緣采用高閾值進行處理,處理后的圖像邊緣信息經(jīng)低閾值連接后,實現(xiàn)邊緣閉合。從而完成顯示屏區(qū)域字符信息外觀輪廓的邊緣檢測,如圖5所示。
圖5 Canny邊緣檢測提取圖 Fig.5 Canny edge detection extraction map
1.1.4 顯示屏區(qū)域字符分割
在1.1.2中介紹了對智能電能表顯示屏區(qū)域進行了直方圖均衡化,增加了字符信息的對比度,但是會出現(xiàn)部分信息的丟失,如字符邊緣部分的信息量減少。為了更好地檢測顯示屏區(qū)域的字符信息,采用形態(tài)學(xué)處理方法對顯示屏區(qū)域字符信息進行邊緣信息擴充。
形態(tài)學(xué)處理中最核心的步驟是結(jié)構(gòu)元素的運算,此步驟發(fā)揮了與信號處理中的“濾波窗口”同樣的作用。假設(shè)圖像有A、B二個元素,A為待處理的輸入元素,B為信號處理過程中具有關(guān)鍵性作用的結(jié)構(gòu)元素,運用腐蝕和膨脹二種較為基礎(chǔ)的形態(tài)學(xué)處理方法,結(jié)合出多種其他算法。
腐蝕:用A和B表示為AΘB,腐蝕是對圖像中的目標(biāo)區(qū)域進行濾除,篩選掉一部分無意義或過小的物體的信息,同時收縮圖像邊界范圍。腐蝕示意如圖6所示,定義如公式(10)所示。
AΘB={X:B(X)?E}(10)
圖6 形態(tài)學(xué)腐蝕圖 Fig.6 Morphological corrosion map
膨脹:同理用A和B 表示為A⊕B,膨脹對目標(biāo)區(qū)域的邊界范圍進行擴充,合并圖像和背景,填充目標(biāo)區(qū)域中的“空洞”,消除噪聲。膨脹示意圖如圖7所示,定義如公式(11)所示。
A⊕B={Y:B(Y)∩E≠θ}(11)
圖7 形態(tài)學(xué)膨脹圖 Fig.7 Morphological expansion map
對腐蝕和膨脹二種基本運算進行復(fù)合可以得出二種典型算法:開運算和閉運算。開運算定義為對圖像腐蝕運算后,繼而進行膨脹處理,用于剔除小物體對圖像帶來的干擾、將連接處較少的二個區(qū)域分割開、平滑較大物體的邊緣且對其區(qū)域大小不作太大改變。
閉運算定義為對圖像先采用膨脹算法處理后,再進行腐蝕運算,用于填充區(qū)域間斷處和細長的缺失區(qū)域、對一些較小的孔進行撫平、將外輪廓線中的殘缺處填補完整并平滑處理。根據(jù)開運算與閉運算的功能特點,將二者進行結(jié)合,實現(xiàn)了對智能電能表顯示屏信息檢測的修正與完善。開運算和閉運算的定義分別如式(12)和式(13)所示。
開運算:OPEN(A,B)=(AΘB)⊕B (12)
閉運算:CLOSE(A,B)=(A⊕B)ΘB (13)
對顯示屏區(qū)域字符信息進行分割,使用dilation算子對區(qū)域中的字符信息進行膨脹,利用connection算子和select_shape算子進行膨脹后的區(qū)域連通,再使用erosion算子對連通區(qū)域進行腐蝕處理,最后使用dilation算子進行膨脹,并且對分割后的字符使用sort_region算子進行排序,進而完成顯示屏區(qū)域字符分割。
采用開運算對圖像進行去噪處理,處理后的圖像運用閉運算進行填充,通過二者相互結(jié)合,實現(xiàn)了對智能電能表顯示屏區(qū)域字符信息的分割,為智能電能表顯示屏信息檢測提供更好地檢測環(huán)境。
1.2 智能電能表顯示屏字符信息檢測
檢測時,智能電能表需要處于充電狀態(tài),在接通電源的瞬間瞬顯示屏各部分字符信息會在短時間內(nèi)顯示出來,此時采集電能表顯示屏區(qū)域照片并做后續(xù)圖像處理。智能電能表顯示屏區(qū)域包括三種類型的字符信息:數(shù)字、文字、符號。若顯示屏區(qū)域的文字和符號信息存在顯示不完整的問題,會檢測出空缺區(qū)域。
但是與前二者不同的是,對于智能電能表顯示屏字符區(qū)域中的數(shù)字符號信息,只有數(shù)字部分的七段數(shù)碼管均正常顯示時,才會出現(xiàn)完整的字符“8”。若數(shù)碼管存在問題,顯示出的數(shù)字便不是“8”。因此,對智能電能表顯示屏字符區(qū)域的信息進行檢測需要根據(jù)信息類型分為二部分:數(shù)字符號信息檢測和文字、符號信息檢測。
智能電能表顯示屏信息檢測是對顯示屏區(qū)域的字符信息進行識別校驗,但是顯示屏中的字符信息包括數(shù)字、符號、文字,此時無法使用同一個檢測標(biāo)準(zhǔn)來進行外觀檢測,因此需要對智能電能表顯示屏區(qū)域字符信息進行分塊檢測。
1.2.1 數(shù)字符號信息檢測
對智能電能表顯示屏區(qū)域數(shù)字符號信息進行檢測,主要識別二部分:數(shù)字識別、小數(shù)點和冒號識別。數(shù)字部分主要是檢測數(shù)碼管是否顯示為“8”,使用dilation_rectangle算子對有字符區(qū)域進行膨脹處理后,接著使用connection算子和select_shape算子進行區(qū)域連通,并使用sort_region算子對數(shù)字信息進行排序后。
采用OCR識別,運用read_ocr_class_mlp和do_ocr_multi_class_mlp算子將被檢測數(shù)字與工業(yè)庫中的數(shù)字進行模板匹配,若二者相同,則顯示完整,反之為缺失字符。小數(shù)點和冒號的識別則需要將八個數(shù)字“8”平均分割,每二個“8”字符間存在一個固定寬度,若檢測出的二個字符之間寬度小于固定寬度,則為小數(shù)點或冒號,反之存在缺失。
1.2.2 文字、符號信息檢測
對智能電能表顯示屏區(qū)域文字和符號信息進行檢測,根據(jù)分割出的七個塊,把每個“塊”中有字符的區(qū)域利用形態(tài)學(xué)處理進行膨脹,連接起來形成小矩形區(qū)域。由于得到的缺陷區(qū)域可能含有雜亂的東西或者部分區(qū)域不連通的現(xiàn)象,采用1.2.1中所述區(qū)域膨脹、求連通域、字符信息排序的方法對文字和符號信息進行處理后,根據(jù)區(qū)域面積的大小來判定字符信息是否完整。這種方法簡單有效,準(zhǔn)確率高,滿足智能電能表顯示屏區(qū)域字符信息檢測要求。
2 檢測結(jié)果與分析
檢測智能電能表需要提取出智能電能表顯示屏區(qū)域圖像,消除不相干區(qū)域的干擾。智能電能表采集的原始圖像如圖8(a)所示,對顯示屏區(qū)域提取后的圖像如圖8(b)所示。由于提取后的圖像背景與字符信息之間對比度較低,字符信息的輪廓特征不明顯,因此采用均衡化來處理提取出的圖像,如圖8(c)所示。
進一步需要對圖像進行邊緣檢測以減小無意義信息或小物體的干擾,將圖像的自身輪廓特征保留下來,如圖8(d)所示,之后通過形態(tài)學(xué)中開運算與閉運算二者結(jié)合,完成圖像中信息的字符分割,如圖8(e)所示。最后根據(jù)信息類型的不同,對顯示屏區(qū)域圖像采用分塊處理的方式,以達到字符信息檢測的目的,如圖9所示,最終實現(xiàn)對智能電能表顯示屏的信息檢測。
采用了一種通過把智能電能表顯示屏區(qū)域分割成“塊”來實現(xiàn)智能電能表顯示屏信息檢測的方法。在對顯示屏區(qū)域進行圖像提取,直方圖均衡化,形態(tài)學(xué)處理之后,將對比度較高的圖像根據(jù)字符信息的類別分割成七小塊,如圖9所示,按照從左向右,從上至下的順序?qū)⑵咝K區(qū)域分別編號。
2,3,7為同一類別,即文字信息檢測,1,4,6為符號信息檢測,5為數(shù)字符號信息檢測。檢測文字和符號字符信息是否有缺失,可以根據(jù)字符大小設(shè)定一個目標(biāo)區(qū)域(m為區(qū)域的寬width,n為區(qū)域的高hight)。
若塊的字符信息大小和設(shè)定區(qū)域相符合,則智能電能表顯示屏不存在缺失,反之存在缺失。檢測數(shù)字符號信息時,需將第5塊區(qū)域中的由八個七段數(shù)碼管組成的數(shù)字分別進行分割處理,按照順序分別與模板庫進行匹配,檢測是否有顯示缺失。
分塊檢測完成后,智能電能表顯示屏字符信息檢測的缺失部分如圖10所示,將缺失部分就近連接成一個區(qū)域標(biāo)記出來,符號字符信息的缺失使用圓形標(biāo)記,文字和數(shù)字符號信息的缺失使用方形標(biāo)記,實現(xiàn)了對智能電能表顯示屏信息的檢測。因此,這種通過把智能電能表顯示屏區(qū)域分割成“塊”來實現(xiàn)智能電能表顯示屏外觀檢測的方法切實可用,滿足了對智能電能表信息檢測的要求。
圖10 智能電能表顯示屏檢測結(jié)果圖 Fig.10 Test results of smart meter display3 結(jié)束語
針對在智能電能表正常使用時顯示屏上的信息顯示會出現(xiàn)異常的問題,提出了基于機器視覺技術(shù),利用Halcon軟件對智能電能表顯示屏進行外觀檢測。對智能電能表顯示屏區(qū)域圖像提取后,采用均衡化進行圖像增強處理,增加字符信息與背景之間的對比度。
對圖像的干擾信息采用邊緣檢測處理,將部分無意義或者過小的物體篩選掉,保留圖像重要的結(jié)構(gòu)特征,再通過形態(tài)學(xué)算法中開運算與閉運算二者結(jié)合的方法,完成對圖像區(qū)域的字符分割,最后對顯示屏區(qū)域圖像進行分塊處理,根據(jù)字符信息的不同進行分類識別,最終完成了對智能電能表顯示屏信息的檢測,能夠準(zhǔn)確檢測出存在顯示缺失的智能電能表,實現(xiàn)了對智能電能表顯示屏缺失的檢測,能夠滿足實際工程上的需求,具有一定的推廣價值。
編輯:jq
-
機器視覺
+關(guān)注
關(guān)注
162文章
4400瀏覽量
120512 -
智能電能表
+關(guān)注
關(guān)注
1文章
70瀏覽量
13976
原文標(biāo)題:基于Halcon的智能電能表顯示屏信息缺失的檢測
文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論