通過(guò)建立牌照與卷積算子形態(tài)學(xué)實(shí)現(xiàn)汽車(chē)牌照的提取方法

基于圖像理解的汽車(chē)牌照自動(dòng)識(shí)別系統(tǒng)是智能交通系統(tǒng)一個(gè)重要分支，有著非常廣泛的應(yīng)用前景，而把汽車(chē)牌照從復(fù)雜的汽車(chē)圖像中分割出來(lái)是汽車(chē)牌照自動(dòng)識(shí)別系統(tǒng)必須解決的關(guān)鍵問(wèn)題。在過(guò)去的十幾年中，各國(guó)的科研人員提出了不少提取汽車(chē)牌照的方法。Choi和Kim提出利用Hough變換尋找垂直邊緣提取汽車(chē)牌照的方法，此方法由于許多汽車(chē)前部散熱器產(chǎn)生的垂直邊緣和某些牌照邊框的扭曲或某些汽車(chē)牌照沒(méi)有邊框而魯棒性較差。S.K.Kim和H.J.Kim提出的基于遺傳算法分割提取汽車(chē)牌照的方法，最大缺點(diǎn)是耗時(shí)長(zhǎng)，難以進(jìn)行實(shí)時(shí)處理。S.H.Park提出的一種基于神經(jīng)網(wǎng)絡(luò)提取汽車(chē)牌照的方法，使用二個(gè)時(shí)延神經(jīng)網(wǎng)絡(luò)在水平和垂直方向?qū)斎雸D像進(jìn)行濾波，得到牌照的候選區(qū)域，然后利用牌照的長(zhǎng)寬比、面積、面積與周長(zhǎng)比來(lái)區(qū)分真正的牌照區(qū)域與類(lèi)牌照區(qū)域。此方法要求圖像中的牌照尺寸基本不變，一旦圖像中的牌照尺寸發(fā)生了較大的變化，必須對(duì)神經(jīng)網(wǎng)絡(luò)重新進(jìn)行訓(xùn)練。T.R.Crimmins提出了一種數(shù)字形態(tài)學(xué)方法，此方法用不同尺寸的每個(gè)可能字符作為結(jié)構(gòu)元素，采用擊中擊不中方法先提取輸入圖像中的字符，再根據(jù)牌照字符的語(yǔ)法得到汽車(chē)牌照，這種方法計(jì)算量非常大且易受噪聲影響。C.H.Poon提出了一種灰值形態(tài)學(xué)方法，它通過(guò)檢測(cè)字符中的直線段和字符間的空間來(lái)提取牌照，這種方法耗時(shí)較多，且沒(méi)有利用版照的尺寸信息。C.M.Hwang提出了空間頻率方法，它利用牌照區(qū)域內(nèi)空間頻率變化大的特性，對(duì)圖像進(jìn)行一階差分。差分圖在牌照區(qū)域內(nèi)形成多個(gè)峰，然后利用峰的幅度、寬度和密度區(qū)分真正的牌照區(qū)域與類(lèi)牌照區(qū)域。這種方法具耗時(shí)少、抗噪能力強(qiáng)的優(yōu)點(diǎn)。本文提出的灰值形態(tài)學(xué)方法僅利用了牌照區(qū)域內(nèi)空間頻率變化大的特性而且利用了牌照區(qū)域字符筆劃具有高曲的特性，因而比單純的空間頻率方法更加有效。通過(guò)建立牌照與卷積算子形態(tài)學(xué)結(jié)構(gòu)元素尺寸的相互關(guān)系。本文提出的方法對(duì)不同尺寸牌照具有很好的魯棒性。

1、 數(shù)字形態(tài)學(xué)

數(shù)字形態(tài)學(xué)是一種重要的數(shù)字圖像處理方法和理論。在數(shù)字形態(tài)學(xué)中，兩種最基本的變換或運(yùn)算是腐蝕和膨脹，其它形態(tài)學(xué)變換都可通過(guò)它們來(lái)定義。下面列出了一些灰值形態(tài)學(xué)變換的定義。

圖像f（x，y）平移（a，b）定義為：

f（a，b）（x，y）=f（x-a，y-b）

圖像f（x，y）相對(duì)于原點(diǎn)的反射為：

f^（x，y）=f（-x，-y）

二幅圖像f（x，y）和g（x，y）的最小記為（f∧g）（x，y）。

當(dāng)（x，y）位于圖像f的定義域D（f）和圖像g的定義域D（g）的交集D（f）∩D（g）內(nèi)時(shí)：

（f∧g）（x，y）=min{f（x，y），g（x，y）}

否則：

（f∧g）（x，y）=0

二幅圖像f（x，y）和g（x，y）的最大記為（f∨g）（x，y）。

當(dāng)（x，y）位于圖像f的定義域D（f）和圖像g的定義域D（g）的交集D（f）∩D（g）內(nèi)時(shí)：

（f∨g）（x，y）=max{f（x，y），g（x，y）}

當(dāng)（x，y）∈D（f）且（x，y）∈D（g）時(shí)

（f∨g）（x，y）=f（x，y）

當(dāng)（x，y）∈D（g）且（x，y）∈D（f）時(shí)

（f∨g）（x，y）=g（x，y）

f（x，y）被g（x，y）膨脹定義為：

（f⊙g）（x，y）=max{f（x-a，y-b）+g（a，b）}

（a，b）∈D（g）

f（x，y）被g（x，y）腐蝕定義為：

（f⊙g）（x，y）=max{f（x-a，y-b）-g（a，b）}

（a，b）∈D（g）

開(kāi)運(yùn)算定義：

fog=（f⊙g）⊙g

閉運(yùn)算定義：

f·g=（f⊙g）⊙g

Top-Hat變換定義：

Hat（f，g）=f-fog

與Top-Hat變換相對(duì)的是波谷檢測(cè)器（Valley變換），其定義為：

Valley（f，g）=（f·g）-f

2、 牌照提取算法

在牌照提取算法中，需要用到卷積、模板卷積和卷積投影等概念。下面對(duì)它們進(jìn)行定義。

圖1中牌照區(qū)域的長(zhǎng)為173象素、高為36象素。從左到右、從上到下的8條曲線依次為牌照區(qū)域灰度圖第10～17條水平方向的灰度值。通過(guò)觀察發(fā)現(xiàn)，在牌照區(qū)域的水平方向不令空間頻率變化大，而且具有許多陡峭的峰（欲）和高曲率點(diǎn)。而灰值形態(tài)學(xué)的梯度變換可以對(duì)圖像進(jìn)行高通濾波，灰值形態(tài)學(xué)的Top-Hat變換和Valley變換可以撮高曲率點(diǎn)、波峰和波谷。

進(jìn)行形態(tài)學(xué)變換，需要考慮二個(gè)因素：結(jié)構(gòu)元素和變換類(lèi)型。變換類(lèi)型準(zhǔn)備采用灰值形態(tài)學(xué)的梯度變換、Top-Hat變換和Valley變換。結(jié)果元素采用n×1的維水平結(jié)構(gòu)，以提取水平方向上的高頻分量、波峰和波谷。結(jié)構(gòu)元素的大小n對(duì)Top-Hat變換和Valley變換的結(jié)果結(jié)構(gòu)元素的大小n對(duì)Top-Hat變換和Valley變換的結(jié)果有著很大的影響，因此問(wèn)題的關(guān)鍵是怎樣確定n。

分析圖1中水平方向的灰度曲線，發(fā)現(xiàn)在穿過(guò)字符的水平線上，灰度曲線波峰的寬度與字符垂直筆劃的寬度存在著某種線性關(guān)系。根據(jù)中國(guó)汽車(chē)牌照的一般規(guī)范，牌照上字符的垂直筆劃寬度與牌照的寬度也存在著某種線性關(guān)系。結(jié)構(gòu)元素的尺寸n與灰度曲線波峰的寬度又可建立一種線性關(guān)系。因此可建立n與牌照寬度w的一種近似線性的關(guān)系：

由上式可知，當(dāng)牌照的寬度w變化25個(gè)象素時(shí)，結(jié)構(gòu)元素的大小n才變化1個(gè)單位，也就是說(shuō)n對(duì)w不是很敏感。

牌照區(qū)域提取算法包括以下幾步：

（1）縮小圖像：對(duì)輸入的灰值汽車(chē)圖像進(jìn)行隔行隔列抽樣，得到一幅大小為四分之一原因的新圖像。接下列抽樣，得到一幅大小為四分之一原圖的新圖像。接下來(lái)的處理均在新圖像上進(jìn)行，這樣可以大大減少處理時(shí)間，提高算法的效率。根據(jù)形態(tài)學(xué)的尺度變換兼容性原理，對(duì)圖像縮?。ǚ糯螅┖笤龠M(jìn)行形態(tài)學(xué)變換，只要對(duì)結(jié)構(gòu)元素做相應(yīng)的變換，結(jié)果不變。

（2）水平分割：對(duì)汽車(chē)圖像進(jìn)行水平分割，得到幾個(gè)可能含牌照的水平區(qū)域。

（3）垂直分割：對(duì)第（2）步所得到的每一個(gè)水平區(qū)域進(jìn)行垂直分割，得到一些牌照的候選區(qū)域。

（4）牌照區(qū)域甄別：分析各個(gè)候選區(qū)域得出真正的牌照區(qū)域。

2.1 水平分割

分別對(duì)汽車(chē)圖像進(jìn)行灰值形態(tài)學(xué)的梯度變換、Top-Hat變換和Valley變換，如圖2。一般來(lái)說(shuō)，在大多數(shù)汽車(chē)車(chē)牌照自動(dòng)識(shí)別系統(tǒng)應(yīng)用中，CCD攝取的汽車(chē)圖像中牌照的大致寬度和高度是已知的。如果牌照的寬度為w∈（a，b），則取水平模板m×1，其中m=（a+b）/2。用模板分別對(duì)圖像的梯度圖、Top-Hat變換圖和Valley變換圖進(jìn)行水平模板卷積。對(duì)每幀變換圖取每一行模板水平卷積的最大值，得到1個(gè)一維數(shù)組，3幅變換圖共得到3個(gè)一維數(shù)組g1，ti和vi，其中i大于等于1，而小于等于圖像的高度，其曲線如圖2的b、c、d。觀察圖2可以發(fā)現(xiàn)，由于受車(chē)體上其它字符和車(chē)前燈等因素的影響，僅僅依靠梯度圖較難對(duì)牌照進(jìn)行水平定位，而結(jié)合Top-Hat變換圖和Valley變換圖，能更好地對(duì)牌照進(jìn)行水平定位。據(jù)此，構(gòu)成了1個(gè)一維數(shù)組pi。

pi=gi×ti×vi

其曲線如圖3。取圖3中最高峰的位置作為牌照的水平中線，為了確保不會(huì)出錯(cuò)，把次高峰也作為牌照的另一備選位置。了高峰和次高峰的位置，分割出2個(gè)寬為汽車(chē)圖像寬度，高為牌照的最大可能高度b的區(qū)域，如圖4中的a和b。

2.2 垂直分割

對(duì)圖4中的a和b二個(gè)區(qū)域分別進(jìn)行灰值形態(tài)學(xué)的梯度變換、Top-Hat變換和Valley變換，并在垂直方向?qū)ψ儞Q圖進(jìn)行卷積得到3個(gè)一維數(shù)組gi、ti和vi，其中i大于等于1，而小于等于圖像的寬度w，其曲線如圖5和圖6。qi=gi×ti×vi的曲線如圖7。利用下面的公式分別對(duì)圖4中的a和b進(jìn)行垂直分割。

{（m，n）|qi》kT，i=m.。.n，n-m+1∈（a，b）}

其中：T=Max（qi），k為一經(jīng)驗(yàn)值，（a，b）為牌照的寬度范圍。

i=l.。.w

分割結(jié)果如圖8所示。

2.3 牌照區(qū)域甄別

分別標(biāo)注牌照二候選區(qū)的水平峰值（或谷值）點(diǎn)，如圖9（a）中的白點(diǎn)，標(biāo)注的峰值點(diǎn)要求峰高與峰寬的比大于一經(jīng)驗(yàn)閥值；分別把牌照二候選區(qū)二值化，如圖9（b）；然后把候選區(qū)峰值（或谷值）點(diǎn)圖與二值化圖作與運(yùn)算得到有效峰點(diǎn)（或谷點(diǎn)）圖，如圖9（c）。在有效峰點(diǎn)（或谷點(diǎn)圖中統(tǒng)計(jì)有效行數(shù)。如果一行內(nèi)有效峰點(diǎn)（或谷點(diǎn)）數(shù)大于T1而小于T2，為有效行，則認(rèn)為有效行數(shù)多者為真正的牌照區(qū)域。其中T1和T2為經(jīng)驗(yàn)值。

從復(fù)雜的汽車(chē)圖像中如何把牌照區(qū)域分離出來(lái)，是汽車(chē)牌照自動(dòng)識(shí)別系統(tǒng)必須解決的問(wèn)題。本文提出了一種利用灰度形態(tài)變換快速提取汽車(chē)牌照區(qū)域的信號(hào)。針對(duì)牌照區(qū)域內(nèi)空間頻率變化大和牌照區(qū)域內(nèi)字符筆劃具有高曲率的特性，利用灰值形態(tài)學(xué)的梯度變換、Top-Hat變換和Valley變換，對(duì)輸入的圖像進(jìn)行濾波，接著根據(jù)牌照的大致尺寸得到幾個(gè)牌照的候選區(qū)域，最后分析候選區(qū)域內(nèi)水平方向的波峰的高寬比和波峰數(shù)據(jù)得到真正的牌照區(qū)域。實(shí)驗(yàn)表明本文提出的方法定位準(zhǔn)確率高，抗噪能力強(qiáng)，且耗時(shí)較少，能夠滿足實(shí)時(shí)性要求。

責(zé)任編輯：gt