賽靈思FPGA DIY系列（1）：車(chē)牌號(hào)定位與識(shí)別系統(tǒng)

　　1．摘要

　　在智能交通領(lǐng)域，汽車(chē)牌照自動(dòng)識(shí)別系統(tǒng)是道路交通智能化的重要因素，包括車(chē)牌定位、字符分割和字符識(shí)別三個(gè)主要部分。本項(xiàng)目主要探討車(chē)牌定位和字符分割兩個(gè)部分，字符 識(shí)別部分由于開(kāi)發(fā)板資源有限，因此采用matlab完成算法驗(yàn)證。本文首先確定車(chē)輛牌照在原始圖像中的水平位置和垂直位置，從而定位車(chē)輛牌照，然后采用局部投影進(jìn)行字符分割。在字符識(shí)別部分，采用較為簡(jiǎn)單的末班匹配方法進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，該方法具有良好的識(shí)別性能。隨著公路逐漸普及，我國(guó)的公路交通 事業(yè)發(fā)展迅速，所以人工管理方式已經(jīng)不能滿足實(shí)際的需要，微電子、通信和計(jì)算機(jī)技術(shù)在交通領(lǐng)域的應(yīng)用極大地提高了交通管理效率。汽車(chē)牌照的自動(dòng)識(shí)別技術(shù)必將得到廣泛應(yīng)用，如小區(qū)門(mén)禁、智能電子交通警察、犯罪分子車(chē)輛追蹤等等領(lǐng)域。

　　2．設(shè)計(jì)原理

　　由于車(chē)輛牌照是機(jī)動(dòng)車(chē)唯一的管理標(biāo)識(shí)符號(hào)，在交通管理中具有不可替代的作用，因此車(chē)輛牌照識(shí)別系統(tǒng)應(yīng)具有很高的識(shí)別正確率，對(duì)環(huán)境光照條件、拍攝位置和車(chē)輛行駛速度等因素的影響應(yīng)有較大的容閾，并且要求滿足實(shí)時(shí)性要求。

　　
圖1 牌照識(shí)別系統(tǒng)總體流程

　　該系統(tǒng)是圖像處理與字符識(shí)別技術(shù)在智能化交通管理系統(tǒng)中的應(yīng)用，它主要由圖像的采集和預(yù)處理、牌照區(qū)域的定位和提取、牌照字符的分割和識(shí)別等幾個(gè)部分組成，如圖1 所示。其基本工作過(guò)程如下：

　　（1）當(dāng)行駛的車(chē)輛經(jīng)過(guò)時(shí)，觸發(fā)埋設(shè)在固定位置的傳感器，系統(tǒng)被喚醒處于工作狀態(tài)；一旦連接攝像頭光快門(mén)的光電傳感器被觸發(fā)，設(shè)置在車(chē)輛前方、后方和側(cè)面的相機(jī)同時(shí)拍攝下車(chē)輛圖像；

　?。?）由攝像頭拍攝的含有車(chē)輛牌照的圖像通視頻卡輸入計(jì)算機(jī)進(jìn)行預(yù)處理，圖像預(yù)處理包括圖像轉(zhuǎn)換、圖像增強(qiáng)、濾波和水平較正等；

　　（3）由檢索模塊進(jìn)行牌照搜索與檢測(cè)，定位并分割出包含牌照字符號(hào)碼的矩形區(qū)域；

　?。?）對(duì)牌照字符進(jìn)行二值化并分割出單個(gè)字符，經(jīng)歸一化后輸入字符識(shí)別系統(tǒng)進(jìn)行識(shí)別。

　　3．算法的詳細(xì)設(shè)計(jì)步驟

　　3.1 提出總體設(shè)計(jì)方案

　　車(chē)輛牌照識(shí)別整個(gè)系統(tǒng)主要是由車(chē)牌定位和字符識(shí)別兩部分組成，其中車(chē)牌定位又可以分為圖像預(yù)處理及邊緣提取模塊和牌照的定位及分割模塊；字符識(shí)別可以分為字符分割與特征提取和單個(gè)字符識(shí)別兩個(gè)模塊。

　　為了用于牌照的分割和牌照字符的識(shí)別，原始圖象應(yīng)具有適當(dāng)?shù)牧炼龋^大的對(duì)比度和清晰可辯的牌照?qǐng)D象。但由于該系統(tǒng)的攝像部分工作于開(kāi)放的戶外環(huán)境，加之車(chē)輛牌照的整潔度、自然光照條件、拍攝時(shí)攝像機(jī)與牌照的矩離和角度以及車(chē)輛行駛速度等因素的影響，牌照?qǐng)D象可能出現(xiàn)模糊、歪斜和缺損等嚴(yán)重缺陷，因此需要對(duì)原始圖象進(jìn)行識(shí)別前的預(yù)處理。

　　牌照的定位和分割是牌照識(shí)別系統(tǒng)的關(guān)鍵技術(shù)之一，其主要目的是在經(jīng)圖象預(yù)處理后的原始灰度圖象中確定牌照的具體位置，并將包含牌照字符的一塊子圖象從整個(gè)圖象中分割出來(lái)，供字符識(shí)別子系統(tǒng)識(shí)別之用，分割的準(zhǔn)確與否直接關(guān)系到整個(gè)牌照字符識(shí)別系統(tǒng)的識(shí)別率。

　　由于拍攝時(shí)的光照條件、牌照的整潔程度的影響，和攝像機(jī)的焦距調(diào)整、鏡頭的光學(xué)畸變所產(chǎn)生的噪聲都會(huì)不同程度地造成牌照字符的邊界模糊、細(xì)節(jié)不清、筆劃斷開(kāi)或粗細(xì)不均，加上牌照上的污斑等缺陷，致使字符提取困難，進(jìn)而影響字符識(shí)別的準(zhǔn)確性。因此，需要對(duì)字符在識(shí)別之前再進(jìn)行一次針對(duì)性的處理。

　　為了進(jìn)行牌照識(shí)別，需要以下幾個(gè)基本的步驟：

　　a.牌照定位，定位圖片中的牌照位置；

　　b.牌照字符分割，把牌照中的字符分割出來(lái)；

　　c.牌照字符識(shí)別，把分割好的字符進(jìn)行識(shí)別，最終組成牌照號(hào)碼。

　　車(chē)牌識(shí)別的最終目的就是對(duì)車(chē)牌上的文字進(jìn)行識(shí)別。主要應(yīng)用的為模板匹配方法。

　　3.2 圖象的采集與轉(zhuǎn)換

　　考慮到現(xiàn)有牌照的字符與背景的顏色搭配一般有藍(lán)底白字、黃底黑字、白底紅字、綠底白字和黑底白字等幾種，利用不同的色彩通道就可以將區(qū)域與背景明顯地區(qū)分出來(lái)，本系統(tǒng)中，對(duì)藍(lán)底白字這種最常見(jiàn)的牌照，采用藍(lán)色B 通道時(shí)牌照區(qū)域?yàn)橐涣恋木匦?，而牌照字符在區(qū)域中并不呈現(xiàn)。因?yàn)樗{(lán)色（255，0，0）與白色（255，255，255）在B 通道中并無(wú)區(qū)分，而在G、R 通道或是灰度圖象中并無(wú)此便利。同理對(duì)白底黑字的牌照可用R 通道，綠底白字的牌照可以用G 通道就可以明顯呈現(xiàn)出牌照區(qū)域的位置，便于后續(xù)處理。原圖、灰度圖及其直方圖見(jiàn)圖2與圖3。對(duì)于將彩色圖象轉(zhuǎn)換成灰度圖象時(shí)，圖象灰度值可由下面的公式計(jì)算：

　　G=0.110B+0.588G+0.302R???????????? （1）

　　G= （B+G+R）/3?????????????????????? ? ? ?? ? （2）

　　3.3 預(yù)處理及邊緣提取

　　
圖2 預(yù)處理及邊緣提取流程圖

　　3.4 平滑處理

　　對(duì)于受噪聲干擾嚴(yán)重的圖象，由于噪聲點(diǎn)多在頻域中映射為高頻分量，因此可以在通過(guò)低通濾波器來(lái)濾除噪聲，但實(shí)際中為了簡(jiǎn)化算法也可以直接在空域中用求鄰域平均值的方法來(lái)削弱噪聲的影響，這種方法稱(chēng)為圖象平滑處理。例如，某一象素點(diǎn)的鄰域S 有兩種表示方法：8鄰域和4鄰域分別對(duì)應(yīng)的鄰域平均值為

　　其中，M 為鄰域中除中心象素點(diǎn)f（i，j） 之外包括的其它象素總數(shù)，對(duì)于4鄰域M=4，8 鄰域M=8。然而，鄰域平均值的平滑處理會(huì)使得圖象灰度急劇變化的地方，尤其是物體邊緣區(qū)域和字符輪廓等部分產(chǎn)生模糊作用。為了克服這種平均化引起的圖象模糊現(xiàn)象，我們給中心點(diǎn)象素值與其鄰域平均值的差值設(shè)置一固定的閾值，只有大于該閾值的點(diǎn)才能替換為鄰域平均值，而差值不大于閾值時(shí)，仍保留原來(lái)的值，從而減少由于平均化引起的圖象模糊。

　　由上圖可以歸納起來(lái)以下方面：原始圖像清晰度比較高，從而簡(jiǎn)化了預(yù)處理，結(jié)合MATLAB實(shí)驗(yàn)過(guò)程，得出不是每一種圖像處理之初都適合濾波和邊界增強(qiáng)。本次汽車(chē)車(chē)牌的識(shí)別，為了保存更多的有用信息。

　　3.5 牌照的定位

　　牌照的定位和分割是牌照識(shí)別系統(tǒng)的關(guān)鍵技術(shù)之一，其主要目的是在經(jīng)圖象預(yù)處理后的原始灰度圖象中確定牌照的具體位置，并將包含牌照字符的一塊子圖象從整個(gè)圖象中分割出來(lái)，供字符識(shí)別子系統(tǒng)識(shí)別之用，分割的準(zhǔn)確與否直接關(guān)系到整個(gè)牌照字符識(shí)別系統(tǒng)的識(shí)別率。由于牌照?qǐng)D象在原始圖象中是很有特征的一個(gè)子區(qū)域，確切說(shuō)是水平度較高的橫向近似的長(zhǎng)方形，它在原始圖象中的相對(duì)位置比較集中，而且其灰度值與周邊區(qū)域有明顯的不同，因而在其邊緣形成了灰度突變的邊界，這樣就便于通過(guò)邊緣檢測(cè)來(lái)對(duì)圖象進(jìn)行分割。

　　自然環(huán)境下，汽車(chē)圖像背景復(fù)雜、光照不均勻，如何在自然背景中準(zhǔn)確地確定牌照區(qū)域是整個(gè)識(shí)別過(guò)程的關(guān)鍵。首先對(duì)采集到的視頻圖像進(jìn)行大范圍相關(guān)搜索，找到符合汽車(chē)牌照特征的若干區(qū)域作為候選區(qū)，然后對(duì)這些侯選區(qū)域做進(jìn)一步分析、評(píng)判，最后選定一個(gè)最佳的區(qū)域作為牌照區(qū)域，并將其從圖象中分割出來(lái)。流程圖如下：

　　圖3 牌照的定位流程圖