賽靈思FPGA DIY系列（1）：車牌號(hào)定位與識(shí)別系統(tǒng) - 全文

　　1．摘要

　　在智能交通領(lǐng)域，汽車牌照自動(dòng)識(shí)別系統(tǒng)是道路交通智能化的重要因素，包括車牌定位、字符分割和字符識(shí)別三個(gè)主要部分。本項(xiàng)目主要探討車牌定位和字符分割兩個(gè)部分，字符 識(shí)別部分由于開(kāi)發(fā)板資源有限，因此采用matlab完成算法驗(yàn)證。本文首先確定車輛牌照在原始圖像中的水平位置和垂直位置，從而定位車輛牌照，然后采用局部投影進(jìn)行字符分割。在字符識(shí)別部分，采用較為簡(jiǎn)單的末班匹配方法進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，該方法具有良好的識(shí)別性能。隨著公路逐漸普及，我國(guó)的公路交通 事業(yè)發(fā)展迅速，所以人工管理方式已經(jīng)不能滿足實(shí)際的需要，微電子、通信和計(jì)算機(jī)技術(shù)在交通領(lǐng)域的應(yīng)用極大地提高了交通管理效率。汽車牌照的自動(dòng)識(shí)別技術(shù)必將得到廣泛應(yīng)用，如小區(qū)門禁、智能電子交通警察、犯罪分子車輛追蹤等等領(lǐng)域。

　　2．設(shè)計(jì)原理

　　由于車輛牌照是機(jī)動(dòng)車唯一的管理標(biāo)識(shí)符號(hào)，在交通管理中具有不可替代的作用，因此車輛牌照識(shí)別系統(tǒng)應(yīng)具有很高的識(shí)別正確率，對(duì)環(huán)境光照條件、拍攝位置和車輛行駛速度等因素的影響應(yīng)有較大的容閾，并且要求滿足實(shí)時(shí)性要求。

　　
圖1 牌照識(shí)別系統(tǒng)總體流程

　　該系統(tǒng)是圖像處理與字符識(shí)別技術(shù)在智能化交通管理系統(tǒng)中的應(yīng)用，它主要由圖像的采集和預(yù)處理、牌照區(qū)域的定位和提取、牌照字符的分割和識(shí)別等幾個(gè)部分組成，如圖1 所示。其基本工作過(guò)程如下：

　?。?）當(dāng)行駛的車輛經(jīng)過(guò)時(shí)，觸發(fā)埋設(shè)在固定位置的傳感器，系統(tǒng)被喚醒處于工作狀態(tài)；一旦連接攝像頭光快門的光電傳感器被觸發(fā)，設(shè)置在車輛前方、后方和側(cè)面的相機(jī)同時(shí)拍攝下車輛圖像；

　?。?）由攝像頭拍攝的含有車輛牌照的圖像通視頻卡輸入計(jì)算機(jī)進(jìn)行預(yù)處理，圖像預(yù)處理包括圖像轉(zhuǎn)換、圖像增強(qiáng)、濾波和水平較正等；

　?。?）由檢索模塊進(jìn)行牌照搜索與檢測(cè)，定位并分割出包含牌照字符號(hào)碼的矩形區(qū)域；

　?。?）對(duì)牌照字符進(jìn)行二值化并分割出單個(gè)字符，經(jīng)歸一化后輸入字符識(shí)別系統(tǒng)進(jìn)行識(shí)別。

　　3．算法的詳細(xì)設(shè)計(jì)步驟

　　3.1 提出總體設(shè)計(jì)方案

　　車輛牌照識(shí)別整個(gè)系統(tǒng)主要是由車牌定位和字符識(shí)別兩部分組成，其中車牌定位又可以分為圖像預(yù)處理及邊緣提取模塊和牌照的定位及分割模塊；字符識(shí)別可以分為字符分割與特征提取和單個(gè)字符識(shí)別兩個(gè)模塊。

　　為了用于牌照的分割和牌照字符的識(shí)別，原始圖象應(yīng)具有適當(dāng)?shù)牧炼龋^大的對(duì)比度和清晰可辯的牌照?qǐng)D象。但由于該系統(tǒng)的攝像部分工作于開(kāi)放的戶外環(huán)境，加之車輛牌照的整潔度、自然光照條件、拍攝時(shí)攝像機(jī)與牌照的矩離和角度以及車輛行駛速度等因素的影響，牌照?qǐng)D象可能出現(xiàn)模糊、歪斜和缺損等嚴(yán)重缺陷，因此需要對(duì)原始圖象進(jìn)行識(shí)別前的預(yù)處理。

　　牌照的定位和分割是牌照識(shí)別系統(tǒng)的關(guān)鍵技術(shù)之一，其主要目的是在經(jīng)圖象預(yù)處理后的原始灰度圖象中確定牌照的具體位置，并將包含牌照字符的一塊子圖象從整個(gè)圖象中分割出來(lái)，供字符識(shí)別子系統(tǒng)識(shí)別之用，分割的準(zhǔn)確與否直接關(guān)系到整個(gè)牌照字符識(shí)別系統(tǒng)的識(shí)別率。

　　由于拍攝時(shí)的光照條件、牌照的整潔程度的影響，和攝像機(jī)的焦距調(diào)整、鏡頭的光學(xué)畸變所產(chǎn)生的噪聲都會(huì)不同程度地造成牌照字符的邊界模糊、細(xì)節(jié)不清、筆劃斷開(kāi)或粗細(xì)不均，加上牌照上的污斑等缺陷，致使字符提取困難，進(jìn)而影響字符識(shí)別的準(zhǔn)確性。因此，需要對(duì)字符在識(shí)別之前再進(jìn)行一次針對(duì)性的處理。

　　為了進(jìn)行牌照識(shí)別，需要以下幾個(gè)基本的步驟：

　　a.牌照定位，定位圖片中的牌照位置；

　　b.牌照字符分割，把牌照中的字符分割出來(lái)；

　　c.牌照字符識(shí)別，把分割好的字符進(jìn)行識(shí)別，最終組成牌照號(hào)碼。

　　車牌識(shí)別的最終目的就是對(duì)車牌上的文字進(jìn)行識(shí)別。主要應(yīng)用的為模板匹配方法。

　　3.2 圖象的采集與轉(zhuǎn)換

　　考慮到現(xiàn)有牌照的字符與背景的顏色搭配一般有藍(lán)底白字、黃底黑字、白底紅字、綠底白字和黑底白字等幾種，利用不同的色彩通道就可以將區(qū)域與背景明顯地區(qū)分出來(lái)，本系統(tǒng)中，對(duì)藍(lán)底白字這種最常見(jiàn)的牌照，采用藍(lán)色B 通道時(shí)牌照區(qū)域?yàn)橐涣恋木匦危普兆址趨^(qū)域中并不呈現(xiàn)。因?yàn)樗{(lán)色（255，0，0）與白色（255，255，255）在B 通道中并無(wú)區(qū)分，而在G、R 通道或是灰度圖象中并無(wú)此便利。同理對(duì)白底黑字的牌照可用R 通道，綠底白字的牌照可以用G 通道就可以明顯呈現(xiàn)出牌照區(qū)域的位置，便于后續(xù)處理。原圖、灰度圖及其直方圖見(jiàn)圖2與圖3。對(duì)于將彩色圖象轉(zhuǎn)換成灰度圖象時(shí)，圖象灰度值可由下面的公式計(jì)算：

　　G=0.110B+0.588G+0.302R???????????? （1）

　　G= （B+G+R）/3?????????????????????? ? ? ?? ? （2）

　　3.3 預(yù)處理及邊緣提取

　　
圖2 預(yù)處理及邊緣提取流程圖

　　3.4 平滑處理

　　對(duì)于受噪聲干擾嚴(yán)重的圖象，由于噪聲點(diǎn)多在頻域中映射為高頻分量，因此可以在通過(guò)低通濾波器來(lái)濾除噪聲，但實(shí)際中為了簡(jiǎn)化算法也可以直接在空域中用求鄰域平均值的方法來(lái)削弱噪聲的影響，這種方法稱為圖象平滑處理。例如，某一象素點(diǎn)的鄰域S 有兩種表示方法：8鄰域和4鄰域分別對(duì)應(yīng)的鄰域平均值為

　　其中，M 為鄰域中除中心象素點(diǎn)f（i，j） 之外包括的其它象素總數(shù)，對(duì)于4鄰域M=4，8 鄰域M=8。然而，鄰域平均值的平滑處理會(huì)使得圖象灰度急劇變化的地方，尤其是物體邊緣區(qū)域和字符輪廓等部分產(chǎn)生模糊作用。為了克服這種平均化引起的圖象模糊現(xiàn)象，我們給中心點(diǎn)象素值與其鄰域平均值的差值設(shè)置一固定的閾值，只有大于該閾值的點(diǎn)才能替換為鄰域平均值，而差值不大于閾值時(shí)，仍保留原來(lái)的值，從而減少由于平均化引起的圖象模糊。

　　由上圖可以歸納起來(lái)以下方面：原始圖像清晰度比較高，從而簡(jiǎn)化了預(yù)處理，結(jié)合MATLAB實(shí)驗(yàn)過(guò)程，得出不是每一種圖像處理之初都適合濾波和邊界增強(qiáng)。本次汽車車牌的識(shí)別，為了保存更多的有用信息。

　　3.5 牌照的定位

　　牌照的定位和分割是牌照識(shí)別系統(tǒng)的關(guān)鍵技術(shù)之一，其主要目的是在經(jīng)圖象預(yù)處理后的原始灰度圖象中確定牌照的具體位置，并將包含牌照字符的一塊子圖象從整個(gè)圖象中分割出來(lái)，供字符識(shí)別子系統(tǒng)識(shí)別之用，分割的準(zhǔn)確與否直接關(guān)系到整個(gè)牌照字符識(shí)別系統(tǒng)的識(shí)別率。由于牌照?qǐng)D象在原始圖象中是很有特征的一個(gè)子區(qū)域，確切說(shuō)是水平度較高的橫向近似的長(zhǎng)方形，它在原始圖象中的相對(duì)位置比較集中，而且其灰度值與周邊區(qū)域有明顯的不同，因而在其邊緣形成了灰度突變的邊界，這樣就便于通過(guò)邊緣檢測(cè)來(lái)對(duì)圖象進(jìn)行分割。

　　自然環(huán)境下，汽車圖像背景復(fù)雜、光照不均勻，如何在自然背景中準(zhǔn)確地確定牌照區(qū)域是整個(gè)識(shí)別過(guò)程的關(guān)鍵。首先對(duì)采集到的視頻圖像進(jìn)行大范圍相關(guān)搜索，找到符合汽車牌照特征的若干區(qū)域作為候選區(qū)，然后對(duì)這些侯選區(qū)域做進(jìn)一步分析、評(píng)判，最后選定一個(gè)最佳的區(qū)域作為牌照區(qū)域，并將其從圖象中分割出來(lái)。流程圖如下：

　　圖3 牌照的定位流程圖

　　3.6 牌照字符分割

　　完成牌照區(qū)域的定位后，再將牌照區(qū)域分割成單個(gè)字符，然后進(jìn)行識(shí)別。字符分割一般采用垂直投影法。由于字符在垂直方向上的投影必然在字符間或字符內(nèi)的間隙處取得局部最小值的附近，并且這個(gè)位置應(yīng)滿足牌照的字符書(shū)寫(xiě)格式、字符、尺寸限制和一些其他條件。利用垂直投影法對(duì)復(fù)雜環(huán)境下的汽車圖像中的字符分割有較好的效果。流程圖如下

　　圖4? 牌照字符分割流程圖

　　3.7 字符的分割與歸一化

　　一般分割出來(lái)的字符要進(jìn)行進(jìn)一步的處理，以滿足下一步字符識(shí)別的需要。但是對(duì)于車牌的識(shí)別，并不需要太多的處理就已經(jīng)可以達(dá)到正確識(shí)別的目的。在此只進(jìn)行了歸一化處理，然后進(jìn)行后期處理。

　
　圖5 字符分割與歸一化流程圖

　　3.8 字符的識(shí)別

　　字符的識(shí)別目前用于車牌字符識(shí)別（OCR）中的算法主要有基于模板匹配的OCR算法以及基于人工神經(jīng)網(wǎng)絡(luò)的OCR算法?；谀０迤ヅ涞腛CR的基本過(guò)程是：首先對(duì)待識(shí)別字符進(jìn)行二值化并將其尺寸大小縮放為字符數(shù)據(jù)庫(kù)中模板的大小，然后與所有的模板進(jìn)行匹配，最后選最佳匹配作為結(jié)果。模板匹配的主要特點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，當(dāng)字符較規(guī)整時(shí)對(duì)字符圖像的缺損、污跡干擾適應(yīng)力強(qiáng)且識(shí)別率相當(dāng)高。綜合模板匹配的這些優(yōu)點(diǎn)我們將其用為車牌字符識(shí)別的主要方法。

　　模板匹配是圖象識(shí)別方法中最具代表性的基本方法之一，它是將從待識(shí)別的圖象或圖象區(qū)域f（i，j）中提取的若干特征量與模板T（i，j）相應(yīng)的特征量逐個(gè)進(jìn)行比較，計(jì)算它們之間規(guī)格化的互相關(guān)量，其中互相關(guān)量最大的一個(gè)就表示期間相似程度最高，可將圖象歸于相應(yīng)的類。也可以計(jì)算圖象與模板特征量之間的距離，用最小距離法判定所屬類。然而，通常情況下用于匹配的圖象各自的成像條件存在差異，產(chǎn)生較大的噪聲干擾，或圖象經(jīng)預(yù)處理和規(guī)格化處理后，使得圖象的灰度或像素點(diǎn)的位置發(fā)生改變。在實(shí)際設(shè)計(jì)模板的時(shí)候，是根據(jù)各區(qū)域形狀固有的特點(diǎn)，突出各類似區(qū)域之間的差別，并將容易由處理過(guò)程引起的噪聲和位移等因素都考慮進(jìn)去，按照一些基于圖象不變特性所設(shè)計(jì)的特征量來(lái)構(gòu)建模板，就可以避免上述問(wèn)題。

　　
圖6 字符識(shí)別流程圖

　　此處我們采用相減的方法來(lái)求得字符與模板中哪一個(gè)字符最相似，然后找到相似度最大的輸出。汽車牌照的字符一般有七個(gè)，大部分車牌第一位是漢字，通常代表車輛所屬省份，緊接其后的為字母與數(shù)字。車牌字符識(shí)別與一般文字識(shí)別在于它的字符數(shù)有限，漢字共約50多個(gè)，大寫(xiě)英文字母26個(gè)，數(shù)字10個(gè)。為了實(shí)驗(yàn)方便，結(jié)合本次設(shè)計(jì)所選汽車牌照的特點(diǎn)，只建立了4個(gè)數(shù)字26個(gè)字母與10個(gè)數(shù)字的模板。其他模板設(shè)計(jì)的方法與此相同。

　　首先取字符模板，接著依次取待識(shí)別字符與模板進(jìn)行匹配，將其與模板字符相減，得到的0越多那么就越匹配。把每一幅相減后的圖的0值個(gè)數(shù)保存，即為識(shí)別出來(lái)的結(jié)果。

　　4.基于FPGA的算法實(shí)現(xiàn)

　　4.1 攝像頭數(shù)據(jù)讀取模塊

　　
圖7 攝像頭數(shù)據(jù)讀取模塊RTL圖

　　4.2 灰度、二值化模塊

　　該模塊基于system generator實(shí)現(xiàn)。

　　
圖8 灰度變化

　　圖9 圖像的二值化

　　4.3 定位模塊

　　
圖10 定位模塊

　　
圖11 車牌號(hào)定位具體算法

　　4.4 分割模塊（略）

　　4.5 識(shí)別模塊

　　識(shí)別模塊由于我們采用開(kāi)發(fā)板的資源不足，故采用mablab仿真模擬，具體分為圖像預(yù)處理---車牌定位---字符分割----模板匹配幾個(gè)步驟。實(shí)現(xiàn)具體的實(shí)現(xiàn)結(jié)果如下：

　　
圖12 原始圖像

　　
圖13 灰度圖像

　　
圖14 行定位之后的圖像

　　
圖15 列定位及字符分割之后的圖像

　　
圖16 matlab算法識(shí)別之后的結(jié)果

　　5.FPGA DIY體會(huì)

　　對(duì)現(xiàn)實(shí)事物的設(shè)計(jì)不僅是對(duì)前面所學(xué)知識(shí)的一種檢驗(yàn)，而且也是對(duì)自己能力的一種提高。通過(guò)這次設(shè)計(jì)使 我明白了自己原來(lái)知識(shí)還比較欠缺。這個(gè)設(shè)計(jì)讓我學(xué)到了很多東西，涉及到方方面面的知識(shí)，在這整個(gè)過(guò)程中我們查閱了大量的資料，得到了老師和同學(xué)的幫助，我 在此對(duì)他們表示謝意。在這期間遇到了很多困難，我知道做什么都不容易，只能塌下心來(lái)，一步一個(gè)腳印的去完成才行。這學(xué)期我們學(xué)習(xí)了數(shù)字圖像處理這門課程， 在這個(gè)課程設(shè)計(jì)中應(yīng)用到了很多其中的知識(shí)。理論只有應(yīng)用到實(shí)際中才能學(xué)著更有意義。學(xué)習(xí)是一個(gè)長(zhǎng)期積累的過(guò)程，在后的工作、生活中都應(yīng)該不斷的學(xué)習(xí)，努力 提高自己知識(shí)和綜合素質(zhì)。此外，還得出一個(gè)結(jié)論：知識(shí)必須通過(guò)應(yīng)用才能實(shí)現(xiàn)其價(jià)值！有些東西以為學(xué)會(huì)了，但真正到用的時(shí)候才發(fā)現(xiàn)是兩回事，所以我認(rèn)為只有 到真正會(huì)用的時(shí)候才是真的學(xué)會(huì)了。在整個(gè)設(shè)計(jì)中我懂得了許多東西，也培養(yǎng)了我獨(dú)立工作的能力，以及團(tuán)隊(duì)協(xié)作的能力，樹(shù)立了信心，相信會(huì)對(duì)今后的學(xué)習(xí)工作生 活有非常重要的影響。同樣此次設(shè)計(jì)也大大提高了動(dòng)手的能力，使我充分體會(huì)到了在創(chuàng)造過(guò)程中探索的艱難和成功時(shí)的喜悅。雖然這個(gè)設(shè)計(jì)做的并非對(duì)所以車牌都合 適，但是在設(shè)計(jì)過(guò)程中所學(xué)到的學(xué)習(xí)方法是我最大收獲和財(cái)富，相信定會(huì)使我受益終身。

　　6．作品實(shí)物圖

　　7．參考文獻(xiàn)

　?。?］ 岡薩雷斯．?dāng)?shù)字圖像處理（第二版）．電子工業(yè)出版社，2007．8

　?。?］ 胡小鋒、趙輝．VC++/MATLAB圖像處理與識(shí)別使用案例精選。人民郵電出版社，2004.9

　?。?］ 郁梅等，基于視覺(jué)的車輛牌照檢測(cè)，計(jì)算機(jī)應(yīng)用研究，1999（5），P65～67

　　［4］ 葉晨洲，廖金周，一種基于紋理的牌照?qǐng)D象二值化方法， 1999（6），P28～29

　?。?］ 朱學(xué)芳等，一種自適應(yīng)細(xì)化方法，模式識(shí)別與人工智能，Vol.10，No.2，1997（6），P140～145

　　［6］ 楊萬(wàn)山等，基于BP 神經(jīng)網(wǎng)絡(luò)的工程圖紙圖形符號(hào)的識(shí)別， Vol.16，No.2，2000

　?。?］ 袁志偉，潘曉露。車輛牌照定位的算法研究［J］。昆明理工大學(xué)學(xué)報(bào)，2001，26（2）： 56～60

　　［8］ 劉陽(yáng)，伊鐵源等。數(shù)字圖象處理應(yīng)用于車輛牌照的識(shí)別。遼寧大學(xué)學(xué)報(bào).2004，65～68

　?。?］ 許志影、李晉平.MATLAB極其在圖像處理中的應(yīng)用。計(jì)算機(jī)與現(xiàn)代化，2004（4）

　　［10］ 崔江、王友仁。車牌自動(dòng)識(shí)別方法中的關(guān)鍵技術(shù)研究。計(jì)算機(jī)測(cè)量與控制，2003.11（4）

　?。?1］ 宋建才。汽車牌照識(shí)別技術(shù)研究［J］。工業(yè)控制計(jì)算機(jī)，2004，44～45.

　?。?2］ 韓勇強(qiáng)、李世祥。汽車牌照子圖像的定位算法［M］。微型電腦運(yùn)用，1999.60～65.

　　［13］ 梁瑋、羅劍鋒、賈云得。一種復(fù)雜背景下的多車牌圖像分割與識(shí)別方法［D］。 2003.

　?。?4］ 張 引，潘云鶴，面向車輛牌照字符識(shí)別的預(yù)處理算法，計(jì)算機(jī)應(yīng)用研究，1999（7），P85～87

　?。?5］ 葉晨洲等，車輛牌照字符識(shí)別系統(tǒng)，計(jì)算機(jī)系統(tǒng)應(yīng)用，1999（5），P10～13

　?。?6］ 李宏升等，利用牌照識(shí)別技術(shù)的停車場(chǎng)安全防盜系統(tǒng)，計(jì)算機(jī)系統(tǒng)應(yīng)用，1999（5），P14～16

　　更多賽靈思FPGA DIY系列文章：

　　賽靈思FPGA DIY系列（1）：車牌號(hào)定位與識(shí)別系統(tǒng)【詳情】

　　賽靈思FPGA DIY系列（2）：數(shù)字存儲(chǔ)掃頻儀【詳情】

　　賽靈思FPGA DIY系列（3）：HDUSec-網(wǎng)絡(luò)行為分析監(jiān)控系統(tǒng)【詳情】

　　賽靈思FPGA DIY系列（4）：溫控風(fēng)扇系統(tǒng)的設(shè)計(jì)【詳情】

　　賽靈思FPGA DIY系列（5）：中頻全數(shù)字頻譜分析儀的實(shí)現(xiàn)【詳情】

?