OpenCV的數(shù)字識別實(shí)踐案例

前言

實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)。因?yàn)橛X得一板一眼地學(xué)習(xí)OpenCV太過枯燥，于是在網(wǎng)上找了一個(gè)以項(xiàng)目為導(dǎo)向的教程學(xué)習(xí)。話不多說，動(dòng)手做起來。

1、案例介紹

提供信用卡上的數(shù)字模板：

要求：識別出信用卡上的數(shù)字，并將其直接打印在原圖片上。雖然看起來很蠢，但既然可以將數(shù)字打印在圖片上，說明已經(jīng)成功識別數(shù)字，因此也可以將其轉(zhuǎn)換為數(shù)字文本保存。車牌號識別等項(xiàng)目的思路與此案例類似。

示例：

原圖

處理后的圖

步驟

大致分為如下幾個(gè)步驟：

1.模板讀入

2.模板預(yù)處理，將模板數(shù)字分開，并排序

3.輸入圖像預(yù)處理，將圖像中的數(shù)字部分提取出來

4.將數(shù)字與模板數(shù)字進(jìn)行匹配，匹配率最高的即為對應(yīng)數(shù)字。

1、模板讀入，以及一些包的導(dǎo)入，函數(shù)定義等

import cv2 as cvimport numpy as npimport myutilsdef cv_show（name， img）： # 自定義的展示函數(shù) cv.imshow（name， img） cv.waitKey（0）# 讀入模板圖n = ‘text’img = cv.imread（“images/ocr_a_reference.png”）# cv_show（n， template） # 自定義的展示函數(shù)，方便顯示圖

2、模板預(yù)處理，將模板數(shù)字分開，并排序

模板的預(yù)處理順序：灰度圖，二值化，再進(jìn)行輪廓檢測。需要注意的是openCV檢測輪廓時(shí)是檢測白色邊框，因此要將模板圖的數(shù)字二值化變?yōu)榘咨?/p>

# 模板轉(zhuǎn)換為灰度圖ref = cv.cvtColor（img， cv.COLOR_BGR2GRAY）# cv_show（n， ref）

# 轉(zhuǎn)換為二值圖，把數(shù)字部分變?yōu)榘咨玶ef = cv.threshold（ref， 10， 255， cv.THRESH_BINARY_INV）［1］ # 騷寫法，函數(shù)多個(gè)返回值為元組，這里取第二個(gè)返回值cv_show（n， ref）

# 對模板進(jìn)行輪廓檢測，得到輪廓信息refCnts， hierarchy = cv.findContours（ref.copy（）， cv.RETR_EXTERNAL， cv.CHAIN_APPROX_NONE）cv.drawContours（img， refCnts， -1， （0， 0， 255）， 2） # 第一個(gè)參數(shù)為目標(biāo)圖像# cv_show（n， img

紅色部分即為檢測出的輪廓。接下來進(jìn)行輪廓排序，因?yàn)闄z測出的輪廓是無序的，因此要按照輪廓的左上角點(diǎn)的x坐標(biāo)來排序。輪廓排序后按順序放入字典，則字典中的鍵值對是正確匹配的，如‘0’對應(yīng)輪廓0 ，‘1’對應(yīng)輪廓1。

# 輪廓排序refCnts = myutils.sort_contours（refCnts）［0］digits = {}

# 單個(gè)輪廓提取到字典中for （i， c） in enumerate（refCnts）： （x， y， w， h） = cv.boundingRect（c） roi = ref［y:y + h， x:x + w］ # 在模板中復(fù)制出輪廓 roi = cv.resize（roi， （57， 88）） # 改成相同大小的輪廓 digits［i］ = roi # 此時(shí)字典鍵對應(yīng)的輪廓即為對應(yīng)數(shù)字。如鍵‘1’對應(yīng)輪廓‘1’

至此，模板圖處理完畢。

3、輸入圖像預(yù)處理，將圖像中的數(shù)字部分提取出來

在此步驟中需要將信用卡上的每個(gè)數(shù)字提取出來，并與上一步得到的模板一一匹配。首先初始化卷積核，方便之后tophat操作以及閉運(yùn)算操作使用。

# 初始化卷積核rectKernel = cv.getStructuringElement（cv.MORPH_RECT， （9， 3））sqKernel = cv.getStructuringElement（cv.MORPH_RECT， （5， 5））

接下來讀入圖片，調(diào)整圖片大小，轉(zhuǎn)換為灰度圖。

# 待分析圖片讀入，預(yù)處理card_image = cv.imread（“images/credit_card_01.png”）# cv_show（‘a(chǎn)’， card_image）card_image = myutils.resize（card_image， width=300） # 更改圖片大小gray = cv.cvtColor（card_image， cv.COLOR_BGR2GRAY）# cv_show（‘gray’， gray）

然后進(jìn)行tophat操作，tophat可以突出圖片中明亮的區(qū)域，過濾掉較暗的部分：

tophat = cv.morphologyEx（gray， cv.MORPH_TOPHAT， rectKernel）# cv_show（‘tophat’， tophat）

再通過sobel算子檢測邊緣，進(jìn)行一次閉操作，二值化，再進(jìn)行一次閉操作，填補(bǔ)空洞。

# x方向的Sobel算子gradX = cv.Sobel（tophat， cv.CV_32F， 1， 0， ksize=3）

gradX = np.absolute（gradX） # absolute： 計(jì)算絕對值min_Val， max_val = np.min（gradX）， np.max（gradX）gradX = （255 * （gradX - min_Val） / （max_val - min_Val））gradX = gradX.astype（“uint8”）

# 通過閉操作（先膨脹，再腐蝕）將數(shù)字連在一起。 將本是4個(gè)數(shù)字的4個(gè)框膨脹成1個(gè)框，就腐蝕不掉了gradX = cv.morphologyEx（gradX， cv.MORPH_CLOSE， rectKernel）# cv_show（‘close1’， gradX）

# 二值化thresh = cv.threshold（gradX， 0， 255， cv.THRESH_BINARY | cv.THRESH_OTSU）［1］

# 閉操作，填補(bǔ)空洞thresh = cv.morphologyEx（thresh， cv.MORPH_CLOSE， sqKernel）# cv_show（‘close2’， thresh）

之后就可以查找輪廓了。

threshCnts = cv.findContours（thresh.copy（）， cv.RETR_EXTERNAL， cv.CHAIN_APPROX_SIMPLE）［0］card_copy = card_image.copy（）cv.drawContours（card_copy， threshCnts， -1， （0， 0， 255）， 2）cv_show（‘Input_Contours’， card_copy）

4、模板匹配

將模板數(shù)字和待識別的圖片都處理好后，就可以進(jìn)行匹配了。

locs = ［］ # 存符合條件的輪廓for i， c in enumerate（threshCnts）： # 計(jì)算矩形 x， y， w， h = cv.boundingRect（c）

ar = w / float（h） # 選擇合適的區(qū)域，根據(jù)實(shí)際任務(wù)來，這里的基本都是四個(gè)數(shù)字一組 if 2.5 《 ar 《 4.0： if （40 《 w 《 55） and （10 《 h 《 20）： # 符合的留下來 locs.append（（x， y， w， h））

# 將符合的輪廓從左到右排序locs = sorted（locs， key=lambda x： x［0］）

接下來，遍歷每一個(gè)大輪廓，每個(gè)大輪廓中有四個(gè)數(shù)字，對應(yīng)四個(gè)小輪廓。將小輪廓與模板匹配。

output = ［］ # 存正確的數(shù)字for （i， （gx， gy， gw， gh）） in enumerate（locs）： # 遍歷每一組大輪廓（包含4個(gè)數(shù)字） groupOutput = ［］

# 根據(jù)坐標(biāo)提取每一個(gè)組（4個(gè)值） group = gray［gy - 5:gy + gh + 5， gx - 5:gx + gw + 5］ # 往外擴(kuò)一點(diǎn) # cv_show（‘group_’ + str（i）， group） # 預(yù)處理 group = cv.threshold（group， 0， 255， cv.THRESH_BINARY | cv.THRESH_OTSU）［1］ # 二值化的group # cv_show（‘group_’+str（i），group） # 計(jì)算每一組的輪廓 這樣就分成4個(gè)小輪廓了 digitCnts = cv.findContours（group.copy（）， cv.RETR_EXTERNAL， cv.CHAIN_APPROX_SIMPLE）［0］ # 排序 digitCnts = myutils.sort_contours（digitCnts， method=“l(fā)eft-to-right”）［0］

# 計(jì)算并匹配每一組中的每一個(gè)數(shù)值 for c in digitCnts： # c表示每個(gè)小輪廓的終點(diǎn)坐標(biāo) z = 0 # 找到當(dāng)前數(shù)值的輪廓，resize成合適的的大小 （x， y， w， h） = cv.boundingRect（c） # 外接矩形 roi = group［y:y + h， x:x + w］ # 在原圖中取出小輪廓覆蓋區(qū)域，即數(shù)字 roi = cv.resize（roi， （57， 88）） # cv_show（“roi_”+str（z），roi）

# 計(jì)算匹配得分： 0得分多少，1得分多少。.. scores = ［］ # 單次循環(huán)中，scores存的是一個(gè)數(shù)值 匹配 10個(gè)模板數(shù)值的最大得分

# 在模板中計(jì)算每一個(gè)得分 # digits的digit正好是數(shù)值0，1，。..，9;digitROI是每個(gè)數(shù)值的特征表示 for （digit， digitROI） in digits.items（）： # 進(jìn)行模板匹配， res是結(jié)果矩陣 res = cv.matchTemplate（roi， digitROI， cv.TM_CCOEFF） # 此時(shí)roi是X digitROI是0 依次是1，2.。 匹配10次，看模板最高得分多少 Max_score = cv.minMaxLoc（res）［1］ # 返回4個(gè)，取第二個(gè)最大值Maxscore scores.append（Max_score） # 10個(gè)最大值 # print（“scores：”，scores） # 得到最合適的數(shù)字 groupOutput.append（str（np.argmax（scores））） # 返回的是輸入列表中最大值的位置 z = z + 1# 畫出來 cv.rectangle（card_image， （gx - 5， gy - 5）， （gx + gw + 5， gy + gh + 5）， （0， 0， 255）， 1） # 左上角，右下角# putText參數(shù)：圖片，添加的文字，左上角坐標(biāo)，字體，字體大小，顏色，字體粗細(xì) cv.putText（card_image， “”.join（groupOutput）， （gx， gy - 15）， cv.FONT_HERSHEY_SIMPLEX， 0.65， （0， 0， 255）， 2）

最后將其打印出來，任務(wù)就完成了。

cv.imshow（“Output_image_”+str（i）， card_image）cv.waitKey（0）

總結(jié)

信用卡識別的案例用到了圖像處理的一些基本操作，對剛上手CV的人來說還是比較友好的。
編輯：lyn