在Raspberry Pi上使用Tesseract進(jìn)行光學(xué)字符識別的方法

機(jī)器使用相機(jī)觀察現(xiàn)實(shí)世界并解釋其中數(shù)據(jù)的能力將對其應(yīng)用產(chǎn)生更大的影響。無論是像 Starship 機(jī)器人這樣的簡單送餐機(jī)器人，還是像特斯拉這樣的先進(jìn)自動駕駛汽車，它們都依賴從高度復(fù)雜的攝像頭獲取的信息來做出決定。在本教程中，我們將學(xué)習(xí)如何通過閱讀圖像上的字符來識別圖像中的細(xì)節(jié)。這稱為光學(xué)字符識別（OCR）。

這為許多應(yīng)用程序打開了大門，例如自動讀取名片中的信息、從名稱板上識別商店或識別道路上的標(biāo)志板等等。我們中的一些人可能已經(jīng)通過 Google Lens 體驗(yàn)過這些功能，所以今天我們將使用來自Google Tesseract-OCR 引擎的光學(xué)字符識別 （OCR）工具以及 python 和 OpenCV 構(gòu)建類似的東西，以使用Raspberry Pi識別圖片中的字符。

Raspberry pi 是一種便攜式且功耗更低的設(shè)備，用于許多實(shí)時圖像處理應(yīng)用，如人臉檢測、 對象跟蹤、 家庭安全系統(tǒng)、監(jiān)控?cái)z像頭等。

先決條件

如前所述，我們將使用 OpenCV 庫來檢測和識別人臉。因此，在繼續(xù)本教程之前，請確保在 Raspberry Pi 上安裝 OpenCV 庫。還可以使用 2A 適配器為您的 Pi 供電，并將其連接到顯示監(jiān)視器以便于調(diào)試。

本教程不會解釋OpenCV的工作原理，如果您有興趣學(xué)習(xí)圖像處理，請查看此OpenCV 基礎(chǔ)知識和高級圖像處理教程。您還可以在此使用 OpenCV 的圖像分割教程中了解輪廓、斑點(diǎn)檢測等。

在樹莓派上安裝 Tesseract

要在 Raspberry Pi 上執(zhí)行光學(xué)字符識別，我們必須在 Pi 上安裝 Tesseract OCR 引擎。為此，我們必須首先配置 Debian 軟件包 （dpkg），這將幫助我們安裝 Tesseract OCR。在終端窗口中使用以下命令來配置 Debian Package。

sudo dpkg - -configure -a

然后我們可以繼續(xù)使用 apt-get 選項(xiàng)安裝 Tesseract OCR （光學(xué)字符識別）。下面給出了相同的命令。

sudo apt-get install tesseract-ocr

您的終端窗口將如下所示，安裝完成大約需要 5-10 分鐘。

現(xiàn)在我們已經(jīng)安裝了 Tesseract OCR，我們必須使用 pip install package 安裝 PyTesseract 包。Pytesseract 是圍繞 tesseract OCR 引擎的 python 包裝器，它幫助我們將 tesseract 與 python 一起使用。按照以下命令在 python 上安裝 pytesseract。

點(diǎn)安裝 pytesseract

在進(jìn)行此步驟之前，請確保已經(jīng)安裝了枕頭。學(xué)過樹莓派人臉識別教程的人應(yīng)該已經(jīng)安裝好了。其他人可以使用該教程并立即安裝。pytesseract 安裝完成后，您的窗口將如下所示

Windows/Ubuntu 上的 Tesseract 4.0

Tesseract 光學(xué)字符識別項(xiàng)目最初由 Hewlett Packard 于 1980 年啟動，然后被 Google 采用，該項(xiàng)目一直保持至今。多年來，Tesseract 不斷發(fā)展，但它仍然只在受控環(huán)境中運(yùn)行良好。如果圖像有太多的背景噪音或失焦，則 tesseract 似乎無法正常工作。

為了克服這個問題，最新版本的 tesseract Tesseract 4.0 使用深度學(xué)習(xí)模型來識別字符甚至筆跡。Tesseract 4.0 使用長短期記憶 （LSTM） 和循環(huán)神經(jīng)網(wǎng)絡(luò) （RNN） 來提高其 OCR 引擎的準(zhǔn)確性。不幸的是，在本教程的這個時候，Tesseract 4.0 僅適用于 Windows 和 Ubuntu，但仍處于 Raspberry Pi 的 beta 階段。所以我們決定在 Windows 上試用 Tesseract 4.0，在 Raspberry Pi 上試用 Tesseract 3.04。

Pi上的簡單字符識別程序

因?yàn)槲覀円呀?jīng)在 PI 中安裝了Tesseract OCR和 Pytesseract 包。我們可以快速編寫一個小程序來檢查字符識別是如何處理測試圖像的。我使用的測試圖像、程序和結(jié)果可以在下圖中找到。

如您所見，該程序非常簡單，我們甚至沒有使用任何 OpenCV 包。上面的程序在下面給出

from PIL import Image

img =Image.open （‘1.png’）

text = pytesseract.image_to_string（img， config=‘’）

print （text）

在上面的程序中，我們試圖從位于程序同一目錄內(nèi)的名為“1.png”的圖像中讀取文本。Pillow 包用于打開此圖像并將其保存在變量名img下。然后我們使用pytesseract 包中的image_to_sting方法檢測圖像中的任何文本，并將其保存為變量 text 中的字符串。最后我們打印文本的值來檢查結(jié)果。

如您所見，原始圖像實(shí)際上包含文本“解釋那些東西！01234567890 ”這是一個完美的測試圖像，因?yàn)槲覀冊趫D像中有字母、符號和數(shù)字。但是我們從 pi 得到的輸出是“解釋那些東西！Sdfosiefoewufv”這意味著 out 程序無法識別圖像中的任何數(shù)字。為了克服這個問題，人們通常使用 OpenCV 從程序中去除噪聲，然后根據(jù)圖像配置 Tesseract OCR 引擎以獲得更好的結(jié)果。但請記住，您不能期望 Tesseract OCR Python 提供 100% 可靠的輸出。

配置 Tesseract OCR 以改進(jìn)結(jié)果

Pytesseract 允許我們通過設(shè)置更改圖像搜索字符方式的標(biāo)志來配置 Tesseract OCR 引擎。配置 Tesseract OCR 時使用的三個主要標(biāo)志是語言 （-l）、OCR 引擎模式 （--oem） 和頁面分段模式 （- -psm ）。

除了默認(rèn)的英語，Tesseract 還支持許多其他語言，包括印地語、土耳其語、法語等。我們在這里只使用英語，但您可以從官方github 頁面下載訓(xùn)練數(shù)據(jù)并將其添加到您的包中以識別其他語言。 還可以從同一圖像中識別兩種或多種不同的語言。語言由標(biāo)志 -l設(shè)置，要將其設(shè)置為一種語言，請使用代碼和標(biāo)志，例如對于英語，它將是-l eng，其中 eng 是英語的代碼。

下一個標(biāo)志是 OCR Engine Mode，它有四種不同的模式。每種模式都使用不同的算法來識別圖像中的字符。默認(rèn)情況下，它使用隨包安裝的算法。但我們可以將其更改為使用 LSTM 或神經(jīng)網(wǎng)絡(luò)。四種不同的引擎模式如下所示。該標(biāo)志由--oem 指示，因此要將其設(shè)置為模式 1，只需使用--oem 1。

最后也是最重要的標(biāo)志是頁面分割模式標(biāo)志。當(dāng)您的圖像具有如此多的背景細(xì)節(jié)以及字符或字符以不同的方向或大小書寫時，這些非常有用。共有 14 種不同的頁面分割模式，所有這些都在下面列出。該標(biāo)志由–psm指示，因此設(shè)置模式為 11。它將是–psm 11。

在 Tesseract Raspberry Pi 中使用 oem 和 psm 以獲得更好的結(jié)果

讓我們檢查一下這些配置模式的有效性。在下圖中，我嘗試識別限速板上的字符，上面寫著“ SPEED LIMIT 35 ”。如您所見，與其他字母相比，數(shù)字 35 的尺寸更大，這使 Tesseract 感到困惑，因此我們僅得到“SPEED LIMIT”的輸出，并且缺少數(shù)字。

為了克服這個問題，我們可以設(shè)置配置標(biāo)志。在上面的程序中，配置標(biāo)志是空的 config=‘’，現(xiàn)在讓我們使用上面提供的詳細(xì)信息來設(shè)置它。圖像中的所有文本都是英文，所以語言標(biāo)志是 -l eng，OCR 引擎可以保留為默認(rèn)模式 3 所以 -oem 3。現(xiàn)在終于在 psm 模式下，我們需要從圖像中找到更多的字符，所以我們在這里使用模式 11，它變成了 –psm 11。最后的配置行看起來像

測試= pytesseract.image_to_string（灰色，配置=‘-l eng --oem 3 --psm 12’）

相同的結(jié)果可以在下面找到。正如您現(xiàn)在所看到的，Tesseract 能夠從圖像中找到所有字符，包括數(shù)字。

通過置信水平提高準(zhǔn)確性

Tesseract 中另一個有趣的特性是image_to_data方法。該方法可以為我們提供詳細(xì)信息，例如圖像中字符的位置、檢測的置信度、行和頁碼。讓我們嘗試在示例圖像上使用它

在這個特定的例子中，我們得到了很多噪聲信息以及原始信息。圖片是一家名為“富通醫(yī)院”的醫(yī)院的名字牌。但是除了名稱之外，圖像還具有其他背景細(xì)節(jié)，例如徽標(biāo)構(gòu)建等。因此，Tesseract 嘗試將所有內(nèi)容都轉(zhuǎn)換為文本，并給我們帶來了很多噪音，例如“$C”“|” “S_______S==+”等。

現(xiàn)在在這些情況下image_to_data方法就派上用場了。如您所見，上述光學(xué)字符識別算法返回其已識別的每個字符的置信度，F(xiàn)ortis 的置信度為 64，HOSPITAL 的置信度為 24。對于其他噪聲信息，置信度值為 10 或以下大于 10。這樣我們就可以過濾掉有用的信息，利用置信度的值來提高準(zhǔn)確率。

樹莓派上的 OCR

雖然使用 Tesseract 時在 Pi 上的結(jié)果不是很令人滿意，但它可以與 OpenCV 結(jié)合以濾除圖像中的噪聲，如果圖像良好，可以使用其他配置技術(shù)獲得不錯的結(jié)果。我們已經(jīng)在 Pi 上使用 tesseract 嘗試了大約 7 種不同的圖像，并且通過相應(yīng)地調(diào)整每張圖片的模式來獲得接近的結(jié)果。完整的項(xiàng)目文件可以下載為該位置的 Zip，其中包含所有測試圖像和基本代碼。

讓我們在 Raspberry Pi 上再嘗試一個示例板標(biāo)志，這一次非常簡單明了。下面給出了相同的代碼

從 PIL 導(dǎo)入 pytesseract 導(dǎo)入圖像

導(dǎo)入cv2

img = cv2.imread（‘4.png’，cv2.IMREAD_COLOR） #打開要識別字符的圖像

#img = cv2.resize（img， （620，480） ） #如果需要，調(diào)整圖像大小

gray = cv2.cvtColor（img， cv2.COLOR_BGR2GRAY） #轉(zhuǎn)換為灰色以減少

細(xì)節(jié) gray = cv2.bilateralFilter（gray， 11， 17， 17） #模糊以減少噪點(diǎn)

original = pytesseract.image_to_string（gray， config=‘’）

#test = （pytesseract.image_to_data（gray， lang=None， config=‘’， nice=0） ） #get confidence level if required

#print（pytesseract.image_to_boxes（灰色的））

打?。ㄔ?/p>

該程序打開我們需要從中識別字符的文件，然后將其轉(zhuǎn)換為灰度。這將減少圖像中的細(xì)節(jié)，使 Tesseract 更容易識別字符。為了進(jìn)一步減少背景噪聲，我們使用 OpenCV 中的一種雙邊濾波器對圖像進(jìn)行模糊處理。最后，我們開始從圖像中識別字符并將其打印在屏幕上。最終的結(jié)果將是這樣的。

希望您理解本教程并喜歡學(xué)習(xí)新知識。OCR 用于許多地方，如自動駕駛汽車、車牌識別、路牌識別導(dǎo)航等，在 Raspberry Pi 上使用它為更多可能性打開了大門，因?yàn)樗梢员銛y且緊湊。

導(dǎo)入 pytesseract

從 PIL 導(dǎo)入圖像

導(dǎo)入簡歷2





img = cv2.imread('4.png',cv2.IMREAD_COLOR) #打開要識別字符的圖像

#img = cv2.resize(img, (620,480) ) #如果需要調(diào)整圖像大小



gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) #轉(zhuǎn)換為灰色以減少細(xì)節(jié)

gray = cv2.bilateralFilter(gray, 11, 17, 17) #Blur 去噪



原始= pytesseract.image_to_string（灰色，配置=''）

#test = (pytesseract.image_to_data(gray, lang=None, config='', nice=0) ) #get confidence level if required

#print（pytesseract.image_to_boxes（灰色））



打印（原件）



'''必需 = 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'

最終 = ''



對于原始的 c：

對于需要的ch：

如果 c==ch：

最終 = 最終 + c

休息



打?。y試）



在測試中：

如果 a == "\n":

打?。ā罢业健保?''