基于人工智能技術(shù)的OCR應(yīng)用

光學(xué)字符識(shí)別（Optical Character Recognition，OCR）是將圖像中的文字信息轉(zhuǎn)化為可供計(jì)算機(jī)處理的字符信息的技術(shù)，發(fā)揮著計(jì)算機(jī)“眼睛”的功能，是機(jī)器與現(xiàn)實(shí)世界進(jìn)行視覺交互的重要技術(shù)基礎(chǔ)。

早期的OCR技術(shù)可追溯到1870年，電報(bào)技術(shù)和為盲人設(shè)計(jì)的閱讀設(shè)備的出現(xiàn)標(biāo)志著OCR的誕生。近年來，隨著人工智能技術(shù)在OCR中的實(shí)際應(yīng)用，OCR的性能和效率都得到了很大的提升。

如今，基于人工智能的OCR已經(jīng)廣泛應(yīng)用于金融、交通、政務(wù)、司法、醫(yī)療等多個(gè)領(lǐng)域，進(jìn)入到人們生產(chǎn)生活的方方面面。

檔案OCR是利用OCR技術(shù)對(duì)紙質(zhì)檔案數(shù)字化副本等圖像文件中的字符形狀進(jìn)行識(shí)別、文字轉(zhuǎn)換和文本輸出、呈現(xiàn)的過程。

利用人工智能技術(shù)開展檔案OCR工作，對(duì)于提高工作效率和準(zhǔn)確性，加快自動(dòng)著錄、全文檢索、數(shù)據(jù)分析等系統(tǒng)功能更好實(shí)現(xiàn)，推動(dòng)檔案信息資源建設(shè)從數(shù)字化向數(shù)據(jù)化轉(zhuǎn)型具有重要意義。

檔案OCR工作現(xiàn)狀

2013年以來，在國(guó)家檔案局大力實(shí)施“存量數(shù)字化、增量電子化”的戰(zhàn)略背景下，紙質(zhì)檔案數(shù)字化副本大量產(chǎn)生。全國(guó)各級(jí)檔案館（室）存量檔案數(shù)字化工作成效顯著，數(shù)字化比例大幅提高，很多檔案部門已完成全部館藏檔案的數(shù)字化工作。

截至2019年年底，全國(guó)各級(jí)綜合檔案館館藏檔案數(shù)字化副本容量已達(dá)1407.8萬GB（吉字節(jié)）。當(dāng)前，檔案OCR工作已全面啟動(dòng)，相關(guān)標(biāo)準(zhǔn)規(guī)范已適時(shí)出臺(tái)。部分地區(qū)檔案部門在完成紙質(zhì)檔案數(shù)字化工作的基礎(chǔ)上，紛紛開展了檔案OCR工作。

也有一些檔案部門在開展檔案數(shù)字化工作的同時(shí)，同步開展了檔案OCR工作。為規(guī)范相關(guān)工作的開展，國(guó)家檔案局因勢(shì)利導(dǎo)，于2019年12月發(fā)布《紙質(zhì)檔案數(shù)字復(fù)制件光學(xué)字符識(shí)別（OCR）工作規(guī)范》，規(guī)定了紙質(zhì)檔案數(shù)字復(fù)制件OCR工作的組織、實(shí)施和管理要求，確定了開展檔案OCR工作的總體原則、工作流程、質(zhì)量規(guī)定等?；诖?，檔案部門相關(guān)工作取得了大量成果，未來檔案OCR將融入更廣泛、更深層次的檔案工作中。

傳統(tǒng)OCR的不足

在人工智能技術(shù)廣泛應(yīng)用之前，文字的自動(dòng)化識(shí)別是一項(xiàng)十分艱巨、亟需解決的問題。傳統(tǒng)OCR識(shí)別是以文字基本外形為基礎(chǔ)，對(duì)文字字符之間的差別進(jìn)行統(tǒng)計(jì)分析，再找到一組最優(yōu)的、可以代表文字之間差異的統(tǒng)計(jì)學(xué)參數(shù)，從而實(shí)現(xiàn)對(duì)文字的篩選和識(shí)別。

傳統(tǒng)OCR工作流程包括圖像導(dǎo)入、圖像預(yù)處理、版面分析、文字切割、文字識(shí)別等過程。多年來，人們對(duì)傳統(tǒng)OCR工作流程進(jìn)行過大量?jī)?yōu)化研究，但是受限于流程的復(fù)雜性和人工設(shè)計(jì)特征的表達(dá)能力等，傳統(tǒng)的文字檢測(cè)與識(shí)別方法對(duì)于較為復(fù)雜的圖像，例如帶有畸變以及模糊的圖像，最終的文字識(shí)別結(jié)果往往不盡如人意。

傳統(tǒng)OCR對(duì)中文字符識(shí)別的不足，主要表現(xiàn)在以下4個(gè)方面。

一是傳統(tǒng)OCR處理流程的工序太多，且多串行，導(dǎo)致錯(cuò)誤不斷被傳遞放大。如，在OCR處理流程中，假如每一步都是90%的正確率，看似很高，但是經(jīng)過5步的錯(cuò)誤疊加之后，結(jié)果就已經(jīng)不合格了。

二是傳統(tǒng)OCR處理流程涉及較多人工設(shè)計(jì)，并不一定能夠抓住問題的本質(zhì)。例如，在文字的二值化這一預(yù)處理過程中，二值化的閾值在一些情況下很難調(diào)整好。由于這個(gè)模型的復(fù)雜度較低且無法充分?jǐn)M合全部數(shù)據(jù)，在實(shí)際處理過程中不得不過濾掉很多有用的信息。

三是在一些背景稍微復(fù)雜或者存在變體文字的情況下，傳統(tǒng)OCR基本會(huì)失效，處理模型的適應(yīng)性較弱。版面分析以及行切分的方式只能處理相對(duì)簡(jiǎn)單的場(chǎng)景，一旦面臨復(fù)雜排版等情況，就很難實(shí)現(xiàn)準(zhǔn)確處理。

四是對(duì)單字的識(shí)別，傳統(tǒng)OCR無法考慮到上下文的語義關(guān)聯(lián)。為了解決這個(gè)問題，傳統(tǒng)OCR進(jìn)行了很多組合，如，對(duì)識(shí)別的結(jié)果進(jìn)行動(dòng)態(tài)路徑搜索。在路徑尋優(yōu)過程中，經(jīng)常需要結(jié)合文字的外觀特征以及語言模型進(jìn)行處理，存在較多的耦合，導(dǎo)致在識(shí)別系統(tǒng)中堆砌了較多的算法。

即便如此，傳統(tǒng)OCR也存在很多無法處理的問題，如，手寫字體等存在較多的筆畫粘連，傳統(tǒng)OCR很難進(jìn)行切分。以上這些不足，造成傳統(tǒng)OCR的識(shí)別率相對(duì)較低，識(shí)別時(shí)間相對(duì)較長(zhǎng)。

基于人工智能技術(shù)的OCR

近年來，隨著計(jì)算機(jī)視覺、自然語言理解、知識(shí)圖譜等人工智能技術(shù)在OCR中的實(shí)際使用，OCR的性能和效率都得到了很大提升。通過深度學(xué)習(xí)的自適應(yīng)學(xué)習(xí)驅(qū)動(dòng)方式，能夠更好地應(yīng)對(duì)傳統(tǒng)OCR產(chǎn)生的一些問題，簡(jiǎn)化參數(shù)預(yù)處理的流程，實(shí)現(xiàn)端到端的處理，提高OCR識(shí)別率。

目前，基于人工智能技術(shù)的OCR在簡(jiǎn)體印刷文字方面的識(shí)別率已達(dá)98%以上。人工智能OCR技術(shù)還能應(yīng)用于具有多樣性和復(fù)雜性的識(shí)別場(chǎng)景。如，不同大小、字體、顏色、亮度、對(duì)比度的文字，排列和對(duì)齊方式不相同的文字，圖像的非文字區(qū)域與文字區(qū)域存在相似的紋理，低對(duì)比度、模糊斷裂、殘缺文字等。因此，人工智能OCR不僅能應(yīng)用于文檔的識(shí)別，還可應(yīng)用于自然場(chǎng)景文字圖像的識(shí)別。

此外，人工智能OCR還能提高工作效率、節(jié)省大量成本。基于此，將人工智能OCR應(yīng)用在檔案工作中，具有重要的作用和意義，必將成為支撐檔案行業(yè)數(shù)字轉(zhuǎn)型、智能升級(jí)、融合創(chuàng)新的重要基礎(chǔ)。人工智能OCR工作流程主要包括圖像輸入、文本檢測(cè)、文本識(shí)別、人工確認(rèn)、人工干預(yù)等。首先，將需要識(shí)別的紙質(zhì)檔案數(shù)字化副本圖像單個(gè)或批量導(dǎo)入OCR系統(tǒng)中。

其次，進(jìn)行文本檢測(cè)。文本檢測(cè)主要是定位文字在數(shù)字圖像中的位置，并進(jìn)行位置標(biāo)注。文本檢測(cè)的方法主要有基于候選框的文本檢測(cè)、基于語義分割的文本檢測(cè)，以及基于兩種方法的混合方法等?；诤蜻x框的文本檢測(cè)是先預(yù)生成若干候選框，之后再回歸坐標(biāo)和分類，最后經(jīng)過NMS（非極大抑制）算法得到最終的檢測(cè)結(jié)果；基于語義分割的文本檢測(cè)是通過FPN（特征金字塔網(wǎng)絡(luò)）直接進(jìn)行像素級(jí)別的語義分割，并處理得到相關(guān)的坐標(biāo)。再次，進(jìn)行文本識(shí)別。

文本識(shí)別主要是針對(duì)定位好的文字區(qū)域，識(shí)別文本的具體內(nèi)容，并將圖像中的一串文字轉(zhuǎn)換為對(duì)應(yīng)的字符。文本識(shí)別的算法可分為基于CTC（連接時(shí)序分類）技術(shù)的方法和基于注意力機(jī)制的網(wǎng)絡(luò)模型兩大類。其中，基于CTC技術(shù)的方法可以有效地捕獲輸入序列的下文依賴關(guān)系，同時(shí)能夠很好地解決圖像和文本字符對(duì)不齊的問題，但在自由度較大的手寫場(chǎng)景下會(huì)出現(xiàn)識(shí)別錯(cuò)誤。

基于注意力機(jī)制的網(wǎng)絡(luò)模型主要應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)特征權(quán)重的分配上，并提高強(qiáng)特征的權(quán)重、降低弱特征的權(quán)重，在由圖像到文字的解碼過程中有天然的語義捕獲能力。然后，進(jìn)行人工確認(rèn)。對(duì)OCR識(shí)別后的結(jié)果進(jìn)行確認(rèn)，判斷是否出錯(cuò)。

在人工確認(rèn)過程中，可以采用后期批量處理等靈活性較強(qiáng)的方式。最后，進(jìn)行人工干預(yù)，修正OCR識(shí)別結(jié)果中可能存在的錯(cuò)誤。人工智能OCR可采用獨(dú)立式或嵌入式等方式應(yīng)用在檔案數(shù)字化系統(tǒng)中。獨(dú)立式是作為獨(dú)立軟件使用，或者通過應(yīng)用程序接口（API）進(jìn)行數(shù)據(jù)交互，不依賴于檔案數(shù)字化系統(tǒng)。

嵌入式是將OCR模塊嵌入檔案數(shù)字化系統(tǒng)，作為其功能的一部分，需要在設(shè)計(jì)開發(fā)檔案管理系統(tǒng)時(shí)進(jìn)行統(tǒng)一規(guī)劃，或?qū)σ延械南到y(tǒng)進(jìn)行改造。目前，人工智能OCR已被引入多個(gè)行業(yè)領(lǐng)域，但在檔案行業(yè)應(yīng)用中仍存在難點(diǎn)和不足，主要體現(xiàn)在兩個(gè)方面。

一是檔案文字存在多樣性。檔案類型多種多樣，文字內(nèi)容包羅萬象，存在不同語言、字體、大小、顏色、亮度、排列和對(duì)齊方式，以及圖像內(nèi)容對(duì)比度低、模糊斷裂、殘缺等問題，甚至存在出現(xiàn)識(shí)別難度更大的不同時(shí)期手寫體、繁簡(jiǎn)體等各種情況。這些問題或情況給檔案OCR工作帶來了各種挑戰(zhàn)，人工智能OCR也無法解決所有的問題，這就需要工作人員結(jié)合實(shí)際情況，尋找基于特定技術(shù)條件的最優(yōu)工作解決方案。

二是技術(shù)瓶頸。近年來，雖然人工智能OCR使機(jī)器識(shí)別文字的性能和效率得到了顯著提升，但是，機(jī)器識(shí)別文字的能力和水平與工作人員理解圖像中文字的能力和水平相比，依然存在較大差距?？傮w來看，仍需繼續(xù)不斷提升OCR的魯棒性、效率性和智能化水平，才能更好地將其應(yīng)用在難度更大、情況更復(fù)雜的檔案工作中。
編輯：lyn