NCChineseConverter中文簡繁正轉(zhuǎn)換庫

NCChineseConverter 是一個?基于 Objective-C?的中文簡繁正轉(zhuǎn)換庫. 除此之外, 本項目還包括一個 Python 的詞庫轉(zhuǎn)換工具.

本庫的基本實現(xiàn)原理: 從 Mediawiki 提供的字典中提取數(shù)據(jù), 轉(zhuǎn)換為自己需要的格式, 然后用最大正向匹配算法進行字符替換.

特點

• 可以只使用單一詞庫

• 可擴充自定義詞庫

• 提供 NSString 的 Category

使用方法

1. ?用詞典工具生成詞典

2. ?把生成的詞典放在項目的 Resources 目錄下

3. ?按如下方式引用轉(zhuǎn)換庫和調(diào)用

#import?"NCChineseConverter.h"?…?NSString?*oriString?=?@"";?NSString?*result?=?[[NCChineseConverter?sharedInstance]?convert:oriString?withDict:NCChineseConverterDictTypezh2TW];
…

Tool

下載詞庫并生成詞典:

python?dictgenerator.py

? ? 用本地詞庫生成詞典(適用于已經(jīng)下載了詞庫文件):

python?dictgenerator.py?n

? ? 利用詞典工具會在當(dāng)前目錄生成如下詞典文件:

• zh2TW.txt (簡體 -> 臺灣正體)

• zh2HK.txt (簡體 -> 港澳繁體)

• zh2SG.txt (簡體 -> 新馬繁體)

• zh2CN.txt (繁體/正體 -> 大陸簡體)

方便起見, 我在?dictionary?目錄中放了轉(zhuǎn)換好的詞典文件. 目錄名稱即為詞典生成時間.

注意: 請勿修改文件名, 轉(zhuǎn)換庫是嚴格按照文件名來讀取詞典的.

自定義擴充轉(zhuǎn)換詞組

詞典工具是根據(jù) Mediawiki 的詞庫來進行詞典生成, 所以要等待 Mediawiki 的詞庫更新才能得到新的詞典. 如果你有一些 Mediawiki 里沒有的詞語要擴充, 則可以使用該方法來使用.

使用前綴相同的字典文件來進行自定義詞組的擴充, 轉(zhuǎn)換庫會自動加載對應(yīng)的擴充字典.

比如, 把你自己的?簡體 -> 臺灣正體?詞典命名為?zh2TW.custom.txt, 這樣轉(zhuǎn)換庫就可以自動加載這個詞典并在轉(zhuǎn)換時使用.

備注

雖然詞典工具一次生成四個詞典, 但是你可以視情況只使用其中一個或多個. 需要注意的是如果你沒有在項目中放入某個詞典文件, 那么要避免在代碼里調(diào)用該字典.

未來改進

• 增加更多轉(zhuǎn)換詞庫

• 使用 Double-array Trie Tree 來構(gòu)造原始字典, 提高搜索速度

• 改進分詞算法

背景

簡繁正的問題在此不多說, 都是歷史遺留問題, 具體情況可以自行查看 Wikipedia, 用自己的思考去判斷(漢字簡化爭論). 在此只討論技術(shù)相關(guān)問題.

簡繁轉(zhuǎn)換不是單純的從一個字轉(zhuǎn)換為另一個字, 他包含很多內(nèi)容, 如:

• 各種繁體/正體. 如: 港澳繁體, 臺灣正體. 再加上各個華人地區(qū)的中文(如新加坡)使用等.

• 簡體和繁體的對照往往不止一對一, 而是一對二, 一對三, 甚至一對五(多繁對一簡問題)

目前比較常用的轉(zhuǎn)換方式主要是?Wikipedia 的轉(zhuǎn)換方式?和?OpenCC.

Wikipedia 進行簡繁轉(zhuǎn)換的操作流程參見:?繁簡處理

OpenCC 的庫相對比較專業(yè). 不過這是一個 C 庫, 所以如果要在 iOS 下使用, 則需要自己把庫編譯成 iOS 可以使用的庫再進行調(diào)用.

參考

• OpenCC

• Python 簡繁轉(zhuǎn)換