中文自然語(yǔ)言處理的語(yǔ)料集合及其構(gòu)建現(xiàn)狀

作者劉煥勇，語(yǔ)言學(xué)碩士，目前就職于中國(guó)科學(xué)院軟件研究所，主要從事信息抽取，知識(shí)圖譜，情感分析, 社會(huì)計(jì)算等自然語(yǔ)言處理研發(fā)工作，興趣包括：語(yǔ)言資源構(gòu)建、信息抽取與知識(shí)圖譜、輿情監(jiān)測(cè)與社會(huì)計(jì)算。

本項(xiàng)目包含中文自然語(yǔ)言處理的語(yǔ)料集合，包括語(yǔ)義詞、領(lǐng)域共時(shí)、歷時(shí)語(yǔ)料庫(kù)、評(píng)測(cè)語(yǔ)料庫(kù)等。本項(xiàng)目簡(jiǎn)單談?wù)勛约簩?duì)語(yǔ)言資源的感想以及目前自己進(jìn)行語(yǔ)言資源構(gòu)建的現(xiàn)狀。

介紹

語(yǔ)言資源，本身是一個(gè)寬泛的概念，即語(yǔ)言+資源，語(yǔ)言指的是資源的限定域，資源=資+源，是資料的來(lái)源或者匯總，加在一起，也就形成了這樣一種界定：任何語(yǔ)言單位形成的集合，都可以稱為語(yǔ)言資源。語(yǔ)言資源是自然語(yǔ)言處理任務(wù)中的一個(gè)必不可少的組成部分，一方面語(yǔ)言資源是相關(guān)語(yǔ)言處理任務(wù)的支撐，為語(yǔ)言處理任務(wù)提供先驗(yàn)知識(shí)進(jìn)行輔助，另一方面，語(yǔ)言處理任務(wù)也為語(yǔ)言資源提出了需求，并能夠?qū)φZ(yǔ)言資源的搭建、擴(kuò)充起到技術(shù)性的支持作用。因此，隨著自然語(yǔ)言處理技術(shù)的不斷發(fā)展，自然語(yǔ)言處理需求在各個(gè)領(lǐng)域的不斷擴(kuò)張、應(yīng)用，相關(guān)語(yǔ)言資源的構(gòu)建占據(jù)了越來(lái)越為重要的地位。作者在碩士期間所在的研究機(jī)構(gòu)為國(guó)家語(yǔ)言資源監(jiān)測(cè)與研究平面媒體中心，深受導(dǎo)師所傳授的語(yǔ)言資源觀影響，畢業(yè)后在實(shí)際的學(xué)習(xí)、工作過(guò)程中，動(dòng)手實(shí)踐，形成了自己的一些淺薄的語(yǔ)言資源認(rèn)識(shí)，現(xiàn)在寫(xiě)出來(lái)，供大家一起討論，主要介紹一些自己對(duì)語(yǔ)言資源的搜索，搭建過(guò)程中的一些心得以及自己目前在語(yǔ)言資源建設(shè)上的一些工作。

語(yǔ)言資源的分類

介紹中說(shuō)到，任何語(yǔ)言單位的集合都可以稱為語(yǔ)言資源，比如我有一個(gè)個(gè)人的口頭禪集合，這個(gè)就可以稱為一個(gè)語(yǔ)言資源庫(kù)，在你實(shí)際生活中進(jìn)行言語(yǔ)活動(dòng)時(shí)，你其實(shí)就在使用這個(gè)語(yǔ)言資源庫(kù)。再比如說(shuō)，一個(gè)班級(jí)中的學(xué)生名單，其實(shí)也可以當(dāng)作是一種語(yǔ)言資源，這個(gè)語(yǔ)言資源在進(jìn)行班級(jí)學(xué)生點(diǎn)名、考核的時(shí)候也大有幫助。當(dāng)然，此處所討論的語(yǔ)言資源是從自然語(yǔ)言處理應(yīng)用的角度上出發(fā)的?？偟膩?lái)說(shuō)，我把它歸為以下兩種類型：

1、領(lǐng)域語(yǔ)料庫(kù)

領(lǐng)域語(yǔ)料庫(kù)，是從語(yǔ)料的這個(gè)角度來(lái)講的，這里的語(yǔ)料，界定成文本級(jí)別（以自然語(yǔ)句為基礎(chǔ)級(jí)別形成的文本集合，即可以是句子、段落、篇章等）。領(lǐng)域語(yǔ)料庫(kù)，可以根據(jù)不同的劃分規(guī)則而形成不同的語(yǔ)料類別：

1）根據(jù)所屬領(lǐng)域，可以進(jìn)一步細(xì)化成不同領(lǐng)域的語(yǔ)料庫(kù)。包括金融領(lǐng)域語(yǔ)料、醫(yī)藥領(lǐng)域語(yǔ)料、教育領(lǐng)域語(yǔ)料、文學(xué)領(lǐng)域語(yǔ)料等等。

2）根據(jù)所屬目的，可以進(jìn)一步細(xì)化為：評(píng)測(cè)語(yǔ)料（為自然語(yǔ)言處理技術(shù)pk而人工構(gòu)造的一些評(píng)測(cè)語(yǔ)料，如ACE,MUC等國(guó)際評(píng)測(cè)中所出現(xiàn)的如semeval2014,snli等）；工具語(yǔ)料（指供自然語(yǔ)言處理技術(shù)提供資源支撐的語(yǔ)料）

3）根據(jù)語(yǔ)料加工程度的不同，可進(jìn)一步分為：熟語(yǔ)料（指在自然語(yǔ)言單位上添加人工的標(biāo)簽標(biāo)注，如經(jīng)過(guò)分詞、詞性標(biāo)注、命名實(shí)體識(shí)別、依存句法標(biāo)注形成的語(yǔ)料），生語(yǔ)料（指直接收集而未經(jīng)加工形成的語(yǔ)言資源集，如常見(jiàn)的微博語(yǔ)料，新聞?wù)Z料等）

4）根據(jù)語(yǔ)料語(yǔ)種的不同，可進(jìn)一步分為：?jiǎn)握Z(yǔ)語(yǔ)料和多語(yǔ)語(yǔ)料，多語(yǔ)語(yǔ)料指的是平行語(yǔ)料，常見(jiàn)于機(jī)器翻譯任務(wù)中的雙語(yǔ)對(duì)齊語(yǔ)料（漢-阿平行語(yǔ)料庫(kù)，漢-英平行語(yǔ)料庫(kù)）等。

5）根據(jù)語(yǔ)料規(guī)模的不同，可以進(jìn)一步分為：小型語(yǔ)料庫(kù)，中型語(yǔ)料庫(kù)，大型語(yǔ)料庫(kù)。至于小型、中型、大型的界定，可根據(jù)實(shí)際領(lǐng)域語(yǔ)料的規(guī)模而動(dòng)態(tài)調(diào)整。

2、領(lǐng)域詞庫(kù)

領(lǐng)域詞庫(kù)，指以句級(jí)以下語(yǔ)言單位形成的語(yǔ)言資源庫(kù)，這個(gè)層級(jí)的語(yǔ)言單位可以是筆畫(huà)、偏旁部首、字、詞、短語(yǔ)等。同樣的，領(lǐng)域詞庫(kù)也可以進(jìn)一步細(xì)分。

1）領(lǐng)域特征詞庫(kù)。這里所說(shuō)的領(lǐng)域特征詞庫(kù)，指的是與領(lǐng)域強(qiáng)相關(guān)，具有領(lǐng)域區(qū)別能力形成的詞語(yǔ)集合，如體育領(lǐng)域中常見(jiàn)的“籃球”、“足球”等詞，文學(xué)領(lǐng)域常見(jiàn)的“令狐沖”、“魯迅”等詞，又如敏感詞庫(kù)等，這些詞常?？勺鳛榉诸愄卣鞫嬖?。

2）語(yǔ)法語(yǔ)義詞庫(kù)。語(yǔ)義詞庫(kù)的側(cè)重點(diǎn)在與語(yǔ)言的語(yǔ)法層面和語(yǔ)義層面：

語(yǔ)法詞庫(kù)：北大的語(yǔ)法信息詞典，北大的實(shí)體概念詞典、Hownet語(yǔ)義詞典這三類詞典，這幾個(gè)語(yǔ)法詞庫(kù)，在對(duì)詞的語(yǔ)法功能上都做了不同的工作，對(duì)詞的內(nèi)部結(jié)構(gòu)信息進(jìn)行了詳細(xì)的標(biāo)注，如北大的語(yǔ)法信息詞典，以詞類為劃分標(biāo)準(zhǔn)講漢語(yǔ)的常用詞進(jìn)行了劃分，并對(duì)詞性、搭配（前接成分和后接成分）進(jìn)行了詳細(xì)的標(biāo)注；Hownet語(yǔ)義詞典從義項(xiàng)的角度對(duì)詞的義元進(jìn)行了分解和注釋。

語(yǔ)義詞庫(kù)：這類語(yǔ)義詞，側(cè)重點(diǎn)不在詞語(yǔ)的內(nèi)部語(yǔ)法結(jié)構(gòu)，而在詞語(yǔ)的整體語(yǔ)義上。這類詞庫(kù)，常見(jiàn)的詞庫(kù)有哈工大發(fā)布的同義詞詞林?jǐn)U展版，這個(gè)詞庫(kù)將同義詞按照語(yǔ)義的相近程度進(jìn)行了不同層次的聚類，可以作為同義詞擴(kuò)展提供幫助。另一個(gè)是情感分析任務(wù)中常用的情感詞典，這類詞典主要公開(kāi)的詞典包括大連理工大學(xué)信息檢索實(shí)驗(yàn)室公開(kāi)的情感本體詞庫(kù)、hownet、香港中文大學(xué)、***清華大學(xué)公開(kāi)的情感詞庫(kù)（具體包括情感詞庫(kù)、否定詞庫(kù)、強(qiáng)度詞庫(kù)）等。另外，工業(yè)界，有boson公開(kāi)的微博情感詞庫(kù)（詞的規(guī)模比較大，但標(biāo)注信息不是很精準(zhǔn)）。還有的，則是中文的反義詞庫(kù)等，這個(gè)可以參考我的github項(xiàng)目，里面對(duì)這些詞庫(kù)也有一些涉及。

語(yǔ)言資源的問(wèn)題

語(yǔ)言資源的搭建，指的是語(yǔ)言資源的整個(gè)搭建過(guò)程。其實(shí)是要解決四個(gè)問(wèn)題，一個(gè)是語(yǔ)言資源的收集問(wèn)題；二是語(yǔ)言資源的融合標(biāo)準(zhǔn)化問(wèn)題；三是語(yǔ)言資源的動(dòng)態(tài)更新問(wèn)題；四是語(yǔ)言資源的共享與聯(lián)盟問(wèn)題。下面就這四點(diǎn)展開(kāi)闡述：

1、語(yǔ)言資源收集的問(wèn)題。語(yǔ)言資源搜索過(guò)程中有三步走策略，在這個(gè)步驟完成之后，會(huì)得到一系列的詞庫(kù)。這些詞庫(kù)可能初期不會(huì)特別完善，往往還需要人工使用啟發(fā)式規(guī)則進(jìn)行人工去噪的工作。

2、語(yǔ)言資源的融合標(biāo)準(zhǔn)化問(wèn)題。通過(guò)不同方式收集起來(lái)的語(yǔ)言資源，往往會(huì)存在一個(gè)格式不對(duì)稱的問(wèn)題，這有點(diǎn)像知識(shí)圖譜中的知識(shí)融合問(wèn)題。因此，為了解決這個(gè)問(wèn)題，我們通常需要制定一個(gè)標(biāo)準(zhǔn)化的語(yǔ)言資源格式，例如，在構(gòu)建情感詞表的過(guò)程當(dāng)中，有的情感詞表沒(méi)有強(qiáng)度標(biāo)記，有的強(qiáng)度值范圍不一樣，有的情感詞表的標(biāo)記不一，這個(gè)時(shí)候往往需要標(biāo)準(zhǔn)化，給定一個(gè)標(biāo)準(zhǔn)化的樣式，再將不同來(lái)源的情感詞按照這個(gè)標(biāo)記做相應(yīng)的調(diào)整。我在實(shí)際的工作過(guò)程中，常常把這種問(wèn)題類別成知識(shí)圖譜構(gòu)建過(guò)程中的schema搭建問(wèn)題，信息抽取過(guò)程中的slot-definition問(wèn)題。先把規(guī)范和標(biāo)準(zhǔn)搭好，再去統(tǒng)一標(biāo)準(zhǔn)化。

3、語(yǔ)言資源的動(dòng)態(tài)更新問(wèn)題。知識(shí)和信息的價(jià)值，在很大程度上都在于它的一種實(shí)時(shí)性，語(yǔ)言資源作為一種常識(shí)性知識(shí)庫(kù)，能夠保證自身的一種與時(shí)俱進(jìn)，將能夠最大限度地發(fā)揮自身的價(jià)值。而從實(shí)踐的角度上來(lái)說(shuō)，語(yǔ)言資源的動(dòng)態(tài)更新，可以靠人工去維持，去動(dòng)態(tài)及時(shí)更新，也可以建立一種動(dòng)態(tài)監(jiān)測(cè)和更新機(jī)制，讓機(jī)器自動(dòng)地去更新。這類其實(shí)可以參考知識(shí)圖譜更新的相關(guān)工作。

4、語(yǔ)言資源的共享與聯(lián)盟問(wèn)題。語(yǔ)言資源是否共享，其實(shí)是一個(gè)與業(yè)務(wù)敏感以及開(kāi)源意識(shí)想結(jié)合的一種決策，有的資源因?yàn)槟撤N業(yè)務(wù)敏感或者開(kāi)源意識(shí)不夠open而無(wú)法共享，當(dāng)然還有其他因素成分在，不過(guò)，語(yǔ)言資源最好是需要共享的，這樣能夠最大力度的發(fā)揮語(yǔ)言資源在各個(gè)領(lǐng)域的應(yīng)用。語(yǔ)言資源的聯(lián)盟問(wèn)題，更像是對(duì)開(kāi)源語(yǔ)言資源的一種鏈接與互聯(lián)。這類問(wèn)題是對(duì)當(dāng)前的資源零散、碎片化問(wèn)題的一個(gè)思考，前面也說(shuō)到，目前情感分析的詞表有很多個(gè)，語(yǔ)法和語(yǔ)義詞庫(kù)也有很多個(gè)，但每個(gè)人在構(gòu)建時(shí)的出發(fā)點(diǎn)不同，構(gòu)建者也分布在不同的高?；驒C(jī)構(gòu)當(dāng)中，這些資源雖然在個(gè)數(shù)上會(huì)有增長(zhǎng)，但隨著時(shí)間的推移，這種零散化的現(xiàn)象將會(huì)越來(lái)越嚴(yán)重。

語(yǔ)言資源的實(shí)踐

本項(xiàng)目以采集公開(kāi)的人民日?qǐng)?bào)與參考消息為例進(jìn)行歷時(shí)的新聞采集為例, 公開(kāi)網(wǎng)站中公開(kāi)了1946-2003年的人民日?qǐng)?bào)語(yǔ)料,1957-2002年的參考消息語(yǔ)料, 采集這種具有長(zhǎng)遠(yuǎn)歷史信息的語(yǔ)料對(duì)于歷史人文研究以及語(yǔ)言演變有重大意義,本項(xiàng)目放在newspaper目錄下。

運(yùn)行方式: scrapy crawl travel

主要函數(shù)包括:

classTravelSpider(scrapy.Spider):name='travel''''資訊采集主控函數(shù)'''defstart_requests(self):Data=BuildData()date_list=Data.create_dates()fordateindate_list:print(date)date_url='http://www.laoziliao.net/ckxx/%s'%dateparam={'url':date_url,'date':date}yieldscrapy.Request(url=date_url,meta=param,callback=self.get_urllist,dont_filter=True)'''獲取頁(yè)面新聞列表'''defget_urllist(self,response):selector=etree.HTML(response.text)date_url=response.meta['url']urls=[i.split('#')[0]foriinselector.xpath('//ul/li/a/@href')ifdate_urlini]forurlinset(urls):param={'url':url,'date':response.meta['date']}yieldscrapy.Request(url=url,meta=param,callback=self.page_parser,dont_filter=True)'''新聞字段內(nèi)容解析'''defpage_parser(self,response):selector=etree.HTML(response.text)articles=selector.xpath('//div[@class="article"]')titles=selector.xpath('//h2/text()')contents=[]forarticleinarticles:content=article.xpath('string(.)')contents.append(content)papers=zip(titles,contents)foriinpapers:item=TravelspiderItem()item['url']=response.meta['url']item['date']=response.meta['date']item['title']=i[0]item['content']=i[1]yielditemreturn

語(yǔ)言資源構(gòu)建現(xiàn)狀

作者在學(xué)習(xí)和工作之余，根據(jù)語(yǔ)言資源搭建策略，構(gòu)建起了語(yǔ)義詞庫(kù)、領(lǐng)域詞庫(kù)、領(lǐng)域語(yǔ)料庫(kù)、評(píng)測(cè)語(yǔ)料庫(kù)。種類約53種，具體如下：

語(yǔ)義知識(shí)庫(kù)

領(lǐng)域詞庫(kù)

領(lǐng)域語(yǔ)料庫(kù)

評(píng)測(cè)語(yǔ)料庫(kù)

總結(jié)

1、本項(xiàng)目闡述了語(yǔ)言資源的相關(guān)感想，并給出了目前語(yǔ)言資源的構(gòu)建現(xiàn)狀，目前為止收集了四個(gè)大類共53小類的語(yǔ)言資源數(shù)據(jù)集。

2、本項(xiàng)目中所涉及到的報(bào)告內(nèi)容均來(lái)源于網(wǎng)上公開(kāi)資源，對(duì)此免責(zé)聲明。

3、如果有需要用到以上作者收集到的這些語(yǔ)料庫(kù)，可以聯(lián)系作者獲取。

4、自然語(yǔ)言處理，是人工智能皇冠上的一顆明珠，懂語(yǔ)言者得天下，語(yǔ)言資源在自然語(yǔ)言處理中扮演著舉足輕重的作用，懂語(yǔ)言資源者，分得天下。目前開(kāi)放的網(wǎng)絡(luò)環(huán)境，對(duì)語(yǔ)言資源的大繁榮提供了很大的契機(jī)。語(yǔ)言資源構(gòu)建是一門學(xué)問(wèn)，也是一種手段，現(xiàn)在自然語(yǔ)言處理技術(shù)也對(duì)語(yǔ)言資源的構(gòu)建提供了技術(shù)上的支持，如何把握語(yǔ)言資源搜索策略，搭建策略，重點(diǎn)解決語(yǔ)言資源的動(dòng)態(tài)更新、共享與聯(lián)盟問(wèn)題，將是語(yǔ)言資源建設(shè)未來(lái)需要解決的問(wèn)題。