自然語(yǔ)言處理怎么最快入門(mén)_自然語(yǔ)言處理知識(shí)了解

一. 什么是NLP？

自然語(yǔ)言處理是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向。它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的各種理論和方法。自然語(yǔ)言處理是一門(mén)融語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、數(shù)學(xué)于一體的科學(xué)。因此，這一領(lǐng)域的研究將涉及自然語(yǔ)言，即人們?nèi)粘Ｊ褂玫恼Z(yǔ)言，所以它與語(yǔ)言學(xué)的研究有著密切的聯(lián)系，但又有重要的區(qū)別。自然語(yǔ)言處理并不是一般地研究自然語(yǔ)言，而在于研制能有效地實(shí)現(xiàn)自然語(yǔ)言通信的計(jì)算機(jī)系統(tǒng)，特別是其中的軟件系統(tǒng)。因而它是計(jì)算機(jī)科學(xué)的一部分。

自然語(yǔ)言處理，即實(shí)現(xiàn)人機(jī)間自然語(yǔ)言通信，實(shí)現(xiàn)自然語(yǔ)言理解和自然語(yǔ)言生成是十分困難的。造成困難的根本原因是自然語(yǔ)言文本和對(duì)話的各個(gè)層次上廣泛存在的各種各樣的歧義性或多義性。用自然語(yǔ)言與計(jì)算機(jī)進(jìn)行通信，這是人們長(zhǎng)期以來(lái)所追求的。因?yàn)樗扔忻黠@的實(shí)際意義，同時(shí)也有重要的理論意義：人們可以用自己最習(xí)慣的語(yǔ)言來(lái)使用計(jì)算機(jī)，而無(wú)需再花大量的時(shí)間和精力去學(xué)習(xí)不很自然和習(xí)慣的各種計(jì)算機(jī)語(yǔ)言；人們也可通過(guò)它進(jìn)一步了解人類(lèi)的語(yǔ)言能力和智能的機(jī)制。

能力模型，通常是基于語(yǔ)言學(xué)規(guī)則的模型，建立在人腦中先天存在語(yǔ)法通則這一假設(shè)的基礎(chǔ)上，認(rèn)為語(yǔ)言是人腦的語(yǔ)言能力推導(dǎo)出來(lái)的，建立語(yǔ)言模型就是通過(guò)建立人工編輯的語(yǔ)言規(guī)則集來(lái)模擬這種先天的語(yǔ)言能力。又稱(chēng)“理性主義的”語(yǔ)言模型。

應(yīng)用模型，根據(jù)不同的語(yǔ)言處理應(yīng)用而建立的特定語(yǔ)言模型，通常是基于統(tǒng)計(jì)的模型。又稱(chēng)“經(jīng)驗(yàn)主義的”語(yǔ)言模型，使用大規(guī)模真實(shí)語(yǔ)料庫(kù)中獲得語(yǔ)言各級(jí)語(yǔ)言單位上的統(tǒng)計(jì)信息，依據(jù)較低級(jí)語(yǔ)言單位上的統(tǒng)計(jì)信息運(yùn)用相關(guān)的統(tǒng)計(jì)推理技術(shù)計(jì)算較高級(jí)語(yǔ)言單位上的統(tǒng)計(jì)信息。

?

自然語(yǔ)言處理的基本架構(gòu)：分詞=>詞性標(biāo)注=>Parser

1、分詞

詞是最小的能夠獨(dú)立活動(dòng)的有意義的語(yǔ)言成分，英文單詞之間是以空格作為自然分界符的，而漢語(yǔ)是以字為基本的書(shū)寫(xiě)單位，詞語(yǔ)之間沒(méi)有明顯的區(qū)分標(biāo)記，因此，中文詞語(yǔ)分析是中文信息處理的基礎(chǔ)與關(guān)鍵。

中文分詞技術(shù)可分為三大類(lèi)：基于字典、詞庫(kù)匹配的分詞方法；基于詞頻度統(tǒng)計(jì)的分詞方法和基于知識(shí)理解的分詞方法。

2、詞性標(biāo)注（Part-of-Speech tagging 或POS tagging），又稱(chēng)詞類(lèi)標(biāo)注或者簡(jiǎn)稱(chēng)標(biāo)注，是指為分詞結(jié)果中的每個(gè)單詞標(biāo)注一個(gè)正確的詞性的程序，也即確定每個(gè)詞是名詞、動(dòng)詞、形容詞或其他詞性的過(guò)程。在漢語(yǔ)中，詞性標(biāo)注比較簡(jiǎn)單，因?yàn)闈h語(yǔ)詞匯詞性多變的情況比較少見(jiàn)，大多詞語(yǔ)只有一個(gè)詞性，或者出現(xiàn)頻次最高的詞性遠(yuǎn)遠(yuǎn)高于第二位的詞性。據(jù)說(shuō)，只需選取最高頻詞性，即可實(shí)現(xiàn)80%準(zhǔn)確率的中文詞性標(biāo)注程序。利用HMM即可實(shí)現(xiàn)更高準(zhǔn)確率的詞性標(biāo)注。

3、名實(shí)體識(shí)別

命名實(shí)體識(shí)別（Named Entity Recognition，簡(jiǎn)稱(chēng)NER），又稱(chēng)作“專(zhuān)名識(shí)別”，是指識(shí)別文本中具有特定意義的實(shí)體，主要包括人名、地名、機(jī)構(gòu)名、專(zhuān)有名詞等。

（1）實(shí)體邊界識(shí)別；（2） 確定實(shí)體類(lèi)別（人名、地名、機(jī)構(gòu)名或其他）

命名實(shí)體識(shí)別是信息提取、問(wèn)答系統(tǒng)、句法分析、機(jī)器翻譯、面向Semantic Web的元數(shù)據(jù)標(biāo)注等應(yīng)用領(lǐng)域的重要基礎(chǔ)工具。

基于規(guī)則和詞典的方法（ MUC-6 會(huì)議中幾乎所有參賽成員都采用基于規(guī)則的方法），該方法需要專(zhuān)家制定規(guī)則，準(zhǔn)確率較高，但依賴于特征領(lǐng)域，可移植性差；

基于統(tǒng)計(jì)的方法，主要采用 HMM 、 MEMM 、 CRF， 難點(diǎn)在于特征選擇上，該方法能獲得好的魯棒性和靈活性，不需太多的人工干預(yù)和領(lǐng)域限制，但需要大量的標(biāo)注集。

混合方法，采用規(guī)則與統(tǒng)計(jì)相結(jié)合，多種統(tǒng)計(jì)方法相結(jié)合等，是目前主流的方法。

特征：上下文信息+構(gòu)詞法

4、指代消解

指代是一種常見(jiàn)的語(yǔ)言現(xiàn)象，一般情況下，指代分為2種：回指和共指。

回指是指當(dāng)前的照應(yīng)語(yǔ)與上文出現(xiàn)的詞、短語(yǔ)或句子（句群）存在密切的語(yǔ)義關(guān)聯(lián)性，指代依存于上下文語(yǔ)義中，在不同的語(yǔ)言環(huán)境中可能指代不同的實(shí)體，具有非對(duì)稱(chēng)性和非傳遞性；

共指主要是指2個(gè)名詞（包括代名詞、名詞短語(yǔ)）指向真實(shí)世界中的同一參照體，這種指代脫離上下文仍然成立。

目前指代消解研究主要側(cè)重于等價(jià)關(guān)系，只考慮2個(gè)詞或短語(yǔ)是否指示現(xiàn)實(shí)世界中同一實(shí)體的問(wèn)題，即共指消解。

中文的指代主要有3種典型的形式：

（1）人稱(chēng)代詞（pronoun），例如：李明 怕高媽媽一人呆在家

里寂寞，他 便將家里的電視搬了過(guò)來(lái)。

（2）指示代詞（demonstrative），例如：很多人都想留下什么給孩子，這 可以理解，但不完全正確。

（3）有定描述（definite description），例如：，貿(mào)易制裁已經(jīng)成為了美國(guó)政府對(duì)華的慣用大棒，這根 大棒 真如美國(guó)政府所希望的那樣靈驗(yàn)嗎？

5、文本分類(lèi)

一個(gè)文本（以下基本不區(qū)分“文本”和“文檔”兩個(gè)詞的含義） 分類(lèi)問(wèn)題就是將

一篇文檔歸入預(yù)先定義的幾個(gè)類(lèi)別中的一個(gè)或幾個(gè)，而文本的自動(dòng)分類(lèi)則是使用計(jì)算機(jī)程序來(lái)實(shí)現(xiàn)這樣的分類(lèi)。

6、問(wèn)答系統(tǒng)

問(wèn)答系統(tǒng)（Question Answering System， QA）是信息檢索系統(tǒng)的一種高級(jí)形式，它能用準(zhǔn)確、簡(jiǎn)潔的自然語(yǔ)言回答用戶用自然語(yǔ)言提出的問(wèn)題。

依據(jù)問(wèn)題類(lèi)型可分為：限定域和開(kāi)放域兩種，依據(jù)數(shù)據(jù)類(lèi)型可分為：結(jié)構(gòu)型和無(wú)結(jié)構(gòu)型（文本），依據(jù)答案類(lèi)型可分為：抽取式和產(chǎn)生式兩種。

問(wèn)句分析-》文檔檢索-》答案抽?。?yàn)證）

?

自然語(yǔ)言處理工具包：

中文的是哈工大開(kāi)源的那個(gè)工具包 LTP （Language Technology Platform） developed by HIT-SCIR（哈爾濱工業(yè)大學(xué)社會(huì)計(jì)算與信息檢索研究中心）。

英文的（python）：

· pattern - simpler to get started than NLTK

· chardet - character encoding detection

· pyenchant - easy access to dictionaries

· scikit-learn - has support for text classification

· unidecode - because ascii is much easier to deal with

掌握以下的幾個(gè)tool：

CRF++

GIZA

Word2Vec

? ? ?自然語(yǔ)言處理推薦學(xué)習(xí)書(shū)籍

現(xiàn)在自然語(yǔ)言處理都要靠統(tǒng)計(jì)學(xué)知識(shí)，下面推薦四本自然語(yǔ)言處理領(lǐng)域的標(biāo)準(zhǔn)書(shū)籍

《數(shù)學(xué)之美》，這個(gè)書(shū)寫(xiě)得特別科普且生動(dòng)形象，我相信你不會(huì)覺(jué)得枯燥

《統(tǒng)計(jì)學(xué)習(xí)方法》

《自然語(yǔ)言處理綜論》

《統(tǒng)計(jì)自然語(yǔ)言處理基礎(chǔ)》

《自然語(yǔ)言理解》