自然語(yǔ)言分析NLA技術(shù)的發(fā)展史

一、什么是自然語(yǔ)言處理

自然語(yǔ)言處理（Natural Language Processing，簡(jiǎn)稱NLP）就是用計(jì)算機(jī)來(lái)處理、理解以及運(yùn)用人類語(yǔ)言(如中文、英文等)，它屬于人工智能的一個(gè)分支，是計(jì)算機(jī)科學(xué)與語(yǔ)言學(xué)的交叉學(xué)科。由于自然語(yǔ)言是人類區(qū)別于其他動(dòng)物的根本標(biāo)志，沒(méi)有語(yǔ)言，人類的思維也就無(wú)從談起，所以NLP體現(xiàn)了人工智能的最高任務(wù)與境界。也就是說(shuō)，只有當(dāng)計(jì)算機(jī)具備了處理自然語(yǔ)言的能力時(shí)，機(jī)器才算實(shí)現(xiàn)了真正的智能。

從技術(shù)角度看，NLP包括序列標(biāo)注、分類任務(wù)、句子關(guān)系判斷和生成式任務(wù)等。從應(yīng)用角度看，NLP具有廣泛的應(yīng)用場(chǎng)景，例如：機(jī)器翻譯、信息檢索、信息抽取與過(guò)濾、文本分類與聚類、輿情分析和觀點(diǎn)挖掘等等。它涉及與語(yǔ)言處理相關(guān)的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、知識(shí)獲取、知識(shí)工程、人工智能研究和與語(yǔ)言計(jì)算相關(guān)的語(yǔ)言學(xué)研究等。

NLP的興起與機(jī)器翻譯這一具體任務(wù)有著密切聯(lián)系?！叭斯ぶ悄堋北蛔鳛橐粋€(gè)研究問(wèn)題正式提出來(lái)的時(shí)候，創(chuàng)始人把計(jì)算機(jī)國(guó)際象棋和機(jī)器翻譯作為兩個(gè)標(biāo)志性的任務(wù)，認(rèn)為只要國(guó)際象棋系統(tǒng)能夠打敗人類世界冠軍，機(jī)器翻譯系統(tǒng)達(dá)到人類翻譯水平，就可以宣告人工智能的勝利。四十年后的1997年，IBM公司的深藍(lán)超級(jí)計(jì)算機(jī)已經(jīng)能夠打敗國(guó)際象棋世界冠軍卡斯帕羅夫。而機(jī)器翻譯到現(xiàn)在仍無(wú)法與人類翻譯水平相比，由此可見(jiàn)NLP有多么的復(fù)雜和困難！

二、自然語(yǔ)言處理的發(fā)展趨勢(shì)

目前，人們主要通過(guò)兩種思路來(lái)進(jìn)行自然語(yǔ)言處理，一種是基于規(guī)則的理性主義，另外一種是基于統(tǒng)計(jì)的經(jīng)驗(yàn)主義。理性主義方法認(rèn)為，人類語(yǔ)言主要是由語(yǔ)言規(guī)則來(lái)產(chǎn)生和描述的，因此只要能夠用適當(dāng)?shù)男问綄⑷祟愓Z(yǔ)言規(guī)則表示出來(lái)，就能夠理解人類語(yǔ)言，并實(shí)現(xiàn)語(yǔ)言之間的翻譯等各種NLP任務(wù)。而經(jīng)驗(yàn)主義方法則認(rèn)為，從語(yǔ)言數(shù)據(jù)中獲取語(yǔ)言統(tǒng)計(jì)知識(shí)，有效建立語(yǔ)言的統(tǒng)計(jì)模型。因此只要能夠有足夠多的用于統(tǒng)計(jì)的語(yǔ)言數(shù)據(jù)，就能夠理解人類語(yǔ)言。然而，當(dāng)面對(duì)現(xiàn)實(shí)世界充滿模糊與不確定性時(shí)，這兩種方法都面臨著各自無(wú)法解決的問(wèn)題。例如，人類語(yǔ)言雖然有一定的規(guī)則，但是在真實(shí)使用中往往伴隨大量的噪音和不規(guī)范性。理性主義方法的一大弱點(diǎn)就是魯棒性差，只要與規(guī)則稍有偏離便無(wú)法處理。而對(duì)于經(jīng)驗(yàn)主義方法而言，又不能無(wú)限地獲取語(yǔ)言數(shù)據(jù)進(jìn)行統(tǒng)計(jì)學(xué)習(xí)，因此也不能夠完美地理解人類語(yǔ)言。二十世紀(jì)八十年代以來(lái)的趨勢(shì)就是，基于語(yǔ)言規(guī)則的理性主義方法不斷受到質(zhì)疑，大規(guī)模語(yǔ)言數(shù)據(jù)處理成為目前和未來(lái)一段時(shí)期內(nèi)NLP的主要研究目標(biāo)。統(tǒng)計(jì)學(xué)習(xí)方法越來(lái)越受到重視，自然語(yǔ)言處理中越來(lái)越多地使用機(jī)器自動(dòng)學(xué)習(xí)的方法來(lái)獲取語(yǔ)言知識(shí)。

隨著2013年word2vec技術(shù)的發(fā)表，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)技術(shù)開(kāi)始在NLP中廣泛使用，深度學(xué)習(xí)的分布式語(yǔ)義表示和多層網(wǎng)絡(luò)架構(gòu)具有強(qiáng)大的擬合和學(xué)習(xí)能力，顯著提升了NLP各種任務(wù)的性能，成為現(xiàn)階段NLP的主要技術(shù)方案。

深度學(xué)習(xí)是純數(shù)據(jù)驅(qū)動(dòng)技術(shù)方案，需要從大規(guī)模標(biāo)注數(shù)據(jù)中學(xué)習(xí)特定任務(wù)相關(guān)的復(fù)雜模式。一方面，有些學(xué)者開(kāi)始探索面向大規(guī)模無(wú)標(biāo)注文本數(shù)據(jù)的深度學(xué)習(xí)模型，如ELMo，GPT、BERT等，可以看做從大規(guī)模數(shù)據(jù)中學(xué)習(xí)知識(shí)的極致探索；另一方面，現(xiàn)有深度學(xué)習(xí)技術(shù)尚未考慮人類積累的豐富知識(shí)（包括語(yǔ)言知識(shí)、世界知識(shí)、常識(shí)知識(shí)、認(rèn)知知識(shí)、行業(yè)知識(shí)等），如果將深度學(xué)習(xí)看做經(jīng)驗(yàn)主義方法，將符號(hào)知識(shí)看做理性主義方法，那么如何充分發(fā)揮基于規(guī)則的理性主義方法和基于統(tǒng)計(jì)的經(jīng)驗(yàn)主義方法的優(yōu)勢(shì)，兩者互相補(bǔ)充，更好、更快地進(jìn)行自然語(yǔ)言處理，仍然是我們需要探索的重要課題。

三、自然語(yǔ)言處理在BI的應(yīng)用

2018年，Gartner 在其發(fā)布的魔力象限報(bào)告中，明確指出增強(qiáng)型分析功能是 BI 產(chǎn)品發(fā)展的最重要、也是最顯著的發(fā)展趨勢(shì)之一，其原因并不難理解：“當(dāng)前企業(yè)使用的數(shù)據(jù)的規(guī)模和復(fù)雜度已經(jīng)逐漸超過(guò)人類可以處理的程度，靜態(tài)報(bào)表、儀表板等傳統(tǒng)工具已經(jīng)不能滿足需求，而通過(guò)機(jī)器學(xué)習(xí)、人工智能等技術(shù)增強(qiáng)分析，可以更好地處理這些數(shù)據(jù)。而如果利用自然語(yǔ)言處理、人工智能等技術(shù)的增強(qiáng)分析就可以自動(dòng)、快速地對(duì)數(shù)據(jù)進(jìn)行分析，輔助分析人員得到需要的數(shù)據(jù)洞察?！?/p>

作為連續(xù)多年入選“Gartner增強(qiáng)分析代表廠商”和“Gartner中國(guó)人工智能創(chuàng)業(yè)公司代表廠商（2020）”的Smartbi正是看到了這些趨勢(shì)，在2018年便開(kāi)始自主研發(fā)增強(qiáng)分析工具Smartbi NLA，期望通過(guò)引入自然語(yǔ)言處理、知識(shí)圖譜、推薦算法和機(jī)器問(wèn)答等人工智能技術(shù)，使得Smartbi NLA可以理解用戶的數(shù)據(jù)分析需求，并幫助其快速完成分析任務(wù)獲得數(shù)據(jù)洞見(jiàn)。

Smartbi NLA的交互式對(duì)話實(shí)際上是一種特定的語(yǔ)義分析任務(wù)。在學(xué)術(shù)界，類似的任務(wù)最早可以追溯到1970年代提出的自然語(yǔ)言編程（Natural-language programming），是指將自然語(yǔ)言（研究比較多的是英語(yǔ)）翻譯為特定的編程語(yǔ)言。在1980年代，人們又針對(duì)關(guān)系性數(shù)據(jù)庫(kù)提出了自然語(yǔ)言數(shù)據(jù)庫(kù)查詢（Natural Language Database Query），也稱為Text2SQL、NL2SQL等。它將用戶的自然語(yǔ)句轉(zhuǎn)為可以執(zhí)行的SQL語(yǔ)句，從而免除業(yè)務(wù)用戶學(xué)習(xí)SQL語(yǔ)言的煩惱，成功將NLP應(yīng)用于BI領(lǐng)域。

Smartbi正是利用了NL2SQL技術(shù)，將自然語(yǔ)言通過(guò)神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)化為計(jì)算機(jī)可以識(shí)別的數(shù)據(jù)庫(kù)查詢語(yǔ)言。用戶通過(guò)語(yǔ)音或者鍵盤(pán)輸入后，“AI智能小麥”會(huì)將輸入的自然語(yǔ)言轉(zhuǎn)為語(yǔ)言元模型的形式，通過(guò)小麥內(nèi)置的知識(shí)抽取算法，經(jīng)過(guò)深度學(xué)習(xí)模型將元模型轉(zhuǎn)化為機(jī)器可以理解的數(shù)據(jù)庫(kù)語(yǔ)言。最后通過(guò)Smartbi預(yù)置的查詢引擎和圖形引擎，快速準(zhǔn)確的找到用戶想要的查詢結(jié)果，自動(dòng)生成圖形輸出，也可以在Smartbi中對(duì)查詢結(jié)果進(jìn)行組合和進(jìn)一步分析。

圖：NL2SQL模型原理示意圖

Smartbi NLA是時(shí)下前沿的數(shù)據(jù)分析工具，簡(jiǎn)化為搜索引擎，僅僅只有一個(gè)輸入框，頁(yè)面直接輸入描述業(yè)務(wù)問(wèn)題，工具自動(dòng)把數(shù)據(jù)查詢出來(lái)，免去學(xué)習(xí)操作的過(guò)程，特別適合在展廳大屏、領(lǐng)導(dǎo)辦公室大屏等場(chǎng)合使用，一經(jīng)推出便廣受客戶歡迎。

1、Smartbi自然語(yǔ)言查詢：臨危受命

2、Smartbi自然語(yǔ)言查詢：游刃有余

3、Smartbi自然語(yǔ)言查詢：堪當(dāng)大任

4、Smartbi自然語(yǔ)言查詢：如影相隨

審核編輯：符乾江