自然語言處理——人工智能連接主義復興浪潮中的下一個突破口

AI 行業(yè)應用是一片新的大陸，深度學習作為新大陸的基石，經(jīng)歷了一輪又一輪突破。過去十年，在計算機視覺、語音識別、棋類 AI 等計算和感知智能技術(shù)上，深度學習率先取得成功。而最近深度學習在認知智能/自然語言處理上的進展，特別是 Transformer 衍生模型加上兩階段預訓練語言模型范式的成功，正在將自然語言處理變成人工智能下一個最有可能的突破口。

計算機視覺與語音的成功是破繭成蝶，而非橫空出世

2010 年到 2017 年，從 LeNet 到 AlexNet、Inception、VGGNet、ResNet 及其衍生結(jié)構(gòu)，深度神經(jīng)網(wǎng)絡加上集成學習技術(shù)在計算機視覺研究中大放異彩，在 ImageNet 大規(guī)模深度視覺挑戰(zhàn)（ILSVRC）圖像分類任務上的錯誤率從 28.2% 一路降低到了 2% 左右。盡管這仍然是“實驗室環(huán)境”下的結(jié)果，但當 AI 在某一個單點任務上的表現(xiàn)接近或者超越人類的時候，就會給行業(yè)帶來巨大的商機。在視覺分類、檢索、匹配、目標檢測等各項任務上，隨著相關(guān)算法越來越準確，業(yè)界也開始在大量商業(yè)場景中嘗試這些技術(shù)。

人臉識別，作為計算機視覺技術(shù)取得突破的一個代表性應用，就是在這個大背景下從技術(shù)研究期進入成熟商業(yè)期，爆發(fā)成為一個千億甚至萬億級別的市場。

但在計算機視覺技術(shù)商業(yè)化的歷程中，其實也有一段不短的蟄伏期。在深度卷積神經(jīng)網(wǎng)絡興起之前，微軟亞洲研究院研究人臉識別的團隊曾在內(nèi)部長期遭受質(zhì)疑：做了十多年，準確率總是只有 70% 到 80%，看上去挺好玩，但這個準確率能有什么實際的應用價值呢？然而 2010 年深度學習浪潮迅速掃清了質(zhì)疑，長期研究這個方向的被質(zhì)疑者們，成了這個新商業(yè)領(lǐng)域的領(lǐng)導者，從火種涅槃成為滿天繁星。而連接主義學派的忠實信徒、蟄伏近三十年的深度學習三劍客 Geoff Hinton、Yann LeCun 和 Yoshua Bengio，也是因為在統(tǒng)計機器學習盛行的數(shù)十年間受盡冷眼的厚積，才有了 2010 年后因 GPU 算力和神經(jīng)網(wǎng)絡模型不斷加深而產(chǎn)生的薄發(fā)，從而一舉獲得圖靈獎。

為什么自然語言處理領(lǐng)域的發(fā)展要相對滯后？

深度學習在計算機視覺、語音識別等感知智能技術(shù)上率先取得成功并不是偶然。深度學習秉承連接主義學派的范式，相較傳統(tǒng)統(tǒng)計機器學習技術(shù)的最大進化在于其利用了高于統(tǒng)計方法數(shù)個數(shù)量級的參數(shù)和極其復雜的函數(shù)組合，通過引入各種非線性和多層級感知能力，構(gòu)成了遠強于統(tǒng)計機器學習模型的擬合能力。ResNet-152 的參數(shù)量已經(jīng)達到六千萬的級別，GPT-2.0 的參數(shù)量達到了驚人的 15 億。而其他上億甚至數(shù)億級別的網(wǎng)絡更是數(shù)不勝數(shù)。如此復雜的模型對數(shù)據(jù)的擬合能力達到了前所未有的水平，但是同時也極大提高了過擬合的風險。這對數(shù)據(jù)提出了極高的要求。訓練數(shù)據(jù)的數(shù)量、維度、采樣均衡度、單條數(shù)據(jù)本身的稠密度（非0、不稀疏的程度），都需要達到極高的水平，才能將過擬合現(xiàn)象降低到可控范圍。

視覺信息（圖像、視頻）恰好是這樣一類自然連續(xù)信號：一張圖片通常就有數(shù)百萬甚至上千萬像素，而且每個像素上通常都有顏色，數(shù)據(jù)量大、數(shù)據(jù)的表示稠密、冗余度也高。往往在丟失大量直接視覺信號的情況下，人還能迅速理解圖片的語義信息，就是因為自然連續(xù)信號，如圖像中的場景和物體往往具有視覺、結(jié)構(gòu)和語義上的共性。一個 30MB 的位圖圖片能被壓縮到 2MB 而讓人眼基本無法感知區(qū)別；一個 30MB 的 wave 音頻文件被壓縮到 3MB 的 MP3 還能基本保持主要旋律和聽感，都是因為這類自然連續(xù)信號中存在大量不易被人的感官所感知的冗余。

視覺信息這種的豐富和冗余度，讓深度神經(jīng)網(wǎng)絡得以從監(jiān)督信號中一層層提煉、一層層感知，最終學會部分判斷邏輯。深度神經(jīng)網(wǎng)絡在感知智能階段中在視覺任務和語音任務上的成功，離不開視覺、語音信號自身的這種數(shù)據(jù)特點。

今天，屬于感知智能的視覺和語音應用已經(jīng)全面開花，但屬于認知智能的自然語言處理卻發(fā)展滯后。這種發(fā)展狀態(tài)與自然語言處理技術(shù)中的數(shù)據(jù)特征也有密不可分的關(guān)系。

相對于圖片、語音給出的直接信號，文字是一種高階抽象離散信號。較之圖片中的一個像素，文本中一個單元信息密度更大、冗余度更低，往往組成句子的每一個單詞、加上單詞出現(xiàn)的順序，才能正確表達出完整的意思。如何利用單個文本元素（字/詞）的意思，以及如何利用語句中的順序信息，是近年來自然語言處理和文本分析技術(shù)的主要探索脈絡。

2013 年，詞的分布式向量表示（Distributed Representation）出現(xiàn)之前，如何在計算機中高效表示單個字/詞是難以逾越的第一個坎。在只能用One-hot向量來表示字/詞的年代，兩個近義詞的表示之間的關(guān)系卻完全獨立，語義相似度無法計算；上表示一個字/詞所需的上萬維向量中只有一個維度為1，其他維度都為0，稀疏度極高。面對這類信號，深度神經(jīng)網(wǎng)絡這類復雜的模型所擅長的化繁為簡的抽象、提煉、總結(jié)能力便束手無策，因為輸入信號已經(jīng)極簡到了連最基礎(chǔ)的自我表示都難以做到。

NLP 中的兩大重要挑戰(zhàn)：特征表示、結(jié)構(gòu)/語義理解正取得關(guān)鍵進展

而分布式詞向量將語言的特征表示向前推進了一大步。分布式詞向量提出了一個合理的假設(shè)：兩個詞的相似度，可以由他們在多個句子中各自的上下文的相似度去度量，而上下文相似的兩個詞會在向量空間中由兩個接近的向量來表示。這種做法部分賦予了詞向量“語義”，因此我們不必再讓機器去查百科全書告訴我們“蘋果”的近義詞是“梨子”，而是直接從大量的互聯(lián)網(wǎng)語料中去學習，原來“蘋果”的近義詞也可以是“三星”、“華為”。因為人們常常會說“我購買了一個蘋果手機”，也常說“我購買了一個三星手機”，模型會敏銳的學習到“蘋果”和“三星”在大量語料中出現(xiàn)時其上下文高度相似，因而認為兩個詞相似。分布式詞向量讓無語義、極稀疏的 One-hot 向量壽終正寢，而為大家提供了嵌入語義信息、稠密的特征表示，這才使得深度神經(jīng)網(wǎng)絡在自然語言處理和文本分析上的應用真正變得可能。

捕捉語句中在獨立的詞集合基礎(chǔ)之上、詞序列構(gòu)成的句子結(jié)構(gòu)信息也是自然語言處理和文本分析中的一個主要方向。傳統(tǒng)條件隨機場（CRF）考慮了前后相鄰元素和當前元素之間的依賴；長短時記憶網(wǎng)絡模型（LSTM）以一種衰減形式考慮了當前元素之前的元素序列；seq2seq 通過注意力和編解碼的機制使得解碼時的當前元素不光能用上已經(jīng)解碼完畢的元素序列，還能用上編碼前的序列的完整信息；近期各類基于 Transformer 結(jié)構(gòu)，如 ELMo 、BERT、GPT-2.0、XLNet，則利用兩階段（基于自編碼的預訓練加基于任務的調(diào)優(yōu)）模式，能夠以自監(jiān)督的方式更好地利用大規(guī)模的無標注語料訓練不同句子結(jié)構(gòu)中詞語之間的關(guān)系，并且突破傳統(tǒng)線性序列結(jié)構(gòu)中存在的難以建立長距離、雙向依賴關(guān)系的問題，學習到質(zhì)量更高的中間語言模型，再通過調(diào)優(yōu)就能在文本生成、閱讀理解、文本分類、信息檢索、序列標注等多個任務上取得當前最為領(lǐng)先的準確率。

以機器閱讀理解任務為例，在 SQuAD1.0 數(shù)據(jù)集上，BERT 和 XLNet 都已大幅超越人類的 91.22（F1分），分別達到了 93.16 和 95.08；在更加復雜的 SQuAD2.0 數(shù)據(jù)集上，XLNet 也已經(jīng)達到了 89.13。

又如在 2019 年 3 月舉行的第十四屆 NTCIR 上，短文本情感對話任務（STC3）提出的要求是：中文回答不僅需要內(nèi)容合理，語句流暢，而且需要情感合宜。例如，如果用戶說“我的貓昨天去世了”，如果機器人想表達悲傷的情感，那么最合適的回答可能是“這太悲傷了，很抱歉聽到”，但如果想表達安慰的情感，則應該說 “壞事永遠發(fā)生，我希望你會快樂”。對情感表達要求的增加，無疑增加了難度。

而在這個比賽中，一覽群智和人民大學信息學院聯(lián)合組成的團隊獲得了冠軍，其使用的方法便是基于 Transformer 改進的網(wǎng)絡模型，以情感識別、情感領(lǐng)域?qū)υ捵幽Ｐ?、集成學習等方法相結(jié)合，擊敗了十幾支強勁對手。類似的探索，讓 AI 在特定任務下的認知能力，朝著人類水平一步步發(fā)展。

認知智能進入快車道

自然語言處理領(lǐng)域的發(fā)展雖然比計算機視覺和語音領(lǐng)域滯后幾年，但是我們看到自然語言處理已經(jīng)進入快車道。近兩年來語言模型上的飛速進步，讓我們感受到之前制約自然語言處理和文本分析發(fā)展的主要難點，正在被更好的模型結(jié)構(gòu)、訓練和使用方法、更大的算力逐漸克服。為自然語言任務加入“常識”，也是另一個新興重要探索方向，這個方向則與知識圖譜技術(shù)緊密結(jié)合。

我們正處于認知智能的黃金發(fā)展期，新技術(shù)的出現(xiàn)與逐步成熟，使得更多行業(yè)的應用場景變得可能。一覽群智一直在探索認知智能的基礎(chǔ)技術(shù)發(fā)展與前沿行業(yè)應用，圍繞自然語言處理技術(shù)的變與不變，在這個過程中有著自己的思考和總結(jié)，并且通過智語這個核心技術(shù)產(chǎn)品，給出自己的答案。就像 BERT、GPT-2.0、XLNet 在兩階段范式上的殊途同歸，我們也認為基礎(chǔ)語言模型在不同任務上可以存在一些不變性，但在不同場景中一定要做特殊語料與任務下的調(diào)優(yōu)與適配。出于對文本信號特性的理解和自然語言處理技術(shù)發(fā)展階段的認識，我們構(gòu)建認知智能核心產(chǎn)品智語平臺的思路，也是圍繞這種變與不變在展開。

“智語” 自然語言處理平臺的智能流程

但認知智能在金融、公安、媒體等場景中的變化部分給 AI 廠商帶來的挑戰(zhàn)非常明顯。一個算法往往在不同場景下要利用不同的標注語料去形成不同的模型，一個媒體場景的 10 類新聞分類模型，無法給另一個媒體的 12 類分類體系使用。

為了解決數(shù)據(jù)標注難、封閉環(huán)境下模型訓練難、部署難等問題，一覽群智的智語平臺提供了標注管理、智能標注加速、自然語言處理、文本模型訓練、一鍵部署等端到端功能，提升了團隊在應對不同場景時的效率與效果。例如智能標注加速功能，利用主動學習的先進技術(shù)，將訓練一個分類或者序列標注模型的標注量有效降低至原有的 30%-50%，同時保證模型性能基本不變；加上平臺高效能的標注管理，總體效率提升可達數(shù)倍。而傻瓜式的訓練和部署，使得初級團隊成員通過短期培訓也能有效形成 AI 的生產(chǎn)力。

“智語” 自然語言處理平臺端到端流程方案

結(jié)語

回顧 AI 連接主義學派復興的十年，就像一個螺旋梯，算法與算力應用相互促進、不斷攀升。在見證 ImageNet 圖像分類錯誤率從 30% 一路降低到 2%左右；見證 AlphaGo 擊敗樊輝、李世石、柯潔之后，我們開始見證基于 BERT/GPT-2.0/XLNet 在閱讀理解任務超越人類。十年后再回顧，會發(fā)現(xiàn)今天之于自然語言處理，也許恰如 2014 年之于人臉識別。