回顧語(yǔ)音識(shí)別技術(shù)優(yōu)勢(shì)及產(chǎn)品落地之路的應(yīng)用發(fā)展

什么是語(yǔ)音識(shí)別

語(yǔ)音識(shí)別是以語(yǔ)音為研究對(duì)象，通過(guò)語(yǔ)音信號(hào)處理和模式識(shí)別讓機(jī)器自動(dòng)識(shí)別和理解人類口述的語(yǔ)言。

語(yǔ)音識(shí)別技術(shù)歷史發(fā)展進(jìn)程

語(yǔ)音識(shí)別的研究可以追溯到20世紀(jì)50年代AT&T貝爾實(shí)驗(yàn)室的Audry系統(tǒng)，它是第一個(gè)可以識(shí)別十個(gè)英文數(shù)字的語(yǔ)音識(shí)別系統(tǒng)。

但真正取得實(shí)質(zhì)性進(jìn)展，并將它作為一個(gè)重要的課題開展研究則是在60年代末70年代初。計(jì)算機(jī)技術(shù)的發(fā)展為語(yǔ)音識(shí)別的實(shí)現(xiàn)提供了硬件和軟件的可能，語(yǔ)音信號(hào)線性預(yù)測(cè)編碼（LPC）技術(shù)和動(dòng)態(tài)時(shí)間規(guī)整（DTW）技術(shù)的提出，有效解決了語(yǔ)音信號(hào)的特征提取和不等長(zhǎng)匹配問(wèn)題。這一時(shí)期語(yǔ)音識(shí)別主要基于模板匹配原理，研究的領(lǐng)域局限在特定人，小詞匯表的孤立詞識(shí)別，實(shí)現(xiàn)了基于線性預(yù)測(cè)倒譜和DTW技術(shù)的特定人孤立詞語(yǔ)音識(shí)別系統(tǒng)；同時(shí)提出了矢量量化（VQ）和隱馬爾可夫模型（HMM）理論。

80年代HMM和ANN在語(yǔ)音識(shí)別中成功應(yīng)用。李開復(fù)實(shí)現(xiàn)了第一個(gè)基于HMM的大詞匯量語(yǔ)音識(shí)別系統(tǒng)Sphinx。90年代隨著多媒體時(shí)代的來(lái)臨，大量企業(yè)開始投入巨資語(yǔ)音識(shí)別系統(tǒng)逐漸從實(shí)驗(yàn)室走向?qū)嵱谩?0年代以來(lái)大數(shù)據(jù)、漣漪效應(yīng)和深度神經(jīng)網(wǎng)絡(luò)帶來(lái)了語(yǔ)音識(shí)別爆發(fā)。

語(yǔ)音識(shí)別的過(guò)程

首先是聲音的輸入，輸入的音頻可以是實(shí)時(shí)的來(lái)自于麥克風(fēng)，也可以來(lái)自于現(xiàn)成的音頻文件。然后是音頻信號(hào)的預(yù)處理，包括降噪、回聲消除、端點(diǎn)檢查和模數(shù)轉(zhuǎn)換等等。特征提取，就是從音頻信號(hào)中提取出對(duì)識(shí)別有用的信息，將這些信息拿到聲學(xué)模型中去匹配，會(huì)得到這些音頻信號(hào)的發(fā)音信息，比如這里例子中的“科大訊飛”四個(gè)字的發(fā)音信息。然后把這些發(fā)音信息拿到語(yǔ)言模型中匹配，找出最大概率的發(fā)這四個(gè)音的漢字。這樣一個(gè)識(shí)別的過(guò)程就完成了。

這過(guò)程中比較核心的部分就是聲學(xué)模型和語(yǔ)言模型的匹配和處理，HMM（隱馬爾科夫模型）和深度神經(jīng)網(wǎng)絡(luò)就是在這里發(fā)揮作用的。

由于HMM只需要少量的數(shù)據(jù)就能訓(xùn)練出一個(gè)可用的模型，所以在上世界80、90年代，HMM技術(shù)在語(yǔ)音識(shí)別領(lǐng)域幾乎是處于統(tǒng)治地位的，直到移動(dòng)互聯(lián)網(wǎng)還有大數(shù)據(jù)技術(shù)的爆發(fā)，數(shù)據(jù)的來(lái)源已經(jīng)完全不是問(wèn)題的情況下，深度神經(jīng)網(wǎng)絡(luò)才逐漸讓HMM退居二線。下面我們以HMM為例，講解一下它在語(yǔ)音識(shí)別中是如何發(fā)揮作用的。

HMM淺析

首先和大家分享一個(gè)我在網(wǎng)上看到的關(guān)于異地戀的故事：小明有個(gè)女朋友在北京上學(xué)。

我們來(lái)給出一些假設(shè)條件，比如女朋友只有購(gòu)物散步和宅家里這三種活動(dòng)（這些叫可觀察到的狀態(tài)），天氣也只有多云晴天和下雨三種（這些叫隱藏的狀態(tài)，就是小明無(wú)法直接觀察到的狀態(tài)），如果第一天是多云的情況下，第二天還是多云的概率是0.5、晴天的概率0.3、下雨的概率0.2；再比如今天是晴天的情況下，女朋友去購(gòu)物的概率是0.5，去散步的概率0.3，宅家里的概率0.2。那么所有上述的假設(shè)條件合在一起其實(shí)就形成了一個(gè)模型，這個(gè)模型就叫做HMM模型。

這三個(gè)問(wèn)題在很早以前就有很多算法大師給出了解法，也就是說(shuō)這些看起來(lái)很難解的問(wèn)題對(duì)計(jì)算機(jī)來(lái)說(shuō)都很快解出來(lái)。

那么這些和語(yǔ)音識(shí)別到底有什么關(guān)系？我將第二個(gè)問(wèn)題和第三個(gè)問(wèn)題抽象一下。

大家看這張PPT，左邊這個(gè)部分就對(duì)應(yīng)剛剛的第二個(gè)問(wèn)題：已知模型參數(shù)和女朋友的活動(dòng)序列（就是可觀察狀態(tài)鏈），來(lái)求最大概率的隱藏狀態(tài)鏈（也就是這三天天氣的變化序列）。

而語(yǔ)音識(shí)別也是已知一個(gè)HMM和一段我們可觀察到的波形，來(lái)求這段音頻包含的最大概率的隱藏狀態(tài)，這里隱藏狀態(tài)鏈指的就是識(shí)別結(jié)果中的文字。

對(duì)于第三個(gè)問(wèn)題，由于缺少了一個(gè)已知的HMM模型，所以我們需要先利用已知的歷史數(shù)據(jù)來(lái)訓(xùn)練一個(gè)可用的模型，然后再來(lái)求識(shí)別結(jié)果。

同樣一個(gè)模型，同樣一套模型參數(shù)，各個(gè)狀態(tài)轉(zhuǎn)化和映射概率都沒(méi)有變，我們把可觀察狀態(tài)換成語(yǔ)音識(shí)別的輸入波形（或者說(shuō)是波形特征），把隱藏狀態(tài)換成語(yǔ)音識(shí)別的輸出（也就是文字結(jié)果），就會(huì)發(fā)現(xiàn)這個(gè)HMM用來(lái)做語(yǔ)音識(shí)別簡(jiǎn)直太合適啦。

比如這里的例子，這樣三個(gè)連續(xù)的波形隱含的文字到底是“是十四”還是“四十四”，我們只需要分別把它們的概率算出來(lái)，哪個(gè)概率大我們就認(rèn)為是哪個(gè)結(jié)果。對(duì)于HMM模型未知的情況下，我們可以利用帶標(biāo)注的數(shù)據(jù)按照鮑姆-韋爾奇算法訓(xùn)練一個(gè)就可以了，足夠的數(shù)據(jù)就能訓(xùn)練出趨于完美的模型。

注意，這個(gè)例子中我們并沒(méi)有區(qū)分聲學(xué)模型和語(yǔ)言模型，而是將兩者放在一起抽象出來(lái)一個(gè)大的模型，將波形直接映射成文字，而省去類似拼音發(fā)音的中間結(jié)果。事實(shí)上HMM也的確是既可以做聲學(xué)模型，也可以做語(yǔ)言模型。

訊飛開放平臺(tái)語(yǔ)音識(shí)別

本節(jié)公開課說(shuō)的我們平臺(tái)的語(yǔ)音識(shí)別是專指語(yǔ)音聽寫的功能，就是將語(yǔ)音轉(zhuǎn)化成文字的功能，而和識(shí)別相關(guān)的命令詞識(shí)別和語(yǔ)義理解，會(huì)在后面的課程中為大家講解。

個(gè)性化識(shí)別指的是語(yǔ)音識(shí)別系統(tǒng)具備自動(dòng)學(xué)習(xí)并適應(yīng)用戶使用習(xí)慣的能力，你用的越多，它越懂你。

例如語(yǔ)言模型的個(gè)性化，我們可以將一些不容易識(shí)別的生僻的詞，比如人名地名等上傳到給我們?cè)贫?，我們根?jù)你上傳的信息有針對(duì)性的優(yōu)化你的語(yǔ)言模型，提高這些詞的識(shí)別率。后面會(huì)有視頻給大家演示這樣的效果。

目前我們訊飛的識(shí)別支持中文和英文，還支持中文的21種方言，其中粵語(yǔ)和四川話是免費(fèi)開放就可以使用的，其他的方言需要通過(guò)商務(wù)合作后才能使用。

離線聽寫也是有的，在訊飛輸入法和訊飛語(yǔ)記app中都已經(jīng)使用了。大家要開發(fā)Android平臺(tái)的應(yīng)用可以借助語(yǔ)記APP提供離線聽寫能力，來(lái)讓你自己的應(yīng)用也具有離線聽寫的功能。