百度端對端語音識別專利揭秘

百度公司提出的端對端神經(jīng)網(wǎng)絡(luò)模型來進行語音識別，成功的代替了手工工程化部件的流水線操作，這讓整個語音識別技術(shù)更加便捷，而使用神經(jīng)網(wǎng)絡(luò)來抽取輸入端的特征信息相當(dāng)于人功抽取特征則更加全面。

集微網(wǎng)消息，近年來，語音識別技術(shù)得到了迅猛的發(fā)展，這得益于人工智能的快速發(fā)展，其中最為主要的學(xué)業(yè)界的各大神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，包括基礎(chǔ)的序列神經(jīng)網(wǎng)絡(luò)模型RNN、LSTM和GRU。語音識別技術(shù)也已經(jīng)進入到各行各業(yè)中，如工業(yè)、家電、通信和汽車電子等。于是，對于語音識別技術(shù)的要求也將更加嚴格了，更傾向于走向準(zhǔn)確化和便捷化。

以往，構(gòu)建語音識別模型主要是使用HMM的序列模型，再使用手工工程化部件來實現(xiàn)整個流水線操作，并且對于不同的語言的語音需要重新構(gòu)建模型的結(jié)果特征。對此，國內(nèi)語音識別技術(shù)第一梯隊公司百度便提出了使用端對端的神經(jīng)網(wǎng)絡(luò)模型來進行語音識別工作，該專利為“端對端語音識別”（專利號：CN107408111A）。

首先，小編在這先介紹一下神經(jīng)網(wǎng)絡(luò)端對端的學(xué)習(xí)方式。對于語音識別來說，端到端深度學(xué)習(xí)做的是，訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)，輸入就是一段音頻，輸出直接是聽寫文本。其中這里的端表示輸入源數(shù)據(jù)端，另外一端是神經(jīng)網(wǎng)絡(luò)處理的結(jié)果也就是我們最終需要的目標(biāo)。這種訓(xùn)練學(xué)習(xí)的方式能應(yīng)對多種語言的語音識別的場景構(gòu)建，因為僅僅是需要改變輸入端和輸出端，深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)并不需要根據(jù)語言的語音不同而改變。

專利中提出的端對端的深度學(xué)習(xí)模型的架構(gòu)圖如圖1所示。該架構(gòu)包括訓(xùn)練以攝取語譜并生成文本的遞歸神經(jīng)網(wǎng)絡(luò)模型。首先，使用一個或更多個卷積層對語譜進行特征提取，緊接著，使用一個或多個遞歸層（雙向GRU神經(jīng)網(wǎng)絡(luò)）對語譜的特征進行時序建模。最后再使用全連接層將遞歸層獲取的語譜信息進行全連接作為CTC（鏈結(jié)式時間分類算法：重點解決輸入數(shù)據(jù)與給定標(biāo)簽的對齊問題）的輸入，經(jīng)過Softmax計算輸出各個文本標(biāo)簽的概率。

圖1端對端深度學(xué)習(xí)模型架構(gòu)圖

經(jīng)過上述端對端深度學(xué)習(xí)模型構(gòu)建后，專利中還給出了端對端深度學(xué)習(xí)模型的訓(xùn)練方法，如圖2所示。

圖2 端對端深度學(xué)習(xí)模型訓(xùn)練方法圖

首先需要為模型設(shè)置好，輸入端和輸出端，對于語音識別技術(shù)來說，輸入端為一時間序列頻譜幀的話語X，輸出端是與話語X具有相關(guān)聯(lián)的真實標(biāo)簽Y。

構(gòu)建深度神經(jīng)網(wǎng)絡(luò)模型（包括一個或多個卷積層和一個或多個遞歸層的模型）用來預(yù)測一個或多個字符也就是我們輸出端的標(biāo)簽。

根據(jù)網(wǎng)絡(luò)模型的輸出端的標(biāo)簽的概率分布與真實標(biāo)簽的誤差計算損失函數(shù)，提供損失函數(shù)推出標(biāo)簽預(yù)測的誤差，再使用梯度反向傳播算法更新模型參數(shù)。從而達到網(wǎng)絡(luò)模型學(xué)習(xí)的目的。

百度公司提出的端對端神經(jīng)網(wǎng)絡(luò)模型來進行語音識別，成功的代替了手工工程化部件的流水線操作，這讓整個語音識別技術(shù)更加便捷，而使用神經(jīng)網(wǎng)絡(luò)來抽取輸入端的特征信息相當(dāng)于人功抽取特征則更加全面，這讓整個語音識別技術(shù)更加準(zhǔn)確。從這兩方面來看，端對端的神經(jīng)網(wǎng)絡(luò)模型確實是讓語音識別技術(shù)走向了便捷化，準(zhǔn)確化。