搜狗“知音”實時翻譯可實現(xiàn)語音識別與機(jī)器翻譯融合

在第三屆世界互聯(lián)網(wǎng)大會烏鎮(zhèn)峰會上，搜狗在會上的一場語音實時翻譯“表演”引起了人們的關(guān)注。11月21日，搜狗正式推出了這個基于語音交互引擎“知音”的實時翻譯技術(shù)。

據(jù)介紹，搜狗語音實時翻譯技術(shù)是搜狗自研的機(jī)器同聲傳譯技術(shù)?；诖髷?shù)據(jù)和深度學(xué)習(xí)，該技術(shù)涵蓋了搜狗自主研發(fā)的語音識別、機(jī)器翻譯兩項重要技術(shù)，其準(zhǔn)確率能夠達(dá)到97%，支持最快400字每秒的高速聽寫，語音輸入日頻次可高達(dá)1.9億次。

搜狗機(jī)器翻譯融合端到端神經(jīng)機(jī)器翻譯技術(shù)以及基于實例的翻譯技術(shù)，使用的端到端神經(jīng)網(wǎng)絡(luò)翻譯模型通過編碼端獲取源端句子的分布式表示，利用注意力模型聚焦源端，使用循環(huán)神經(jīng)網(wǎng)絡(luò)生成翻譯結(jié)果。

在搜狗的整個翻譯系統(tǒng)中，第一個系統(tǒng)的功能是語音斷句。當(dāng)接受到一個特別長的語音信號時，系統(tǒng)通過機(jī)器學(xué)習(xí)自動判斷靜音與有效音；語音（1）與非語音（0）。判斷方法有兩種，第一是基于能量檢測的方式，能量小的是靜音，能量非常大的是有效音；第二就是基于深度學(xué)習(xí)模型的判斷，通過大量的數(shù)據(jù)進(jìn)行建模，建模之后可以通過模型自動檢測，當(dāng)檢測到這個地方是屬于非語音的概率更高，系統(tǒng)便認(rèn)為它是非語音，當(dāng)語音概率高的時候就判定為語音。

第二個系統(tǒng)功能是語音識別，目的是將語音信號轉(zhuǎn)化為文本。語音和文本之間的影射通過一種概率目標(biāo)來描述，這個概率目標(biāo)希望給定當(dāng)前的語音信號，最大化輸出W的概率，輸出對應(yīng)的W區(qū)別就是最優(yōu)語音識別結(jié)果。

在語音識別整體框架下涉及到兩個非常重要的模型，一個是聲學(xué)模型，就是人在發(fā)音每個單元的時候這個模型和聲音信號之間的相似形；另一個是語言模型，描述的就是識別結(jié)果中詞和詞之間連接的可能性，從而更好地規(guī)范整個的輸出結(jié)果，更加通順、流暢。

整個翻譯運(yùn)行結(jié)構(gòu)是這樣的，第一部是編碼端的技術(shù)，基于神經(jīng)網(wǎng)絡(luò)技術(shù)，系統(tǒng)將采集到的語音信號錄入到一個編碼器，編碼器具備語譯功能，能夠提取語音中的特征語句并翻譯成整句。之后是進(jìn)入對齊模型，模型判斷哪些詞和哪些詞可以對應(yīng)在一起，并把這些詞語的特征貢獻(xiàn)到解碼端得出文本，起到一個端到端的影射作用。

第二部分是Decoder技術(shù)，從準(zhǔn)確率的實際評測來看，GRU的結(jié)構(gòu)會更輕便，而且運(yùn)算的速度更快，目前的同傳技術(shù)里面，搜狗使用雙向的GRU技術(shù)共同構(gòu)建編碼端的結(jié)構(gòu)。解碼端共同抽象以后接入到Softmax里面輸出結(jié)果。這便是整個搜狗實時翻譯的運(yùn)行流程。

搜狗語音實時翻譯技術(shù)可謂是將語音識別與機(jī)器翻譯有效結(jié)合了起來。未來，在技術(shù)改變生活的道路上，也希望更多的語音翻譯軟件能優(yōu)化語音實時翻譯的性能和效果，不斷給用戶帶來更加完善、實用的語音技術(shù)和產(chǎn)品，同時推動整個語音行業(yè)乃至人工智能領(lǐng)域的技術(shù)革新和進(jìn)步。