關(guān)于語(yǔ)音轉(zhuǎn)寫(xiě)技術(shù)的解析和應(yīng)用

信息爆發(fā)時(shí)代，如何快速有效地處理視頻、音頻、文字等信息變得尤為重要。無(wú)論是政企會(huì)議、公檢法辦案，還是教學(xué)培訓(xùn)、記者采訪、個(gè)人錄音等場(chǎng)合均需要形成完整的文字記錄材料，音視頻文件也需要形成字幕。為解決各類場(chǎng)景下的音頻轉(zhuǎn)文字問(wèn)題，語(yǔ)音轉(zhuǎn)寫(xiě)應(yīng)運(yùn)而生。

今年7月，訊飛開(kāi)放平臺(tái)推出語(yǔ)音轉(zhuǎn)寫(xiě)功能。這項(xiàng)基于科大訊飛獨(dú)立研究的深度全序列卷積升級(jí)網(wǎng)絡(luò)語(yǔ)音識(shí)別框架的技術(shù)究竟有哪些核心原理？語(yǔ)音轉(zhuǎn)寫(xiě)的產(chǎn)品特性和優(yōu)勢(shì)又有哪些？應(yīng)用落地的場(chǎng)景以及未來(lái)發(fā)展前景是什么？這些問(wèn)題是很多對(duì)語(yǔ)音轉(zhuǎn)寫(xiě)感興趣的小伙伴想要了解的。

本期AI公開(kāi)課，我們邀請(qǐng)到科大訊飛AI研究院副院長(zhǎng) 高建清博士為我們講解語(yǔ)音轉(zhuǎn)寫(xiě)技術(shù)。

什么是語(yǔ)音轉(zhuǎn)寫(xiě)？01

語(yǔ)音轉(zhuǎn)寫(xiě)（LongFormAutomatic Speech Recognition）：基于科大訊飛獨(dú)立研究的深度全序列卷積神經(jīng)網(wǎng)絡(luò)語(yǔ)音識(shí)別框架（Deep Fully Convolutional Neural Network, DFCNN），針對(duì)語(yǔ)音的長(zhǎng)時(shí)相關(guān)性進(jìn)行語(yǔ)言建模，將音頻數(shù)據(jù)轉(zhuǎn)換成文本數(shù)據(jù)，可以讓信息傳遞更高效，為后續(xù)的數(shù)據(jù)檢索和數(shù)據(jù)挖掘提供基礎(chǔ)。

按照音頻傳輸形式分為

已錄制音頻（recorded audio）：將已經(jīng)錄制好的完整音頻文件傳輸至云端的轉(zhuǎn)寫(xiě)后臺(tái)，轉(zhuǎn)寫(xiě)完畢之后輸出音頻對(duì)應(yīng)的完整文字結(jié)果。

實(shí)時(shí)音頻流（real-time streaming）：在采集音頻的同時(shí)連續(xù)上傳音頻流至云端，云端實(shí)時(shí)返回文字結(jié)果，可以實(shí)現(xiàn)文字和聲音的同步展現(xiàn)。

語(yǔ)音轉(zhuǎn)寫(xiě)和語(yǔ)音聽(tīng)寫(xiě)的區(qū)別02

語(yǔ)音轉(zhuǎn)寫(xiě)和語(yǔ)音聽(tīng)寫(xiě)很多開(kāi)發(fā)者小伙伴容易混淆，在課程開(kāi)始之前先把兩者的區(qū)別給大家梳理清晰：

語(yǔ)音轉(zhuǎn)寫(xiě)應(yīng)用場(chǎng)景有哪些？03

電話銷售&客服

將坐席的通話轉(zhuǎn)換成文字，讓電話質(zhì)檢和信息同步更有效率，同時(shí)，也為基于文本建模的數(shù)據(jù)挖掘提供原料基礎(chǔ)。

會(huì)議&訪談?dòng)涗?/p>

可以將線上或者線下的會(huì)議和訪談的音頻記錄轉(zhuǎn)換成文字存稿，讓后期的信息檢索以及精細(xì)整理更方便快捷。

字幕生成

能夠?qū)⒁曨l中的音頻文件轉(zhuǎn)寫(xiě)成帶有的時(shí)間戳的文字信息，幫助您輕松生成與視頻相對(duì)應(yīng)的字幕文件。

語(yǔ)音鑒別

幫助您從音頻轉(zhuǎn)成的文字信息中搜索匹配相關(guān)詞類，對(duì)黃暴或者涉政內(nèi)容進(jìn)行快速且高效的鑒別。

場(chǎng)景營(yíng)銷

通過(guò)對(duì)轉(zhuǎn)寫(xiě)結(jié)果與用戶自定義的關(guān)鍵詞進(jìn)行搜索匹配，結(jié)合對(duì)應(yīng)時(shí)間戳信息，進(jìn)行線上廣告投放。