俞凱博士深度解讀視覺與語音的區(qū)別

如果橫向?qū)Ρ日Z音和視覺兩種技術(shù)，大多數(shù)人可能會直觀地認為視覺是比語音更復(fù)雜的一種技術(shù)，但事實真是如此嗎？

在17日舉辦的中國人工智能產(chǎn)業(yè)大會上，思必馳首席科學(xué)家、“思必馳-上海交大智能人機交互聯(lián)合實驗室”主任、上海交通大學(xué)計算機教授俞凱博士在接受雷鋒網(wǎng)采訪時表示，“語音和視覺是兩種不同的模態(tài)，前者是一維信號，后者是二維信號，視覺的幀率比語音低很多，因為視覺可能是一張圖片或者是視頻，視頻一秒24幀，而語音1秒鐘100幀就能聽出來差別，所以從實時性來看，語音的難度要高于視覺，但是從本身處理的信息量來講，視覺則會難于語音?！?/p>

當(dāng)然語音交互涉及到的問題不僅如此，它所做的不僅僅是語音識別。

語音識別屬于感知層，而感知只是語音交互的一部分

從上圖來看，一個端到端的語音交互方案包括了感知、認知和知識處理三個部分。俞凱表示，“識別和合成都屬于感知范疇，這部分的目的是把語音信號轉(zhuǎn)為編碼文字，在后端需要對轉(zhuǎn)成的編碼文字進行相應(yīng)的理解決策以及相關(guān)的表述，這是認知。”如何把感知和認知連接起來是一個問題，也是目前思必馳正在做的一件事情。

如果只看感知和認知部分，大數(shù)據(jù)和深度學(xué)習(xí)無疑是最核心的兩個因素。

俞凱舉了兩個例子：

不久前，微軟研究院發(fā)布的最新的語音識別測試結(jié)果顯示，電話語音在語音識別的測試當(dāng)中已經(jīng)達到了人類的水平（上圖左上角），人類的水平是在5.9，而這次測試的數(shù)據(jù)達到了5.8。俞凱指出，語音識別能夠達到這一水平的關(guān)鍵就是大幅度的計算。

第二個例子是上圖左下角展示的結(jié)果，這是思必馳利用極深的神經(jīng)網(wǎng)絡(luò)在一組抗噪的語音識別上做的測試，測試結(jié)果是7.1，這是一個什么樣的概念？

俞凱解釋，在深度學(xué)習(xí)產(chǎn)生之前，全世界最好的結(jié)果是13.4，深度學(xué)習(xí)產(chǎn)生之后這一數(shù)值降到了12，而7.1是目前最好的結(jié)果，如果做到5以下，就達到了人類水平，事實上，在一些特定場景下，結(jié)合深度學(xué)習(xí)以及大數(shù)據(jù)的技術(shù)已經(jīng)可以達到人的水平。因此，大數(shù)據(jù)和深度學(xué)習(xí)對人工智能的意義是顯而易見的。

但俞凱強調(diào)，站在學(xué)術(shù)界和產(chǎn)業(yè)界的角度看，感知層并不是最高深的問題，遠場和外噪聲環(huán)境下的語音識別、非配合式的語音交互這些問題學(xué)術(shù)界和從業(yè)者進一步深入研究就可以解決。認知問題，是深度學(xué)習(xí)和大數(shù)據(jù)組合之外，業(yè)界需要探索的方向。

“認知的難點在于你并不知道什么是好的什么是壞的，我們很難去理解在什么程度上是好的，交互決策用什么精確的指標(biāo)來客觀的衡量它，現(xiàn)在有很多不同的指標(biāo)提出來，所以在學(xué)術(shù)界和產(chǎn)業(yè)界都會存在很大的難點?！?/p>

認知計算是什么？

如果在網(wǎng)上查閱資料，你會發(fā)現(xiàn)認知計算算不上高頻詞，至少相比深度學(xué)習(xí)，認知計算在業(yè)界的熱度還沒那么高，俞凱坦言，關(guān)于認知計算業(yè)界目前還沒有一個統(tǒng)一的定義。

那么它和深度學(xué)習(xí)相比有什么特點？

俞凱向雷鋒網(wǎng)解釋道，“深度學(xué)習(xí)是一種方法，我們可以把它用在人工智能和控制上，它解決的是輸入和輸出之間的映射（算法），例如輸入語音，輸出的是文字；而認知計算解決的是理解、反饋和學(xué)習(xí)問題，它對應(yīng)于人腦當(dāng)中比較抽象的推理部分，認知的輸入和輸出都不明確。”

它用坐標(biāo)描述了語音交互在認知計算上的分類。按照對話的應(yīng)用場景來看，以輪回的次數(shù)作為橫坐標(biāo)，結(jié)構(gòu)的引進程度作為縱軸，我們就可以在坐標(biāo)的象限里分成四個部分（如上圖）：命令式、問答式、閑聊式和任務(wù)式四種場景?？梢钥闯?，命令式的交互和閑聊式的交互本質(zhì)上都沒有引進絕對的結(jié)構(gòu)化信息，命令相對簡單，閑聊會更復(fù)雜，而問答和任務(wù)這兩種交互場景是目前應(yīng)用得比較多的類型。

再來看看認知計算涉及到的技術(shù)，它包括深度（序列）學(xué)習(xí)、知識與數(shù)據(jù)雙輪驅(qū)動以及強化學(xué)習(xí)。

1.深度學(xué)習(xí)帶動了包括語音識別、對話交互在內(nèi)的技術(shù)進步，而在認知系統(tǒng)里，最大的進步還是深度序列學(xué)習(xí)，即把整個文字序列看成學(xué)習(xí)目標(biāo)。

2.知識與數(shù)據(jù)雙輪驅(qū)動的應(yīng)用越來越多，這其中出現(xiàn)了很多基于規(guī)則和統(tǒng)計混合的新的技術(shù)。

3.強化學(xué)習(xí)在AlphaGo之后被廣泛關(guān)注，其在對話交互當(dāng)中已經(jīng)成為最前沿的一種方式，現(xiàn)在深度Q網(wǎng)絡(luò)也已經(jīng)被廣泛應(yīng)用起來了。

認知計算需要解決大數(shù)據(jù)和深度學(xué)習(xí)之外的問題

俞凱認為，深度學(xué)習(xí)和大數(shù)據(jù)是基礎(chǔ)，但它們并不是萬能的，認知計算需要解決的就是深度學(xué)習(xí)和大數(shù)據(jù)不能解決的問題。例如，一個方言識別器準(zhǔn)確率即便達到了95%以上也不代表就有了好的交互體驗，這涉及到的是深度學(xué)習(xí)和大數(shù)據(jù)之外的問題。

首先，在深度學(xué)習(xí)之外，有兩個需要解決的問題：交互時機和異常處理。交互時機是指在對的時間切入交互，這里面包含了信號增強、對話狀態(tài)追蹤、失真及重疊語音的識別等任務(wù)；異常處理就是要知道如何去糾正，這其中的問題有異常檢測及置信度衡量、異常類型劃分等等。

除此之外，俞凱還介紹，大數(shù)據(jù)之外也涉及到了兩個問題，即語義理解范疇延伸、知識庫和應(yīng)用規(guī)劃的結(jié)合，這些都不是通過收集到的原始大數(shù)據(jù)就能解決的，它們都需要加入很多算法。

一言以蔽之，認知計算需要解決上述問題才能夠在用戶層面有好的交互體驗。

“我們會看到大數(shù)據(jù)和深度學(xué)習(xí)對普適模型以及大一統(tǒng)方案上將有很大的進步，但是真正實際使用過程中，要一些新型技術(shù)結(jié)合進去才有可能解決，科學(xué)上的進步往往是從產(chǎn)業(yè)上的問題作為入手點，而提出的解決方案可能會超越大家現(xiàn)在的想象?！庇釀P如此表示。言下之意，至少在語音交互上，產(chǎn)業(yè)界還存在很多問題亟待解決。

但我們對未來還是要保持樂觀的心態(tài)，隨著技術(shù)問題的進一步解決，語音交互領(lǐng)域未來會產(chǎn)生一些新的商業(yè)模式。俞凱告訴雷鋒網(wǎng)，預(yù)計明年將會有很多專業(yè)領(lǐng)域提供語音識別服務(wù)的公司會涌現(xiàn)出來，如醫(yī)療、金融和教育等領(lǐng)域，這些都需要專業(yè)的人來做數(shù)據(jù)模型，他們只需要用一套標(biāo)準(zhǔn)化的方案就可以實現(xiàn)應(yīng)用。換言之，雖然未來可能很難再有類似思必馳這些向第三方提供lisense的平臺型的公司出現(xiàn)，但創(chuàng)業(yè)企業(yè)可以從這些平臺公司獲取基礎(chǔ)技術(shù)，再根據(jù)細分行業(yè)的具體需求來形成應(yīng)用，這是語音交互產(chǎn)業(yè)的未來一個發(fā)展方向。