解析人工智能聲學(xué)

背景

機器學(xué)習(xí)現(xiàn)在已經(jīng)被廣泛應(yīng)用到計算機視覺、圖像處理、語音處理、地球物理等領(lǐng)域。和其他技術(shù)，比如壓縮感知等類似，在計算機和圖像處理領(lǐng)域掀起熱潮之后，機器學(xué)習(xí)開始在聲學(xué)嶄露頭角。雖然起步不早，但是發(fā)展很快。在人類語言語音、動物發(fā)聲、水下聲源定位等聲學(xué)子領(lǐng)域都有應(yīng)用。

機器學(xué)習(xí)的定義想必大家或多或少都知道，可以被寬泛地定義為，無需明確指令的情況下，依賴數(shù)據(jù)中的模式和特征，通過電腦研究算法和統(tǒng)計模型，來完成特定任務(wù)的過程。機器學(xué)習(xí)大體分為三類：監(jiān)督學(xué)習(xí) （Supervised learning） ，無監(jiān)督學(xué)習(xí) （Unsupervised learning） 和強化學(xué)習(xí) （Reinforcement learning）。這篇文章我們只關(guān)注前兩類。

吳恩達教授給出的監(jiān)督學(xué)習(xí)的定義：

In supervised learning， we are given a data set and already know what our correct output should look like， having the idea that there is a relationship between the input and the output。

無監(jiān)督學(xué)習(xí)：

Unsupervised learning allows us to approach problems with little or no idea what our results should look like. We can derive structure from data where we don‘t necessarily know the effect of the variables.

簡單說就是監(jiān)督學(xué)習(xí)對于輸出我們已經(jīng)有了預(yù)期，知道他們長什么樣;無監(jiān)督學(xué)習(xí)是不知道輸出應(yīng)該是什么，最后用數(shù)據(jù)來判斷。比如同樣是分類，垃圾郵件分類是監(jiān)督學(xué)習(xí);把同質(zhì)類的新聞分類就是無監(jiān)督學(xué)習(xí)，因為我們并不知道要分成幾類，也沒有具體分類標準。

聲學(xué)是物理學(xué)分支，人們幾百年來一直致力于發(fā)展聲學(xué)的物理模型，如下圖的x軸所示;隨著數(shù)據(jù)量的增大，以數(shù)據(jù)為驅(qū)動的方法也逐漸被運用，如圖的y軸。右上角方向就是聲學(xué)發(fā)展的方向：更先進完備的物理模型和大數(shù)據(jù)驅(qū)動的機器學(xué)習(xí)的結(jié)合。機器學(xué)習(xí)中，數(shù)據(jù)特征是關(guān)鍵。

機器學(xué)習(xí)的常見方法

機器學(xué)習(xí)有海量的學(xué)習(xí)資料，我一個外行就不再班門弄斧講基礎(chǔ)知識。在這里簡單列幾個比較常用的機器學(xué)習(xí)方法。

監(jiān)督學(xué)習(xí)

1. 回歸和分類

用吳恩達老師在Coursera的Machine Learning里面的一張圖展示什么是回歸。橫坐標房子面積，縱坐標房價，我們可以用各種曲線來代表房價趨勢，從而由面積預(yù)測房價。

分類很好理解，一個簡單的例子

其他的方法還有支持向量機SVM （Support Vector Machine）、神經(jīng)網(wǎng)絡(luò)等。其中支持向量機要比回歸更靈活，而神經(jīng)網(wǎng)絡(luò)可以利用非線性模型進行預(yù)測或分類。

神經(jīng)網(wǎng)絡(luò)非線性分類?

無監(jiān)督學(xué)習(xí)

主要方法有：

1. 主成分分析 PCA （Principal components analysis）

PCA： 通過正交變換把數(shù)據(jù)轉(zhuǎn)化成線性無關(guān)的主成分，對數(shù)據(jù)進行降維打擊，讓特征更具代表意義?

2. K-means

k-mean： 通過迭代找到不同類數(shù)據(jù)的中心點，從而對數(shù)據(jù)分類?

3. GMM 和最大期望Expectation Maximization （EM）

和k-mean類似，也是一種聚類分析。通過混合幾個不同的高斯分布，對特征分類。

GMM?

其他方法還有字典學(xué)習(xí) Dictionary learning，Autoencoder network、深度學(xué)習(xí)（包括卷積神經(jīng)網(wǎng)絡(luò)）等。

機器學(xué)習(xí)在聲學(xué)中的應(yīng)用

1. 音頻處理中的聲源定位

在音頻處理中，對聲源或者發(fā)聲者的語音增強是核心問題。機器學(xué)習(xí)和聲學(xué)的結(jié)合，在手機、汽車、助聽器和智能家居等領(lǐng)域都有廣泛應(yīng)用。雖然這個方向的發(fā)展非常迅猛，但是在高背景噪聲和房間混響的環(huán)境下準確識別聲源依然是最大的挑戰(zhàn)。LOCATA項目最近發(fā)起了一項聲源定位和追蹤的挑戰(zhàn)，建立了一個基于現(xiàn)實生活錄音的數(shù)據(jù)庫可以用來訓(xùn)練聲源定位算法?，F(xiàn)在國內(nèi)外各大語音相關(guān)企業(yè)都在開展這方面的研究。

GMM結(jié)合EM提高定位精度?

2. 海洋聲學(xué)中的聲源定位

海洋聲源定位主要利用聲吶系統(tǒng)結(jié)合Matched field processing （MFP）算法。由于空間中聲源絕大多數(shù)為稀疏分布（不是空間里布滿了聲源），所以壓縮感知 （Compressive sensing）在近十幾年被引入聲學(xué)。正如前述所說，聲學(xué)一般都是滯后引入其他學(xué)科中的新技術(shù)，這似乎是聲學(xué)學(xué)科的特點。

神經(jīng)網(wǎng)絡(luò)被用到過準確定位貨輪位置［5］。對于淺海和傾斜的海洋環(huán)境，需要針對不同的海水深度訓(xùn)練time delay neural network （TDNN）模型從而避免mismatch ［6］。今年又有學(xué)者成功利用單個水聽器hydrophone結(jié)合deep residual CNN （Res-Net）預(yù)測聲源范圍和深度［7］。隨著計算機能力的提升（比如量子計算機，雖然不知道還要多少年才能商用），結(jié)合機器學(xué)習(xí)和物理模型，有望實現(xiàn)更精準的實時海洋聲源定位。

三個船不同時間的時頻圖?

3. 生物聲學(xué)

這個方向的應(yīng)用比較有意思，主要研究自然界生物對各種聲音的產(chǎn)生和感知，這里的聲音不僅僅局限于語音。機器學(xué)習(xí)已經(jīng)用于回答以下問題：為什么動物會發(fā)聲？為什么會出現(xiàn)喊叫和歌聲？這些聲音之間有什么聯(lián)系？這些方面有豐富的數(shù)據(jù)，可供機器學(xué)習(xí)使用。

通過采集動物叫聲，來對他們的生物和生態(tài)方面的行為進行分類，從而鑒定某一個區(qū)域的動物分布密度，以及密度如何隨時間變化，月亮圓缺如何影響動物覓食行為等。早在90年代就有人研究過海洋動物的特征 ，通過提取音頻中特征對應(yīng)的心理聲學(xué)參數(shù)、時頻特征等來訓(xùn)練機器學(xué)習(xí)模型。80年代就有人通過海豚的叫聲來對海豚種類進行分類，后來GMM被用到了齒鯨叫聲頻譜參數(shù)數(shù)值變化的研究，用隱形馬爾科夫模型HMM通過鳥叫來給鳥分類，用多層神經(jīng)網(wǎng)絡(luò)分類蝙蝠和鯨魚，并識別出殺人虎鯨的叫聲——方便及時跑路。還有用ensemble learning來給大黃蜂進行分類。無監(jiān)督學(xué)習(xí)目前還沒有被大面積用到生物聲學(xué)領(lǐng)域。

幾個有趣的生物聲學(xué)數(shù)據(jù)庫：

https://www.macaulaylibrary.org

Sharing bird sounds from around the world

MobySound.org

British Library - Sounds

https://www.ngdc.noaa.gov/mgg/pad/

在醫(yī)學(xué)領(lǐng)域機器學(xué)習(xí)和聲學(xué)也有結(jié)合，用來做疾病診斷。比如澳大利亞的Noisy Guts（http://www.noisyguts.net/）公司用聲學(xué)信號結(jié)合機器學(xué)習(xí)，診斷腸道疾病。

還有對語音信號進行情感情緒分析，來預(yù)判危險行為的發(fā)聲，提前介入防止暴力發(fā)生，可以用在幼兒園和監(jiān)獄等場所。荷蘭的一家公司就在做這方面的研究。

通過語音時頻譜可以看出人的突然發(fā)生很大變化?

4. 地質(zhì)探測

對碳水化合物的地質(zhì)探測主要通過收集發(fā)射的地震波的反射波，來分析地表下反射層是否存在不連續(xù)，從而探測地下是否存在碳水資源。這個領(lǐng)域傳統(tǒng)方法是結(jié)合信號和圖像處理，利用聲學(xué)做地質(zhì)探測也是近期的事情。

5. 混響和環(huán)境聲

人類每天都在和復(fù)雜的聲環(huán)境打交道，各種各樣的聲源包括語音、音樂、沖擊、摩擦、流動、動物、機器等。每個聲源發(fā)出的聲音和其他聲源以及周圍環(huán)境發(fā)生交互，導(dǎo)致傳到人耳里面的聲音非常復(fù)雜，并不包含聲源的原始聲音。像之前提到的，去混響和反射、提取聲源聲音都是聲學(xué)和機器學(xué)習(xí)結(jié)合面臨的挑戰(zhàn)，如何在混合信號中提取出聲源聲。比如，我們需要讓助聽器能夠在背景噪聲中分辨出人聲，自動駕駛的汽車能在嘈雜的街道上聽出警笛并讓道（雖然這個功能在國內(nèi)應(yīng)該是雞肋）。

在自然環(huán)境中，聲源辨別面臨以下幾個問題：

聲源種類繁多;

每種聲源又有很大多樣性;

自然環(huán)境中都是多個聲音時間同時發(fā)生并互相干擾。

現(xiàn)在有好多的數(shù)據(jù)庫來提供自然界的錄音來訓(xùn)練classifier，比如DCASE challenges，ESC，TUT，Audio set，Urban Sound and scene classication （DCASE; TUT）。

通過聲學(xué)結(jié)合先進的圖像處理來進行聲音場景和聲源分類識別可以增強識別效果。還可以通過物理模型來模擬聲音，用來方便產(chǎn)生更多數(shù)據(jù)來提取特征，訓(xùn)練模型。

通過物理模型合成大型對比聲音數(shù)據(jù)庫?