機(jī)器學(xué)習(xí)技術(shù)的理論背景

機(jī)器學(xué)習(xí)可以定義為一組算法，有助于根據(jù)過(guò)去的學(xué)習(xí)進(jìn)行預(yù)測(cè)。

在機(jī)器學(xué)習(xí)算法中，輸入數(shù)據(jù)被組織為數(shù)據(jù)點(diǎn)。每個(gè)數(shù)據(jù)點(diǎn)都由描述所表示數(shù)據(jù)的特征組成。例如，尺寸和速度是可以將汽車(chē)與街道上的自行車(chē)區(qū)分開(kāi)來(lái)的特征。汽車(chē)的大小和速度通常都高于自行車(chē)。機(jī)器學(xué)習(xí)方法的目標(biāo)是將輸入數(shù)據(jù)轉(zhuǎn)換為有意義的輸出，例如將輸入數(shù)據(jù)分類(lèi)為汽車(chē)和非汽車(chē)數(shù)據(jù)點(diǎn)或?qū)ο蟆］斎胪ǔ?xiě)為向量，由多個(gè)數(shù)據(jù)點(diǎn)組成。輸出寫(xiě)為。xy

二維或三維輸入數(shù)據(jù)可以在所謂的特征空間中進(jìn)行說(shuō)明和查看，其中每個(gè)數(shù)據(jù)點(diǎn)都相對(duì)于其特征繪制。圖 8 （a） 顯示了描述汽車(chē)和非汽車(chē)對(duì)象的二維特征空間的簡(jiǎn)化示例。x

圖8.根據(jù)汽車(chē)和非汽車(chē)物體的大小和速度對(duì)汽車(chē)和非汽車(chē)對(duì)象進(jìn)行分類(lèi)：特征空間（a）以及兩個(gè)類(lèi)（b）之間的相應(yīng)間隔。

所謂的學(xué)習(xí)映射函數(shù)或，給出特征向量之間的差異（例如，分類(lèi)為汽車(chē)和非汽車(chē)數(shù)據(jù)點(diǎn)）。該模型的結(jié)構(gòu)范圍從簡(jiǎn)單的線(xiàn)性函數(shù)（例如圖 8 （a） 中的汽車(chē)和非汽車(chē)對(duì)象的線(xiàn)劃分）到復(fù)雜的非線(xiàn)性神經(jīng)網(wǎng)絡(luò)。學(xué)習(xí)方法的目標(biāo)是確定系數(shù)的值，這些系數(shù)表示可用輸入數(shù)據(jù)中的模型參數(shù)。映射函數(shù)的輸出是算法對(duì)輸入數(shù)據(jù)描述內(nèi)容的預(yù)測(cè)。model，h_θ （x）θ-

機(jī)器學(xué)習(xí)方法可以根據(jù)映射函數(shù)的學(xué)習(xí)方式進(jìn)行分類(lèi)（圖 9）。有三種可能性：

監(jiān)督學(xué)習(xí) –映射函數(shù)是根據(jù)訓(xùn)練數(shù)據(jù)對(duì)計(jì)算的，其中預(yù)先知道的輸出在訓(xùn)練階段單獨(dú)提供給學(xué)習(xí)算法。計(jì)算出模型參數(shù)后，可以將模型部署到目標(biāo)應(yīng)用程序中。當(dāng)它收到未知數(shù)據(jù)點(diǎn)時(shí)，它的輸出將是預(yù)測(cè)值。yy

無(wú)監(jiān)督學(xué)習(xí) –在這種情況下，與監(jiān)督學(xué)習(xí)相比，在訓(xùn)練階段沒(méi)有可用的特征標(biāo)簽對(duì)。學(xué)習(xí)算法的輸入僅包含未標(biāo)記的數(shù)據(jù)點(diǎn)。這種機(jī)器學(xué)習(xí)方法的目標(biāo)是直接從輸入特征在特征空間中的分布中推斷出輸入特征的標(biāo)簽。x

強(qiáng)化（半監(jiān)督）學(xué)習(xí) –在這種情況下，訓(xùn)練數(shù)據(jù)也沒(méi)有標(biāo)簽，但構(gòu)建模型是為了通過(guò)一組操作促進(jìn)與其環(huán)境的交互。映射函數(shù)將環(huán)境的狀態(tài)映射到操作，該狀態(tài)由輸入數(shù)據(jù)提供給操作。獎(jiǎng)勵(lì)信號(hào)指示操作在環(huán)境的特定狀態(tài)下的性能。當(dāng)信號(hào)表明積極影響時(shí)，學(xué)習(xí)算法會(huì)加強(qiáng)動(dòng)作。如果識(shí)別出負(fù)面影響，該算法將阻止環(huán)境的特定操作或狀態(tài)。

圖9.基于訓(xùn)練方法的機(jī)器學(xué)習(xí)算法分類(lèi)。

深度學(xué)習(xí)革命

近年來(lái)，所謂的深度學(xué)習(xí)范式徹底改變了機(jī)器學(xué)習(xí)領(lǐng)域。深度學(xué)習(xí)通過(guò)解決以前傳統(tǒng)模式識(shí)別方法無(wú)法解決的挑戰(zhàn)，對(duì)機(jī)器學(xué)習(xí)社區(qū)產(chǎn)生了巨大影響（LeCun et al. 2015）。深度學(xué)習(xí)的引入極大地提高了專(zhuān)為視覺(jué)識(shí)別、對(duì)象檢測(cè)、語(yǔ)音識(shí)別、異常檢測(cè)或基因組學(xué)而設(shè)計(jì)的系統(tǒng)精度。深度學(xué)習(xí)的關(guān)鍵方面是，用于解釋數(shù)據(jù)的特征是從訓(xùn)練數(shù)據(jù)中自動(dòng)學(xué)習(xí)的，而不是由工程師手動(dòng)制作的。

圖 10.經(jīng)過(guò)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)可以識(shí)別圖像中的汽車(chē)。

到目前為止，構(gòu)建良好的模式識(shí)別算法的主要挑戰(zhàn)是手動(dòng)設(shè)計(jì)用于分類(lèi)的手工制作的特征向量，例如早期版本的交通標(biāo)志識(shí)別系統(tǒng)中使用的局部二進(jìn)制模式，如第 1 部分所述。深度學(xué)習(xí)的出現(xiàn)已經(jīng)用學(xué)習(xí)算法取代了特征向量的手動(dòng)工程，該算法可以自動(dòng)發(fā)現(xiàn)原始輸入數(shù)據(jù)中的重要特征。

在架構(gòu)上，深度學(xué)習(xí)系統(tǒng)由多層非線(xiàn)性單元組成，可以將原始輸入數(shù)據(jù)轉(zhuǎn)換為更高級(jí)別的抽象。每個(gè)層將前一層的輸出映射到適用于回歸或分類(lèi)任務(wù)的更復(fù)雜的表示中。這種學(xué)習(xí)通常在深度神經(jīng)網(wǎng)絡(luò)上進(jìn)行，該網(wǎng)絡(luò)通過(guò)使用反向傳播算法進(jìn)行訓(xùn)練。該算法迭代地調(diào)整網(wǎng)絡(luò)的參數(shù)或權(quán)重，以模擬輸入訓(xùn)練數(shù)據(jù)。因此，網(wǎng)絡(luò)在訓(xùn)練結(jié)束時(shí)學(xué)習(xí)了輸入數(shù)據(jù)點(diǎn)的復(fù)雜非線(xiàn)性映射函數(shù)。

圖 10 顯示了深度神經(jīng)網(wǎng)絡(luò)的符號(hào)表示，該網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練以識(shí)別圖像中的汽車(chē)。輸入層表示原始輸入像素。隱藏層 1 通常模擬圖像某些位置和方向中邊緣的存在與否。第二個(gè)隱藏層使用在前一層中計(jì)算的邊對(duì)對(duì)象零件進(jìn)行建模。第三個(gè)隱藏層構(gòu)建了建模對(duì)象的抽象表示，在我們的例子中，這是汽車(chē)的成像方式。輸出層根據(jù)第三個(gè)隱藏層的高級(jí)特征計(jì)算給定圖像包含汽車(chē)的概率。

不同的網(wǎng)絡(luò)架構(gòu)源于神經(jīng)網(wǎng)絡(luò)的單元和層的分布方式。所謂的感知器是最簡(jiǎn)單的，由單個(gè)輸出神經(jīng)元組成。通過(guò)構(gòu)建感知器可以獲得大量的神經(jīng)網(wǎng)絡(luò)風(fēng)格。這些網(wǎng)絡(luò)中的每一個(gè)都比其他網(wǎng)絡(luò)更適合特定的應(yīng)用程序。圖 11 顯示了近年來(lái)創(chuàng)建的眾多神經(jīng)網(wǎng)絡(luò)架構(gòu)中最常見(jiàn)的三種。

深度前饋神經(jīng)網(wǎng)絡(luò)（圖11a）是一種結(jié)構(gòu)，其中兩個(gè)相鄰層之間的神經(jīng)元完全互連，并且信息流僅在一個(gè)方向上，從系統(tǒng)的輸入到輸出。這些網(wǎng)絡(luò)可用作通用分類(lèi)器，并用作所有其他類(lèi)型的深度神經(jīng)系統(tǒng)的基礎(chǔ)。

圖 11.深度神經(jīng)網(wǎng)絡(luò)架構(gòu)（來(lái)源：www.asimovinstitute.org）

深度卷積神經(jīng)網(wǎng)絡(luò)（圖11b）改變了視覺(jué)感知方法的發(fā)展方式。此類(lèi)網(wǎng)絡(luò)由交替的卷積層和池化層組成，這些層通過(guò)從輸入數(shù)據(jù)進(jìn)行泛化來(lái)自動(dòng)學(xué)習(xí)對(duì)象特征。這些學(xué)習(xí)到的特征被傳遞到一個(gè)完全互連的前饋網(wǎng)絡(luò)進(jìn)行分類(lèi)。這種類(lèi)型的卷積網(wǎng)絡(luò)是圖 10 所示汽車(chē)檢測(cè)架構(gòu)和第1 部分描述的用例的基礎(chǔ)。

雖然深度卷積網(wǎng)絡(luò)對(duì)視覺(jué)識(shí)別至關(guān)重要，但深度遞歸神經(jīng)網(wǎng)絡(luò)（圖11c）對(duì)于自然語(yǔ)言處理至關(guān)重要。由于隱藏層中神經(jīng)元之間的自遞歸連接，這種架構(gòu)中的信息是時(shí)間依賴(lài)性的。網(wǎng)絡(luò)的輸出可能因數(shù)據(jù)饋入網(wǎng)絡(luò)的順序而異。例如，如果在單詞“mouse”之前輸入單詞“cat”，則會(huì)獲得一定的輸出?，F(xiàn)在，如果輸入順序發(fā)生變化，輸出順序也可能更改。

機(jī)器學(xué)習(xí)算法的類(lèi)型

盡管深度神經(jīng)網(wǎng)絡(luò)是復(fù)雜機(jī)器學(xué)習(xí)挑戰(zhàn)中最常用的解決方案之一，但還有各種其他類(lèi)型的機(jī)器學(xué)習(xí)算法可用。表1根據(jù)其性質(zhì)（連續(xù)或離散）和訓(xùn)練類(lèi)型（有監(jiān)督或無(wú)監(jiān)督）對(duì)它們進(jìn)行分類(lèi)。

表 1.機(jī)器學(xué)習(xí)算法的類(lèi)型

機(jī)器學(xué)習(xí)估計(jì)器可以根據(jù)其輸出值或訓(xùn)練方法大致分類(lèi)。如果后者估計(jì)連續(xù)值函數(shù)（即連續(xù)輸出），則該算法被歸類(lèi)為回歸估計(jì)器。當(dāng)機(jī)器學(xué)習(xí)算法的輸出是離散變量時(shí)，該算法稱(chēng)為分類(lèi)器。第 1 部分中描述的交通標(biāo)志檢測(cè)和識(shí)別系統(tǒng)是此類(lèi)算法的實(shí)現(xiàn)。y

？ Ry ？ {0，1，…，q}

異常檢測(cè)是無(wú)監(jiān)督學(xué)習(xí)的一種特殊應(yīng)用。此處的目標(biāo)是識(shí)別數(shù)據(jù)集中的異常值或異常。異常值定義為特征向量，與應(yīng)用程序中常見(jiàn)的特征向量相比，這些特征向量具有不同的屬性。換句話(huà)說(shuō)，它們?cè)谔卣骺臻g中占據(jù)不同的位置。

表 1 還列出了一些流行的機(jī)器學(xué)習(xí)算法。下面簡(jiǎn)要解釋這些內(nèi)容。

線(xiàn)性回歸是一種回歸方法，用于將線(xiàn)、平面或超平面擬合到數(shù)據(jù)集。擬合模型是一個(gè)線(xiàn)性函數(shù)，可用于對(duì)實(shí)值函數(shù)進(jìn)行預(yù)測(cè)。y

邏輯回歸是線(xiàn)性回歸方法的離散對(duì)應(yīng)物，其中映射函數(shù)給出的預(yù)測(cè)實(shí)際值被轉(zhuǎn)換為概率輸出，該輸出表示輸入數(shù)據(jù)點(diǎn)對(duì)某個(gè)類(lèi)的成員資格。

樸素貝葉斯分類(lèi)器是一組基于貝葉斯定理構(gòu)建的機(jī)器學(xué)習(xí)方法，該定理假設(shè)每個(gè)特征都獨(dú)立于其他特征。

支持向量機(jī) （SVM） 旨在使用所謂的邊距計(jì)算類(lèi)之間的分離。邊距的計(jì)算盡可能寬，以便盡可能清楚地分隔類(lèi)。

集成方法，如決策樹(shù)、運(yùn)行dom 森林或AdaBoost組合了一組基礎(chǔ)分類(lèi)器，有時(shí)稱(chēng)為“弱”學(xué)習(xí)器，目的是獲得“強(qiáng)”分類(lèi)器。

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)算法，其中回歸或分類(lèi)問(wèn)題由一組稱(chēng)為神經(jīng)元的互連單元解決。從本質(zhì)上講，神經(jīng)網(wǎng)絡(luò)試圖模仿人腦的功能。

K-均值聚類(lèi)是一種用于將具有共同屬性的特征分組在一起的方法，即它們?cè)谔卣骺臻g中彼此接近。k 均值根據(jù)要分組的給定聚類(lèi)數(shù)，以迭代方式將常見(jiàn)要素分組到球形聚類(lèi)中。

均值偏移也是一種數(shù)據(jù)聚類(lèi)技術(shù)，對(duì)于異常值而言，該技術(shù)更為通用和穩(wěn)健。與 k 均值相反，均值偏移只需要一個(gè)優(yōu)化參數(shù)（搜索窗口大?。⑶也患俣〝?shù)據(jù)聚類(lèi)的球形先驗(yàn)形狀。

主成分分析 （PCA） 是一種數(shù)據(jù)降維技術(shù)，它將一組可能相關(guān)的特征轉(zhuǎn)換為一組名為主成分的線(xiàn)性不相關(guān)變量。主成分按方差順序排列。第一個(gè)分量的變化最大;第二個(gè)在此之下有下一個(gè)變體，依此類(lèi)推。

第三部分在功能安全要求的背景下評(píng)估這些機(jī)器學(xué)習(xí)算法。

審核編輯：郭婷