深度學(xué)習(xí)中最常見的10個(gè)方法，你應(yīng)該知道！

在過去十年中，人們對(duì)機(jī)器學(xué)習(xí)的興趣激增。幾乎每天，我們都可以在各種各樣的計(jì)算機(jī)科學(xué)課程、行業(yè)會(huì)議、華爾街日?qǐng)?bào)等等看到有關(guān)機(jī)器學(xué)習(xí)的討論。在所有關(guān)于機(jī)器學(xué)習(xí)的討論中，許多人把機(jī)器學(xué)習(xí)能做的事情和他們希望機(jī)器學(xué)習(xí)做的事情混為一談。從根本上講，機(jī)器學(xué)習(xí)是使用算法從原始數(shù)據(jù)中提取信息，并在某種類型的模型中表示這些信息。我們使用這個(gè)模型來推斷還沒有建模的其他數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一種模型，它們至少有50年歷史了。神經(jīng)網(wǎng)絡(luò)的基本單元是節(jié)點(diǎn)（node），基本上是受哺乳動(dòng)物大腦中的生物神經(jīng)元啟發(fā)。神經(jīng)元之間的連接也以生物的大腦為模型，這些連接隨著時(shí)間的推移而發(fā)展的方式是為“訓(xùn)練”。

在20世紀(jì)80年代中期和90年代初期，許多重要的模型架構(gòu)進(jìn)步都是在神經(jīng)網(wǎng)絡(luò)中進(jìn)行的。然而，為了獲得良好性能所需的時(shí)間和數(shù)據(jù)越來越多，這極大的降低了研究人員的興趣。在21世紀(jì)初期，計(jì)算能力呈指數(shù)級(jí)增長(zhǎng)，研究人員看到了計(jì)算機(jī)技術(shù)的“寒武紀(jì)爆發(fā)”。作為該領(lǐng)域的一個(gè)重要競(jìng)爭(zhēng)者——深度學(xué)習(xí)，因?yàn)橛?jì)算能力的爆炸式增長(zhǎng)，贏得了許多重要的機(jī)器學(xué)習(xí)競(jìng)賽。截至目前，這種趨勢(shì)仍然沒有減退;今天，我們看到機(jī)器學(xué)習(xí)的每個(gè)角落都提到了深度學(xué)習(xí)。

最近，我開始閱讀有關(guān)該深度學(xué)習(xí)的學(xué)術(shù)論文。根據(jù)我的研究，以下是一些對(duì)該領(lǐng)域的發(fā)展產(chǎn)生巨大影響的出版物：

● 紐約大學(xué)基于梯度的學(xué)習(xí)應(yīng)用于文檔識(shí)別（1998），它將卷積神經(jīng)網(wǎng)絡(luò)引入機(jī)器學(xué)習(xí)世界。
● 多倫多大學(xué)的DeepBoltzmann Machines（2009），它為Boltzmann機(jī)器提供了一種新的學(xué)習(xí)算法，包含許多隱藏變量層。
● 斯坦福和谷歌使用大規(guī)模無監(jiān)督學(xué)習(xí)構(gòu)建高級(jí)功能（2012），解決了僅使用未標(biāo)記數(shù)據(jù)構(gòu)建高級(jí)，類特定功能檢測(cè)器的問題。
● Berkeley的DeCAF-一種用于通用視覺識(shí)別的深度卷積激活功能（2013），它發(fā)布了DeCAF，這是一種深度卷積激活功能的開源實(shí)現(xiàn)，以及所有相關(guān)的網(wǎng)絡(luò)參數(shù)，使視覺研究人員能夠進(jìn)行深度實(shí)驗(yàn)跨越一系列視覺概念學(xué)習(xí)范例的表示。
● DeepMind使用Deep ReinforcementLearning（2016）播放Atari，它提供了第一個(gè)深度學(xué)習(xí)模型，可以使用強(qiáng)化學(xué)習(xí)直接從高維感覺輸入成功學(xué)習(xí)控制策略。

通過研究和學(xué)習(xí)論文，我學(xué)到了很多關(guān)于深度學(xué)習(xí)的豐富知識(shí)。在這里，我想分享AI工程師可以應(yīng)用于機(jī)器學(xué)習(xí)問題的10種強(qiáng)大的深度學(xué)習(xí)方法。但首先，讓我們來定義深度學(xué)習(xí)是什么。深度學(xué)習(xí)對(duì)于許多人來說是一個(gè)挑戰(zhàn)，因?yàn)樗男问皆谶^去十年中逐漸發(fā)生了改變。為了向各位更好的說明深層學(xué)習(xí)的地位，下圖說明了人工智能，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)之間關(guān)系的概念。

人工智能領(lǐng)域很廣泛，并且已經(jīng)存在了很長(zhǎng)時(shí)間。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)子集，而機(jī)器學(xué)習(xí)只是人工智能的一個(gè)子領(lǐng)域。將深度學(xué)習(xí)網(wǎng)絡(luò)與之前的前饋多層網(wǎng)絡(luò)進(jìn)行區(qū)分：

● 深度學(xué)習(xí)比以前的網(wǎng)絡(luò)更多的神經(jīng)元；
● 深度學(xué)習(xí)中有更復(fù)雜的連接層的方式；
● “寒武紀(jì)爆炸”的提供的計(jì)算能力；
● 深度學(xué)習(xí)可以自動(dòng)進(jìn)行特征提取。

當(dāng)我說到“更多神經(jīng)元”時(shí)，是指近年來神經(jīng)元的數(shù)量不斷增加，深度學(xué)習(xí)就可以表示更為復(fù)雜的模型。層也從多層網(wǎng)絡(luò)中每一層的完全連接，進(jìn)化成卷積神經(jīng)網(wǎng)絡(luò)中神經(jīng)元片段的局部連接，以及與遞歸神經(jīng)網(wǎng)絡(luò)中的同一神經(jīng)元的循環(huán)連接（與前一層的連接除外）。

深度學(xué)習(xí)可以被定義為具有大量參數(shù)和層數(shù)的神經(jīng)網(wǎng)絡(luò)：

● 無人監(jiān)督的預(yù)訓(xùn)練網(wǎng)絡(luò)；
● 卷積神經(jīng)網(wǎng)絡(luò)；
● 循環(huán)神經(jīng)網(wǎng)絡(luò)；
● 遞歸神經(jīng)網(wǎng)絡(luò)。

在這篇文章中，我主要對(duì)后三種網(wǎng)絡(luò)進(jìn)行講解。卷積神經(jīng)網(wǎng)絡(luò)（CNN）基本上式已經(jīng)跨越使用共享權(quán)重的空間延伸的標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)。CNN旨在通過在內(nèi)部的卷積來識(shí)別圖像，該卷積看到圖像上識(shí)別對(duì)象的邊緣。遞歸神經(jīng)網(wǎng)絡(luò)基本上是一個(gè)使用時(shí)間延伸擴(kuò)展空間的標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)，它提取進(jìn)入下一時(shí)間步的邊沿，而不是在同一時(shí)間進(jìn)入下一層。RNN進(jìn)行序列識(shí)別，例如語音或文本信號(hào)，因其內(nèi)部具有循環(huán)，意味著在RNN網(wǎng)絡(luò)中存在短時(shí)記憶。遞歸神經(jīng)網(wǎng)絡(luò)更類似于分層網(wǎng)絡(luò)，其中輸入序列實(shí)際上與時(shí)間無關(guān)，但輸入必須以樹狀方式分層處理。下面的10種方法可以應(yīng)用于所有這些架構(gòu)。

反向傳播