詳細(xì)講解谷歌的AutoML

編者按：今天，深度學(xué)習(xí)專(zhuān)家Fran?ois Chollet在推特上發(fā)布了這么一段話(huà)：

不久之后，AutoML就會(huì)發(fā)現(xiàn)他們將面臨和強(qiáng)化學(xué)習(xí)一樣的問(wèn)題：人們會(huì)用非常具體的（有缺陷的）方法來(lái)解決許多寬泛的問(wèn)題。

谷歌在AI First戰(zhàn)略下，發(fā)布了自主編寫(xiě)機(jī)器學(xué)習(xí)代碼的工具AutoML，目的是讓更多人能夠以簡(jiǎn)單的操作就能使用機(jī)器學(xué)習(xí)。AutoML然而這項(xiàng)工具真的如此強(qiáng)大嗎，還是說(shuō)只是廣告打得響？fast.ai創(chuàng)始者之一Rachel Thomas就自己的理解分析了AutoML的現(xiàn)在以及未來(lái)。以下是論智的編譯。

在提出谷歌AutoML之前，CEO Sundar Pichai寫(xiě)了這么一段話(huà)：

目前，設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)非常費(fèi)時(shí)，并且需要專(zhuān)家只在科學(xué)和工程領(lǐng)域中的一小部分進(jìn)行研究。為了解決這一問(wèn)題，我們創(chuàng)造了一種名為AutoML的工具，有了它，神經(jīng)網(wǎng)絡(luò)可以設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)。我們希望AutoML能做到目前博士們可以達(dá)到的水平，三至五年之后，我們希望它能為眾多開(kāi)發(fā)者設(shè)計(jì)不同功能的新的神經(jīng)網(wǎng)絡(luò)。

谷歌AI的負(fù)責(zé)人Jeff Dean表示，100倍的計(jì)算力可能會(huì)替代機(jī)器學(xué)習(xí)專(zhuān)家，對(duì)計(jì)算有大量需求的神經(jīng)架構(gòu)搜索是他唯一舉出的例子。

這就引出了一系列問(wèn)題：開(kāi)發(fā)者們需要“設(shè)計(jì)不同功能的神經(jīng)網(wǎng)絡(luò)”嗎？神經(jīng)網(wǎng)絡(luò)是否能用有效的方法解決類(lèi)似的問(wèn)題呢？巨大的計(jì)算力真的可以替代機(jī)器學(xué)習(xí)專(zhuān)家嗎？

在評(píng)價(jià)谷歌的言論之前，我們要知道谷歌之所以一直強(qiáng)調(diào)高效使用深度學(xué)習(xí)的關(guān)鍵是更多的計(jì)算力，是因?yàn)檫@與它的利益相關(guān)，因?yàn)樵谟?jì)算力這個(gè)方面，谷歌足以吊打其他人。如果這是真的，那我們可能都需要購(gòu)買(mǎi)谷歌的產(chǎn)品了。就其本身而言，這并不意味著谷歌的說(shuō)法是錯(cuò)誤的，但是我們最好意識(shí)到他們言論之下的經(jīng)濟(jì)動(dòng)機(jī)。

在我們之前的文章中，我們介紹了AutoML的歷史，解釋了什么是神經(jīng)架構(gòu)搜索，并且指出對(duì)許多機(jī)器學(xué)習(xí)項(xiàng)目來(lái)說(shuō)，設(shè)計(jì)或選擇一種架構(gòu)并非耗時(shí)、最痛苦的部分。在今天的文章中，我要詳細(xì)講解谷歌的AutoML，該產(chǎn)品受到了許多媒體的關(guān)注。大致內(nèi)容如下：

什么是谷歌AutoML？

什么是遷移學(xué)習(xí)？

神經(jīng)架構(gòu)搜索 vs 遷移學(xué)習(xí)：兩種相反的方法

需要更多證據(jù)

媒體為什么對(duì)谷歌AutoML大加贊賞

我們?nèi)绾文芙鉀Q機(jī)器學(xué)習(xí)專(zhuān)家短缺的問(wèn)題？

什么是谷歌AutoML

雖然AutoML領(lǐng)域已經(jīng)發(fā)展了好幾年，在2017年5月，谷歌在它的神經(jīng)架構(gòu)搜索中加入了AutoML這個(gè)術(shù)語(yǔ)。在谷歌開(kāi)發(fā)者大會(huì)上，Sundar Pichai表示：“這就是我們?yōu)槭裁磩?chuàng)造AutoML這一工具，它證明了讓神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)是可能的?！蓖瑫r(shí)，谷歌AI的研究者Barret Zoph和Quoc Le也表示：“我們的方法（AutoML）中，一個(gè)控制器神經(jīng)網(wǎng)絡(luò)可以生成一個(gè)子模型架構(gòu)……”

2018年1月，谷歌云宣布將AutoML最為機(jī)器學(xué)習(xí)產(chǎn)品的一部分。目前，AutoML中有一個(gè)公開(kāi)可用的產(chǎn)品——AutoML Vision，這是一款可識(shí)別或者對(duì)圖中目標(biāo)物體進(jìn)行分類(lèi)的API。根據(jù)該產(chǎn)品的詳情頁(yè)面，我們得知Cloud AutoML Vision依靠?jī)煞N核心技術(shù)：遷移學(xué)習(xí)和神經(jīng)架構(gòu)搜索。由于在上一篇文章中我們已經(jīng)解釋過(guò)神經(jīng)架構(gòu)搜索，現(xiàn)在我們重點(diǎn)關(guān)注遷移學(xué)習(xí)，看看它是如何和神經(jīng)架構(gòu)搜索聯(lián)系在一起的。

什么是遷移學(xué)習(xí)？

遷移學(xué)習(xí)利用預(yù)訓(xùn)練模型，可以讓人們用少量數(shù)據(jù)集或者較少的計(jì)算力得到頂尖的結(jié)果，是一種非常強(qiáng)大的技術(shù)。預(yù)訓(xùn)練模型此前會(huì)在相似的、更大的數(shù)據(jù)集上進(jìn)行訓(xùn)練。由于模型無(wú)需從零開(kāi)始學(xué)習(xí)，它可以比那些用更少數(shù)據(jù)和計(jì)算時(shí)間的模型得到更精確的結(jié)果。

遷移學(xué)習(xí)是項(xiàng)重要的技術(shù)，很多世界500強(qiáng)公司都用到了這種技術(shù)。雖然遷移學(xué)習(xí)看起來(lái)不如神經(jīng)架構(gòu)搜索那么“性感”，但是它卻創(chuàng)造過(guò)很多學(xué)術(shù)界進(jìn)步的成果，例如Jeremy Howard和Sebastian Ruder將遷移學(xué)習(xí)應(yīng)用到NLP中的應(yīng)用，在6個(gè)數(shù)據(jù)集上達(dá)到了最佳分類(lèi)效果，同時(shí)也成為了OpenAI在這一領(lǐng)域的研究基礎(chǔ)。

神經(jīng)架構(gòu)搜索 vs 遷移學(xué)習(xí)：兩種不同的方法

遷移學(xué)習(xí)之下的基礎(chǔ)理念是，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)會(huì)對(duì)相同種類(lèi)的問(wèn)題進(jìn)行泛化：例如，很多圖片都有基礎(chǔ)特征（比如角度、圓圈、狗狗的臉、車(chē)輪等等），這些特征構(gòu)成了圖片的多樣性。相反，提升神經(jīng)架構(gòu)搜索的效率是因?yàn)?，每個(gè)數(shù)據(jù)集都是獨(dú)一無(wú)二的，它的結(jié)構(gòu)非常個(gè)性化。

當(dāng)神經(jīng)架構(gòu)搜索發(fā)現(xiàn)了一種新結(jié)構(gòu)，你必須從零開(kāi)始學(xué)習(xí)該結(jié)構(gòu)的權(quán)重。但是有了遷移學(xué)習(xí)，你可以從預(yù)訓(xùn)練模型上已有的權(quán)重開(kāi)始訓(xùn)練。這也意味著你無(wú)法在同一個(gè)問(wèn)題上同時(shí)使用遷移學(xué)習(xí)和神經(jīng)架構(gòu)搜索：如果你要學(xué)習(xí)一種新的結(jié)構(gòu)，你可能需要為此訓(xùn)練一個(gè)新權(quán)重；但如果你用遷移學(xué)習(xí)，可能無(wú)需對(duì)結(jié)構(gòu)進(jìn)行實(shí)質(zhì)性改變。

當(dāng)然，你可以將遷移學(xué)習(xí)運(yùn)用到一個(gè)經(jīng)過(guò)神經(jīng)架構(gòu)搜索的結(jié)構(gòu)上（我覺(jué)得這是個(gè)不錯(cuò)的想法）。這只需要幾個(gè)研究者用神經(jīng)架構(gòu)搜索和開(kāi)源的模型即可。如果可以用遷移學(xué)習(xí)，并不是所有機(jī)器學(xué)習(xí)從業(yè)者都要在問(wèn)題上使用神經(jīng)架構(gòu)搜索，然而，Jeff Dean、Sundar Pichai以及谷歌和媒體的報(bào)道都表示：每個(gè)人都應(yīng)該直接用神經(jīng)架構(gòu)搜索。

神經(jīng)架構(gòu)搜索的好處是什么？

神經(jīng)架構(gòu)搜索很適合用來(lái)尋找新的結(jié)構(gòu)！谷歌的AmoebaNet就是通過(guò)神經(jīng)架構(gòu)搜索學(xué)習(xí)來(lái)的，另外fast.ai很多技術(shù)進(jìn)步也都得益于神經(jīng)架構(gòu)搜索。

AmoebaNet不是根據(jù)獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)的，不具備縮放的能力，所以他不如ResNet那樣可以根據(jù)多種機(jī)器進(jìn)行調(diào)整。但是一個(gè)可以縮放的神經(jīng)網(wǎng)絡(luò)可以在未來(lái)學(xué)習(xí)并優(yōu)化。

需要更多證據(jù)

沒(méi)有證據(jù)表明每個(gè)數(shù)據(jù)集最好在它自己的模型上建模，而不是在現(xiàn)有模型上微調(diào)。由于神經(jīng)架構(gòu)搜索需要大型訓(xùn)練集，這對(duì)小型數(shù)據(jù)集來(lái)說(shuō)可能不太友好。即使是谷歌自己的一些研究也會(huì)用遷移技術(shù)而不是為每個(gè)數(shù)據(jù)集尋找一種新結(jié)構(gòu)，例如NASNet。

目前我還不知道有哪些使用神經(jīng)架構(gòu)搜索贏得了某項(xiàng)競(jìng)賽的案例，也不知道某種需要大量元計(jì)算的方法領(lǐng)先其他方法的情況。例如，最近的兩篇論文——Efficient Neural Architecture Search（ENAS）和Differentiable architecture search（DARTS）提出了更有效率的算法。DARTS僅僅用4個(gè)GPU就達(dá)到了NASNet 1800個(gè)GPU和AmoebaNet 3150個(gè)GPU得到的效果。Jeff Dean是ENAS作者之一，提出了比之前少1000倍的計(jì)算力。

為什么還要吹捧谷歌AutoML呢？

有了上述那么多種限制，為什么還要還有很多人在宣傳谷歌AutoML的有用性呢？我認(rèn)為有以下幾種解釋?zhuān)?/p>

1.谷歌的AutoML真實(shí)反映了一些學(xué)術(shù)研究機(jī)構(gòu)摻雜了盈利機(jī)構(gòu)之后的危機(jī)。很多科學(xué)家都想創(chuàng)建有關(guān)熱門(mén)學(xué)術(shù)研究領(lǐng)域的產(chǎn)品，但并不評(píng)估它能否滿(mǎn)足實(shí)際需求。這也是很多AI創(chuàng)企的現(xiàn)狀，我的建議是不要試圖將博士論文變成產(chǎn)品，并且盡量不要雇傭純學(xué)術(shù)研究人員。

2. 谷歌很擅長(zhǎng)營(yíng)銷(xiāo)。人工智能對(duì)很多門(mén)外漢來(lái)說(shuō)門(mén)檻較高，以至于他們沒(méi)辦法評(píng)估某種主張，尤其是谷歌這樣的巨頭。很多記者也隨波逐流，爭(zhēng)相報(bào)道谷歌的新技術(shù)、新成果。我經(jīng)常跟哪些不在機(jī)器學(xué)習(xí)界工作的人談?wù)摴雀璧某晒麄兗词箾](méi)有用過(guò)谷歌機(jī)器學(xué)習(xí)產(chǎn)品，但表現(xiàn)得也很興奮，可是如果仔細(xì)深究又講不出個(gè)所以然來(lái)。

谷歌造成的新聞?wù)`導(dǎo)其中一個(gè)案例是谷歌AI研究人員宣布“他們創(chuàng)建了一種深度學(xué)習(xí)技術(shù)，能夠重建人類(lèi)基因組”，并且他們還將這項(xiàng)技術(shù)與諾貝爾獲勝者做了對(duì)比，Wired對(duì)此進(jìn)行了報(bào)道。在這之后，約翰霍普金斯大學(xué)生物統(tǒng)計(jì)學(xué)家、生物工程教授Steven Salzberg就批判了谷歌的這篇文章。Salzberg指出，這項(xiàng)研究實(shí)際上并沒(méi)有重建人類(lèi)基因組，而且“在現(xiàn)有軟件上僅有微小提升，甚至還不如現(xiàn)有軟件”。其他很多基因研究者對(duì)Salzberg的說(shuō)法表示了贊同。

谷歌確實(shí)有很多偉大的成果，但是我們?cè)谛蕾p的同時(shí)也要注意鑒別。

3. 谷歌因?yàn)槔嫦嚓P(guān)，說(shuō)服我們高效利用深度學(xué)習(xí)的關(guān)鍵是更強(qiáng)的計(jì)算力，因?yàn)楣雀柙谟?jì)算力方面非常有優(yōu)勢(shì)。AutoML通常需要大量計(jì)算，例如為了學(xué)習(xí)AmoebaNet需要用450個(gè)K40 GPU訓(xùn)練7天。

如何解決機(jī)器學(xué)習(xí)專(zhuān)家短缺的問(wèn)題？

為了解決全球機(jī)器學(xué)習(xí)從業(yè)者短缺的問(wèn)題，我們可以采取的有以下幾種方法：

讓深度學(xué)習(xí)更易使用

給深度學(xué)習(xí)去神秘化

讓資金不夠充足的人也能用到云GPU

讓深度學(xué)習(xí)更易使用

為了讓深度學(xué)習(xí)更易使用，很多研究已經(jīng)使其能夠更快、更輕易地訓(xùn)練更好的網(wǎng)絡(luò)。典型的案例有：

Dropout能讓模型在更小的數(shù)據(jù)集上訓(xùn)練，并且不存在過(guò)度擬合

批歸一化使訓(xùn)練速度更快

線(xiàn)性整流函數(shù)（ReLU）避免了梯度爆炸

其他提高使用簡(jiǎn)易程度的研究包括：

學(xué)習(xí)速率探測(cè)器使訓(xùn)練過(guò)程更穩(wěn)定

Super convergence加速了訓(xùn)練時(shí)間，并且需要更少的計(jì)算資源

“Custom heads”對(duì)現(xiàn)有的架構(gòu)來(lái)說(shuō)，可以在很多問(wèn)題上重復(fù)使用。

給深度學(xué)習(xí)去神秘化

另外一個(gè)障礙是，很多人總認(rèn)為深度學(xué)習(xí)離他們很遠(yuǎn)，或者覺(jué)得他們的數(shù)據(jù)集太小、并未接受過(guò)深度學(xué)習(xí)訓(xùn)練或者計(jì)算力不夠等等。還有一種觀點(diǎn)認(rèn)為，只有到了機(jī)器學(xué)習(xí)的博士階段才能用到深度學(xué)習(xí)，或者很多公司根本無(wú)法負(fù)擔(dān)招聘一位深度學(xué)習(xí)專(zhuān)家。

但是在我的經(jīng)歷中，進(jìn)入深度學(xué)習(xí)的門(mén)檻遠(yuǎn)比他們想象中的低，只要你有一年的編程經(jīng)驗(yàn)以及一個(gè)GPU。

提供更多資源：谷歌Colab Notebooks

雖然云GPU的花費(fèi)普通人還能負(fù)擔(dān)得起（每小時(shí)大約50美分，約合人民幣3.4元），但是很多學(xué)生表示確實(shí)有點(diǎn)貴。在某些國(guó)家因?yàn)橐?guī)定，他們無(wú)法使用像AWS這樣的服務(wù)，現(xiàn)在谷歌Colab Notebook可以解決這個(gè)問(wèn)題，它提供了Jupyter notebook環(huán)境，無(wú)需設(shè)置即可使用，在云上運(yùn)行并給用戶(hù)使用免費(fèi)的GPU。谷歌Colab Notebook將會(huì)為深度學(xué)習(xí)做出更多努力，也許這也是谷歌在機(jī)器學(xué)習(xí)未來(lái)發(fā)展的一個(gè)更好的目標(biāo)。