機(jī)器學(xué)習(xí) | autoML自動(dòng)化深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計(jì)可行嗎?

摘要：機(jī)器學(xué)習(xí)（深度學(xué)習(xí)為其中一分支）技術(shù)成為各產(chǎn)業(yè)智慧化的核心能力，但是算法的設(shè)計(jì)復(fù)雜，需要專業(yè)知識(shí)與經(jīng)驗(yàn)，對(duì)于好的人才，需求遠(yuǎn)大于供給。

機(jī)器學(xué)習(xí)（深度學(xué)習(xí)為其中一分支）技術(shù)成為各產(chǎn)業(yè)智慧化的核心能力，但是算法的設(shè)計(jì)復(fù)雜，需要專業(yè)知識(shí)與經(jīng)驗(yàn)，對(duì)于好的人才，需求遠(yuǎn)大于供給。為了彌補(bǔ)這個(gè)空缺，這幾年自動(dòng)化機(jī)器學(xué)習(xí)工具（autoML）新研究興起，希望有自動(dòng)化的系統(tǒng)，在給定問(wèn)題（通常是標(biāo)記的數(shù)據(jù)）之后可以自動(dòng)生成機(jī)器（深度）學(xué)習(xí)算法。在信息論上，這是非常復(fù)雜的問(wèn)題，需要大量運(yùn)算資源，所以極具挑戰(zhàn)。

autoML研究已經(jīng)發(fā)展一段時(shí)間。例如開(kāi)源軟件auto-sklearn，可以自動(dòng)找出各種（傳統(tǒng)、較簡(jiǎn)易）算法的組合，試著優(yōu)化整體預(yù)測(cè)能力，但目前僅局限于參數(shù)量較少的簡(jiǎn)易模型。目前最受矚目的應(yīng)該是「神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜尋」（Neural Architecture Search； NAS），希望自動(dòng)設(shè)計(jì)出解決特定問(wèn)題的類神經(jīng)網(wǎng)絡(luò)，原因是深度學(xué)習(xí)網(wǎng)絡(luò)的效能優(yōu)異，而且有機(jī)會(huì)在各平臺(tái)實(shí)現(xiàn)，商業(yè)機(jī)會(huì)龐大。

NAS做為熱門的研究領(lǐng)域，其原則是在可能的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)架構(gòu)中找出最佳的組合。主要的結(jié)構(gòu)（參考附圖）包括3部分——可能網(wǎng)絡(luò)構(gòu)成空間、候選網(wǎng)絡(luò)生成（搜尋）策略、網(wǎng)絡(luò)效能評(píng)估策略等。

「可能的網(wǎng)絡(luò)構(gòu)成空間」是影響NAS能否收斂的關(guān)鍵因素。試想一下，目前常用的網(wǎng)絡(luò)參數(shù)量都是百萬(wàn)、千萬(wàn)等級(jí)，要組合出這些可能性，不可能在有限的時(shí)間、運(yùn)算資源內(nèi)完成。所以目前的組合考慮大多限縮在某些特定、常用的網(wǎng)絡(luò)架構(gòu)（卷積層大小、normalization方式、pooling方法等），壓縮整體搜尋的空間。

另一個(gè)需要大量運(yùn)算時(shí)間的是對(duì)每個(gè)找出的候選網(wǎng)絡(luò)進(jìn)行「效能評(píng)估」，進(jìn)而修正網(wǎng)絡(luò)生成的方向。開(kāi)始時(shí)大家對(duì)這些候選網(wǎng)絡(luò)做最完整的參數(shù)訓(xùn)練，可以想象需要大量的時(shí)間資源，所以較早的研究曾經(jīng)使用到800個(gè)GPU、28天的時(shí)間。近來(lái)大家采用的策略都是減低訓(xùn)練數(shù)據(jù)、降低訓(xùn)練次數(shù)、共享網(wǎng)絡(luò)參數(shù)，甚至是用推估的方式直接猜測(cè)效能，完全省略耗時(shí)的網(wǎng)絡(luò)訓(xùn)練。目前已經(jīng)可以大大降低所需的運(yùn)算量。

「候選網(wǎng)絡(luò)生成」是為了搜尋出可能具有潛力的候選網(wǎng)絡(luò)，還必須利用之前生成過(guò)的網(wǎng)絡(luò)效能來(lái)修正網(wǎng)絡(luò)生成（搜尋）的方式。所以傳統(tǒng)的演化式算法在這些優(yōu)化過(guò)程又需被大量使用，不過(guò)一般認(rèn)為最有效的方式是使用強(qiáng)化學(xué)習(xí)（reinforcement learning），按照之前生成網(wǎng)絡(luò)的評(píng)量，修正候選網(wǎng)絡(luò)的生成策略。 在實(shí)際的發(fā)展上，目前自動(dòng)生成的網(wǎng)絡(luò)，在某些實(shí)驗(yàn)數(shù)據(jù)集上已可超越資深研究人員的手工設(shè)計(jì)。但這也不令人意外，因其是利用大量運(yùn)算資源來(lái)更優(yōu)化設(shè)計(jì)效能。此外，NAS算法只能在研究人員認(rèn)為有效以及給定的網(wǎng)絡(luò)組件組合中搜尋，尚未有「創(chuàng)造」新組件的能力。

以企業(yè)的角度，我認(rèn)為autoML該視為輔助性的工具來(lái)加速深度學(xué)習(xí)網(wǎng)絡(luò)的設(shè)計(jì)。但是主要架構(gòu)的獨(dú)特性、競(jìng)爭(zhēng)性，或是能否在垂直領(lǐng)域中勝出，還是需要了解該領(lǐng)域的資深研究人員給出適合的基本結(jié)構(gòu)，讓autoML算法找出最神經(jīng)網(wǎng)絡(luò)。

目前應(yīng)用上，除了優(yōu)化正確率之外，基于許多場(chǎng)域的實(shí)際考慮，我們也會(huì)將速度、參數(shù)量、耗電量、平臺(tái)目標(biāo)（行動(dòng)、工作站、嵌入系統(tǒng)等）、內(nèi)存大小等當(dāng)作多個(gè)優(yōu)化的標(biāo)準(zhǔn)。所以autoML可以加速智慧技術(shù)的落地。

autoML的興起，對(duì)產(chǎn)業(yè)界（或個(gè)人職涯）傳遞怎樣的訊息呢？相關(guān)自動(dòng)化技術(shù)絕對(duì)會(huì)優(yōu)化、縮短智慧算法研發(fā)，但是頂尖的智慧研發(fā)人員依舊無(wú)法取代。他們與autoML相互搭配，會(huì)是最有效率的研發(fā)程序。但是對(duì)于補(bǔ)習(xí)式教育訓(xùn)練出的的機(jī)器學(xué)習(xí)工程師，很可能會(huì)被autoML取代。此外，這些工具也會(huì)被其他競(jìng)爭(zhēng)公司使用，能讓公司產(chǎn)生差異的還是對(duì)前瞻技術(shù)的提早投入，以及對(duì)于機(jī)器學(xué)習(xí)領(lǐng)域的通盤（或是特殊領(lǐng)域的深度）了解，或是將深度學(xué)習(xí)技術(shù)結(jié)合跨領(lǐng)域（如醫(yī)學(xué)、金融、安全等）應(yīng)用。淺碟型的技術(shù)投資，對(duì)公司（或職業(yè)生涯）長(zhǎng)期的發(fā)展性都不大！