解析圖像分類器結(jié)構(gòu)搜索的正則化異步進化方法 并和強化學習方法進行對比

最近神經(jīng)網(wǎng)絡(luò)的成功不斷擴展著模型的架構(gòu)，并促成了架構(gòu)搜索的出現(xiàn)，即神經(jīng)網(wǎng)絡(luò)自動學習架構(gòu)。架構(gòu)搜索的傳統(tǒng)方法是神經(jīng)演化，如今，硬件的發(fā)展能實現(xiàn)大規(guī)模的演變，生成可以與手工設(shè)計相媲美的圖像分類模型。但是，新的技術(shù)雖然可行，卻無法讓開發(fā)者決定在具體的環(huán)境下（即搜索空間和數(shù)據(jù)集）使用哪種方法。

在本篇論文中，研究人員使用流行的異步進化算法（asynchronous evolutionary algorithm）的正則化版本，并將其與非正則化的形式以及強化學習方法進行比較。硬件條件、計算能力和神經(jīng)網(wǎng)絡(luò)訓練代碼都相同，在這之中研究人員探索在不同的數(shù)據(jù)集、搜索空間和規(guī)模下模型的表現(xiàn)情況。以下是論智對論文的編譯總結(jié)。

實驗方法

我們使用不同的算法搜索神經(jīng)網(wǎng)絡(luò)分類器的空間，進行基線研究后，所得到的最好的模型將被擴大尺寸，以生產(chǎn)更高質(zhì)量的圖像分類器。我們在不同的計算規(guī)模上執(zhí)行搜索過程。另外，我們還研究了非神經(jīng)網(wǎng)絡(luò)模擬中的進化算法。

1.搜索空間

所有神經(jīng)進化和強化學習實驗都使用基線研究的搜索空間設(shè)計，它需要尋找兩個類似于Inception的模塊體系結(jié)構(gòu)，這兩個結(jié)構(gòu)在前饋模式中堆疊以形成圖像分類器。

2.架構(gòu)搜索算法

對于進化算法，我們使用聯(lián)賽選擇算法（tournament selection）或正則化的變體。標準的聯(lián)賽選擇算法是對訓練模型P的數(shù)量進行周期化的改進。在每個循環(huán)中，隨機選擇一個S模型的樣本。樣本的最佳模型將生成具有變化架構(gòu)的另一模型，它將被訓練然后添加到模型樣本中。最差的模型將被刪除。我們將這種方法稱為非正則進化（NRE）。它的變體，正則化進化（RE）則是一種自然的修正：無需刪除樣本中最差的模型，而是刪除樣本中最老的模型（即第一個被訓練的模型）。在NRE和RE中，樣本初始化的架構(gòu)都是隨機的。

3.實驗設(shè)置

為了對比進化算法和強化學習算法，我們將在不同的計算規(guī)模上進行實驗。

小規(guī)模試驗

首先進行的實驗可以在CPU上進行，我們部署了SP-I、SP-II和SP-III三種搜索空間，利用G-CIFAR、MNIST或者G-ImageNet數(shù)據(jù)集進行實驗。

大規(guī)模實驗

然后再部署基線研究的設(shè)置。這里僅用SP-I搜索空間和CIFAR-10數(shù)據(jù)集，兩種模型各在450個GPU上訓練將近7天。

4.模型擴展

我們要將進化算法或強化學習發(fā)現(xiàn)的架構(gòu)轉(zhuǎn)化為全尺寸、精確的模型。擴展后的模型將在CIFAR-10或ImageNet上進行訓練，程序與基線研究的相同。

實驗結(jié)果

正則化與非正則化進化的對比。（a）表示在G-CIFAR數(shù)據(jù)集上非正則化進化和正則化進化用不同的元參數(shù)進行的小規(guī)模實驗結(jié)果對比。P代表樣本數(shù)量，S代表樣本大小。（b）表示NRE和RE在五種不同情況下的表現(xiàn)，從左至右分別為：G-CIFAR/SP-I、G-CIFAR/SP-II、G-CIFAR/SP-III、MNIST/SP-I和G-ImageNet/SP-I。（c）表示模擬結(jié)果，豎軸表示模擬的精確度，橫軸表示問題的維度。（d）表示在CIFAR-10上進行的三次大規(guī)模試驗。

接著，我們在不同的情況下對強化學習和進化算法進行了小規(guī)模實驗，結(jié)果如下：

（a）顯示了在G-CIFAR上對超參數(shù)進行優(yōu)化的實驗總結(jié)，豎軸表示實驗中前100名的模型的平均有效精度。結(jié)果表明所所有方法都不夠敏感。（b）同樣是在模型五種不同情況下的表現(xiàn)：G-CIFAR/SP-I、G-CIFAR/SP-II、G-CIFAR/SP-III、MNIST/SP-I和G-ImageNet/SP-I。（c）和（d）表示模型分別在G-CIFAR/SP-II和G-CIFAR/SP-III上的表現(xiàn)細節(jié)，橫軸表示模型的數(shù)量。（e）表示在資源有限的情況下，可能需要盡早停止實驗。說明了在初始狀態(tài)下，進化算法的精確度比強化學習增長得快得多。（f）和（g）分別是SP-I和SP-III最頂尖的架構(gòu)。

比較完小規(guī)模實驗，接著進行的是大規(guī)模實驗。結(jié)果如下圖所示，黃色代表進化算法，藍色代表強化學習：

除了（d）圖，所有橫軸均表示模型的數(shù)量（m）。（a）、（b）、（c）三圖分別展示了三種算法在五次相同實驗的情況，進化算法和強化學習實驗使用了最佳元參數(shù)。

經(jīng)過進化實驗，我們確定了最佳模型并將其命名為AmoebaNet-A。通過調(diào)整N和F，我們可以降低測試錯誤率，如表1所示：

表1

在相同的實驗條件下，基線研究得到了NASNet-A。表2顯示，在CIFAR-10數(shù)據(jù)集中，AmoebaNet-A在匹配參數(shù)時錯誤率較低，在匹配錯誤時，參數(shù)較少。同時在ImageNet上的表現(xiàn)也是目前最好的。

表2

最后我們對比了手動設(shè)計、其他架構(gòu)以及我們模型的性能對比，準確率均高于其他兩種。

表3

結(jié)語

大規(guī)模的實驗過程圖表明，強化學習和進化算法都接近一般精度漸近線，所以我們需要關(guān)注的是哪個算法更快到達。圖中顯示強化學習要用兩倍的時間到達最高精度的一半，換句話說，進化算法的速度大約比強化學習快一倍。但是我們忽略了進一步量化這一效果。另外，搜索空間的大小還需進一步評估。大空間所需專業(yè)資源較少，而小空間能更快更好地獲得結(jié)果。因此，在較小空間中很難區(qū)分哪種搜索算法更好。

不過，這一研究僅僅是在特定環(huán)境下分析進化算法和強化學習之間關(guān)系的第一個實證研究，我們希望今后的工作能進一步總結(jié)二者，闡釋兩種方法的優(yōu)點。