一種利用強化學(xué)習(xí)來設(shè)計mobile CNN模型的自動神經(jīng)結(jié)構(gòu)搜索方法

神經(jīng)結(jié)構(gòu)自動搜索是最近的研究熱點。谷歌大腦團隊最新提出在一種在移動端自動設(shè)計CNN模型的新方法，用更少的算力，更快、更好地實現(xiàn)了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的自動搜索。

為移動設(shè)備設(shè)計卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型是很具挑戰(zhàn)性的，因為移動設(shè)備的模型需要小，要快，而且仍然要求準(zhǔn)確性。盡管在這三個維度上設(shè)計和改進模型已經(jīng)有很多研究，但由于需要考慮如此多的結(jié)構(gòu)可能性，手動去權(quán)衡這些維度是很有挑戰(zhàn)性的。

在這篇論文中，谷歌大腦AutoML組的研究人員提出一種自動神經(jīng)結(jié)構(gòu)搜索方法，用于設(shè)計資源有限的移動端CNN模型（mobile CNN）。

Jeff Dean在推特推薦了這篇論文：這項工作提出將模型的計算損失合并到神經(jīng)結(jié)構(gòu)搜索的獎勵函數(shù)中，以自動找到滿足推理速度目標(biāo)的高準(zhǔn)確率的模型。

在以前的工作中，移動延遲（mobile latency）通常是通過另一個代理（例如FLOPS）來考慮的，這些代理經(jīng)常不準(zhǔn)確。與之前的工作不同，在我們的實驗中，我們通過在特定平臺（如Pixel phone）上執(zhí)行模型，從而直接測量實際的推理延遲（inference latency）。

為了進一步在靈活性和搜索空間大小之間取得平衡，我們提出了一種新的分解分層搜索空間（factorized hierarchical search space），允許在整個網(wǎng)絡(luò)中的層存在多樣性。

實驗結(jié)果表明，我們的方法在多個視覺任務(wù)中始終優(yōu)于state-of-the-art的移動端CNN模型。在ImageNet圖像分類任務(wù)中,我們的模型在Pixel phone上達到74.0%的top-1 精度（延遲為76ms）。達到相同的top-1精度的條件下，我們的模型比MobileNetV2快1.5倍，比NASNet快2.4倍。在COCO對象檢測任務(wù)中，我們的模型實現(xiàn)了比MobileNets更高的mAP質(zhì)量和更低的延遲。

Platform-Aware神經(jīng)結(jié)構(gòu)搜索

具體來說，我們提出一種用于設(shè)計移動端的CNN模型的自動神經(jīng)結(jié)構(gòu)搜索方法，稱之為Platform-Aware神經(jīng)結(jié)構(gòu)搜索。圖1是Platform-Aware神經(jīng)結(jié)構(gòu)搜索方法的總體視圖，它與以前的方法的主要區(qū)別在于延遲感知多目標(biāo)獎勵（latency aware multi-objective reward）和新的搜索空間。

圖1：Platform-Aware神經(jīng)結(jié)構(gòu)搜索的概覽

這一方法主要受到兩個想法的啟發(fā)：

首先，我們將設(shè)計神經(jīng)網(wǎng)絡(luò)的問題表述為一個多目標(biāo)優(yōu)化問題，這個問題要考慮CNN模型的準(zhǔn)確性和推理延遲。然后，我們使用基于強化學(xué)習(xí)的結(jié)構(gòu)搜索來找到在準(zhǔn)確性和延遲之間實現(xiàn)最佳權(quán)衡的模型。

其次，我們觀察到先前的自動化結(jié)構(gòu)搜索方法主要是搜索幾種類型的cells，然后通過CNN網(wǎng)絡(luò)反復(fù)堆疊相同的cell。這樣搜索到的模型沒有考慮由于模型的具體形狀不同，卷積之類的操作在延遲上有很大差異：例如，2個3x3的卷積具有同樣的理論FLOPS，但形狀不同的情況下，可能 runtime latency是不同的。

在此基礎(chǔ)上，我們提出一個分解的分層搜索空間（factorized hierarchical search space），它由很多分解后的塊（factorized blocks）組成，每個block包含由分層子搜索空間定義的層的list，其中包含不同的卷積運算和連接。

圖3：Factorized Hierarchical搜索空間

我們證明了，在一個架構(gòu)的不同深度應(yīng)該使用不同的操作，并且可以使用利用已測量的推理延遲作為獎勵信號一部分的架構(gòu)搜索方法來在這個巨大的選擇空間中進行搜索。

總結(jié)而言，這一研究的主要貢獻有：

我們提出一種基于強化學(xué)習(xí)的多目標(biāo)神經(jīng)結(jié)構(gòu)搜索方法，該方法能夠在低推理延遲的條件下找到高精度的CNN模型。

我們提出一種新的分解分層搜索空間（factorized hierarchical search space），通過在靈活性和搜索空間大小之間取得適當(dāng)?shù)钠胶猓畲笙薅鹊靥岣咭苿釉O(shè)備上模型的資源效率。

我們在ImageNet圖像分類和COCO對象檢測兩個任務(wù)上，證明了我們的模型相對state-of-the-art的mobile CNN模型有顯著改進。

MnasNet的結(jié)構(gòu)

圖7：MnasNet的結(jié)構(gòu)

圖7的(a)描繪了表1所示的baseline MnasNet的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它由一系列線性連接的blocks組成，每個block由不同類型的layer組成，如圖7(b) - (f)所示。此外，我們還觀察到一些有趣的發(fā)現(xiàn):

MnasNet有什么特別之處呢？

為了更好地理解MnasNet模型與之前的 mobile CNN模型有何不同，我們注意到這些模型包含的5x5 depthwise的卷積比以前的工作（Zhang et al.1188; Huang et al.1188; Sandler et al.1188）的更多，以前的工作一般只使用3x3 的kernels。實際上，對于depthwise可分離的卷積來說，5×5 kernels 確實比3×3 kernels更具資源效率。

layer的多樣性重要嗎？

表3

我們將MnasNet與它的在整個網(wǎng)絡(luò)中重復(fù)單一類型的層的變體進行了比較。如表3所示，MnasNet比這些變體在精度和延遲之間的權(quán)衡表現(xiàn)更好，這表明在資源有限的CNN模型中，layer的多樣性相當(dāng)重要。

實驗結(jié)果

ImageNet分類性能

我們將所提出的方法應(yīng)用于ImageNet圖像分類和COCO對象檢測任務(wù)。

表1展示了本模型在ImageNet上的性能。

表1：在ImageNet上進行分類的性能結(jié)果

本文將MnasNet模型與手動設(shè)計的移動模型以及其它自動化方法做了比較，其中MnasNet是基準(zhǔn)模型。MnasNet-65和MnasNet-92是同一體系結(jié)構(gòu)搜索實驗中不同延遲的兩種模型(用于比較)。其中，“+SE”表示附加的squeeze-and-excitation優(yōu)化；“#Parameters”表示可訓(xùn)練參數(shù)的數(shù)量；“#Mult-Adds”表示每張圖片multiply-add操作的數(shù)量；“Top-1/5 Acc.”表示在ImageNet驗證集上排名第一或前五的精度；“CPU延遲”表示在Pixel1手機上批量大小為1的推斷延遲。

如表1所示，與當(dāng)前最優(yōu)的MobileNetV2相比，我們的MnasNet模型在Pixel phone平臺上，在同樣的延遲下，將ImageNet top-1的準(zhǔn)確率提高了2%。

此外，限制目標(biāo)top-1準(zhǔn)確率的條件下，我們的方法得到同樣精度的速度比MobileNetV2快1.5倍，比NASNet快2.4倍。

結(jié)構(gòu)搜索方法

多目標(biāo)搜索方法通過在方程2中對α和β設(shè)置不同的值來設(shè)置硬性或軟性延遲約束。下圖展示了在典型α和β下多目標(biāo)搜索的結(jié)果：

多目標(biāo)搜索結(jié)果

其中，目標(biāo)延遲（target latency）為T=80ms。上方圖片展示了對1000個樣本模型（綠色點）的柏拉圖曲線（藍色線）；下方圖片展示了模型延遲的直方圖。

模型擴展的靈敏度

現(xiàn)實世界中，各式各樣的應(yīng)用程序有著許多不同的需求，并且移動設(shè)備也不是統(tǒng)一的，所以開發(fā)人員通常會做一些擴展性方面的工作。下圖便展示了不同模型擴展技術(shù)的結(jié)果：

不同模型擴展技術(shù)的性能比較

MnasNet表1中的基準(zhǔn)模型。將該基準(zhǔn)模型與MobileNet V2的深度倍增器（depth multiplier）和輸入保持一致。

除了模型擴展之外，本文提出的方法還能為任何新的資源約束搜索新的結(jié)構(gòu)。例如，一些視頻應(yīng)用程序可能需要低至25ms的模型延遲。為了滿足這些約束，可以使用更小的輸入規(guī)模和深度倍增器來擴展一個基準(zhǔn)模型，也可以搜索更適合這個新延遲約束的模型。圖6就展示了上述兩個方法的性能比較。

模型擴展 vs. 模型搜索

COCO目標(biāo)檢測性能

對于COCO目標(biāo)檢測，選擇與表1相同的MnasNet模型作為SSDLite的特征提取器。根據(jù)其他研究人員的建議，只用本文提出的模型與其他SSD或YOLO探測器進行比較。表2展示了在COCO上MnasNet模型的性能。

表2：在COCO上進行目標(biāo)檢測的性能結(jié)果

其中，“#Parameters”表示可訓(xùn)練參數(shù)的數(shù)量；“#Mult-Adds”表示每張圖片multiply-add操作的數(shù)量；mAP表示在test-dev2017上的標(biāo)準(zhǔn)MAP值；mAPS、mAPM、mAPL表示在小型、中等、大型目標(biāo)中的MAP值；“CPU延遲”表示在Pixel1手機上批量大小為1的推斷延遲。

如表2所示，將我們的模型作為特征提取器插入SSD對象檢測框架，在COCO數(shù)據(jù)集上我們的模型在推理延遲和mAP質(zhì)量上都比MobileNetV1和MobileNetV2有提升，并且達到與 SSD300差不多的mAP質(zhì)量時（22.9 vs 23.2）計算成本降低了35倍。

結(jié)論

本文提出了一種利用強化學(xué)習(xí)來設(shè)計mobile CNN模型的自動神經(jīng)結(jié)構(gòu)搜索方法。這種方法背后的關(guān)鍵想法是將platform-aware的真實的延遲信息集成到搜索過程中，并利用新的分解分層搜索空間來搜索移動模型，在準(zhǔn)確性和延遲之間進行最佳的權(quán)衡。我們證明了這一方法可以比現(xiàn)有方法更好地自動地找到移動模型，并在典型的移動推理延遲約束下，在ImageNet圖像分類和COCO對象檢測任務(wù)上獲得新的最優(yōu)結(jié)果。由此產(chǎn)生的MnasNet架構(gòu)還提供了一些有趣的發(fā)現(xiàn)，將指導(dǎo)我們設(shè)計下一代的mobile CNN模型。