0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

一種利用強(qiáng)化學(xué)習(xí)來設(shè)計mobile CNN模型的自動神經(jīng)結(jié)構(gòu)搜索方法

DPVg_AI_era ? 來源:未知 ? 作者:李倩 ? 2018-08-07 14:10 ? 次閱讀

神經(jīng)結(jié)構(gòu)自動搜索是最近的研究熱點。谷歌大腦團(tuán)隊最新提出在一種在移動端自動設(shè)計CNN模型的新方法,用更少的算力,更快、更好地實現(xiàn)了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的自動搜索。

為移動設(shè)備設(shè)計卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型是很具挑戰(zhàn)性的,因為移動設(shè)備的模型需要小,要快,而且仍然要求準(zhǔn)確性。盡管在這三個維度上設(shè)計和改進(jìn)模型已經(jīng)有很多研究,但由于需要考慮如此多的結(jié)構(gòu)可能性,手動去權(quán)衡這些維度是很有挑戰(zhàn)性的。

在這篇論文中,谷歌大腦AutoML組的研究人員提出一種自動神經(jīng)結(jié)構(gòu)搜索方法,用于設(shè)計資源有限的移動端CNN模型(mobile CNN)。

Jeff Dean在推特推薦了這篇論文:這項工作提出將模型的計算損失合并到神經(jīng)結(jié)構(gòu)搜索的獎勵函數(shù)中,以自動找到滿足推理速度目標(biāo)的高準(zhǔn)確率的模型。

在以前的工作中,移動延遲(mobile latency)通常是通過另一個代理(例如FLOPS)來考慮的,這些代理經(jīng)常不準(zhǔn)確。與之前的工作不同,在我們的實驗中,我們通過在特定平臺(如Pixel phone)上執(zhí)行模型,從而直接測量實際的推理延遲(inference latency)。

為了進(jìn)一步在靈活性和搜索空間大小之間取得平衡,我們提出了一種新的分解分層搜索空間(factorized hierarchical search space),允許在整個網(wǎng)絡(luò)中的層存在多樣性。

實驗結(jié)果表明,我們的方法在多個視覺任務(wù)中始終優(yōu)于state-of-the-art的移動端CNN模型。在ImageNet圖像分類任務(wù)中,我們的模型在Pixel phone上達(dá)到74.0%的top-1 精度(延遲為76ms)。達(dá)到相同的top-1精度的條件下,我們的模型比MobileNetV2快1.5倍,比NASNet快2.4倍。在COCO對象檢測任務(wù)中,我們的模型實現(xiàn)了比MobileNets更高的mAP質(zhì)量和更低的延遲。

Platform-Aware神經(jīng)結(jié)構(gòu)搜索

具體來說,我們提出一種用于設(shè)計移動端的CNN模型的自動神經(jīng)結(jié)構(gòu)搜索方法,稱之為Platform-Aware神經(jīng)結(jié)構(gòu)搜索。圖1是Platform-Aware神經(jīng)結(jié)構(gòu)搜索方法的總體視圖,它與以前的方法的主要區(qū)別在于延遲感知多目標(biāo)獎勵(latency aware multi-objective reward)和新的搜索空間。

圖1:Platform-Aware神經(jīng)結(jié)構(gòu)搜索的概覽

這一方法主要受到兩個想法的啟發(fā):

首先,我們將設(shè)計神經(jīng)網(wǎng)絡(luò)的問題表述為一個多目標(biāo)優(yōu)化問題,這個問題要考慮CNN模型的準(zhǔn)確性和推理延遲。然后,我們使用基于強(qiáng)化學(xué)習(xí)的結(jié)構(gòu)搜索來找到在準(zhǔn)確性和延遲之間實現(xiàn)最佳權(quán)衡的模型。

其次,我們觀察到先前的自動化結(jié)構(gòu)搜索方法主要是搜索幾種類型的cells,然后通過CNN網(wǎng)絡(luò)反復(fù)堆疊相同的cell。這樣搜索到的模型沒有考慮由于模型的具體形狀不同,卷積之類的操作在延遲上有很大差異:例如,2個3x3的卷積具有同樣的理論FLOPS,但形狀不同的情況下,可能 runtime latency是不同的。

在此基礎(chǔ)上,我們提出一個分解的分層搜索空間(factorized hierarchical search space),它由很多分解后的塊(factorized blocks)組成,每個block包含由分層子搜索空間定義的層的list,其中包含不同的卷積運算和連接。

圖3:Factorized Hierarchical搜索空間

我們證明了,在一個架構(gòu)的不同深度應(yīng)該使用不同的操作,并且可以使用利用已測量的推理延遲作為獎勵信號一部分的架構(gòu)搜索方法來在這個巨大的選擇空間中進(jìn)行搜索。

總結(jié)而言,這一研究的主要貢獻(xiàn)有:

我們提出一種基于強(qiáng)化學(xué)習(xí)的多目標(biāo)神經(jīng)結(jié)構(gòu)搜索方法,該方法能夠在低推理延遲的條件下找到高精度的CNN模型。

我們提出一種新的分解分層搜索空間(factorized hierarchical search space),通過在靈活性和搜索空間大小之間取得適當(dāng)?shù)钠胶?,最大限度地提高移動設(shè)備上模型的資源效率。

我們在ImageNet圖像分類和COCO對象檢測兩個任務(wù)上,證明了我們的模型相對state-of-the-art的mobile CNN模型有顯著改進(jìn)。

MnasNet的結(jié)構(gòu)

圖7:MnasNet的結(jié)構(gòu)

圖7的(a)描繪了表1所示的baseline MnasNet的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它由一系列線性連接的blocks組成,每個block由不同類型的layer組成,如圖7(b) - (f)所示。此外,我們還觀察到一些有趣的發(fā)現(xiàn):

MnasNet有什么特別之處呢?

為了更好地理解MnasNet模型與之前的 mobile CNN模型有何不同,我們注意到這些模型包含的5x5 depthwise的卷積比以前的工作(Zhang et al.1188; Huang et al.1188; Sandler et al.1188)的更多,以前的工作一般只使用3x3 的kernels。實際上,對于depthwise可分離的卷積來說,5×5 kernels 確實比3×3 kernels更具資源效率。

layer的多樣性重要嗎?

表3

我們將MnasNet與它的在整個網(wǎng)絡(luò)中重復(fù)單一類型的層的變體進(jìn)行了比較。如表3所示,MnasNet比這些變體在精度和延遲之間的權(quán)衡表現(xiàn)更好,這表明在資源有限的CNN模型中,layer的多樣性相當(dāng)重要。

實驗結(jié)果

ImageNet分類性能

我們將所提出的方法應(yīng)用于ImageNet圖像分類和COCO對象檢測任務(wù)。

表1展示了本模型在ImageNet上的性能。

表1:在ImageNet上進(jìn)行分類的性能結(jié)果

本文將MnasNet模型與手動設(shè)計的移動模型以及其它自動化方法做了比較,其中MnasNet是基準(zhǔn)模型。MnasNet-65和MnasNet-92是同一體系結(jié)構(gòu)搜索實驗中不同延遲的兩種模型(用于比較)。其中,“+SE”表示附加的squeeze-and-excitation優(yōu)化;“#Parameters”表示可訓(xùn)練參數(shù)的數(shù)量;“#Mult-Adds”表示每張圖片multiply-add操作的數(shù)量;“Top-1/5 Acc.”表示在ImageNet驗證集上排名第一或前五的精度;“CPU延遲”表示在Pixel1手機(jī)上批量大小為1的推斷延遲。

如表1所示,與當(dāng)前最優(yōu)的MobileNetV2相比,我們的MnasNet模型在Pixel phone平臺上,在同樣的延遲下,將ImageNet top-1的準(zhǔn)確率提高了2%。

此外,限制目標(biāo)top-1準(zhǔn)確率的條件下,我們的方法得到同樣精度的速度比MobileNetV2快1.5倍,比NASNet快2.4倍。

結(jié)構(gòu)搜索方法

多目標(biāo)搜索方法通過在方程2中對α和β設(shè)置不同的值來設(shè)置硬性或軟性延遲約束。下圖展示了在典型α和β下多目標(biāo)搜索的結(jié)果:

多目標(biāo)搜索結(jié)果

其中,目標(biāo)延遲(target latency)為T=80ms。上方圖片展示了對1000個樣本模型(綠色點)的柏拉圖曲線(藍(lán)色線);下方圖片展示了模型延遲的直方圖。

模型擴(kuò)展的靈敏度

現(xiàn)實世界中,各式各樣的應(yīng)用程序有著許多不同的需求,并且移動設(shè)備也不是統(tǒng)一的,所以開發(fā)人員通常會做一些擴(kuò)展性方面的工作。下圖便展示了不同模型擴(kuò)展技術(shù)的結(jié)果:

不同模型擴(kuò)展技術(shù)的性能比較

MnasNet表1中的基準(zhǔn)模型。將該基準(zhǔn)模型與MobileNet V2的深度倍增器(depth multiplier)和輸入保持一致。

除了模型擴(kuò)展之外,本文提出的方法還能為任何新的資源約束搜索新的結(jié)構(gòu)。例如,一些視頻應(yīng)用程序可能需要低至25ms的模型延遲。為了滿足這些約束,可以使用更小的輸入規(guī)模和深度倍增器來擴(kuò)展一個基準(zhǔn)模型,也可以搜索更適合這個新延遲約束的模型。圖6就展示了上述兩個方法的性能比較。

模型擴(kuò)展 vs. 模型搜索

COCO目標(biāo)檢測性能

對于COCO目標(biāo)檢測,選擇與表1相同的MnasNet模型作為SSDLite的特征提取器。根據(jù)其他研究人員的建議,只用本文提出的模型與其他SSD或YOLO探測器進(jìn)行比較。表2展示了在COCO上MnasNet模型的性能。

表2:在COCO上進(jìn)行目標(biāo)檢測的性能結(jié)果

其中,“#Parameters”表示可訓(xùn)練參數(shù)的數(shù)量;“#Mult-Adds”表示每張圖片multiply-add操作的數(shù)量;mAP表示在test-dev2017上的標(biāo)準(zhǔn)MAP值;mAPS、mAPM、mAPL表示在小型、中等、大型目標(biāo)中的MAP值;“CPU延遲”表示在Pixel1手機(jī)上批量大小為1的推斷延遲。

如表2所示,將我們的模型作為特征提取器插入SSD對象檢測框架,在COCO數(shù)據(jù)集上我們的模型在推理延遲和mAP質(zhì)量上都比MobileNetV1和MobileNetV2有提升,并且達(dá)到與 SSD300差不多的mAP質(zhì)量時(22.9 vs 23.2)計算成本降低了35倍。

結(jié)論

本文提出了一種利用強(qiáng)化學(xué)習(xí)來設(shè)計mobile CNN模型的自動神經(jīng)結(jié)構(gòu)搜索方法。這種方法背后的關(guān)鍵想法是將platform-aware的真實的延遲信息集成到搜索過程中,并利用新的分解分層搜索空間來搜索移動模型,在準(zhǔn)確性和延遲之間進(jìn)行最佳的權(quán)衡。我們證明了這一方法可以比現(xiàn)有方法更好地自動地找到移動模型,并在典型的移動推理延遲約束下,在ImageNet圖像分類和COCO對象檢測任務(wù)上獲得新的最優(yōu)結(jié)果。由此產(chǎn)生的MnasNet架構(gòu)還提供了一些有趣的發(fā)現(xiàn),將指導(dǎo)我們設(shè)計下一代的mobile CNN模型。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    漸進(jìn)式神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索技術(shù)

    我們提出一種學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)(CNN結(jié)構(gòu)的新方法,該方法
    的頭像 發(fā)表于 08-03 09:32 ?5593次閱讀

    反向強(qiáng)化學(xué)習(xí)的思路

    強(qiáng)化學(xué)習(xí)的另一種策略(二)
    發(fā)表于 04-03 12:10

    深度強(qiáng)化學(xué)習(xí)實戰(zhàn)

    內(nèi)容2:課程: TensoRFlow入門到熟練:課程二:圖像分類:課程三:物體檢測:課程四:人臉識別:課程五:算法實現(xiàn):1、卷積神經(jīng)網(wǎng)絡(luò)CNN2、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN3、
    發(fā)表于 01-10 13:42

    自動神經(jīng)結(jié)構(gòu)搜索方法實現(xiàn)高效率卷積神經(jīng)網(wǎng)絡(luò)設(shè)計

    一種自動神經(jīng)結(jié)構(gòu)搜索方法,用于設(shè)計資源有限的移動端CNN
    的頭像 發(fā)表于 08-07 14:12 ?5442次閱讀

    如何構(gòu)建強(qiáng)化學(xué)習(xí)模型訓(xùn)練無人車算法

    本文作者通過簡單的方式構(gòu)建了強(qiáng)化學(xué)習(xí)模型訓(xùn)練無人車算法,可以為初學(xué)者提供快速入門的經(jīng)驗。
    的頭像 發(fā)表于 11-12 14:47 ?5047次閱讀

    使用加權(quán)密集連接卷積網(wǎng)絡(luò)的深度強(qiáng)化學(xué)習(xí)方法說明

    針對深度強(qiáng)化學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)(CNN)層數(shù)過深導(dǎo)致的梯度消失問題,提出一種將密集連接卷積網(wǎng)絡(luò)應(yīng)用于強(qiáng)化學(xué)習(xí)
    發(fā)表于 01-23 10:41 ?3次下載
    使用加權(quán)密集連接卷積網(wǎng)絡(luò)的深度<b class='flag-5'>強(qiáng)化學(xué)習(xí)方法</b>說明

    一種改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法

    為提升網(wǎng)絡(luò)結(jié)構(gòu)的尋優(yōu)能力,提岀一種改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索方法。針對網(wǎng)絡(luò)結(jié)構(gòu)間距難以度量的問題
    發(fā)表于 03-16 14:05 ?3次下載
    <b class='flag-5'>一種</b>改進(jìn)的深度<b class='flag-5'>神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)</b><b class='flag-5'>搜索</b><b class='flag-5'>方法</b>

    機(jī)器學(xué)習(xí)中的無模型強(qiáng)化學(xué)習(xí)算法及研究綜述

    強(qiáng)化學(xué)習(xí)( Reinforcement learning,RL)作為機(jī)器學(xué)習(xí)領(lǐng)域中與監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)并列的第三
    發(fā)表于 04-08 11:41 ?11次下載
    機(jī)器<b class='flag-5'>學(xué)習(xí)</b>中的無<b class='flag-5'>模型</b><b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>算法及研究綜述

    模型化深度強(qiáng)化學(xué)習(xí)應(yīng)用研究綜述

    強(qiáng)化學(xué)習(xí)。無模型強(qiáng)仳學(xué)習(xí)方法的訓(xùn)練過程需要大量樣本,當(dāng)采樣預(yù)算不足,無法收集大量樣本時,很難達(dá)到預(yù)期效果。然而,模型強(qiáng)化學(xué)習(xí)可以充分
    發(fā)表于 04-12 11:01 ?9次下載
    <b class='flag-5'>模型</b>化深度<b class='flag-5'>強(qiáng)化學(xué)習(xí)</b>應(yīng)用研究綜述

    基于深度強(qiáng)化學(xué)習(xí)仿真集成的壓邊力控制模型

    壓邊力控制策略的學(xué)習(xí)優(yōu)化?;谏疃?b class='flag-5'>強(qiáng)化學(xué)習(xí)的壓邊力優(yōu)化算法,利用深度神經(jīng)網(wǎng)絡(luò)處理巨大的狀態(tài)空間,避免了系統(tǒng)動力學(xué)的擬合,并且使用一種新的網(wǎng)絡(luò)
    發(fā)表于 05-27 10:32 ?0次下載

    cnn卷積神經(jīng)網(wǎng)絡(luò)模型 卷積神經(jīng)網(wǎng)絡(luò)預(yù)測模型 生成卷積神經(jīng)網(wǎng)絡(luò)模型

    cnn卷積神經(jīng)網(wǎng)絡(luò)模型 卷積神經(jīng)網(wǎng)絡(luò)預(yù)測模型 生成卷積神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 08-21 17:11 ?1477次閱讀

    cnn卷積神經(jīng)網(wǎng)絡(luò)算法 cnn卷積神經(jīng)網(wǎng)絡(luò)模型

    cnn卷積神經(jīng)網(wǎng)絡(luò)算法 cnn卷積神經(jīng)網(wǎng)絡(luò)模型 卷積神經(jīng)網(wǎng)絡(luò)(
    的頭像 發(fā)表于 08-21 17:15 ?2450次閱讀

    cnn卷積神經(jīng)網(wǎng)絡(luò)簡介 cnn卷積神經(jīng)網(wǎng)絡(luò)代碼

    cnn卷積神經(jīng)網(wǎng)絡(luò)簡介 cnn卷積神經(jīng)網(wǎng)絡(luò)代碼 卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,簡稱
    的頭像 發(fā)表于 08-21 17:16 ?3163次閱讀

    深度神經(jīng)網(wǎng)絡(luò)模型cnn的基本概念、結(jié)構(gòu)及原理

    深度神經(jīng)網(wǎng)絡(luò)模型CNN(Convolutional Neural Network)是一種廣泛應(yīng)用于圖像識別、視頻分析和自然語言處理等領(lǐng)域的深度學(xué)習(xí)
    的頭像 發(fā)表于 07-02 10:11 ?1.1w次閱讀

    如何使用 PyTorch 進(jìn)行強(qiáng)化學(xué)習(xí)

    強(qiáng)化學(xué)習(xí)(Reinforcement Learning, RL)是一種機(jī)器學(xué)習(xí)方法,它通過與環(huán)境的交互學(xué)習(xí)如何做出決策,以最大化累積獎勵。
    的頭像 發(fā)表于 11-05 17:34 ?794次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品