0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

自動神經(jīng)結(jié)構(gòu)搜索方法實現(xiàn)高效率卷積神經(jīng)網(wǎng)絡設計

DPVg_AI_era ? 來源:未知 ? 作者:工程師飛燕 ? 2018-08-07 14:12 ? 次閱讀

為移動設備設計卷積神經(jīng)網(wǎng)絡(CNN)模型是很具挑戰(zhàn)性的,因為移動設備的模型需要小,要快,而且仍然要求準確性。盡管在這三個維度上設計和改進模型已經(jīng)有很多研究,但由于需要考慮如此多的結(jié)構(gòu)可能性,手動去權(quán)衡這些維度是很有挑戰(zhàn)性的。

在這篇論文中,谷歌大腦AutoML組的研究人員提出一種自動神經(jīng)結(jié)構(gòu)搜索方法,用于設計資源有限的移動端CNN模型(mobile CNN)

Jeff Dean在推特推薦了這篇論文:這項工作提出將模型的計算損失合并到神經(jīng)結(jié)構(gòu)搜索的獎勵函數(shù)中,以自動找到滿足推理速度目標的高準確率的模型。

在以前的工作中,移動延遲(mobile latency)通常是通過另一個代理(例如FLOPS)來考慮的,這些代理經(jīng)常不準確。與之前的工作不同,在我們的實驗中,我們通過在特定平臺(如Pixel phone)上執(zhí)行模型,從而直接測量實際的推理延遲(inference latency)。

為了進一步在靈活性和搜索空間大小之間取得平衡,我們提出了一種新的分解分層搜索空間(factorized hierarchical search space),允許在整個網(wǎng)絡中的層存在多樣性。

實驗結(jié)果表明,我們的方法在多個視覺任務中始終優(yōu)于state-of-the-art的移動端CNN模型。在ImageNet圖像分類任務中,我們的模型在Pixel phone上達到74.0%的top-1 精度(延遲為76ms)。達到相同的top-1精度的條件下,我們的模型比MobileNetV2快1.5倍,比NASNet快2.4倍。在COCO對象檢測任務中,我們的模型實現(xiàn)了比MobileNets更高的mAP質(zhì)量和更低的延遲。

Platform-Aware神經(jīng)結(jié)構(gòu)搜索

具體來說,我們提出一種用于設計移動端的CNN模型的自動神經(jīng)結(jié)構(gòu)搜索方法,稱之為Platform-Aware神經(jīng)結(jié)構(gòu)搜索。圖1是Platform-Aware神經(jīng)結(jié)構(gòu)搜索方法的總體視圖,它與以前的方法的主要區(qū)別在于延遲感知多目標獎勵(latency aware multi-objective reward)和新的搜索空間。

自動神經(jīng)結(jié)構(gòu)搜索方法實現(xiàn)高效率卷積神經(jīng)網(wǎng)絡設計

圖1:Platform-Aware神經(jīng)結(jié)構(gòu)搜索的概覽

這一方法主要受到兩個想法的啟發(fā):

首先,我們將設計神經(jīng)網(wǎng)絡的問題表述為一個多目標優(yōu)化問題,這個問題要考慮CNN模型的準確性和推理延遲。然后,我們使用基于強化學習的結(jié)構(gòu)搜索來找到在準確性和延遲之間實現(xiàn)最佳權(quán)衡的模型。

其次,我們觀察到先前的自動化結(jié)構(gòu)搜索方法主要是搜索幾種類型的cells,然后通過CNN網(wǎng)絡反復堆疊相同的cell。這樣搜索到的模型沒有考慮由于模型的具體形狀不同,卷積之類的操作在延遲上有很大差異:例如,2個3x3的卷積具有同樣的理論FLOPS,但形狀不同的情況下,可能 runtime latency是不同的。

在此基礎上,我們提出一個分解的分層搜索空間(factorized hierarchical search space),它由很多分解后的塊(factorized blocks)組成,每個block包含由分層子搜索空間定義的層的list,其中包含不同的卷積運算和連接。

圖3:Factorized Hierarchical搜索空間

我們證明了,在一個架構(gòu)的不同深度應該使用不同的操作,并且可以使用利用已測量的推理延遲作為獎勵信號一部分的架構(gòu)搜索方法來在這個巨大的選擇空間中進行搜索。

總結(jié)而言,這一研究的主要貢獻有:

我們提出一種基于強化學習的多目標神經(jīng)結(jié)構(gòu)搜索方法,該方法能夠在低推理延遲的條件下找到高精度的CNN模型。

我們提出一種新的分解分層搜索空間(factorized hierarchical search space),通過在靈活性和搜索空間大小之間取得適當?shù)钠胶?,最大限度地提高移動設備上模型的資源效率。

我們在ImageNet圖像分類和COCO對象檢測兩個任務上,證明了我們的模型相對state-of-the-art的mobile CNN模型有顯著改進。

MnasNet的結(jié)構(gòu)

圖7:MnasNet的結(jié)構(gòu)

圖7的(a)描繪了表1所示的baseline MnasNet的神經(jīng)網(wǎng)絡結(jié)構(gòu)。它由一系列線性連接的blocks組成,每個block由不同類型的layer組成,如圖7(b) - (f)所示。此外,我們還觀察到一些有趣的發(fā)現(xiàn):

MnasNet有什么特別之處呢?

為了更好地理解MnasNet模型與之前的 mobile CNN模型有何不同,我們注意到這些模型包含的5x5 depthwise的卷積比以前的工作(Zhang et al.1188; Huang et al.1188; Sandler et al.1188)的更多,以前的工作一般只使用3x3 的kernels。實際上,對于depthwise可分離的卷積來說,5×5 kernels 確實比3×3 kernels更具資源效率。

layer的多樣性重要嗎?

表3

我們將MnasNet與它的在整個網(wǎng)絡中重復單一類型的層的變體進行了比較。如表3所示,MnasNet比這些變體在精度和延遲之間的權(quán)衡表現(xiàn)更好,這表明在資源有限的CNN模型中,layer的多樣性相當重要。

實驗結(jié)果

ImageNet分類性能

我們將所提出的方法應用于ImageNet圖像分類和COCO對象檢測任務。

表1展示了本模型在ImageNet上的性能。

表1:在ImageNet上進行分類的性能結(jié)果

本文將MnasNet模型與手動設計的移動模型以及其它自動化方法做了比較,其中MnasNet是基準模型。MnasNet-65和MnasNet-92是同一體系結(jié)構(gòu)搜索實驗中不同延遲的兩種模型(用于比較)。其中,“+SE”表示附加的squeeze-and-excitation優(yōu)化;“#Parameters”表示可訓練參數(shù)的數(shù)量;“#Mult-Adds”表示每張圖片multiply-add操作的數(shù)量;“Top-1/5 Acc.”表示在ImageNet驗證集上排名第一或前五的精度;“CPU延遲”表示在Pixel1手機上批量大小為1的推斷延遲。

如表1所示,與當前最優(yōu)的MobileNetV2相比,我們的MnasNet模型在Pixel phone平臺上,在同樣的延遲下,將ImageNet top-1的準確率提高了2%。

此外,限制目標top-1準確率的條件下,我們的方法得到同樣精度的速度比MobileNetV2快1.5倍,比NASNet快2.4倍

結(jié)構(gòu)搜索方法

多目標搜索方法通過在方程2中對α和β設置不同的值來設置硬性或軟性延遲約束。下圖展示了在典型α和β下多目標搜索的結(jié)果:

多目標搜索結(jié)果

其中,目標延遲(target latency)為T=80ms。上方圖片展示了對1000個樣本模型(綠色點)的柏拉圖曲線(藍色線);下方圖片展示了模型延遲的直方圖。

模型擴展的靈敏度

現(xiàn)實世界中,各式各樣的應用程序有著許多不同的需求,并且移動設備也不是統(tǒng)一的,所以開發(fā)人員通常會做一些擴展性方面的工作。下圖便展示了不同模型擴展技術(shù)的結(jié)果:

不同模型擴展技術(shù)的性能比較

MnasNet表1中的基準模型。將該基準模型與MobileNet V2的深度倍增器(depth multiplier)和輸入保持一致。

除了模型擴展之外,本文提出的方法還能為任何新的資源約束搜索新的結(jié)構(gòu)。例如,一些視頻應用程序可能需要低至25ms的模型延遲。為了滿足這些約束,可以使用更小的輸入規(guī)模和深度倍增器來擴展一個基準模型,也可以搜索更適合這個新延遲約束的模型。圖6就展示了上述兩個方法的性能比較。

模型擴展 vs. 模型搜索

COCO目標檢測性能

對于COCO目標檢測,選擇與表1相同的MnasNet模型作為SSDLite的特征提取器。根據(jù)其他研究人員的建議,只用本文提出的模型與其他SSD或YOLO探測器進行比較。表2展示了在COCO上MnasNet模型的性能。

表2:在COCO上進行目標檢測的性能結(jié)果

其中,“#Parameters”表示可訓練參數(shù)的數(shù)量;“#Mult-Adds”表示每張圖片multiply-add操作的數(shù)量;mAP表示在test-dev2017上的標準MAP值;mAPS、mAPM、mAPL表示在小型、中等、大型目標中的MAP值;“CPU延遲”表示在Pixel1手機上批量大小為1的推斷延遲。

如表2所示,將我們的模型作為特征提取器插入SSD對象檢測框架,在COCO數(shù)據(jù)集上我們的模型在推理延遲和mAP質(zhì)量上都比MobileNetV1和MobileNetV2有提升,并且達到與 SSD300差不多的mAP質(zhì)量時(22.9 vs 23.2)計算成本降低了35倍。

結(jié)論

本文提出了一種利用強化學習來設計mobile CNN模型的自動神經(jīng)結(jié)構(gòu)搜索方法。這種方法背后的關(guān)鍵想法是將platform-aware的真實的延遲信息集成到搜索過程中,并利用新的分解分層搜索空間來搜索移動模型,在準確性和延遲之間進行最佳的權(quán)衡。我們證明了這一方法可以比現(xiàn)有方法更好地自動地找到移動模型,并在典型的移動推理延遲約束下,在ImageNet圖像分類和COCO對象檢測任務上獲得新的最優(yōu)結(jié)果。由此產(chǎn)生的MnasNet架構(gòu)還提供了一些有趣的發(fā)現(xiàn),將指導我們設計下一代的mobile CNN模型。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 谷歌
    +關(guān)注

    關(guān)注

    27

    文章

    6219

    瀏覽量

    107257
  • Layer
    +關(guān)注

    關(guān)注

    0

    文章

    17

    瀏覽量

    6766
  • 卷積神經(jīng)網(wǎng)絡

    關(guān)注

    4

    文章

    369

    瀏覽量

    12145

原文標題:計算成本降低35倍!谷歌發(fā)布手機端自動設計神經(jīng)網(wǎng)絡MnasNet

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    【PYNQ-Z2申請】基于PYNQ的卷積神經(jīng)網(wǎng)絡加速

    探索整個過程中資源利用的優(yōu)化使整個過程更加節(jié)能高效預計成果:1、在PYNQ上實現(xiàn)卷積神經(jīng)網(wǎng)絡2、對以往實現(xiàn)
    發(fā)表于 12-19 11:37

    卷積神經(jīng)網(wǎng)絡如何使用

    卷積神經(jīng)網(wǎng)絡(CNN)究竟是什么,鑒于神經(jīng)網(wǎng)絡在工程上經(jīng)歷了曲折的歷史,您為什么還會在意它呢? 對于這些非常中肯的問題,我們似乎可以給出相對簡明的答案。
    發(fā)表于 07-17 07:21

    什么是圖卷積神經(jīng)網(wǎng)絡?

    卷積神經(jīng)網(wǎng)絡
    發(fā)表于 08-20 12:05

    卷積神經(jīng)網(wǎng)絡的層級結(jié)構(gòu)和常用框架

      卷積神經(jīng)網(wǎng)絡的層級結(jié)構(gòu)  卷積神經(jīng)網(wǎng)絡的常用框架
    發(fā)表于 12-29 06:16

    卷積神經(jīng)網(wǎng)絡一維卷積的處理過程

    。本文就以一維卷積神經(jīng)網(wǎng)絡為例談談怎么來進一步優(yōu)化卷積神經(jīng)網(wǎng)絡使用的memory。文章(卷積神經(jīng)網(wǎng)絡
    發(fā)表于 12-23 06:16

    卷積神經(jīng)網(wǎng)絡模型發(fā)展及應用

    十余年來快速發(fā)展的嶄新領(lǐng)域,越來越受到研究者的關(guān)注。卷積神經(jīng)網(wǎng)絡(CNN)模型是深度學習模型中最重要的一種經(jīng)典結(jié)構(gòu),其性能在近年來深度學習任務上逐步提高。由于可以自動學習樣本數(shù)據(jù)的特征
    發(fā)表于 08-02 10:39

    卷積神經(jīng)網(wǎng)絡簡介:什么是機器學習?

    抽象人工智能 (AI) 的世界正在迅速發(fā)展,人工智能越來越多地支持以前無法實現(xiàn)或非常難以實現(xiàn)的應用程序。本系列文章解釋了卷積神經(jīng)網(wǎng)絡 (CNN) 及其在 AI 系統(tǒng)中機器學習中的重要性
    發(fā)表于 02-23 20:11

    卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)

    Learning)的應用,通過運用多層卷積神經(jīng)網(wǎng)絡結(jié)構(gòu),可以自動地進行特征提取和學習,進而實現(xiàn)圖像分類、物體識別、目標檢測、語音識別和自然語言翻譯等任務。
    的頭像 發(fā)表于 08-17 16:30 ?1416次閱讀

    卷積神經(jīng)網(wǎng)絡概述 卷積神經(jīng)網(wǎng)絡的特點 cnn卷積神經(jīng)網(wǎng)絡的優(yōu)點

    卷積神經(jīng)網(wǎng)絡概述 卷積神經(jīng)網(wǎng)絡的特點 cnn卷積神經(jīng)網(wǎng)絡的優(yōu)點?
    的頭像 發(fā)表于 08-21 16:41 ?3496次閱讀

    卷積神經(jīng)網(wǎng)絡模型原理 卷積神經(jīng)網(wǎng)絡模型結(jié)構(gòu)

    卷積神經(jīng)網(wǎng)絡模型原理 卷積神經(jīng)網(wǎng)絡模型結(jié)構(gòu)? 卷積神經(jīng)網(wǎng)絡
    的頭像 發(fā)表于 08-21 16:41 ?1230次閱讀

    卷積神經(jīng)網(wǎng)絡層級結(jié)構(gòu) 卷積神經(jīng)網(wǎng)絡卷積層講解

    像分類、目標檢測、人臉識別等。卷積神經(jīng)網(wǎng)絡的核心是卷積層和池化層,它們構(gòu)成了網(wǎng)絡的主干,實現(xiàn)了對圖像特征的提取和抽象。 一、
    的頭像 發(fā)表于 08-21 16:49 ?9516次閱讀

    卷積神經(jīng)網(wǎng)絡的介紹 什么是卷積神經(jīng)網(wǎng)絡算法

    的深度學習算法。CNN模型最早被提出是為了處理圖像,其模型結(jié)構(gòu)中包含卷積層、池化層和全連接層等關(guān)鍵技術(shù),經(jīng)過多個卷積層和池化層的處理,CNN可以提取出圖像中的特征信息,從而對圖像進行分類。 一、
    的頭像 發(fā)表于 08-21 16:49 ?2192次閱讀

    卷積神經(jīng)網(wǎng)絡的基本結(jié)構(gòu)及其功能

    。 引言 深度學習是機器學習的一個分支,它通過模擬人腦神經(jīng)網(wǎng)絡結(jié)構(gòu)和功能,實現(xiàn)對數(shù)據(jù)的自動學習和特征提取。卷積
    的頭像 發(fā)表于 07-02 14:45 ?3067次閱讀

    卷積神經(jīng)網(wǎng)絡的原理與實現(xiàn)

    核心思想是通過卷積操作提取輸入數(shù)據(jù)的特征。與傳統(tǒng)的神經(jīng)網(wǎng)絡不同,卷積神經(jīng)網(wǎng)絡具有參數(shù)共享和局部連接的特點,這使得其在處理圖像等高維數(shù)據(jù)時具有更高的
    的頭像 發(fā)表于 07-02 16:47 ?1048次閱讀

    卷積神經(jīng)網(wǎng)絡的基本結(jié)構(gòu)和工作原理

    和工作原理。 1. 引言 在深度學習領(lǐng)域,卷積神經(jīng)網(wǎng)絡是一種非常重要的模型。它通過模擬人類視覺系統(tǒng),能夠自動學習圖像中的特征,從而實現(xiàn)對圖像的識別和分類。與傳統(tǒng)的機器學習
    的頭像 發(fā)表于 07-03 09:38 ?1371次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品