谷歌 | AI再突破,Efficientnets有望成為計(jì)算機(jī)視覺任務(wù)的新基礎(chǔ)!

谷歌人工智能研究部門的科學(xué)家認(rèn)為Efficientnets通過寬度、深度、分辨率三個(gè)維度的復(fù)合擴(kuò)展，展現(xiàn)出比現(xiàn)行的CNN更高的精度和效率，將成為未來計(jì)算機(jī)視覺任務(wù)的新基礎(chǔ)。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為人工神經(jīng)網(wǎng)絡(luò)的一種，是當(dāng)下語音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)。

它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，所以對(duì)于大型圖像處理有出色表現(xiàn)，但是如果要某一點(diǎn)上提高準(zhǔn)確性，就需要進(jìn)行較為繁瑣的優(yōu)化調(diào)整。

針對(duì)這一現(xiàn)象，谷歌人工智能研究部門的科學(xué)家正在研究一種“更結(jié)構(gòu)化”的方式，用以“縮放”CNN，期望獲得更好的精度和效率。

最近，他們?cè)贏rxiv.org上發(fā)表的一篇論文（EfficientNet : Rethinking Model Scaling for Convolutional Neural Networks）并附帶了一篇博客文章中對(duì)其進(jìn)行描述。他們聲稱，這個(gè)被稱為“Efficientnets”的AI系統(tǒng)，超過了最先進(jìn)的精度，并且提升了10倍的效率。

這篇論文的作者工程師Mingxing Tan 和谷歌人工智能首席科學(xué)家Quocv.le都來自谷歌大腦。

他們認(rèn)為，模型縮放的傳統(tǒng)做法是任意增加CNN的深度或?qū)挾?，或者使用更大的輸入圖像分辨率進(jìn)行訓(xùn)練和評(píng)估。區(qū)別于傳統(tǒng)方法，他們采用了一組固定的縮放系數(shù)來均勻縮放每個(gè)尺寸。

圖中最右側(cè)就是他們的方案，在寬度、深度、分辨率三個(gè)維度進(jìn)行復(fù)合擴(kuò)展。單一調(diào)整一個(gè)維度能夠獲得精度提升，但是隨著參數(shù)調(diào)的越大，精度增益越平滑，改進(jìn)將會(huì)不明顯。而聯(lián)合調(diào)整就能夠獲得相對(duì)更好的精度增益曲線。

那么，它是如何做到的呢？

首先，在固定的資源約束下，通過進(jìn)行柵欄搜索，識(shí)別基線網(wǎng)絡(luò)不同維度之間的關(guān)系。例如，增加兩倍的FLOPS。這決定了每一個(gè)維度適當(dāng)?shù)目s放系數(shù)，將應(yīng)用于基線網(wǎng)絡(luò)縮放至需要的模型尺寸或者計(jì)算預(yù)算。為了進(jìn)一步提高性能，科研人員提出了一種新的基線網(wǎng)絡(luò)，即MBConv，可以為EfficientNets模型體系提供種子。

在測(cè)試的過程中，Efficientnets展現(xiàn)出比現(xiàn)行的CNN更高的精度和效率，將參數(shù)大小和FLOPS減少了一個(gè)數(shù)量級(jí)。

其中，Efficientnet-B7比CNNgpipe小8.4倍，快6.1倍，分別在imagenet中上達(dá)到了Top-1（84.4%）和Top-5（97.1%）的精度。與resnet-50相比，EfficientNet-B4使top-1精度從ResNet-50的76.3%提高至82.6%。

EfficientNets在其他數(shù)據(jù)集的表現(xiàn)也很好。在5/8的廣泛使用的轉(zhuǎn)移學(xué)習(xí)數(shù)據(jù)集中，EfficientNets都達(dá)到了最先進(jìn)的精度，并且減少了21個(gè)參數(shù)。例如，CIFAR-100（91.7％）和Flowers（98.8％），這也表明EfficientNets有很好地轉(zhuǎn)移。

兩位作者表示，通過對(duì)模型效率的顯著改進(jìn)，EfficientNets有可能成為未來計(jì)算機(jī)視覺活動(dòng)的新基礎(chǔ)。他們開源了所有EfficientNet模型，希望這些模型可以使機(jī)器學(xué)習(xí)社區(qū)受益。