神經(jīng)架構(gòu)搜索的算法，可以使被AI優(yōu)化過的AI設(shè)計過程加速240多倍

自2017年以來，人工智能（AI）研究人員一直用AI神經(jīng)網(wǎng)絡(luò)來設(shè)計更好、更快的AI神經(jīng)網(wǎng)絡(luò)。迄今為止，學(xué)界一直在追求用人工智能促進(jìn)人工智更好地發(fā)展。這主要是因為，這種方法能達(dá)到數(shù)萬小時的GPU時間。 如果真可以實(shí)現(xiàn)這一點(diǎn)，那么設(shè)計AI應(yīng)用程序時，可能會更快、更簡單。

今年5月，麻省理工學(xué)院的一個研究團(tuán)隊將展示一種名為“神經(jīng)架構(gòu)搜索”（ “neural architecture search” ）的算法，該算法可以使被AI優(yōu)化過的AI設(shè)計過程加速240多倍。 這有利于人工智能更快、更準(zhǔn)，并且在實(shí)際范圍內(nèi)廣泛應(yīng)用于圖像識別算法和其他相關(guān)應(yīng)用。

自2017年以來，人工智能（AI）研究人員一直用AI神經(jīng)網(wǎng)絡(luò)來設(shè)計更好、更快的AI神經(jīng)網(wǎng)絡(luò)。迄今為止，學(xué)界一直在追求用人工智能促進(jìn)人工智更好地發(fā)展。這主要是因為，這種方法能達(dá)到數(shù)萬小時的GPU時間。 如果真可以實(shí)現(xiàn)這一點(diǎn)，那么設(shè)計AI應(yīng)用程序時，可能會更快、更簡單。

麻省理工學(xué)院電子工程和計算機(jī)科學(xué)助理教授韓松說：“在模型大小、應(yīng)用延遲、準(zhǔn)確性和模型容量之間存在各種權(quán)衡。把所有的東西權(quán)衡起來就會產(chǎn)生一個巨大的設(shè)計空間。 以前人們設(shè)計的神經(jīng)網(wǎng)絡(luò)采用的是啟發(fā)式算法。神經(jīng)架構(gòu)搜索的目的在于減輕算法的工作量，將基于人類啟發(fā)式的探索轉(zhuǎn)化為算法自主學(xué)習(xí)的，更符合AI的設(shè)計邏輯。 就像AI可以學(xué)習(xí)下圍棋一樣，去學(xué)習(xí)如何設(shè)計一個神經(jīng)網(wǎng)絡(luò)?！?/p>

就像人工智能曾戰(zhàn)勝李世石與柯潔，甚至可以教這些圍棋國手新的圍棋路數(shù)， 通過AI來優(yōu)化AI可以提供新的AI設(shè)計思路。

麻省理工用的AI算法類型是一種卷積神經(jīng)網(wǎng)絡(luò)（CNN）。（CNN通常是用于圖像識別的首選神經(jīng)網(wǎng)絡(luò)。除此之外，它還被應(yīng)用于自然語言處理和藥物研發(fā)。）

韓松說，這種被AI優(yōu)化過的CNN的圖像分類速度將是其他AI的1.8倍。

他補(bǔ)充說團(tuán)隊能將CNN提速至此，主要緣于以下三點(diǎn)：

首先，他們減少了運(yùn)行神經(jīng)架構(gòu)搜索的GPU內(nèi)存負(fù)載。標(biāo)準(zhǔn)神經(jīng)架構(gòu)搜索可以同時檢查網(wǎng)絡(luò)中神經(jīng)層之間所有可能的連接。而韓松團(tuán)隊的算法每次只在CPU的內(nèi)存中保存一條路徑。這個技巧可以只用十分之一的內(nèi)存完成對所有參數(shù)空間的搜索，從而使搜索能夠覆蓋更多的網(wǎng)絡(luò)配置而不會耗盡芯片上的空間。

第二，該團(tuán)隊通過刪減掉冗余的神經(jīng)網(wǎng)絡(luò)來精簡路徑，這樣明顯加快了神經(jīng)網(wǎng)絡(luò)搜索進(jìn)程。通常，神經(jīng)架構(gòu)搜索只丟棄單個“神經(jīng)元”，因為它會修剪掉所有次優(yōu)的神經(jīng)網(wǎng)絡(luò)連接。

第三，這個算法使神經(jīng)網(wǎng)絡(luò)搜索意識到AI系統(tǒng)在正在運(yùn)行的硬件中可能的延遲時間 ，不管這個硬件是GPU或CPU。

韓松說，令人驚訝的是，通過新的算法，我們發(fā)現(xiàn)，傳統(tǒng)AI中某些圖像識別神經(jīng)網(wǎng)絡(luò)是錯的。從某種意義上說，當(dāng)前大家已經(jīng)在用GPU運(yùn)行算法了，但有些做AI的人的設(shè)計思維仍然處于CPU時代。

CNN在其圖像識別算法中使用的是3×3、5×5或7×7像素的正方形網(wǎng)格濾波器，不過此前，大家很少使用7×7像素的濾波器，因為人們一直認(rèn)為運(yùn)行多層3×3像素的濾波器比單個7×7像素的濾波器更快。

然而，被AI優(yōu)化的AI卻使用了不少7×7像素的濾波器。韓松表示，當(dāng)前用于人工智能計算的硬件中，GPU仍然占主導(dǎo)地位。他說：“GPU本身有很大的并行性，而且大型內(nèi)核調(diào)用比調(diào)用幾個小內(nèi)核調(diào)用效率更高，因此7×7層的濾波器更適用于GPU?！?/p>