Google：數(shù)據(jù)并行對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練用時(shí)的影響

編者按：談到加速模型訓(xùn)練，并行計(jì)算現(xiàn)在已經(jīng)成為一個(gè)人人可以信手拈來的術(shù)語和技巧——通過把單線程轉(zhuǎn)為多線程同時(shí)進(jìn)行，我們可以把訓(xùn)練用時(shí)從一禮拜縮短到幾天甚至幾小時(shí)。但無論你有沒有嘗試過并行訓(xùn)練，你是否思考過這樣一些問題：模型訓(xùn)練是否存在一個(gè)閾值，當(dāng)batch size變化到一定程度后，訓(xùn)練所用的步數(shù)將不再減少；對(duì)于不同模型，這個(gè)閾值是否存在巨大差異……

摘要

近年來，硬件的不斷發(fā)展使數(shù)據(jù)并行計(jì)算成為現(xiàn)實(shí)，并為加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練提供了解決方案。為了開發(fā)下一代加速器，最簡(jiǎn)單的方法是增加標(biāo)準(zhǔn)minibatch神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法中的batch size。在這篇論文中，我們的目標(biāo)是通過實(shí)驗(yàn)表征增加batch size對(duì)訓(xùn)練時(shí)間的影響，其中衡量訓(xùn)練時(shí)間的是到達(dá)目標(biāo)樣本外錯(cuò)誤時(shí)模型所需的訓(xùn)練步驟數(shù)。

當(dāng)batch size增加到一定程度后，模型訓(xùn)練步數(shù)不再發(fā)生變化?？紤]到batch size和訓(xùn)練步驟之間的確切關(guān)系對(duì)從業(yè)者、研究人員和硬件設(shè)計(jì)師來說都至關(guān)重要，我們還研究了不同訓(xùn)練算法、模型和數(shù)據(jù)記下這種關(guān)系的具體變化，并發(fā)現(xiàn)了它們之間的巨大差異。在論文最后，我們調(diào)整了以往文獻(xiàn)中關(guān)于batch size是否會(huì)影響模型性能的說法，并探討了論文結(jié)果對(duì)更快、更好訓(xùn)練神經(jīng)網(wǎng)絡(luò)的意義。

研究結(jié)果

通過全面定性定量的實(shí)驗(yàn)，我們最終得出了以下結(jié)論：

1. 實(shí)驗(yàn)表明，在測(cè)試用的六個(gè)不同的神經(jīng)網(wǎng)絡(luò)、三種訓(xùn)練算法和七個(gè)數(shù)據(jù)集下，batch size和訓(xùn)練步驟之間關(guān)系都具有相同的特征形式。

具體來說，就是對(duì)于每個(gè)workload（模型、訓(xùn)練算法和數(shù)據(jù)集），如果我們?cè)趧傞_始的時(shí)候增加batch size，模型所需的訓(xùn)練步驟數(shù)確實(shí)會(huì)按比例逐漸減少，但越到后期，步驟數(shù)的減少量就越低，直到最后不再發(fā)生變化。與之前那些對(duì)元參數(shù)做出強(qiáng)有力假設(shè)的工作不同，我們的實(shí)驗(yàn)嚴(yán)格對(duì)照了不同網(wǎng)絡(luò)、不同算法和不同數(shù)據(jù)集的變化，這個(gè)結(jié)論更具普遍性。

2. 我們也發(fā)現(xiàn)，最大有用batch size在不同workload上都有差異，而且取決于模型、訓(xùn)練算法和數(shù)據(jù)集的屬性。

相比一般SGD，具有動(dòng)量的SGD（以及Nesterov動(dòng)量）的最大有用batch size更大，這意味著未來大家可以研究不同算法和batch size縮放屬性之間的關(guān)系。

有些模型的最大有用batch size很大，有些則很小，而且它們的這種關(guān)系并不像以前論文中介紹的那么簡(jiǎn)單（比如更寬的模型并不總能更好地?cái)U(kuò)展到更大的batch size）。

相比神經(jīng)網(wǎng)絡(luò)和算法，數(shù)據(jù)集對(duì)最大有用batch size的影響較小，但它的影響方式有些復(fù)雜。

3. 我們還發(fā)現(xiàn)，訓(xùn)練元參數(shù)的最佳值并不總是遵循和batch size的任何簡(jiǎn)單數(shù)學(xué)關(guān)系。比如近期有一種比較流行的學(xué)習(xí)率設(shè)置方法是直接線性縮放batch size，但我們發(fā)現(xiàn)這種方法并不適用于所有問題，也不適用于所有batch size。

4. 最后，通過回顧先前工作中使用的實(shí)驗(yàn)方案細(xì)節(jié)，我們沒有找到任何關(guān)于增加batch size必然會(huì)降低模型性能的證據(jù)，但當(dāng)batch size過大時(shí)，額外的正則化確實(shí)會(huì)變得至關(guān)重要。

實(shí)驗(yàn)

下表是實(shí)驗(yàn)采用的數(shù)據(jù)集，size一欄指的是訓(xùn)練集中的樣本數(shù)，訓(xùn)練數(shù)據(jù)分為圖像和文本兩類。

下表是實(shí)驗(yàn)用的模型，它們都是從業(yè)者會(huì)在各類任務(wù)中使用的主流模型。表中也展示了我們用于每個(gè)模型和數(shù)據(jù)集的學(xué)習(xí)率。學(xué)習(xí)率的作用是加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練，但找到最佳學(xué)習(xí)率本身是一個(gè)優(yōu)化問題。

下圖展示了不同workload下batch size和訓(xùn)練步驟之間關(guān)系變化?？梢园l(fā)現(xiàn)，雖然使用的神經(jīng)網(wǎng)絡(luò)、算法和數(shù)據(jù)集不同，但這九幅圖都表現(xiàn)出了同樣的特征，就是在初始階段，隨著batch size逐漸增加，訓(xùn)練步驟數(shù)會(huì)有一段線性遞減的區(qū)間，緊接著是一個(gè)收益遞減的區(qū)域。最后，當(dāng)batch size突破最大有用batch size閾值后，訓(xùn)練步數(shù)不再明顯下降，即便增加并行線程也不行。

下圖不同模型下batch size和訓(xùn)練步驟之間關(guān)系變化。其中a、b、c三個(gè)模型的最大有用batch size比其他模型大得多，d和f表明改變神經(jīng)網(wǎng)絡(luò)的深度和寬度可以影響模型利用較大batch size的能力，但這種做法只適用于同模型對(duì)比，不能推廣到不同模型架構(gòu)的對(duì)比中。

在上圖的實(shí)驗(yàn)中，MNIST模型用的都是常規(guī)的mini-batch SGD，而其他模型則用了Nesterov momentum。經(jīng)過比較，我們發(fā)現(xiàn)Nesterov在處理較大batch size上比mini-batch SGD更好一些，所以這些模型的最大可用batch size也更大。

下圖顯示了不同數(shù)據(jù)集對(duì)batch size和訓(xùn)練步驟之間關(guān)系的影響。如圖所示，雖然不大，但影響確實(shí)是客觀存在的，而且非常復(fù)雜。比如對(duì)于MNIST，子集大小對(duì)最大有用batch size的影響幾乎為0；但對(duì)于ImageNet，子集小一點(diǎn)似乎訓(xùn)練起來更快。

小結(jié)

這里我們只呈現(xiàn)了部分實(shí)驗(yàn)圖表，感興趣的讀者可以閱讀原文進(jìn)行更深入的研究?？偠灾?，這篇論文帶給我們的啟示是，盡管增加batch size在短期來看是加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練最便捷的方法，但如果我們盲目操作，即便擁有最先進(jìn)的硬件條件，它在到達(dá)閾值后也不會(huì)為我們帶來額外收益。

當(dāng)然，這些實(shí)驗(yàn)數(shù)據(jù)也我們發(fā)掘了不少優(yōu)化算法，它們可能能夠在許多模型和數(shù)據(jù)集中始終如一地加速模型訓(xùn)練。