富士通宣布打破了ImageNet的訓(xùn)練速度記錄——在74.7秒內(nèi)達(dá)到75%的準(zhǔn)確率

近期，來自富士通（Fujitsu）的研究員們宣布他們打破了ImageNet的訓(xùn)練速度記錄——在74.7秒內(nèi)達(dá)到75%的準(zhǔn)確率。這比去年11月由索尼（Sony）創(chuàng)下的前紀(jì)錄快了47秒。

團(tuán)隊(duì)取得這樣的紀(jì)錄，得益于日本東京大學(xué)（University of Tokyo）的AI Bridging Cloud Infrastructure（ABCI）系統(tǒng)上的2,048塊NVIDIA Tesla V100 GPU，以及MXNet深度學(xué)習(xí)架構(gòu)。

ABCI系統(tǒng)是日本最快的超級(jí)計(jì)算機(jī)，在世界超級(jí)計(jì)算機(jī)榜單中也名列前10。該系統(tǒng)由超過4,300塊NVLink互聯(lián)的NVIDIA V100 GPU提供算力。Sony此前保持的紀(jì)錄也是借助此系統(tǒng)實(shí)現(xiàn)的。

富士通（Fujitsu）在一篇文章中介紹：“基于此技術(shù)，富士通實(shí)驗(yàn)室（Fujitsu Laboratories）深耕HPC發(fā)展，公司現(xiàn)已開發(fā)出了新的技術(shù)，能夠在保證訓(xùn)練準(zhǔn)確率的同時(shí)拓展每塊GPU的計(jì)算量?！?/p>

為了對(duì)使用大批量mini-batch訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)（DNN）時(shí)發(fā)生的驗(yàn)證準(zhǔn)確性進(jìn)行補(bǔ)償，團(tuán)隊(duì)“使用了相關(guān)技術(shù)，在不影響準(zhǔn)確率的同時(shí)，增大了小批量的體量?！?/p>

研究人員介紹說：“眾所周知，具有數(shù)據(jù)并行性的分布式深度學(xué)習(xí)是加速集群訓(xùn)練的有效方法。通過這種方法，在集群上運(yùn)行的所有步驟都具有相同的DNN模型和權(quán)重?！?/p>

研究人員們同時(shí)也借助了Tensor核心的混合精度。

該DNN架構(gòu)經(jīng)過優(yōu)化，基于ImageNet在74.7秒的時(shí)間內(nèi)完成 ResNet-50訓(xùn)練，而且驗(yàn)證準(zhǔn)確率高達(dá)75.08%。

團(tuán)隊(duì)還能夠使用高達(dá)81,920個(gè)的大批量mini-batch，同時(shí)保持75.08%的準(zhǔn)確率（如上表中第3個(gè)數(shù)據(jù)點(diǎn)所示）。

為實(shí)現(xiàn)這一里程碑式的成果，大量的NVIDIA技術(shù)被應(yīng)用其中，其中就包括層級(jí)對(duì)應(yīng)的適應(yīng)率縮放（Layer-wise Adaptive Rate Scaling）。

該項(xiàng)工作目前已在ArXiv 和富士通博客上發(fā)表。