人工智能和機(jī)器學(xué)習(xí)的爆炸式發(fā)展正在改變計(jì)算的本質(zhì)

在硅谷一個(gè)芯片研討會(huì)上，谷歌軟件工程師Cliff Young指出AI的爆炸式發(fā)展正在改變計(jì)算的本質(zhì)，摩爾定律陷入停滯，而AI對(duì)計(jì)算需求的增長(zhǎng)構(gòu)成了“超級(jí)摩爾定律”：arXiv上關(guān)于機(jī)器學(xué)習(xí)的學(xué)術(shù)論文每18個(gè)月增加一倍；谷歌內(nèi)部專注于AI的研究項(xiàng)目數(shù)量也每18個(gè)月增加一倍；機(jī)器學(xué)習(xí)所需的計(jì)算力更是每三個(gè)半月就增加一倍。

人工智能和機(jī)器學(xué)習(xí)的爆炸式發(fā)展正在改變計(jì)算的本質(zhì)。

說這話的是谷歌軟件工程師Cliff Young，而谷歌是人工智能最大的實(shí)踐者之一。

Cliff Young上周在硅谷的一個(gè)芯片研討會(huì)發(fā)表了主題演講，他說，AI的使用已經(jīng)達(dá)到了一個(gè)“指數(shù)增長(zhǎng)階段”（exponential phase），與此同時(shí)，關(guān)于半導(dǎo)體發(fā)展的經(jīng)驗(yàn)法則——摩爾定律——已經(jīng)陷入停滯。

摩爾定律的內(nèi)容是：集成電路上可容納的晶體管數(shù)目，約每隔兩年便會(huì)增加一倍。經(jīng)常被引用的“18個(gè)月”是由英特爾的David House提的：每18個(gè)月，芯片的性能提高一倍。

“這個(gè)時(shí)間有點(diǎn)神經(jīng)質(zhì)，”Cliff Young說：“數(shù)字CMOS的增速正在放緩，我們也看到英特爾在10納米芯片的生產(chǎn)方面面臨困境，還有格芯（GlobalFoundries）已經(jīng)宣布放棄了7納米制造工藝研發(fā)，與此同時(shí)，深度學(xué)習(xí)進(jìn)展迅猛，存在經(jīng)濟(jì)需求?！盋MOS即Complementary Metal Oxide Semiconductor（互補(bǔ)金屬氧化物半導(dǎo)體），是計(jì)算機(jī)芯片最常見的材料。

Young認(rèn)為，由于傳統(tǒng)芯片難以實(shí)現(xiàn)更高的性能和效率，來自AI研究人員的需求正在激增。他一口氣列舉了一些數(shù)據(jù)：arXiv上關(guān)于機(jī)器學(xué)習(xí)的學(xué)術(shù)論文數(shù)量每18個(gè)月就增加一倍；在谷歌，專注于AI的內(nèi)部研究項(xiàng)目數(shù)量也每18個(gè)月增加一倍。更為激烈的是，執(zhí)行機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)所需的浮點(diǎn)運(yùn)算量每三個(gè)半月就翻一番。

Young說，所有這些計(jì)算需求的增長(zhǎng)構(gòu)成了“超級(jí)摩爾定律”，他稱這種現(xiàn)象“有點(diǎn)可怕”，“有點(diǎn)危險(xiǎn)”，“令人擔(dān)憂”。

“為什么AI領(lǐng)域出現(xiàn)了這些指數(shù)級(jí)的增長(zhǎng)？”他說，“部分原因是，深度學(xué)習(xí)確實(shí)有效?！?/p>

他說：“很長(zhǎng)一段時(shí)間里，我的職業(yè)生涯都忽視了機(jī)器學(xué)習(xí)，因?yàn)槟菚r(shí)尚不清楚這些東西會(huì)不會(huì)流行起來?！?/p>

但后來，圖像識(shí)別等領(lǐng)域的突破開始迅速出現(xiàn)，很明顯，深度學(xué)習(xí)“非常有效”。Young說：“在過去5年的大部分時(shí)間里，谷歌一直是一家AI-first的公司，我們以AI為基礎(chǔ)重建了大部分業(yè)務(wù)，從搜索業(yè)務(wù)到廣告業(yè)務(wù)等等?！?/p>

谷歌內(nèi)部領(lǐng)導(dǎo)AI研究的是Google Brain團(tuán)隊(duì)，它的需求是“巨型機(jī)器”。例如，神經(jīng)網(wǎng)絡(luò)有時(shí)是通過他們使用的“權(quán)重”數(shù)量來測(cè)量的，這些變量被應(yīng)用于神經(jīng)網(wǎng)絡(luò)，以形成對(duì)數(shù)據(jù)的操縱。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)必須要計(jì)算的可能有數(shù)十萬個(gè)這樣的權(quán)重，甚至數(shù)百萬，谷歌的科學(xué)家們說“請(qǐng)給我們一個(gè)tera-weight級(jí)的機(jī)器”，讓計(jì)算機(jī)能夠計(jì)算一萬億權(quán)重。

這是因?yàn)椤懊看文銓⑸窠?jīng)網(wǎng)絡(luò)的大小增加一倍，它的準(zhǔn)確率就會(huì)提高?！盇I的規(guī)則就是越大越好。

當(dāng)然，為了應(yīng)對(duì)這樣的需求，谷歌一直在開發(fā)自己的機(jī)器學(xué)習(xí)芯片，即“張量處理單元”（Tensor Processing Unit，TPU）。由于傳統(tǒng)的CPU和圖形芯片（GPU）跟不上速度，TPU以及類似的部件是需要的。

Young說：“在很長(zhǎng)一段時(shí)間里，我們都躊躇不前，并表示英特爾和英偉達(dá)在構(gòu)建高性能系統(tǒng)方面做得非常好。但我們?cè)谖迥昵翱邕^了這個(gè)門檻?！?/p>

TPU于2017年首次亮相，標(biāo)榜其性能優(yōu)于傳統(tǒng)芯片，引起了業(yè)界轟動(dòng)。谷歌目前已進(jìn)入TPU的第三次迭代，不過是在內(nèi)部使用，并通過谷歌云提供按需計(jì)算節(jié)點(diǎn)。

TPU v3 Pod

谷歌繼續(xù)制造越來越大的TPU實(shí)例。它的“pod”配置將1024個(gè)單獨(dú)的TPU連接在一起，形成一臺(tái)新型超級(jí)計(jì)算機(jī)，而且谷歌打算“繼續(xù)擴(kuò)展”這個(gè)系統(tǒng)。

Young說：“我們正在打造巨大的多處理器計(jì)算機(jī)，具有幾十petabytes的計(jì)算力。我們同時(shí)向多個(gè)方向推進(jìn)，tera-ops級(jí)的也在繼續(xù)開發(fā)?！?/p>

他說，這樣的工程“帶來了超級(jí)計(jì)算機(jī)設(shè)計(jì)中會(huì)出現(xiàn)的所有問題。”

例如，谷歌工程師們采用了傳奇的超級(jí)計(jì)算機(jī)公司Cray所使用的技巧。他們將芯片中負(fù)責(zé)神經(jīng)網(wǎng)絡(luò)計(jì)算的“巨大的矩陣乘法單元”與“通用向量單元”和“通用標(biāo)量單元”結(jié)合在一起。標(biāo)量單元和向量單元的結(jié)合讓Cray的性能優(yōu)于其他處理器。

谷歌開發(fā)了自己的新型算法結(jié)構(gòu)來編程芯片。所謂的“bfloat16”是一種表示實(shí)數(shù)的方法，可以提高神經(jīng)網(wǎng)絡(luò)數(shù)字運(yùn)算的效率。bfloat16的全稱是truncated 16-bit floating point（截?cái)喔↑c(diǎn)數(shù)），被通俗地稱為“brain float”。

TPU采用最快的內(nèi)存芯片，即所謂的高帶寬內(nèi)存（HBM）。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，對(duì)內(nèi)存容量的需求也在激增。

Young說：“內(nèi)存在訓(xùn)練中更加集中。不只是數(shù)億個(gè)權(quán)重，還涉及處理神經(jīng)網(wǎng)絡(luò)激活變量的問題”。

谷歌也在調(diào)整編程神經(jīng)網(wǎng)絡(luò)的方式，以充分利用硬件。他們?cè)跀?shù)據(jù)和模型并行性方面做了大量工作，包括“Mesh TensorFlow”等項(xiàng)目，這是對(duì)TensorFlow編程框架的改編，目的是將數(shù)據(jù)和模型并行性在pod-scale上結(jié)合起來。

有一些技術(shù)細(xì)節(jié)Young不愿透露。他指出，谷歌沒有過多地談?wù)摗盎ミB”（interconnects），即數(shù)據(jù)在芯片中移動(dòng)的方式，只是說“我們有巨大的連接器”，拒絕提供更多信息。

Young談到一些可能并不遙遠(yuǎn)的更有趣的計(jì)算領(lǐng)域。例如，他建議通過模擬芯片進(jìn)行計(jì)算，這種電路將輸入作為連續(xù)值而不是作為1和0來處理，這樣可以發(fā)揮重要作用。他說：“也許我們將從模擬領(lǐng)域進(jìn)行采樣，在物理、模擬計(jì)算或非易失性技術(shù)方面確實(shí)有一些很酷的東西?！?/p>