英特爾新推AI芯片Nervana

在拉斯維加斯舉行的2019年國(guó)際消費(fèi)電子展上，英特爾數(shù)據(jù)中心集團(tuán)執(zhí)行副總裁Navin Shenoy宣布英特爾Nervana神經(jīng)網(wǎng)絡(luò)推理處理器將于今年投入生產(chǎn)。早在2016年，英特爾就以4.08億美元的價(jià)格從圣地亞哥收購(gòu)了擁有48人的AI SAAS初創(chuàng)公司Nervana。 Nervana當(dāng)時(shí)是一家軟件公司，提供一個(gè)名為Nervana Cloud的全棧軟件即服務(wù)平臺(tái)，在一個(gè)名為Neon的開(kāi)源框架基礎(chǔ)上支持定制深度學(xué)習(xí)應(yīng)用程序的開(kāi)發(fā)。

據(jù)報(bào)道，Nervana當(dāng)時(shí)正致力于開(kāi)發(fā)用于神經(jīng)網(wǎng)絡(luò)處理的定制芯片，他們聲稱(chēng)使用這種芯片AI加速器的性能至少會(huì)領(lǐng)先GPU10倍。當(dāng)然，開(kāi)發(fā)自定義處理器對(duì)于小型軟件團(tuán)隊(duì)來(lái)說(shuō)是一項(xiàng)艱巨的任務(wù)，但是在它被英特爾收購(gòu)后，要實(shí)現(xiàn)這一想法就變得現(xiàn)實(shí)多了。現(xiàn)在，英特爾宣布推出第一款產(chǎn)品，用于推理的英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器，簡(jiǎn)稱(chēng)NNP-I。該公司還宣布將在今年下半年推出代號(hào)為“Spring Crest”的神經(jīng)網(wǎng)絡(luò)訓(xùn)練處理器。Nervana Engine最初是采用28nm技術(shù)開(kāi)發(fā)的，計(jì)劃在發(fā)布之前升級(jí)到14nm。英特爾目前還沒(méi)有做出回應(yīng)，但我們推斷今年交付的設(shè)備將采用英特爾的14nm FinFET技術(shù)，未來(lái)或許會(huì)改用10nm。

英特爾表示Nervana正在與Facebook合作開(kāi)發(fā)，這是一個(gè)很有意思的消息，因?yàn)镕acebook是“超七”數(shù)據(jù)中心公司，其加速策略一直是不公開(kāi)的。谷歌開(kāi)發(fā)了自己的處理器，微軟，亞馬遜和AWS等公司也在基于FPGA的加速方面投入了大量資金。和Facebook成為開(kāi)發(fā)合作伙伴，應(yīng)該能讓Nervana在今年下半年全面上市時(shí)獲得可靠的端到端認(rèn)證。

神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理是計(jì)算密集型的，涉及矩陣的張量乘法和卷積。多年來(lái)，圖形處理單元（GPU）一直是人工智能訓(xùn)練加速的首選解決方案，而FPGA一直在努力開(kāi)拓推理游戲中的競(jìng)爭(zhēng)優(yōu)勢(shì)。就像現(xiàn)成的芯片一樣，GPU可以充分利用其高度并行的矢量和線(xiàn)性代數(shù)功能，非常適合人工智能任務(wù)。但是，由于GPU并非專(zhuān)為人工智能而設(shè)計(jì)，所以當(dāng)涉及到人工智能和深度學(xué)習(xí)的架構(gòu)優(yōu)化時(shí)，GPU仍然有很多問(wèn)題需要解決。

類(lèi)似地，F(xiàn)PGA可以通過(guò)更低的功耗為推理任務(wù)提供極高的并行性和性能，因?yàn)椴煌谟?xùn)練，推理任務(wù)可以通過(guò)降低精度的定點(diǎn)計(jì)算來(lái)完成。大型數(shù)據(jù)中心和公有云已經(jīng)開(kāi)始利用FPGA集群來(lái)加速推理任務(wù)，在吞吐量、延遲和計(jì)算效率方面取得了顯著成果。然而，與GPU類(lèi)似，典型的FPGA上有許多不涉及AI計(jì)算的硬件，許多可編程架構(gòu)使得FPGA作為通用設(shè)備非常棒，但作為AI處理器卻不夠理想。

Nervana是從GPU內(nèi)核的深度學(xué)習(xí)開(kāi)發(fā)人員的角度來(lái)解決這個(gè)問(wèn)題的，這讓他們深刻地認(rèn)識(shí)到GPU對(duì)于AI任務(wù)的局限性。該公司表示，Nervana引擎是從頭開(kāi)始設(shè)計(jì)的，拋棄了GPU架構(gòu)，重新開(kāi)始。他們分析了許多深層神經(jīng)網(wǎng)絡(luò)，并提出了他們認(rèn)為的最適合關(guān)鍵操作的架構(gòu)。他們還提出了一種新的數(shù)字格式——FlexPoint，它試圖最大化16位存儲(chǔ)的精度。

由于人工智能計(jì)算可能非常耗費(fèi)內(nèi)存，因此Nervana需要能夠快速移動(dòng)大量數(shù)據(jù)。Nervana設(shè)備包括32GB的內(nèi)置高帶寬內(nèi)存（HBM），可提供8Tb/s的內(nèi)存訪(fǎng)問(wèn)帶寬。HBM存儲(chǔ)器通過(guò)芯片3D堆疊實(shí)現(xiàn)高容量。一個(gè)HBM芯片?？梢源鎯?chǔ)8GB的數(shù)據(jù)，其中包含8個(gè)1GB的獨(dú)立內(nèi)存模塊。Nervana引擎包括4個(gè)HBM棧，提供32GB的存儲(chǔ)。英特爾的多模封裝技術(shù)將HBM與處理器核心陣列連接起來(lái)。我們推測(cè)這是由英特爾的2.5D嵌入式多模互連橋(EMIB)技術(shù)而不是新宣布的FOVEROS 3D封裝完成的，不過(guò)英特爾并沒(méi)有給出明確答案。

Nervana引擎由一系列“Tensor Processing Cores”組成，這些核心由HBM基板、內(nèi)存接口和高速I(mǎi)O組成，旨在將許多Nervana設(shè)備組合在一起，以提供超大規(guī)模的網(wǎng)絡(luò)部署。英特爾尚未給出新設(shè)備的具體性能或功耗數(shù)據(jù)，只是說(shuō)功耗將達(dá)到數(shù)百瓦，和Movidius和Mobileye等邊緣目標(biāo)AI設(shè)備相比，Nervana明顯將用于數(shù)據(jù)中心。

該設(shè)備包括六條雙向高帶寬鏈路，該公司表示該芯片能夠在機(jī)箱內(nèi)部或機(jī)箱之間無(wú)縫連接。該公司表示，這使用戶(hù)能夠通過(guò)簡(jiǎn)單地分配更多的計(jì)算，或者在不降低速度的情況擴(kuò)展模型規(guī)模，從而在當(dāng)前模型上獲得線(xiàn)性加速。將多臺(tái)設(shè)備連接在一起可以作為一個(gè)大處理器。

Nervana的目標(biāo)是在數(shù)據(jù)中心搶食GPU和FPGA的市場(chǎng)。由于英特爾在其PSG部門(mén)（前身為Altera）擁有世界上最好的FPGA技術(shù)之一，因此它認(rèn)為Nervana在推理方面超過(guò)FPGA，在訓(xùn)練方面比GPU具有更明顯的優(yōu)勢(shì)。特別是英偉達(dá)(NVIDIA)，它在AI訓(xùn)練領(lǐng)域占據(jù)著主導(dǎo)地位，顯然是Nervana瞄準(zhǔn)的目標(biāo)。

隨著更多不同領(lǐng)域的AI設(shè)備進(jìn)入市場(chǎng)，目前的通用處理器芯片無(wú)法滿(mǎn)足需求，會(huì)有越來(lái)越多的AI芯片出現(xiàn)，我們將拭目以待。