英特爾專(zhuān)用AI芯片憋了三年半終于要放大招了

英特爾那款專(zhuān)用AI芯片的大招已經(jīng)憋三年半了。

準(zhǔn)確來(lái)說(shuō)，Nervana——英特爾砸了4.08億美元（也有報(bào)道稱(chēng)3.5億）買(mǎi)下的那家加州創(chuàng)企——他們那款專(zhuān)用AI芯片的大招已經(jīng)憋三年半了。

2014年4月，在Nervana獲得首筆60萬(wàn)美元的成立之初，這家公司就宣布要打造一款“深度學(xué)習(xí)專(zhuān)用硬件”。而在2014年8月，在獲得第二筆融資（330萬(wàn)美元）后，其CEO Naveen Rao就表示，“用戶(hù)能在大約6個(gè)月后嘗試到這些深度學(xué)習(xí)專(zhuān)用硬件?！?/p>

三年多后，在經(jīng)歷了第三輪2050萬(wàn)美元融資并且被英特爾收購(gòu)后，在今年10月17日，英特爾CEO科再奇在采訪(fǎng)中表示，這塊芯片在今年年底就會(huì)正式和用戶(hù)見(jiàn)面。與此同時(shí)他還說(shuō)，F(xiàn)acebook正在參與合作打造這款A(yù)I專(zhuān)用芯片。

然而，隨著2017年轉(zhuǎn)眼就要余額不足，英特爾這款Nervana專(zhuān)用AI芯片的還是沒(méi)有正式亮相。尤其是在歐美連珠炮假日季“感恩節(jié)-圣誕節(jié)-元旦”來(lái)臨的12月底，我們可以大膽地假設(shè)一句——明年見(jiàn)（也許是2018 CES？）

不過(guò)，雖然大招一再推遲，但是英特爾集團(tuán)上下依舊對(duì)于Nervana項(xiàng)目十分看重。英特爾CEO科再奇不僅在不同場(chǎng)合內(nèi)一再為Nervana站臺(tái)，而且在收購(gòu)Nervana后短短幾個(gè)月間，前Nervana CEO就被晉升為英特爾人工智能事業(yè)部總負(fù)責(zé)人，直接向科再奇匯報(bào)——在以資歷排位著稱(chēng)的英特爾內(nèi)，晉升速度堪稱(chēng)火箭。

▲前Nervana CEO、英特爾人工智能事業(yè)部總負(fù)責(zé)人Naveen Rao

今天，我們就來(lái)扒一扒Nervana與這塊英特爾專(zhuān)用AI芯片，同時(shí)也來(lái)看一看英特爾這三年多的等待和3.5億美元的資金砸出了多大一個(gè)響來(lái)？也看看英特爾這個(gè)曾經(jīng)PC時(shí)代當(dāng)之無(wú)愧的霸主，如今能不能靠著Nervana在人工智能領(lǐng)域提刀再戰(zhàn)？

比GPU更好、更快、更強(qiáng)大

深度學(xué)習(xí)分為訓(xùn)練（Training）和應(yīng)用（Inference）兩個(gè)階段，Nervana芯片瞄準(zhǔn)的是訓(xùn)練階段，這一階段需要計(jì)算機(jī)處理大量的數(shù)據(jù)，現(xiàn)有的CPU難以滿(mǎn)足如此強(qiáng)大的計(jì)算需求，這也是英偉達(dá)靠著GPU崛起的重要原因。

目前Nervana芯片主要應(yīng)用在云計(jì)算數(shù)據(jù)機(jī)房?jī)?nèi)。Nervana CEO Naveen Rao曾經(jīng)表示，Nervana使用的這種新型芯片設(shè)計(jì)架構(gòu)比GPU更快、功耗更低、性能更好。

▲英特爾Nervana深度學(xué)習(xí)專(zhuān)用芯片設(shè)計(jì)架構(gòu)

根據(jù)英特爾在2016年11月的AI Day上，我們第一次了解到了這塊Nervana深度學(xué)習(xí)專(zhuān)用芯片的設(shè)計(jì)架。這款芯片為2.5D封裝，搭載了32GB的HBM2內(nèi)存，內(nèi)存帶寬為8Tbps。芯片中沒(méi)有緩存，完全通過(guò)軟件去管理片上存儲(chǔ)。它可以支持各類(lèi)神經(jīng)網(wǎng)絡(luò)算法框架的加速，比如Nervana的Neon、谷歌的TensorFlow、Facebook的Caffe等。

Nervana CEO表示，之所以這款芯片能夠做到比更快CPU、比GPU更快地加速處理深度神經(jīng)網(wǎng)絡(luò)，原因有二：

1、這塊芯片由“處理集群”陣列構(gòu)成，處理被稱(chēng)作“活動(dòng)點(diǎn)（flexpoint）”的簡(jiǎn)化數(shù)學(xué)運(yùn)算，基于張量處理器的架構(gòu)。相對(duì)于浮點(diǎn)運(yùn)算，這種方法所需的數(shù)據(jù)量更少，因此帶來(lái)了10倍的性能提升。

2、“互聯(lián)（interconnect）”技術(shù)——這是Nervana芯片的真正亮眼之處，不過(guò)Nervana一直這一技術(shù)的細(xì)節(jié)諱莫如深——Naveen Rao將這項(xiàng)互連技術(shù)描述為一種模塊化架構(gòu)，其芯片結(jié)構(gòu)可以在編程上擴(kuò)展成與其它芯片的高速串行連接，幫助用戶(hù)創(chuàng)造更大、更多元化的神經(jīng)網(wǎng)絡(luò)模型。

在GPU上，數(shù)據(jù)在芯片內(nèi)部處理和芯片外部通信處理有很大的不同，必須將內(nèi)存映射到I/O，在內(nèi)存不同層次結(jié)構(gòu)中移動(dòng)數(shù)據(jù)，造成延時(shí)等復(fù)雜問(wèn)題。而Nervana的互聯(lián)技術(shù)能讓芯片內(nèi)的數(shù)據(jù)傳輸和芯片間的數(shù)據(jù)通信看起來(lái)一樣，從而加快了處理速度。

“正如在PC時(shí)代，人們發(fā)現(xiàn)用GPU處理圖片比CPU更快，于是轉(zhuǎn)而購(gòu)買(mǎi)獨(dú)立GPU；而在人工智能時(shí)代，人們會(huì)發(fā)現(xiàn)用我們的芯片處理深度神經(jīng)網(wǎng)絡(luò)比GPU更好，于是轉(zhuǎn)而選擇我們，”Naveen Rao曾經(jīng)這樣說(shuō)，“我們可以在硬件上打敗英偉達(dá)?！?/p>

如此看來(lái)，也許英特爾這三年多的等待和3.5億美元的資金砸得不虧？——可以說(shuō)虧，也可以說(shuō)不虧。

名不見(jiàn)經(jīng)傳的2014

讓我們把時(shí)間軸調(diào)回2014年4月。

2014年4月，一家名為Nervana System（以下簡(jiǎn)稱(chēng)Nervana）的加州創(chuàng)企宣布獲得60萬(wàn)美元融資輪融資。跟現(xiàn)在動(dòng)輒幾億、幾十億的AI創(chuàng)業(yè)融資輪次來(lái)說(shuō)，這金額并不算多——不過(guò)，彼時(shí)“深度學(xué)習(xí)”、“神經(jīng)網(wǎng)絡(luò)”、“人工智能”這些概念還沒(méi)有現(xiàn)在這般火熱得家喻戶(hù)曉，“AI芯片”更是無(wú)從提起。

▲英特爾團(tuán)隊(duì)與Nervana團(tuán)隊(duì)合影

這家公司總部位于圣地亞哥，三位聯(lián)合創(chuàng)始人全部來(lái)自高通：其中CEO Naveen Rao在高通神經(jīng)擬態(tài)研究組（neuromorphic research group）中負(fù)責(zé)人工神經(jīng)網(wǎng)絡(luò)計(jì)算研究、CTO Amir Khosrowshahi在高通負(fù)責(zé)神經(jīng)擬態(tài)傳感器研究、公司的機(jī)器學(xué)習(xí)負(fù)責(zé)人Arjun Bansal則在高通負(fù)責(zé)深度學(xué)習(xí)算法研究。

正如我們所知，設(shè)計(jì)制造芯片的成本非常高昂，尤其是這樣一塊用于處理海量數(shù)據(jù)專(zhuān)用芯片。于是就在短短4個(gè)月后，Nervana宣布了他們的第二輪融資——330萬(wàn)美元，用于深度學(xué)習(xí)訓(xùn)練專(zhuān)用芯片的打造，彼時(shí)公司只有11個(gè)人。

在其后的采訪(fǎng)中，Nervana CEO Naveen Rao曾經(jīng)對(duì)記者表示，“用戶(hù)能在大約6個(gè)月后嘗試到這些深度學(xué)習(xí)專(zhuān)用硬件?！?/p>

其實(shí)當(dāng)時(shí)市面上專(zhuān)注于打造深度學(xué)習(xí)專(zhuān)用硬件的創(chuàng)業(yè)公司并不止Nervana一家，其他還包括Ersatz Labs（2014年之后幾乎沒(méi)有消息）、Skymind（2016年9月獲騰訊參投的300萬(wàn)美元，2017年5月又獲騰訊參投的300萬(wàn)美元*）、Clarifai（2015年4月獲1000萬(wàn)美元融資、2016年10月獲3000萬(wàn)美元融資）等等。*2017年5月這輪融資只有少數(shù)英文網(wǎng)站報(bào)道，中文網(wǎng)站沒(méi)有報(bào)道

順便一提，2014年最火的行業(yè)當(dāng)屬虛擬現(xiàn)實(shí)（VR/AR），其融資領(lǐng)頭獨(dú)角獸Magic Leap在2014年年初和年末分別獲得了5000萬(wàn)美元A輪融資和5.42億美元的B輪融資。這家神秘AR創(chuàng)企的產(chǎn)品同樣推遲多年，聽(tīng)說(shuō)最近他們的產(chǎn)品就要首次亮相了。

端 or 云？傻傻分不清楚的2015

2015年5月，正在市場(chǎng)已經(jīng)為Nervana的深度學(xué)習(xí)專(zhuān)用芯片等待了長(zhǎng)達(dá)9個(gè)月后，Nervana忽然扔下一個(gè)重磅消息——

不，不是芯片推出。而是Nervana忽然宣布，公司即將推出Nervana云服務(wù)，讓企業(yè)與用戶(hù)能夠通過(guò)網(wǎng)絡(luò)接入Nervana云的方式獲得強(qiáng)大的計(jì)算能力，不用受制于硬件的限制——不過(guò)當(dāng)時(shí)，Nervana只是宣布了他們?cè)诖蛟臁斑@朵云”，并沒(méi)有公布它的面世時(shí)間。

幾天后，Nervana再次宣布，開(kāi)源一款深度學(xué)習(xí)軟件框架Neon。這款軟件框架采用Python框架、采用Maxwell GPU框架，其卷積運(yùn)算速度非?？欤ǜ鶕?jù)GitHub上的跑分，速度已經(jīng)超過(guò)了Caffe、Torch等傳統(tǒng)框架）。

就在Neon軟件框架開(kāi)源后的一個(gè)月，2015年6月，Nervana宣布獲得公司成立以來(lái)的第三輪融資——2050萬(wàn)美元，本輪融資將用于Nervana深度學(xué)習(xí)硬件和云服務(wù)平臺(tái)的搭建，其中“安卓之父”Andy Rubin旗下的硬件孵化器Playground Global參投，Nervana也加入了該孵化器中。

在獲得這輪融資時(shí)，聯(lián)合創(chuàng)始人兼CTO Amir Khosrowshahi也向記者表示，Nervana曾與美國(guó)情報(bào)委員會(huì)的風(fēng)險(xiǎn)投資部門(mén)In-Q-tel簽署合作協(xié)議，美國(guó)國(guó)家能源研究科學(xué)計(jì)算中心也正在使用由Nervana開(kāi)發(fā)的深度學(xué)習(xí)軟件Neon。

2016年2月29日，在宣布推出Nervana云服務(wù)的大半年后，這朵云終于經(jīng)Nervana推出正式和大家見(jiàn)面。這項(xiàng)云服務(wù)的目的是讓深度學(xué)習(xí)更快、更簡(jiǎn)單易用，專(zhuān)門(mén)為為缺少深度學(xué)習(xí)工具、缺少高級(jí)數(shù)據(jù)處理能力的公司打造。

不過(guò)，Nervana云暫時(shí)只能在英偉達(dá)的GPU上運(yùn)行。Nervana CEO再次強(qiáng)調(diào)，假以時(shí)日，他們將會(huì)推出Nervana專(zhuān)用芯片。

此時(shí)Nervana云平臺(tái)的合作伙伴已經(jīng)拓寬到農(nóng)業(yè)機(jī)器人初創(chuàng)公司藍(lán)河科技(Blue River Technology)、 石油及天然氣勘探公司Paradigm等，他們用Nervana云平臺(tái)上的計(jì)算機(jī)視覺(jué)識(shí)別能力進(jìn)行農(nóng)作物分類(lèi)、3D地形檢測(cè)。

投身英特爾懷抱，兩款芯片終于現(xiàn)形的2016

半年后——重頭戲來(lái)了。

▲左：英特爾副總裁、數(shù)據(jù)中心事業(yè)組總經(jīng)理Diane Bryant，右：Naveen Rao

2016年8月9日，英特爾忽然宣布全資收購(gòu)Nervana System，收購(gòu)價(jià)格在新聞稿中沒(méi)有透露。當(dāng)天大部分媒體在報(bào)道中提到的價(jià)格是3.5億美元，而這一價(jià)格在第二天變成了4.08億美元（根據(jù)Recode引援消息人士報(bào)道）。當(dāng)時(shí)，Nervana全體員工只有48人。

此時(shí)距Nervana首次宣布要打造深度學(xué)習(xí)專(zhuān)用硬件已經(jīng)過(guò)去了兩年多的時(shí)間，在被英特爾收購(gòu)后，這款Nervana深度學(xué)習(xí)專(zhuān)用芯片終于有了第一個(gè)名字——代號(hào)為“Lake Crest”，第一代產(chǎn)品預(yù)計(jì)將于2017年第一季度使用臺(tái)積電28nm工藝進(jìn)行流片測(cè)試，2017下半年開(kāi)放給小部分用戶(hù)使用。第二代芯片則會(huì)由英特爾自己的芯片制造生產(chǎn)線(xiàn)打造。

與此同時(shí)，英特爾還宣布將使用Nervana的技術(shù)打造一款代號(hào)為“Knights Crest”的加速器，配合英特爾的Xeon（至強(qiáng)）處理器使用。

此前，GPU憑借其并行計(jì)算能力一度在深度學(xué)習(xí)訓(xùn)練中大放異彩，不僅股價(jià)一路飆升，英偉達(dá)創(chuàng)始人黃仁勛（粉絲愛(ài)稱(chēng)“老黃”）還一再在各種場(chǎng)合diss摩爾定律，恐怕著實(shí)讓稱(chēng)霸CPU多年的英特爾很是不爽。

除了一再買(mǎi)買(mǎi)買(mǎi)之外（收購(gòu)Altera、Saffron、Movidius……）英特爾在人工智能領(lǐng)域一直相對(duì)低調(diào)。不過(guò)，也許收購(gòu)Nervana成了砌成英特爾AI堡壘的最后一塊重要磚頭——就在收購(gòu)Nervana的三個(gè)月后，英特爾首次公布了其人工智能的整體策略，預(yù)告了未來(lái)即將推出的一系列AI解決方案，同時(shí)在11月17日、11月30 日分別在舊金山和北京舉行人工智能論壇（AI Day），表達(dá)英特爾要從芯片到軟件、從架構(gòu)到飲用掀起一連串AI革命的決心。

而就在這個(gè)人工智能論壇上，我們終于第一次見(jiàn)到這款Nervana深度學(xué)習(xí)專(zhuān)用芯片的面紗，也就是本文第一段內(nèi)提到內(nèi)容（不容易啊，都兩年半了）。

轉(zhuǎn)過(guò)年來(lái)，在2017年3月25日，英特爾還宣布，公司上下要整合其AI力量，構(gòu)建一個(gè)統(tǒng)一的部門(mén)：人工智能產(chǎn)品事業(yè)部（ArTIficial Intelligence Products Group）AIPG，由Nervana前CEO Naveen Rao負(fù)責(zé)，直接向英特爾CEO科再奇匯報(bào)。

這一人工智能產(chǎn)品事業(yè)部將包括Xeon、Xeon Phi、Nervana和Altera等四個(gè)部分，這個(gè)新部門(mén)將整合公司的資源，包括工程、實(shí)驗(yàn)室、軟件等等，打造英特爾Nervana平臺(tái)——既有包括Nervana云計(jì)算服務(wù)、數(shù)據(jù)庫(kù)、又包括Nervana專(zhuān)用芯片。

加入英特爾短短6個(gè)月就空降成四部門(mén)總管，這位今年僅40出頭的事業(yè)部總管在一向看中年齡與資歷的英特爾集團(tuán)中可謂是坐了火箭了一般，足以見(jiàn)得英特爾內(nèi)部對(duì)于Nervana這一項(xiàng)目的看重之處。

今年，英特爾宣布這款芯片正式命名為“英特爾Nervana神經(jīng)網(wǎng)絡(luò)處理器”（Nervana Neural Network Processors，簡(jiǎn)稱(chēng)NNP）在今年10月17日和《財(cái)富》雜志的采訪(fǎng)中，英特爾CEO科再奇表示，今年年底NNP就會(huì)正式和用戶(hù)見(jiàn)面。與此同時(shí)他還透露，F(xiàn)acebook正在參與合作打造這款A(yù)I專(zhuān)用芯片，不過(guò)他們沒(méi)有正式達(dá)成書(shū)面合作協(xié)議。

與此同時(shí)英特爾還表示，公司將暫時(shí)不會(huì)單獨(dú)售賣(mài)這些芯片，而是以?xún)深?lèi)形式向用戶(hù)開(kāi)放服務(wù)：

1、以數(shù)據(jù)中心服務(wù)器（data center appliance）的形式售賣(mài)，里面包含了幾個(gè)NNP和英特爾的其他CPU。

2、通過(guò)接入英特爾的Nervana云服務(wù)，獲取計(jì)算能力。

不過(guò)無(wú)論如何，2017年里我們恐怕是很難見(jiàn)到了。

結(jié)語(yǔ)：英特爾的AI芯片之旅

回到我們最開(kāi)始拋出的問(wèn)題，英特爾這三年多的等待和3.5億美元（或者4.08億）的資金砸得到底虧不虧？

——可以說(shuō)虧，也可以說(shuō)不虧。

在GPU崛起的時(shí)代，英偉達(dá)在人工智能訓(xùn)練階段大放異彩，市值動(dòng)不動(dòng)一年翻一倍，一年翻三倍，老黃還常年diss摩爾定律，老牌CPU霸主英特爾固然是不爽的。

然而，異構(gòu)計(jì)算的主流已經(jīng)不可逆轉(zhuǎn)，失去計(jì)算優(yōu)勢(shì)的CPU在計(jì)算機(jī)中的調(diào)度器功能逐漸加重。英特爾雖然一直在靠自我研發(fā)+“買(mǎi)買(mǎi)買(mǎi)”彌補(bǔ)其在人工智能產(chǎn)品線(xiàn)上的差距，以更好地參與到急速增長(zhǎng)的人工智能市場(chǎng)中來(lái)，但是集團(tuán)內(nèi)沒(méi)有一個(gè)拳頭產(chǎn)品可以撐起英特爾這么大的市場(chǎng)。

目前，Nervana芯片依舊存在以下挑戰(zhàn)：

1、圍繞GPU，英偉達(dá)已經(jīng)建立了包括CUDA、cuDNN、TensorRT等在內(nèi)的一系列豐富的軟件生態(tài)系統(tǒng)，其通用性、廣泛性、開(kāi)發(fā)者友好性都使得它廣受歡迎。

在錯(cuò)過(guò)了三年的市場(chǎng)生態(tài)打造后，英特爾想要讓廠(chǎng)商們舍棄自己在CUBA架構(gòu)和GPU硬件上的大量投資（時(shí)間+金錢(qián)），轉(zhuǎn)而投向Nervana芯片的懷抱，那這款產(chǎn)品必然要較之GPU有超過(guò)一個(gè)數(shù)量級(jí)的提升才足夠吸引。

2、在英特爾產(chǎn)品一再跳票的同時(shí)，不僅有老對(duì)頭英偉達(dá)在加速研發(fā)加速奔跑，各類(lèi)人工智能專(zhuān)用AI芯片也不斷崛起，就拿國(guó)內(nèi)來(lái)說(shuō)，寒武紀(jì)、深鑒科技、地平線(xiàn)等創(chuàng)業(yè)公司都已經(jīng)在2017年下半年陸續(xù)推出（或正要推出）專(zhuān)用AI芯片，普遍宣布在2018年上半年進(jìn)入量產(chǎn)，英特爾可以說(shuō)是活生生把一個(gè)藍(lán)海市場(chǎng)熬成了紅海市場(chǎng)。

3、性能、速度、功耗比等方面暫時(shí)都是英特爾或是Nervana宣布的理論性能或是測(cè)試性能，在芯片進(jìn)入量產(chǎn)之前，工程化的坑依舊有很多，最后如何達(dá)到價(jià)格、性能、穩(wěn)定性等的多方平衡，仍是英特爾需要努力的方向。從英特爾決定一開(kāi)始不單獨(dú)售賣(mài)芯片看來(lái)，這塊NNP的通用型、易用性可能還在攻克當(dāng)中。

不過(guò)從另一方面講，如果Nervana的產(chǎn)品真的成功量產(chǎn)，并且在性能、速度、功耗比等各個(gè)方面都較之GPU有著異常出色的表現(xiàn)，那么最起碼英特爾在云計(jì)算數(shù)據(jù)中心這一人工智能領(lǐng)域的短板能夠成功補(bǔ)足。再加上英偉達(dá)在邊緣計(jì)算（端智能）方面由于GPU功耗較大而存在一定劣勢(shì)，手握Movidius VPU低功耗視覺(jué)處理器的英特爾也許真的能夠在人工智能浪潮中扳回一局。

而且，隨著時(shí)間不斷推移，有關(guān)NNP的信息也越來(lái)越多，越來(lái)越具體。雖然我們?cè)?017年可能看不到這塊芯片，但是在緊接著的2018 CES上，也許英特爾會(huì)給我們帶來(lái)一個(gè)新驚喜。