Cerebras Systems宣布推出有史以來(lái)最大的芯片Wafer Scale Engine

昨天，初創(chuàng)公司Cerebras Systems宣布推出有史以來(lái)最大的芯片Wafer Scale Engine（WSE）。

據(jù)悉，WSE擁有1.2萬(wàn)億個(gè)晶體管，這是一個(gè)什么概念呢？比較一下，1971年英特爾首款4004處理器擁有2300個(gè)晶體管，最近，AMD推出的最新處理器擁有320億個(gè)晶體管。由此可見(jiàn)WSE規(guī)模之龐大。

大多數(shù)芯片是在12英寸硅晶圓上制造的，并在芯片工廠(chǎng)中批量處理。但Cerebras Systems芯片是在單個(gè)晶圓上通過(guò)互聯(lián)實(shí)現(xiàn)的單芯片。這些互連設(shè)計(jì)使其全部保持高速運(yùn)行，可使萬(wàn)億個(gè)晶體管全部一起工作。

Cerebras Wafer Scale Engine專(zhuān)門(mén)針對(duì)處理人工智能應(yīng)用程序而設(shè)計(jì)的。該公司本周正在加利福尼亞州帕洛阿爾托的斯坦福大學(xué)舉行的Hot Chips會(huì)議上討論這項(xiàng)設(shè)計(jì)。

此前，三星已經(jīng)制造了一個(gè)閃存芯片，即eUFS，擁有2萬(wàn)億個(gè)晶體管。但Cerebras芯片擁有400，000個(gè)核心，42，225平方毫米。它比最大的Nvidia圖形處理單元大 56.7倍，該單元的尺寸為815平方毫米和211億個(gè)晶體管。

與傳統(tǒng)芯片相比，WSE還包含3000倍的高速片上存儲(chǔ)器，并且具有10000倍的存儲(chǔ)器帶寬。

該芯片來(lái)自Andrew Feldman領(lǐng)導(dǎo)的團(tuán)隊(duì)，后者曾創(chuàng)建微型服務(wù)器公司SeaMicro，并以3.34億美元的價(jià)格出售給了AMD。

芯片尺寸在AI中非常重要，因?yàn)榇笮酒梢愿斓靥幚?a target="_blank">信息，在更短的時(shí)間內(nèi)產(chǎn)生答案。減少訓(xùn)練時(shí)間，使研究人員能夠測(cè)試更多想法，使用更多數(shù)據(jù)并解決新問(wèn)題。谷歌，F(xiàn)acebook，OpenAI，騰訊，百度和許多專(zhuān)業(yè)人士都認(rèn)為，今天人工智能的主要限制是訓(xùn)練需要很長(zhǎng)時(shí)間。因此，縮短訓(xùn)練時(shí)間就消除了整個(gè)行業(yè)進(jìn)步的主要瓶頸。

當(dāng)然，芯片制造商通常不會(huì)制造如此大的芯片。在單個(gè)晶圓上，在制造過(guò)程中通常會(huì)產(chǎn)生一些雜質(zhì)，雜質(zhì)會(huì)導(dǎo)致芯片發(fā)生故障。如果晶圓上只有一個(gè)芯片，它有雜質(zhì)的幾率是100％，雜質(zhì)會(huì)使芯片失效。但Cerebras設(shè)計(jì)的芯片是有冗余的，因此一種雜質(zhì)不會(huì)破壞整個(gè)芯片。

WSE有很多創(chuàng)新，通過(guò)解決限制芯片尺寸的數(shù)十年的技術(shù)挑戰(zhàn) - 例如交叉光罩連接，良率，功率輸送，以及封裝等，Cerebras Systems首席執(zhí)行官費(fèi)爾德曼說(shuō)?！懊總€(gè)架構(gòu)決策都是為了優(yōu)化AI工作的性能。結(jié)果是，Cerebras WSE根據(jù)工作量提供了數(shù)百或數(shù)千倍于現(xiàn)有解決方案的性能，只需很小的功耗和空間?！?/p>

WSE通過(guò)加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的所有元素來(lái)實(shí)現(xiàn)這些性能提升。神經(jīng)網(wǎng)絡(luò)是多級(jí)計(jì)算反饋回路。較快的輸入在循環(huán)中移動(dòng)，循環(huán)學(xué)習(xí)的速度越快，從而減少了訓(xùn)練時(shí)間。

Linley Group首席分析師Linley Gwennap在一份聲明中說(shuō)：“Cerebras憑借其晶圓級(jí)技術(shù)實(shí)現(xiàn)了巨大的飛躍，在單片晶圓上實(shí)現(xiàn)了更多的處理性能?！?為了實(shí)現(xiàn)這一壯舉，該公司已經(jīng)解決了一系列工程難題，包括實(shí)施高速芯片到芯片通信，解決制造缺陷，封裝如此大的芯片，以及電源和冷卻等問(wèn)題。通過(guò)將各種學(xué)科的頂級(jí)工程師聚集在一起，Cerebras在短短幾年內(nèi)創(chuàng)造了新技術(shù)并交付了產(chǎn)品。

據(jù)悉，該芯片面積比最大的GPU多56.7倍，Cerebras WSE提供更多內(nèi)核進(jìn)行計(jì)算，更多內(nèi)存靠近內(nèi)核，因此內(nèi)核可以高效運(yùn)行。由于這些大量的內(nèi)核和內(nèi)存位于單個(gè)芯片上，因此所有通信都在芯片內(nèi)進(jìn)行，這意味著它的低延遲通信帶寬是巨大的，因此內(nèi)核組可以以最高效率進(jìn)行協(xié)作。

Cerebras WSE中的46，225平方毫米的硅包含400，000個(gè)AI優(yōu)化，無(wú)緩存，無(wú)開(kāi)銷(xiāo)的計(jì)算內(nèi)核和18千兆字節(jié)的本地、分布式、超高速SRAM內(nèi)存，內(nèi)存帶寬為每秒9 PB。這些內(nèi)核通過(guò)細(xì)粒度、全硬件、片上網(wǎng)狀連接通信網(wǎng)絡(luò)連接在一起，可提供每秒100 petabits的總帶寬。更多內(nèi)核，更多本地內(nèi)存和低延遲高帶寬結(jié)構(gòu)共同構(gòu)成了加速AI工作的最佳架構(gòu)。

更多核心

WSE包含400，000個(gè)AI優(yōu)化的計(jì)算核心。被稱(chēng)為稀疏線(xiàn)性代數(shù)核心的SLAC，計(jì)算核心靈活、可編程，并針對(duì)支持所有神經(jīng)網(wǎng)絡(luò)計(jì)算的稀疏線(xiàn)性代數(shù)進(jìn)行了優(yōu)化。SLAC的可編程性確保內(nèi)核可以在不斷變化的機(jī)器學(xué)習(xí)領(lǐng)域中運(yùn)行所有神經(jīng)網(wǎng)絡(luò)算法。

由于稀疏線(xiàn)性代數(shù)核心針對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算基元進(jìn)行了優(yōu)化，因此它們可實(shí)現(xiàn)最佳利用率 - 通常是GPU的三倍或四倍。此外，WSE核心包括Cerebras發(fā)明的稀疏性收集技術(shù)，以加速稀疏工作負(fù)載（包含零的工作負(fù)載）的計(jì)算性能，如深度學(xué)習(xí)。

零在深度學(xué)習(xí)計(jì)算中很普遍。通常，要相乘的向量和矩陣中的大多數(shù)元素都是零。然而，乘以零是浪費(fèi)硅、功率和時(shí)間，因?yàn)闆](méi)有新的信息。

因?yàn)镚PU和張量處理單元是密集的執(zhí)行引擎 - 設(shè)計(jì)為永不遇到零的引擎 - 它們即使在零時(shí)也會(huì)乘以每個(gè)元素。當(dāng)50%-98％的數(shù)據(jù)為零時(shí)，如深度學(xué)習(xí)中的情況一樣，大多數(shù)乘法都被浪費(fèi)了。由于Cerebras稀疏線(xiàn)性代數(shù)核不會(huì)乘以零，所有零數(shù)據(jù)都會(huì)被濾除，并且可以在硬件中跳過(guò)。

存儲(chǔ)

內(nèi)存是每個(gè)計(jì)算機(jī)體系結(jié)構(gòu)的關(guān)鍵組件。更接近計(jì)算的內(nèi)存轉(zhuǎn)換為更快的計(jì)算，更低的延遲和更好的數(shù)據(jù)移動(dòng)功效。高性能深度學(xué)習(xí)需要大量計(jì)算，并且頻繁訪(fǎng)問(wèn)數(shù)據(jù)。這需要計(jì)算核心和存儲(chǔ)器之間的緊密接近，這在GPU中并非如此，其中絕大多數(shù)存儲(chǔ)器是很緩慢的，且在片外。

Cerebras Wafer Scale Engine包含更多內(nèi)核，具有比迄今為止任何芯片更多的本地內(nèi)存，并且在一個(gè)時(shí)鐘周期內(nèi)可以通過(guò)其核心訪(fǎng)問(wèn)18GB的片上內(nèi)存。WSE上的核心本地內(nèi)存集合可提供每秒9PB的內(nèi)存帶寬 - 比領(lǐng)先的圖形處理單元多3，000倍的片上內(nèi)存和10，000倍的內(nèi)存帶寬。

通信

Swarm通信結(jié)構(gòu)是WSE上使用的處理器間通信結(jié)構(gòu)，它可以傳統(tǒng)通信技術(shù)的功耗的一小部分實(shí)現(xiàn)突破性帶寬和低延遲。Swarm提供低延遲、高帶寬的2D網(wǎng)格，可連接WSE上的所有400，000個(gè)核心，每秒帶寬為100 petabits。

路由方面，Swarm為每個(gè)神經(jīng)網(wǎng)絡(luò)提供獨(dú)特的優(yōu)化通信路徑。軟件根據(jù)正在運(yùn)行的特定用戶(hù)定義的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，配置通過(guò)400，000個(gè)核心的最佳通信路徑以連接處理器。

Cerebras WSE的總帶寬為每秒100 petabits。不需要諸如TCP / IP和MPI之類(lèi)的通信協(xié)議支持，因此避免了它們的性能損失。該架構(gòu)中的通信能量成本遠(yuǎn)低于每比特1焦耳，這比GPU低近兩個(gè)數(shù)量級(jí)。通過(guò)結(jié)合大量帶寬和極低的延遲，Swarm通信結(jié)構(gòu)使Cerebras WSE能夠比任何當(dāng)前可用的解決方案更快地學(xué)習(xí)。