彪悍的Graphcore第二代IPU！加速落地超大規(guī)模數(shù)據(jù)中心、金融、醫(yī)療健康等領(lǐng)域

電子發(fā)燒友網(wǎng)報(bào)道（文/黃晶晶）一家來自于英國的AI初創(chuàng)公司Graphcore，成立一年多時間里，融資超過4.5億美金，金融投資者包括紅杉資本、歐洲Atomico、以色列Pitango等，戰(zhàn)略投資者包括寶馬、Bosch、戴爾、微軟、三星等，受到資本的熱烈追捧。

最近，Graphcore發(fā)布第二代IPU芯片以及基于第二代IPU處理器的一系列的產(chǎn)品，性能對標(biāo)市面上的主流產(chǎn)品。據(jù)了解，Graphcore IPU采用大規(guī)模并行同構(gòu)眾核架構(gòu)，其IPU Core是一個SMT多線程處理器，可以同時跑6個線程，類似多線程CPU，它與GPU的SIMD/SMIT架構(gòu)不同。Graphcore IPU大量采用片上存儲SRAM，沒有外部DRAM。另外還采用了IPU-Fabric進(jìn)行片間互聯(lián)。Graphcore第二代IPU芯片在SRAM存儲容量、計(jì)算吞吐量以及通信方面又有了大幅提升。

Graphcore第二代IPU三大顛覆性技術(shù)

Graphcore第二代IPU芯片Colossus Mk2 GC200采用臺積電7nm工藝。在計(jì)算、數(shù)據(jù)與通信方面實(shí)現(xiàn)了技術(shù)突破。無論與公司第一代IPU還是目前市面上主流的GPU相比，其性能表現(xiàn)突出。Graphcore高級副總裁、中國區(qū)總經(jīng)理盧濤進(jìn)行了詳細(xì)解析。

計(jì)算

Colossus Mk2 GC200處理器是目前世界上最復(fù)雜的單一處理器，基于臺積電7納米的技術(shù)，集成將近600億個晶體管，擁有250TFlops AI-Float的算力和900MB的處理器內(nèi)存儲。處理器內(nèi)核從上一代的1217提升到1472個獨(dú)立的處理器內(nèi)核，這樣一個處理器有將近9000個單獨(dú)的并行線程。相對于第一代產(chǎn)品，其系統(tǒng)級的性能提升了8倍以上。

同時In-Processor-Memory從上一代的300MB提升到900MB。每個IPU的Memory帶寬是47.5TB/s。還包含了IPU-Exchange以及PCI Gen4跟主機(jī)交互的一個接口；另外有IPU-Links 320GB/s的芯片到芯片的互聯(lián)。



數(shù)據(jù)

IPU Exchange Memory是一個交換式存儲的概念。如果跟英偉達(dá)當(dāng)前使用HBM技術(shù)的產(chǎn)品比較，Graphcore在M2000每個IPU-Machine里面通過IPU-Exchange-Memory技術(shù)，提供了將近超過100倍的帶寬以及大約10倍的容量，這對于很多復(fù)雜的AI模型算法是非常有幫助的。

通信

此次，Graphcore專門為AI橫向擴(kuò)展設(shè)計(jì)了一個IPU-Fabric的結(jié)構(gòu)。IPU-Fabric可以做到2.8Tbps超低延時，同時最多可以支持64000個IPU之間的橫向擴(kuò)展。同時IPU-Fabric支持AI運(yùn)算的集合通信或者all-reduce的操作，這也是Fabric的技術(shù)特性。

目前Graphcore有三種產(chǎn)品形態(tài)：一是IPU-Machine。二是IPU服務(wù)器，目前Graphcore已經(jīng)在全球范圍內(nèi)完成了浪潮和戴爾IPU服務(wù)器的產(chǎn)品適配。三是大規(guī)模橫向擴(kuò)展的IPU-POD系統(tǒng)級產(chǎn)品。

IPU-MachineM2000是一個1U結(jié)構(gòu)的即插即用的計(jì)算刀片，集成4個IPU Mk2GC200處理器，總共有1PFlops16.16的算力，和近6000個處理器的核心，以及超過35000個并行的線程，In-Processor Memory達(dá)到了3.6GB，Exchange Memory有450GB，以及2.8TbpsIPU-Fabric超低延時通信。非常易于部署，IPU-M2000可以滿足當(dāng)前最苛刻的一些機(jī)器智能的工作負(fù)載。當(dāng)前建議零售價是32,450美金。






IPU-M2000擁有多種配置形態(tài)，M2000是我們在構(gòu)建超大規(guī)模的、彈性的AI計(jì)算集群中間的一個基本單元，可以從1個到4個、8個，到64個，最多可以到64000個，自由組合計(jì)算規(guī)模。

用于超算規(guī)模的IPU-POD，IPU-POD64是IPU-POD的一個基本組件，IPU-POD64總共支持了16個IPU-M2000，可以根據(jù)不同的工作負(fù)載進(jìn)行不同的配置。另外，目前支持的2D-Torus拓?fù)?，最大化IPU-Link的帶寬，全縮減（all-reduce）的效率比網(wǎng)狀拓?fù)涞囊靸杀?，這樣一個架構(gòu)可以擴(kuò)展到64000個GC200的IPU。

由于把AI的計(jì)算跟邏輯的控制進(jìn)行了解耦，因此非常易于部署，網(wǎng)絡(luò)延時非常低，能夠支持大型的算法模型，以及安全的多用戶使用，

按64000個IPU集群計(jì)算，總共能提供16個EFlops FP16的算力，盧濤表示，日本前一陣發(fā)布的超算實(shí)現(xiàn)0.5 EFlops算力。而我們基于64000個IPU總共可以組建16個EFlops算力，這個是非常驚人的算力。

性能PK

IPU Mk2與Mk1進(jìn)行對比，計(jì)算達(dá)到了兩倍以上的吞吐量峰值能力；數(shù)據(jù)方面，六倍以上的處理器內(nèi)的有效存儲，超過了446GB的 IPU-Machine流存儲；通信方面，加入了基于大規(guī)模橫向擴(kuò)展的IPU-Fabric的技術(shù)。






處理器內(nèi)存儲從300MB到900MB,看起來是三倍的提升，但是片內(nèi)存儲分為兩部分，程序占用的存儲空間以及供模型的激活、權(quán)重的存儲空間。因?yàn)閷τ?a href="http://wenjunhu.com/v/tag/1780/" target="_blank">程序代碼空間的占用情況在Mk1和Mk2是同樣的，這樣供算法模型可用的權(quán)重和激活容量有6倍以上的有效存儲。



Mk2與Mk1系統(tǒng)級的對比中，配備有IPU-Link的8個C2 PCIe的IPU服務(wù)器和Mk2配備有IPU-Fabric的8個IPU-M2000比較，在三個比較典型的應(yīng)用場景，在BERT-Large訓(xùn)練，MK2有9.3倍性能的提升。BERT三層推理，實(shí)現(xiàn)8. 5倍的性能提升。EfficientNet-B3這類計(jì)算機(jī)視覺應(yīng)用模型，有7.4 倍的性能提升。



8個M2000與基于英偉達(dá)DGX-A100的整機(jī)（8個A100）對比中，后者FP32的計(jì)算能力是156TFlops，而8個M2000做到了2PFlops的算力，大約12倍的FP32性能的提升。對于AI計(jì)算，在GPU的平臺上是2.5PFlops，在M2000的平臺上是8PFlops，大約有三倍的提升。針對AI存儲部分，相對后者320GB，前面有3.6TB的存儲，將近10倍的提升。另外，從系統(tǒng)架構(gòu)來說，花199K美金買到最新的GPU的算力和存儲空間，對于Graphcore的平臺，可能會花259k美金就能買到12倍的運(yùn)算能力和10倍的存儲空間。

軟件與平臺生態(tài)

對于AI的落地應(yīng)用，軟件生態(tài)可能比硬件更重要。Graphcore在提供高性能IPU芯片的同時，也在加速軟件和平臺生態(tài)的建設(shè)。

Graphcore 中國區(qū)技術(shù)應(yīng)用總負(fù)責(zé)人羅旭介紹了Poplar軟件的最新版本特性。Poplar包括PopART和PopLibs，PopLibs相當(dāng)于SDK，PopART相當(dāng)于run time，通過PopART和PopLibs，連接到Poplar的compute graph，再通過graph compiler，相當(dāng)于在整個處理器軟件跟硬件結(jié)合最緊密的地方轉(zhuǎn)成一個計(jì)算圖，然后把這個計(jì)算圖加載到對應(yīng)的硬件，也就是IPU-Machine。



Poplar支持的算法框架包括PyTorch、TensorFlow、ONNX，mxnet，以及前段時間百度發(fā)布的PaddlePaddle。同一套軟件可以實(shí)現(xiàn)推理和訓(xùn)練。



最新發(fā)布的SDK 1.2主要特性在于，與比較先進(jìn)的機(jī)器學(xué)習(xí)框架做更好的集成；進(jìn)一步開放低級別的API，上層的算法提供一個低層次的API接口，針對網(wǎng)絡(luò)的性能做一些特定的調(diào)優(yōu)；增加框架支持，包括對PyTorch和Keras的支持。另外卷積庫和稀疏庫。PopART方面，可以做到多機(jī)的數(shù)據(jù)并行訓(xùn)練。

羅旭還談到，我們把Exchange Memory也做了一些開放，包括API以及它的管理功能的開放。應(yīng)用開發(fā)者可以基于Exchange Memory對模型的性能做極大程度的調(diào)優(yōu)。



針對數(shù)據(jù)中心目前主流的操作系統(tǒng)ubuntu、RedHat、CentOS，現(xiàn)在Poplar SDK、drivers、工具鏈等也是完全支持的。



7月6號，PopLibs在GitHub上開源。用戶可以直接在GitHub上去搜索Graphcore下載對應(yīng)鏈接。

Graphcore 在中國的首款I(lǐng)PU 開發(fā)者云部署在金山云之上，這里面使用了三種IPU產(chǎn)品，IPU-POD64，浪潮的IPU服務(wù)器NF5568M5，以及戴爾的IPU服務(wù)器DSS8440，目前這個是面向商業(yè)用戶進(jìn)行評測以及面向高校研究機(jī)構(gòu)，甚至個人開發(fā)者能夠提供免費(fèi)的試用。



對于商業(yè)用戶來說，通常為三周或者按需適度延長，可以通用IPU極大優(yōu)化現(xiàn)有模型，產(chǎn)品較競爭對手更早實(shí)現(xiàn)產(chǎn)品化和市場化。對大學(xué)、研究機(jī)構(gòu)和個人研究者，可以提供6個月的免費(fèi)訪問，直至完成研究項(xiàng)目并發(fā)表結(jié)果。

IPU與GPU不是競爭關(guān)系

盧濤認(rèn)為，IPU是面向未來的另一大計(jì)算平臺，它與CPU、GPU不是競爭的關(guān)系，有交叉有不同。當(dāng)前AI主流計(jì)算平臺仍是CPU和GPU，甚至一些算法也是基于GPU發(fā)展而來。Graphcore的愿景是畫第三個圓，我們認(rèn)為CPU與GPU并沒有從根本意義上解決AI的問題。AI是一個面向計(jì)算圖的計(jì)算任務(wù)，跟CPU的標(biāo)量計(jì)算以及GPU的矢量計(jì)算都不同。

從此，CPU、GPU、IPU有重疊相交的部分，必然會在某些領(lǐng)域進(jìn)行競爭。例如，目前在NLP、CV這兩個領(lǐng)域的競爭會有一段膠著時期。但是未來會有更多IPU獨(dú)擋一面的應(yīng)用，有待我們進(jìn)行挖掘。

本文由電子發(fā)燒友網(wǎng)原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。如需轉(zhuǎn)載，請?zhí)砑游?a target="_blank">信號elecfans999。