Nvidia發(fā)布安培GPU架構(gòu)，7nm工藝+542億個晶體管

（文章來源：半導(dǎo)體行業(yè)觀察）

在近日的GTC上，Nvidia發(fā)布了最新的安培架構(gòu)，以及基于安培架構(gòu)的A100 GPU。A100 GPU使用臺積電7nm工藝實(shí)現(xiàn)，包含了542億個晶體管，據(jù)官方消息可以實(shí)現(xiàn)比起上一代V100高7倍的性能。除了算力提升之外，Nvidia還加入了GPU虛擬多實(shí)例（multi-Instance GPU，MIG）特性，可以讓一塊GPU虛擬化稱為7個獨(dú)立的GPU。

與安培架構(gòu)同時公布的還有Nvidia DGX A100超級計算機(jī)，該超算平臺包含了8塊A100 GPU，峰值算力可達(dá)10?PetaOPS。在發(fā)布會上，Nvidia對于算力做了非常多的渲染。然而，在我們看來，Nvidia在算力之外的特性擴(kuò)展將成為更重要的門檻，中國半導(dǎo)體業(yè)界想要研發(fā)自主的GPU也需要考慮這些算力之外的重要特性。

Nvidia A100 GPU相比于前一代V100 GPU，其算力提升主要來源于以下幾方面：加入稀疏運(yùn)算支持。這可能是A100 GPU運(yùn)算架構(gòu)上最大的革新了。具體來說，A100支持2:4的結(jié)構(gòu)化稀疏，即在使用稀疏計算時，在矩陣中每四個元素就必須有兩個或以上是0。通過稀疏運(yùn)算，可以把性能提升兩倍。事實(shí)上，深度學(xué)習(xí)中使用稀疏運(yùn)算的概念從提出至今已經(jīng)有差不多5年了，到了今天Nvidia終于把這個概念落地到了產(chǎn)品中，而且使用的是的2:4結(jié)構(gòu)化稀疏，其兩倍的加速可以說是比較保守的。

引入TF32數(shù)制。這主要針對訓(xùn)練計算?；仡?a target="_blank">人工智能訓(xùn)練計算的歷程，最早普遍使用的是32位浮點(diǎn)數(shù)數(shù)制（FP32）。為了加速訓(xùn)練計算，從幾年前開始Nvidia開始支持16位的FP16數(shù)制，該數(shù)制的優(yōu)點(diǎn)是速度較快，但是動態(tài)范圍方面在一些應(yīng)用中存在一些問題。在A100中，Nvidia為了解決FP16的問題，引入了TF32數(shù)制。TF32事實(shí)上不是32位數(shù)制，而是19位數(shù)制，其動態(tài)范圍（exponent）與FP32相同都是8位，但其精度（mantissa）與FP16相同都是10位，相當(dāng)于是FP32和FP16的融合。相比FP32，TF32可以實(shí)現(xiàn)8倍的吞吐量提升。

更強(qiáng)更多的流處理器（SM）。在A100中，每個流處理器的張量矩陣計算能力是V100的2倍，而在GPU中流處理器的數(shù)量相比V100則增加了30%。更大的片上存儲和更快的內(nèi)存接口。A100的設(shè)計中，每個流處理器的L1緩存容量從V100的128KB增加到了192KB，L2 緩存則增加到了40MB，相比前一代增加了6.7倍。內(nèi)存接口方面，A100的HBM2就惡口總貸款高達(dá)1555GB/s，相比前一代增加了1.7X。

總體來說，在計算架構(gòu)方面，除了支持稀疏計算和引入TF32之外，其他的提升都屬于可預(yù)計的常規(guī)提升，而稀疏計算和TF32在人工智能計算中也并非新概念。我們認(rèn)為，這一代Nvidia A100的算力性能提升屬于漸進(jìn)式改良，而非革命式提升。我們認(rèn)為，A100除了算力之外，其更重要的競爭壁壘提升來源于針對數(shù)據(jù)中心的GPU虛擬實(shí)例支持和互聯(lián)方案。

在安培架構(gòu)中，一個重要的新特性就是GPU虛擬實(shí)例MIG。隨著云端數(shù)據(jù)中心GPU部署比例的提升，如何實(shí)現(xiàn)GPU虛擬化是一個重要任務(wù)，而這一點(diǎn)如果解決不好將會降低總體GPU利用率。目前，在云服務(wù)中，用戶申請的CPU和內(nèi)存實(shí)例大多數(shù)情況下都是虛擬化的，當(dāng)你申請到n個CPU核的時候，并不是說你包下了這塊CPU芯片，而是很有可能在同一塊CPU芯片上不同的核會分配給不同用戶，而用戶并不用去擔(dān)心說他的CPU核都位于哪一塊芯片上，主要用就行了。粗略地說，這就是CPU虛擬化。

為了解決這個問題，MIG應(yīng)運(yùn)而生。A100中的MIG支持把同一塊GPU劃分成7個獨(dú)立實(shí)例，每個實(shí)例之間的內(nèi)存空間訪問互不干擾，這樣就可以實(shí)現(xiàn)細(xì)顆粒度的GPU計算資源分配，從而在計算需求非常異質(zhì)化的云計算場景增加資源利用效率。誠然，目前MIG中支持的7個GPU虛擬實(shí)例劃分或許還不算特別細(xì)顆粒度，但是卻可以看作是走向虛擬化的重要里程碑。

除了MIG之外，A100還在多芯片互聯(lián)上做了改善。首先，A100上包含了第三代NVLINK，主要用于同主機(jī)上GPU之間的互相通信，通信帶寬相比V100增加了一倍到600GB/s。在GPU和CPU通信上，A100支持PCIe Gen4，相比上一代PCIe Gen3帶寬也增加了一倍。此外，A100的互聯(lián)還與Mellanox的解決方案做了深度集成，可以很好地支持基于以太網(wǎng)和InfiniBand的RDMA。
? ? ? （責(zé)任編輯：fqj）