再發(fā)三大服務(wù)器芯片，自研實(shí)力愈發(fā)強(qiáng)悍的亞馬遜

電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）在近期舉辦的Re:Invent大會上，亞馬遜為其AWS云服務(wù)公布了上線全新的EC2實(shí)例，分別是C7gn、HPC7g和R7iz。R7iz用到了英特爾最新的第四代Xeon Scalable處理器Sapphire Rapids，而HPC7g則是由新處理器Graviton3E來驅(qū)動的。與此同時(shí)，AWS還在本次會議上公布了第五代Nitro芯片Nitro v5和第二代推理芯片AWS Inferentia 2，其中Graviton3E和Nitro v5都是基于Arm架構(gòu)打造的。

性能更上一層樓的Graviton3E

在HPC領(lǐng)域，Arm的出鏡率還是比較低的，除了像富岳超算這樣的頂級存在外，我們很少看到云服務(wù)廠商基于Arm芯片來打造HPC計(jì)算集群，Graviton的出現(xiàn)可謂改變了這一點(diǎn)。AWS在2020年推出的C6gn實(shí)例，就是基于其Graviton2處理器打造的，相較基于第二代AMD EPYC處理器的C5實(shí)例，C6gn做到了成本低上20%，性能卻高上40%的表現(xiàn)。
根據(jù)亞馬遜給出的數(shù)據(jù)，Graviton3E在Graviton3的基礎(chǔ)上再加改良，以測試浮點(diǎn)性能的基準(zhǔn)HPL為例，Graviton3E將矢量指令處理性能再度提高了35%。而HPC7g實(shí)例相比基于Graviton2的C6gn實(shí)例，更是將浮點(diǎn)性能拔高至兩倍，比基于第3代AMD EPYC 7003系列48核處理器的HPC6a實(shí)例，性能上也能高出20%，可以說是AWS上性價(jià)比最高的HPC實(shí)例了。

如今的亞馬遜已經(jīng)有了100多個不同的Graviton實(shí)例，供使用者靈活選擇。而且讓Graviton充分發(fā)揮作用的不僅是AWS EC2這樣的彈性計(jì)算云服務(wù)，還有Fargate這樣無需管理實(shí)例的服務(wù)，也獲得了不小的性能提升。

然而對于大部分云服務(wù)廠商來說，他們首推的實(shí)例很多依然是基于x86的，這不禁讓人深思，真的會有大型公司選擇了Arm服務(wù)器芯片嗎？亞馬遜給出了肯定的答案，也介紹了Graviton極快的普及速度。

從亞馬遜給出的合作伙伴中，我們可以看到大宇無限、Epic、Lyft、Zoom等公司，都選了圍繞Graviton芯片來構(gòu)造他們的產(chǎn)品服務(wù)。比如美國電視串流服務(wù)DirectTV在使用Graviton 3的實(shí)例后，成本減少了20%的同時(shí)，延遲也有了最高50%的降低，使得他們能在訪問流量變化巨大的同時(shí)靈活擴(kuò)展容量，還能保證性能不受影響。

加劇DPU和AI芯片內(nèi)卷的Nitro和Inferentia

對于多數(shù)超大規(guī)模數(shù)據(jù)中心和云服務(wù)廠商來說，他們的DPU往往來自第三方，比如英偉達(dá)的BlueField、AMD的Pensando等，而亞馬遜旗下的Annapurna Labs，則成了AWS DPU產(chǎn)品的Nitro的幕后功臣。
而這次Annapurna Labs設(shè)計(jì)的Nitro v5在性能上再度實(shí)現(xiàn)了飛躍，亞馬遜展示的數(shù)據(jù)上提到，Nitro v5相較上一代集成了兩倍的晶體管數(shù)目，在算力上提升近兩倍，擁有快上50%的DRAM速度，PCIe帶寬也提升至兩倍。由此可以看出，Nitro v5應(yīng)該選擇了更先進(jìn)的工藝，DRAM和PCIe也換成了最新一代。

在實(shí)際測試中，Nitro v5可以提高最多60%的吞吐量，降低30%的延遲，在能效比上也有了40%的提升。正是因?yàn)橛兄@樣強(qiáng)大的性能，AWS選擇了將其集成到C7gn、HPC7g實(shí)例中去，與Graviton3和Graviton3E一起實(shí)現(xiàn)200Gbps的超高網(wǎng)絡(luò)性能。

大型語言模型的出現(xiàn)推動深度學(xué)習(xí)進(jìn)入了下一個階段，但龐大的參數(shù)量加大了推理所需的算力和成本。2019年，AWS的Inferentia芯片第一代出現(xiàn)在Inf1實(shí)例上，為用戶提供了性價(jià)比優(yōu)于GPU實(shí)例的選項(xiàng)，但彼時(shí)的深度學(xué)習(xí)模型還大多數(shù)停留在數(shù)百萬個，如今某些深度學(xué)習(xí)模型的參數(shù)已經(jīng)超過了數(shù)百億，比如百度的PLATO-XL對話生成模型、亞馬遜的AlexaTM等。

為此，Annapurna Labs拿出了全新的Inferentia2芯片，最高可支持到1750億參數(shù)的大型深度學(xué)習(xí)模型?；贗nferentia2芯片的Inf2實(shí)例也首次支持到分布式推理，將大型模型分布到多個芯片上進(jìn)行推理。與上一代Inf1實(shí)例相比，Inf2可以提供高達(dá)4倍的吞吐量和10分之一的延遲，與GPU實(shí)例相比更是將能效提高了50%之多。

小結(jié)

這樣頻繁的芯片發(fā)布節(jié)奏，足以看出亞馬遜在自研服務(wù)器芯片上已經(jīng)到了一個新的高度。不得不承認(rèn)，亞馬遜早在2016年就收購Annapurna Labs是一個多么具有前瞻性的戰(zhàn)略決策，在云服務(wù)廠商競爭愈演愈烈的當(dāng)下，擁有自研可控的服務(wù)器芯片無疑是殺手锏。雖然谷歌、阿里巴巴等廠商也都加入到了自研服務(wù)器芯片的行列中來，但與亞馬遜的AWS相比，在產(chǎn)品陣容和布局時(shí)間上還是有所差距。