亞馬遜啟動(dòng)“登月”計(jì)劃，目標(biāo)部署10萬(wàn)顆自研AI芯片

電子發(fā)燒友網(wǎng)報(bào)道（文/吳子鵬）日前，彭博社發(fā)文稱，為減少對(duì)英偉達(dá)芯片的依賴，亞馬遜已經(jīng)秘密啟動(dòng)了“登月”（moonshot）的計(jì)劃，目前正在其位于得克薩斯州奧斯汀的工程實(shí)驗(yàn)室加緊研發(fā)一款新的AI芯片：Trainium2，目標(biāo)是在亞馬遜自己的數(shù)據(jù)中心里部署10萬(wàn)顆Trainium2，以提高數(shù)據(jù)處理效率并降低AI芯片采購(gòu)成本。

近幾年，亞馬遜一直都在致力于自研芯片以降低數(shù)據(jù)中心成本，根據(jù)云成本管理和優(yōu)化平臺(tái)Vantage此前的一項(xiàng)調(diào)查數(shù)據(jù)，在Amazon EC2 M7系列通用實(shí)例的成本支出方面，采用Amazon Graviton的M7g系列已經(jīng)超過(guò)三分之一（34.5%）。

亞馬遜自研芯片第一次亮相始于2016年，在當(dāng)年的re:Invent大會(huì)上，亞馬遜云傳奇工程師James Hamilton展示了該公司第一顆自研芯片，這便是第一代Graviton芯片。和英特爾、AMD的芯片不同，第一代Graviton芯片便是基于Arm架構(gòu)的Neoverse內(nèi)核打造，可以支持2x25G以太網(wǎng)的數(shù)據(jù)包處理。隨后，亞馬遜在2019年推出了Graviton2、2021年推出了Graviton3、2023年推出了Graviton4。

作為最新版本的Graviton芯片，Graviton4采用了最先進(jìn)的Arm架構(gòu) Neoverse V2 核心，具有更高的計(jì)算核心數(shù)量和更快的內(nèi)存帶寬。7月15日，亞馬遜發(fā)布了基于自研芯片Graviton4的Amazon EC2 R8g實(shí)例。根據(jù)phoronix測(cè)試的結(jié)果，和上一代芯片Graviton3相比，Graviton4性能提升達(dá)30%以上，內(nèi)核數(shù)增加50%，內(nèi)存帶寬增加75%。

同時(shí)，根據(jù)測(cè)試結(jié)果，Graviton4處理器的性能略優(yōu)于英特爾至強(qiáng)處理器約5%，但AMD的EPYC處理器在整體性能上仍領(lǐng)先約25%。有評(píng)測(cè)報(bào)告認(rèn)為，Graviton4搭載的Neoverse-V2內(nèi)核與英特爾Sapphire Rapids內(nèi)核在性能上旗鼓相當(dāng)，在某些工作負(fù)載下甚至優(yōu)于AMD第四代EPYC。

Graviton4處理器發(fā)布于2023年11月28日，與其同時(shí)發(fā)布的還有升級(jí)款處理器Trainium2。AWS首席執(zhí)行官Adam Selipsky在re:Invent主題演講中透露，亞馬遜已經(jīng)購(gòu)買了數(shù)百萬(wàn)個(gè)英偉達(dá)的A100和H100產(chǎn)品，在此方面投入了巨大的成本。而業(yè)界人士預(yù)測(cè)，Trainium2是一顆有望正面和英偉達(dá)H100芯片競(jìng)爭(zhēng)的AI芯片。

Trainium2是多年磨一劍的產(chǎn)品，據(jù)悉在亞馬遜2015年收購(gòu)Annapurna Labs之后，這個(gè)項(xiàng)目就在秘密研發(fā)。根據(jù)亞馬遜方面的數(shù)據(jù)，Trainium2相較于上一代產(chǎn)品，訓(xùn)練速度提升多達(dá)4倍，能效提升多達(dá)2倍，內(nèi)存容量則達(dá)此前3倍，能在EC2 UltraClusters中擴(kuò)展至多達(dá)10萬(wàn)個(gè)芯片，可以在極短的時(shí)間內(nèi)訓(xùn)練基礎(chǔ)模型和大語(yǔ)言模型。目前，該芯片已經(jīng)在接受包括Anthropic、Databricks、Stockmark三家AI創(chuàng)企以及德國(guó)電信、日本理光在內(nèi)的多個(gè)客戶的測(cè)試。

同時(shí)，亞馬遜方面表示，Trainium2芯片已在數(shù)據(jù)中心部署，預(yù)計(jì)將在俄亥俄州等多個(gè)核心數(shù)據(jù)中心推廣，目標(biāo)是形成多達(dá)100000個(gè)芯片的集群。而這正是亞馬遜秘密計(jì)劃——“登月”計(jì)劃的一部分。按照規(guī)劃，Trainium2芯片先期主要承擔(dān)亞馬遜內(nèi)部的AI訓(xùn)練項(xiàng)目，并在初創(chuàng)企業(yè)客戶方面得到測(cè)試，隨著項(xiàng)目成熟將陸續(xù)有大客戶導(dǎo)入到基于Trainium2芯片的算力平臺(tái)上，一旦大客戶有項(xiàng)目使用，亞馬遜Trainium2芯片的任務(wù)便被視為取得成功。

不過(guò)，業(yè)內(nèi)人士認(rèn)為，亞馬遜Trainium2芯片也面臨諸多方面的挑戰(zhàn)，其中最顯著的兩大挑戰(zhàn)是自研芯片本身和軟件生態(tài)。在自研芯片方面，由于英偉達(dá)在通用計(jì)算GPU領(lǐng)域已經(jīng)積累了深厚的研發(fā)經(jīng)驗(yàn)，單芯片的優(yōu)化已經(jīng)接近了極限，要想實(shí)現(xiàn)超越，尤其是在核心指標(biāo)PPA方面實(shí)現(xiàn)超越，可能需要更加前沿的工藝平臺(tái)進(jìn)行芯片實(shí)現(xiàn)，或者在芯片設(shè)計(jì)過(guò)程中導(dǎo)入工程設(shè)計(jì)的“know how”，但無(wú)論怎樣的技術(shù)路徑，背后面臨的挑戰(zhàn)都是巨大的，且可能會(huì)由于先期用量低而導(dǎo)致高昂的成本，再加上本就客觀存在的研發(fā)成本，這對(duì)公司內(nèi)部推進(jìn)自研芯片的決心會(huì)有挑戰(zhàn)。

在軟件方面的挑戰(zhàn)就更大了，目前全球主要的GPGPU基本是依存于英偉達(dá)的CUDA生態(tài)生存，如果不兼容基本很難部署落地，這就導(dǎo)致英偉達(dá)在軟硬件結(jié)合方面具有巨大的先發(fā)優(yōu)勢(shì)。重新部署軟件生態(tài)當(dāng)然也是有效的途徑，一旦成功會(huì)獲得巨大的商業(yè)回報(bào)。但分析人士認(rèn)為，目前亞馬遜提供的Neural SDK軟件工具尚處于初期階段，無(wú)法與英偉達(dá)的解決方案相匹敵。

結(jié)語(yǔ)

就像人類登月一樣，亞馬遜Trainium2芯片的野心是巨大的，一旦成功帶來(lái)的商業(yè)回報(bào)也是非?？捎^的。但登月本就兇險(xiǎn)萬(wàn)分，Trainium2芯片離成功替代英偉達(dá)H100還有很長(zhǎng)很長(zhǎng)的路要走。