英特爾推出AI加速器性價(jià)比產(chǎn)品Gaudi2

日前，英特爾面向中國(guó)市場(chǎng)發(fā)布了HabanaGaudi2深度學(xué)習(xí)加速卡器。

新的Gaudi2直接給到了24個(gè)Tensor處理核心（TPC），是上代產(chǎn)品的三倍；而在對(duì)大模型應(yīng)用至關(guān)重要的顯存方面，Gaudi2也大方的配置了96GBHBM2e，顯存帶寬直接達(dá)到了2.4TB/s。而在連接方式上，Gaudi2則采用了OCPOAM接口形式，可擴(kuò)展出21個(gè)100G以太網(wǎng)連接，并支持RoCE（RDMAover Converged Ethernet）v2。同時(shí)，Gaudi2還集成了多媒體處理器引擎和48MB片上SRAM作為高速緩存。

在系統(tǒng)層面，英特爾則提供能夠同時(shí)安裝8塊Gaudi2的夾層基板，同樣遵循OCP標(biāo)準(zhǔn)，可擴(kuò)展出24個(gè)100GRoCE網(wǎng)絡(luò)接口。

性能更好的新選擇

Gaudi2搭載的96GBHBM顯存的確令人眼前一亮，但真正能夠影響用戶購(gòu)買(mǎi)行為的仍舊似乎加速卡本身的計(jì)算性能。

在HuggingFace工程師RégisPierrard去年底進(jìn)行的Gaudi2測(cè)試中，Gaudi2不僅在與前代產(chǎn)品的對(duì)比中表現(xiàn)出了近乎線性的性能提升，更大幅超越了對(duì)標(biāo)的A100加速卡。

BERT預(yù)訓(xùn)練，8卡

Gaudi2使用bf16/fp32混合精度，A100使用fp16精度

StableDiffusion測(cè)試，單卡

從RégisPierrard使用IntelDeveloper Cloud進(jìn)行的兩輪測(cè)試中我們不難發(fā)現(xiàn)，無(wú)論是在BERT這樣的大模型應(yīng)用中，還是在StableDiffusion這樣的“傳統(tǒng)”AIGC應(yīng)用中，Gaudi2的性能表現(xiàn)均相當(dāng)亮眼；相對(duì)于前代產(chǎn)品展現(xiàn)出了至少3倍的性能優(yōu)勢(shì)（Gaudi2的TPC數(shù)量是前代的3倍），且比對(duì)標(biāo)的A100產(chǎn)品更具性能優(yōu)勢(shì)。

在兩項(xiàng)測(cè)試中，Gaudi2均使用了英特爾推出的SynapseAI1.10套件和OptimumHabana1.6；其中前者是面向Gaudi系列加速卡的SDK開(kāi)發(fā)套件，能夠?qū)?a href="http://wenjunhu.com/tags/tensorflow/" target="_blank">TensorFlow和Pytorch等流行框架提供支持，而后者則是專門(mén)面向Transformers和Diffusers優(yōu)化的運(yùn)行庫(kù)。

同時(shí)，在發(fā)布會(huì)的現(xiàn)場(chǎng)演示環(huán)節(jié)，英特爾工作人員展示了StableDiffusion應(yīng)用中1至64張卡的計(jì)算性能，并實(shí)現(xiàn)了99%的近線性性能擴(kuò)展。換而言之，在更大規(guī)模的業(yè)務(wù)部署當(dāng)中，Gaudi2也能通過(guò)集群橫向擴(kuò)展獲得更加線性的性能增長(zhǎng)。

目前，Gaudi系列AI加速器已經(jīng)在AWS的EC2DL1主機(jī)中進(jìn)行了實(shí)際的商業(yè)部署。AWS表示，相對(duì)于傳統(tǒng)GPU，Gaudi能夠在深度學(xué)習(xí)應(yīng)用中帶來(lái)40%的性價(jià)比提升。

在走量的市場(chǎng)做走心的產(chǎn)品

誠(chéng)然，Gaudi2的競(jìng)品并非性能無(wú)兩的H100，更無(wú)法對(duì)即將面市的H100NVL構(gòu)成性能威脅。但對(duì)于更加“走量”的A100而言，Gaudi2所展現(xiàn)出的性價(jià)比則對(duì)大多數(shù)用戶而言更有價(jià)值。

近兩年，“從中端入局”似乎已經(jīng)成為英特爾的慣用手段，消費(fèi)級(jí)的Arc770顯卡和如今的Gaudi2均如此。

走量的中端市場(chǎng)對(duì)英特爾有足夠的吸引力，也更容易幫助英特爾用一兩款產(chǎn)品就建立口碑、站穩(wěn)腳跟；同時(shí)，能在中端市場(chǎng)為用戶提供先進(jìn)技術(shù)和優(yōu)勢(shì)性價(jià)比也證明英特爾對(duì)目標(biāo)用戶足夠走心，愿意把真正的實(shí)惠帶給最廣闊的用戶市場(chǎng)。

在走量的市場(chǎng)做走心的產(chǎn)品，這樣的英特爾令人喜聞樂(lè)見(jiàn)。

為Ai加速器市場(chǎng)打開(kāi)一扇窗

近兩年，以AIGC為代表的AI應(yīng)用快速崛起，吸引了科技圈和投資界的廣泛關(guān)注，其中的語(yǔ)言類大模型更有望大幅降低企業(yè)在營(yíng)銷、客服和售后方面的成本，實(shí)現(xiàn)生產(chǎn)效率的大幅提升。

在科技企業(yè)爭(zhēng)相進(jìn)行大模型“軍備競(jìng)賽”的背后，GPU的需求也水漲船高。在GPU市場(chǎng)格局高度固化的當(dāng)下，這一現(xiàn)象很容易帶來(lái)終端市場(chǎng)的價(jià)格起伏，導(dǎo)致GPU價(jià)格畸高，進(jìn)而推高企業(yè)投身AI業(yè)務(wù)的成本并導(dǎo)致基礎(chǔ)架構(gòu)被綁定。

而英特爾Gaudi2加速卡的出現(xiàn)則意味著企業(yè)有了全新選擇。一方面，Gaudi2在絕對(duì)性能、顯存容量、集群性能等方面都比對(duì)標(biāo)產(chǎn)品有優(yōu)勢(shì)，能夠承接現(xiàn)有的市場(chǎng)需求；另一方面，伴隨oneAPI等算力調(diào)用工具的不斷成熟和完善，用戶也能在開(kāi)發(fā)和應(yīng)用層面實(shí)現(xiàn)基礎(chǔ)架構(gòu)的透明化，更輕松的調(diào)用多元算力，繼而獲得算力和基礎(chǔ)架構(gòu)層面的靈活性。

作為AI加速器市場(chǎng)的“追趕者”，Gaudi2證明英特爾能夠?yàn)橛脩籼峁┯懈?jìng)爭(zhēng)力的先進(jìn)產(chǎn)品。當(dāng)然，這還僅是在“獨(dú)立AI加速器”這一條賽道中。

在更廣闊的數(shù)據(jù)中心賽道中，英特爾還有并行的DataCenter Max和DataCenterFlex兩條產(chǎn)品線，以及更加獨(dú)立的FPGA賽道。此外，英特爾也在積極推動(dòng)AI能力與傳統(tǒng)CPU的結(jié)合。從最初的AVX-512指令集和DLBoost到如今AMX-512指令集，英特爾正在為用戶構(gòu)建一條“用CPU靈活處理AI推理業(yè)務(wù)”的全新路徑。

很顯然，在英特爾的眼中，用戶在未來(lái)應(yīng)該針對(duì)不同場(chǎng)景和不同業(yè)務(wù)負(fù)載來(lái)規(guī)劃不同的基礎(chǔ)架構(gòu)，用不同算力來(lái)滿足業(yè)務(wù)需求。而伴隨oneAPI的逐步成熟，底層算力的區(qū)別將被抹除，模型訓(xùn)練和多端部署不再需要特別調(diào)優(yōu)就能實(shí)現(xiàn)無(wú)縫遷移和高效調(diào)優(yōu)。

在產(chǎn)品層面，英特爾最新推出的Gaudi2對(duì)用戶而言有足夠的吸引力；在戰(zhàn)略層面，Gaud2則是英特爾站穩(wěn)獨(dú)立AI加速器市場(chǎng)并構(gòu)筑多元算力體系的重要一步。而在AI研究快速推進(jìn)，技術(shù)落地如火如荼的當(dāng)下，Gaudi2的出現(xiàn)無(wú)疑為用戶帶來(lái)了全新選擇；而奮力前行的英特爾更有望為市場(chǎng)帶來(lái)AI與算力需求之間的全新平衡。