英特爾面向中國(guó)市場(chǎng)發(fā)布Gaudi2處理器，加速大模型訓(xùn)練和推理

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）日前，英特爾AI產(chǎn)品戰(zhàn)略暨Gaudi2新品發(fā)布會(huì)在京舉行。會(huì)上，英特爾正式于中國(guó)市場(chǎng)推出第二代Gaudi深度學(xué)習(xí)加速器——HabanaGaudi2。英特爾在中國(guó)市場(chǎng)推出的Gaudi2AI加速器，將通過(guò)其合作伙伴浪潮提供給中國(guó)客戶。

Gaudi2在訓(xùn)練和推理上的出色表現(xiàn)

英特爾此次推出的Gaudi2深度學(xué)習(xí)加速器暨Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構(gòu)為基礎(chǔ)，以多方位性能與能效比提升，加速高性能大語(yǔ)言模型運(yùn)行。該加速器具備：

24個(gè)可編程Tensor處理器核心（TPCs）

21個(gè)100Gbps（RoCEv2）以太網(wǎng)接口

96GBHBM2E內(nèi)存容量

2.4TB/秒的總內(nèi)存帶寬

48MB片上SRAM

集成多媒體處理引擎。

相比于國(guó)際版本，面向中國(guó)市場(chǎng)的Gaudi2每張芯片集成的專用于內(nèi)部互聯(lián)的100Gbps（RoCEv2RDMA）以太網(wǎng)接口，從24個(gè)減至21個(gè)。

英特爾HabanaLabs首席運(yùn)營(yíng)官EltanMedina對(duì)媒體表示，根據(jù)模型的不同，特供版Gaudi2性能會(huì)有輕微的影響，但在很多數(shù)據(jù)訓(xùn)練擴(kuò)展中，并不是用這三個(gè)端口，整體性能差別不大。

根據(jù)英特爾的展示，相比于上一代產(chǎn)品，在ResNet-50模型測(cè)試中，Gaudi2訓(xùn)練吞吐量提高了3倍，BERT模型的訓(xùn)練吞吐量提高了4.7倍。目前，單個(gè)Gaudi2在ResNet-50模型可達(dá)到非常穩(wěn)定的5800個(gè)圖像/每秒的吞吐量。

與英偉達(dá)相比，Gaudi2運(yùn)行ResNet-50的每瓦性能約是英偉達(dá)A100的2倍，性價(jià)比相較于AWS云中基于英偉達(dá)的解決方案高出40%。英特爾表示，接下來(lái)到9月，采用FP8軟件的Gaudi2預(yù)計(jì)能夠提供比H100更高的性價(jià)比。

根據(jù)此前的報(bào)道，在測(cè)試GPT-3方面，Gaudi2也表現(xiàn)出了強(qiáng)勁性能，384個(gè)加速器上的訓(xùn)練時(shí)間為311分鐘，從256個(gè)加速器到384個(gè)加速器實(shí)現(xiàn)近線性95%的擴(kuò)展效果。

Gaudi2在大規(guī)模的多模態(tài)和語(yǔ)言模型的推理方面也表現(xiàn)出色。HuggingFace評(píng)估中，Gaudi2在運(yùn)行StableDiffusion、70億以及1760億參數(shù)BLOOMz模型時(shí)，在行業(yè)內(nèi)都保持領(lǐng)先水平。

英特爾在AI領(lǐng)域的布局

AI計(jì)算包括訓(xùn)練和推理，目前而言，在訓(xùn)練方面，英偉達(dá)的GPU長(zhǎng)期占據(jù)主導(dǎo)地位。近段時(shí)間，大模型的熱潮四起，英偉達(dá)的GPU明顯供不應(yīng)求。這讓AMD、英特爾以及一些AI芯片初創(chuàng)企業(yè)看到了新的機(jī)會(huì)。

事實(shí)上英特爾在AI領(lǐng)域早有布局。2019年12月，英特爾斥資約20億美元重金收購(gòu)了成立于2016年的以色列人工智能（AI）芯片初創(chuàng)企業(yè)HabanaLabs。在此之前，英特爾還收購(gòu)了FPGA廠商Altera、AI芯片公司Nervana。

在收購(gòu)HabanaLabs后的幾年中，英特爾加緊使Habana團(tuán)隊(duì)與英特爾內(nèi)部業(yè)務(wù)整合。在2022年IntelVision活動(dòng)上，英特爾推出第二代深度學(xué)習(xí)芯片HabanaGaudi2和HabanaGreco，分別用于AI訓(xùn)練和AI推理。也就是說(shuō)，英特爾此次面向中國(guó)市場(chǎng)推出的新Gaudi2，也是在此前收購(gòu)了HabanaLabs的基礎(chǔ)上完成的。

面向AI領(lǐng)域的應(yīng)用，英特爾有全面的芯片組合，包括CPU、GPU、FPGA、AI專用芯片等。英特爾公司執(zhí)行副總裁數(shù)據(jù)中心與人工智能事業(yè)部總經(jīng)理SandraRivera表示，Gaudi2作為用于AI加速的專用處理器，是英特爾產(chǎn)品組合適用于大模型負(fù)載中，性能最優(yōu)的產(chǎn)品。

除了硬件方面，英特爾也非常注重在軟件方面的優(yōu)化，SandraRivera表示，英特爾致力于通過(guò)客戶提供廣泛的硬件選擇，并支持開放的軟件環(huán)境，加速人工智能技術(shù)的發(fā)展。

據(jù)英特爾介紹，為支持客戶輕松構(gòu)建模型，或?qū)?dāng)前基于GPU的模型業(yè)務(wù)和系統(tǒng)遷移到基于全新Gaudi2服務(wù)器，并幫助保護(hù)軟件開發(fā)投入，SynapseAI軟件套件針對(duì)Gaudi平臺(tái)深度學(xué)習(xí)業(yè)務(wù)進(jìn)行了優(yōu)化，旨在與廣泛的軟件生態(tài)系統(tǒng)一起，幫助簡(jiǎn)化模型的開發(fā)和遷移。

SynapseAI集成了對(duì)TensorFlow和PyTorch框架的支持，并提供眾多流行的計(jì)算機(jī)視覺(jué)和自然語(yǔ)言參考模型，能夠滿足深度學(xué)習(xí)開發(fā)者的多樣化需求。

對(duì)于英特爾來(lái)說(shuō)，中國(guó)是一個(gè)很重要的市場(chǎng)，根據(jù)2022年數(shù)據(jù)，英特爾在中國(guó)的營(yíng)收占到總營(yíng)收的27%。如今中國(guó)的大模型發(fā)展如火如荼，而英偉達(dá)的A100/H100在中國(guó)禁售，特供版的A800/H800也需要獲得許可才能出售。這對(duì)于英特爾來(lái)說(shuō)，是一個(gè)很好的機(jī)會(huì)。

據(jù)悉，目前英特爾正與浪潮信息合作，打造并發(fā)售基于Gaudi2深度學(xué)習(xí)加速器的浪潮信息AI服務(wù)器NF5698G7，該服務(wù)器集成8顆Gaudi2加速卡HL-225B，還包含雙路第四代英特爾至強(qiáng)可擴(kuò)展處理器。此外，新華三、超聚變等公司，預(yù)計(jì)也將推出搭載Gaudi2的服務(wù)器。

小結(jié)

算力是AI大模型發(fā)展的重要基礎(chǔ)，而AI芯片又是提供算力的重要組成部分。無(wú)論是訓(xùn)練還是推理，未來(lái)隨著大模型的不斷推進(jìn)及應(yīng)用落地，AI芯片的市場(chǎng)需求都將會(huì)持續(xù)上升。在英偉達(dá)一家獨(dú)大的情況下，英特爾等廠商競(jìng)爭(zhēng)力的不斷提升，對(duì)整個(gè)產(chǎn)業(yè)的發(fā)展也更為有利。