MLPerf 3.0最新發(fā)榜，戴爾AI和邊緣服務(wù)器拿下歷史最好成績

北美時間4月5日，全球權(quán)威 AI 基準(zhǔn)測試 MLPerf 3.0 最新結(jié)果正式公布，戴爾新一代AI與邊緣計(jì)算服務(wù)器取得有史以來最好成績：

數(shù)據(jù)中心賽道，戴爾新一代GPU服務(wù)器PowerEdge XE9680斬獲3項(xiàng)第一、9項(xiàng)第二；

邊緣計(jì)算賽道，戴爾PowerEdge XR系列邊緣計(jì)算服務(wù)器拿下10項(xiàng)第一。

恭喜戴爾！

MLPerf由ML Commons聯(lián)盟組織，是全球最知名、參與度最高的AI計(jì)算基準(zhǔn)測試，包含Training（訓(xùn)練）和Inference（推理）兩大領(lǐng)域。MLPerf選擇AI各個熱門領(lǐng)域的經(jīng)典模型，在滿足技術(shù)規(guī)范前提下（如訓(xùn)練精度、延遲等），對各大廠商的硬件、軟件和服務(wù)的訓(xùn)練和推理性能提供公平的評估。

最新公布的AI推理基準(zhǔn)測試MLPerf Inference v3.0，包含圖像分類ResNet-50、目標(biāo)檢測RetinaNet、醫(yī)療圖像3D U-Net、語音識別RNN-T、自然語言處理BERT-Large、推薦系統(tǒng)DLRM等6個模型賽道，匯集了來自全球25個廠商超過6700條性能數(shù)據(jù)，以及2400條性能功耗數(shù)據(jù)。

MLPerf Inference v3.0的AI業(yè)務(wù)場景

在此次MLPerf Inference v3.0測試中，戴爾提交了27種不同的服務(wù)器配置，共計(jì)255項(xiàng)測試數(shù)據(jù)。產(chǎn)品涵蓋PowerEdge XE9680、R750xa、XR7620、XR5610等型號，參測的GPU型號包括NVIDIA H100、A100、A30、L4、T4、A2以及高通AI加速卡等，具有廣泛的選型參考性。

數(shù)據(jù)中心賽道表現(xiàn)

在MLPerf Inference最受關(guān)注的數(shù)據(jù)中心基準(zhǔn)測試（Datacenter closed）中，戴爾16G PowerEdge服務(wù)器XE9680首次亮相便斬獲優(yōu)異成績。

8卡H100配置的PowerEdge XE9680參加了12項(xiàng)測試，所有測試成績均位居前2，其中在RetinaNet Server(目標(biāo)檢測)、RetinaNet Offine(目標(biāo)檢測)和RNN-T Server（語音識別）三個項(xiàng)目賽道皆拿下第1名的最優(yōu)成績。

Datacenter RetinaNet Server測試數(shù)據(jù)

Datacenter RetinaNet Offline測試數(shù)據(jù)

Datacenter R-NNT Server測試數(shù)據(jù)

同上一期的MLPerf Inference v2.1相比，PowerEdge XE9680將Dell在各個項(xiàng)目的最好成績分別提升了3倍-8.4倍。

戴爾的MLPerf Inference v3.0

與Inference v2.1成績對比

MLPerf Inference v3.0 Datacenter

全部Dell機(jī)型測試數(shù)據(jù)

邊緣計(jì)算賽道表現(xiàn)

邊緣計(jì)算是MLPerf關(guān)注的另一類AI推理的應(yīng)用場景，有別于數(shù)據(jù)中心對極致算力的最求，邊緣計(jì)算場景對于計(jì)算設(shè)備部署的環(huán)境要求更加多元化，也更加看重計(jì)算設(shè)備的功耗與成本。因此，在滿足AI計(jì)算吞吐和延遲性能要求的前提下，提供更高性價(jià)比以及性能功耗比的AI計(jì)算解決方案，是戴爾在邊緣AI計(jì)算重點(diǎn)關(guān)注的內(nèi)容。

在此次MLPerf Inference v3.0 Edge closed power測試中（主要衡量邊緣AI計(jì)算的性能功耗比），戴爾XR系列邊緣計(jì)算優(yōu)化服務(wù)器在全部14項(xiàng)測試中取得了10個項(xiàng)目的最佳成績。其中， PowerEdge XR5610邊緣計(jì)算優(yōu)化服務(wù)器搭配NVIDIA最新發(fā)布的L4 GPU，取得9個項(xiàng)目第一，PowerEdge XR4000搭配NVIDIA A2 GPU，在BERT 99 Offline項(xiàng)目中取得了最佳成績。

* Dell XR5610參加的9個項(xiàng)目分別是ResNet Single Stream、Resnet Multi Stream、RetinaNet Single Stream,、RetinaNet Offline、3D-UNet 99 Single Stream、3D-UNet 99 Offline、3D-UNet 99.9 Offline、RNN-T Single Stream、BERT-99 Single Stream。

PowerEdge XR5610

PowerEdge XR4000

NVIDIA L4是一款單寬GPU加速卡，專為AI視頻和生成式AI用例而設(shè)計(jì)，較上一代GPU實(shí)現(xiàn)了2.7倍的生成式AI性能提升。Dell PowerEdge服務(wù)器在今年一季度開始提供對L4的選型支持。

以此次AI Inference v3.0 Edge的測試項(xiàng)目中的圖像分類ResNet-50與自然語言處理BERT-99為例，L4的推理計(jì)算性能分別達(dá)到T4的2.1倍和2.13倍。而同A10相比，L4絕大多數(shù)的規(guī)格指標(biāo)與A10非常接近，功耗卻不到其一半，同時實(shí)現(xiàn)了大量成本節(jié)約。L4的發(fā)布，將成為未來AI推理計(jì)算具備高競爭力的GPU選型。

L4與T4 AI推理性能對比

當(dāng)下，ChatGPT帶動了全球?qū)I大模型以及基于AI大模型的AIGC(人工智能內(nèi)容生成)的關(guān)注與投資熱潮。與之前的AI小模型相比，以ChatGPT為代表的大規(guī)模預(yù)訓(xùn)練模型，參數(shù)規(guī)模增加了100倍-1000倍。訓(xùn)練如此龐大的AI大模型需要更大的AI計(jì)算集群，以及更多的訓(xùn)練數(shù)據(jù)集。

以O(shè)penAI的GPT為例，GPT-3擁有1750億參數(shù)，2020年GPT-3發(fā)布時訓(xùn)練該模型使用了超過10000張NVIDIA GPU卡。而根據(jù)第三方測算，如果使用1024張A100/A800 GPU訓(xùn)練GPT-3，仍然需要超過一個月的時間。

隨著AIGC時代的帶來，人工智能產(chǎn)業(yè)化對于AI算力的需求將被帶到一個新的高度。在本次MLPerf Inference v3.0測試中取得優(yōu)異成績的PowerEdge XE9680戴爾專為復(fù)雜計(jì)算和 AI/ML/DL 以及 HPC 密集型工作負(fù)載而構(gòu)建，可以快速開發(fā)、訓(xùn)練及部署像ChatGPT這樣的大型機(jī)器學(xué)習(xí)模型，助推更多AIGC場景快速落地。

PowerEdge XE9680

此外，AI與邊緣的融合是未來AI計(jì)算的趨勢之一，越來越多的AI計(jì)算負(fù)載特別是AI推理計(jì)算將會出現(xiàn)在邊緣側(cè)。邊緣端IT設(shè)備的部署環(huán)境千差萬別，有的時候很難像核心數(shù)據(jù)中心擁有同樣完備的機(jī)房環(huán)境，可能會面臨更加復(fù)雜、惡劣的設(shè)備運(yùn)行環(huán)境。

戴爾XR系列服務(wù)器對于高溫、低溫、海拔、防塵、抗震的運(yùn)行環(huán)境有更強(qiáng)的適應(yīng)能力，通過了電信和海事行業(yè)標(biāo)準(zhǔn)。機(jī)箱深度通常只有通用機(jī)架服務(wù)器的一半左右，機(jī)器外形更加精巧緊湊。

此次參加AI Inference v3.0 Edge項(xiàng)目測試的XR系列服務(wù)器，是戴爾科技專為面向邊緣計(jì)算場景設(shè)計(jì)與優(yōu)化的服務(wù)器，此前已發(fā)布了XE2420、XR12、XR11、XR4000等產(chǎn)品，今年陸續(xù)會有更多新品發(fā)布，請大家拭目以待！