全新NVIDIA Spectrum-X網(wǎng)絡(luò)平臺(tái)構(gòu)筑阿里生成式AI云底座

全新 NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺(tái)構(gòu)筑阿里生成式 AI 云底座。

隨著生成式 AI 的熱潮席卷全球，用于訓(xùn)練生成式 AI 的大型高性能網(wǎng)絡(luò)基礎(chǔ)設(shè)施開(kāi)始受到客戶和行業(yè)的關(guān)注。這不僅僅是因?yàn)榫薮蟮氖袌?chǎng)潛力，更因?yàn)樯墒?AI 應(yīng)用對(duì)當(dāng)前網(wǎng)絡(luò)的技術(shù)與產(chǎn)品帶來(lái)的巨大挑戰(zhàn)。

由于生成式 AI 訓(xùn)練任務(wù)的特性，其對(duì)網(wǎng)絡(luò)的要求與傳統(tǒng)的 DC 網(wǎng)絡(luò)在多方面存在差異。主要體現(xiàn)在：

性能至上，對(duì)于網(wǎng)絡(luò)帶寬及通信效率的要求高，需要實(shí)現(xiàn)從 GPU 到網(wǎng)絡(luò)，再到其它 GPU 的端到端帶寬平衡，從而達(dá)到充分發(fā)揮集群訓(xùn)練性能的目的。

AI 網(wǎng)絡(luò)流量并發(fā)性高和突發(fā)性流量多，對(duì)于數(shù)據(jù)的完整性要求很高，依賴于 RDMA 轉(zhuǎn)發(fā)保證帶寬最大化和數(shù)據(jù)的完整性，降低對(duì) CPU 資源消耗。

模型并行加數(shù)據(jù)并行共存的通信機(jī)制導(dǎo)致對(duì)于網(wǎng)絡(luò)時(shí)延敏感，網(wǎng)絡(luò)中的任何額外的時(shí)延都可能影響數(shù)以百計(jì)的 GPU 之間的通信效率。

需要無(wú)收斂的網(wǎng)絡(luò)拓?fù)浔ＷC各種通信場(chǎng)景下的網(wǎng)絡(luò)帶寬沒(méi)有瓶頸。

由于傳統(tǒng)的網(wǎng)絡(luò)解決方案無(wú)法滿足這些需求，NVIDIA 依靠多年在 AI 和高速通信領(lǐng)域的積累，推出了 Spectrum-X 以太網(wǎng)解決方案，以推動(dòng)以太網(wǎng)技術(shù)可以更好地適配生成式 AI 基礎(chǔ)設(shè)施的要求。

NVIDIA Spectrum-X 是專為基于以太網(wǎng)的 AI 云提高性能和效率而設(shè)計(jì)的平臺(tái)。

NVIDIA Spectrum-X 依托于 NVIDIA Spectrum-4 以太網(wǎng)交換機(jī)和 NVIDIA BlueField-3 DPU 的緊密結(jié)合，專為 AI 工作負(fù)載構(gòu)建了端到端的創(chuàng)新網(wǎng)絡(luò)平臺(tái)，大幅提升了以太網(wǎng)在大規(guī)模、可擴(kuò)展環(huán)境中的通信效率，并在多租戶環(huán)境中實(shí)現(xiàn)了一致的、可預(yù)測(cè)的性能，提高了生成式 AI 云的性能和能效。NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺(tái)還包括 Cumulus Linux、NetQ、Air 和 DOCA 加速軟件等，以及 NVIDIA 的 LinkX 系列線纜和光模塊產(chǎn)品，共同助力該網(wǎng)絡(luò)平臺(tái)實(shí)現(xiàn)出色的性能。

NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺(tái)集成了 NVIDIA Spectrum-4 以太網(wǎng)交換機(jī)、NVIDIA BlueField-3 DPU、NVIDIA LinkX 線纜及加速軟件和 SDK，通過(guò)無(wú)損以太網(wǎng)的端到端動(dòng)態(tài)路由、基于可編程擁塞控制的性能隔離技術(shù)等先進(jìn)的 RoCE 擴(kuò)展功能，構(gòu)建了一個(gè)專為 AI 云而優(yōu)化和加速的端到端高性能 400GbE 以太網(wǎng)絡(luò)。測(cè)試顯示，與傳統(tǒng)以太網(wǎng)相比，采用 NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺(tái)可將大規(guī)模 AI 工作負(fù)載的性能提高到 1.7 倍，并將網(wǎng)絡(luò)的有效通信帶寬提升到 1.6 倍。

NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺(tái)，實(shí)現(xiàn)了 GPU 到 GPU 直接的端到端加速和優(yōu)化，大幅減少了大規(guī)模生成式 AI 模型的運(yùn)行時(shí)間，提升了 GPU 的效率，優(yōu)化了 AI 平臺(tái)的總體擁有成本（TCO）和降低了基礎(chǔ)設(shè)施的整體功耗。同時(shí)，它還具有高度的通用性，有力地支撐了各種生成式 AI 應(yīng)用，由于它也是標(biāo)準(zhǔn)的以太網(wǎng)，實(shí)現(xiàn)了與已有的基于以太網(wǎng)堆棧的云架構(gòu)和云服務(wù)互通。

阿里云作為全球領(lǐng)先的云供應(yīng)商，擁有巨型的通用計(jì)算平臺(tái)。同時(shí)，阿里云也持續(xù)向加速計(jì)算領(lǐng)域擴(kuò)張，建成并持續(xù)擴(kuò)張以“PAI 靈駿”算力服務(wù)為代表大型的 GPU 集群。阿里云基礎(chǔ)設(shè)施網(wǎng)絡(luò)團(tuán)隊(duì)從 2017 年開(kāi)始構(gòu)建端網(wǎng)融合的可預(yù)期高性能 RDMA 網(wǎng)絡(luò)架構(gòu)，過(guò)去幾年已經(jīng)在高性能存儲(chǔ)領(lǐng)域?qū)崿F(xiàn)了大規(guī)模部署，目前正在大規(guī)模 AI 計(jì)算領(lǐng)域持續(xù)創(chuàng)新迭代和規(guī)模部署，以適配 AI 計(jì)算對(duì)高性能網(wǎng)絡(luò)的訴求。阿里云也充分認(rèn)識(shí)到技術(shù)創(chuàng)新對(duì)以太網(wǎng)方案持續(xù)支持高性能網(wǎng)絡(luò)，尤其是生成式 AI 基礎(chǔ)設(shè)施的重要性。

為此，阿里云聯(lián)合 NVIDIA 對(duì) Spectrum-X 解決方案進(jìn)行測(cè)試，以評(píng)估新技術(shù)對(duì)高性能網(wǎng)絡(luò)的適應(yīng)能力。

測(cè)試的主要內(nèi)容和結(jié)果

阿里云測(cè)試環(huán)境配置

測(cè)試環(huán)境使用了 2 臺(tái) Spine 交換機(jī)，4 臺(tái) ToR 交換機(jī)，16 臺(tái) HGX GPU 服務(wù)器并配置了 NVIDIA BlueField-3 DPU，基于 NVIDIA 51.2T Spectrum-4 交換芯片的 SN5600，以太網(wǎng)交換機(jī)，支持 128*400G 或者 64*800G 端口。每臺(tái) GPU 服務(wù)器配置 8 張 BlueField-3 DPU，每 4 臺(tái) GPU 服務(wù)器為一組連接到一臺(tái) ToR 交換機(jī)，共 4 組連接到 4 臺(tái) ToR 交換機(jī)。ToR 交換機(jī)通過(guò) 200G 網(wǎng)絡(luò)連接到 BlueField-3 DPU，4 臺(tái) ToR 交換機(jī)通過(guò) 2 臺(tái) Spine 交換機(jī)連接在一起，構(gòu)成無(wú)阻塞胖樹(shù)網(wǎng)絡(luò)。

主要的測(cè)試內(nèi)容

這些測(cè)試由多個(gè)級(jí)別的工作負(fù)載組成，從簡(jiǎn)單到復(fù)雜：

RDMA 基準(zhǔn)性能測(cè)試，覆蓋帶寬和延遲。

孤立場(chǎng)景下的 All to All 和 All Reduce 集合通信測(cè)試，專注于 NCCL 性能基準(zhǔn)。

在共享資源和有背景噪聲環(huán)境下的性能測(cè)試。

故障場(chǎng)景的測(cè)試。

測(cè)試結(jié)果顯示，由于使用了端到端的逐包負(fù)載均衡優(yōu)化技術(shù)（Adaptive Routing）和零配置 RoCE 擁塞控制（ZTR CC）使得網(wǎng)絡(luò)利用率顯著提升，并顯著減少由于網(wǎng)絡(luò)擁塞和 In-Cast 問(wèn)題帶來(lái)的時(shí)延和抖動(dòng)。網(wǎng)絡(luò)帶寬利用率在各種測(cè)試場(chǎng)景下均可超過(guò) 90%。這種逐包負(fù)載均衡技術(shù)也可以對(duì)多種故障情況（本端和遠(yuǎn)端）做出響應(yīng)，合理地利用網(wǎng)絡(luò)內(nèi)的帶寬資源。在真實(shí)訓(xùn)練任務(wù)的測(cè)試過(guò)程中，Spectrum-X 可以降低 20% 以上的訓(xùn)練時(shí)間。在獲得這一切收益的同時(shí)，網(wǎng)絡(luò)的配置工作量大大降低，運(yùn)維人員不再需要進(jìn)行復(fù)雜的配置和頻繁的調(diào)優(yōu)工作。

這些測(cè)試結(jié)果表明 NVIDIA Spectrum-X 加速網(wǎng)絡(luò)平臺(tái)的突破性技術(shù)可大幅提升大規(guī)模生成式 AI 工作負(fù)載的性能，并大幅縮短生成式 AI 模型的運(yùn)行時(shí)間。

通過(guò)采用 NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺(tái)，客戶可進(jìn)一步為千行百業(yè)的客戶提供具有性能和成本優(yōu)勢(shì)的生成式 AI 云服務(wù)，將 AI 通用大模型和行業(yè)大模型賦能和融合各種應(yīng)用場(chǎng)景。NVIDIA 和阿里云的開(kāi)發(fā)人員將基于 NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺(tái)的加速軟件和 SDK 進(jìn)一步在虛擬化、定制化可編程擁塞控制、遙測(cè)、快速故障響應(yīng)等方面展開(kāi)合作，推動(dòng)這一新解決方案的進(jìn)一步發(fā)展和應(yīng)用。

針對(duì)這一聯(lián)合測(cè)試，阿里云基礎(chǔ)設(shè)施網(wǎng)絡(luò)研發(fā)事業(yè)部總經(jīng)理蔡德忠表示：“高性能網(wǎng)絡(luò)技術(shù)是 AI 計(jì)算 Scaling Law 的關(guān)鍵所在，這個(gè)領(lǐng)域需要持續(xù)不斷的創(chuàng)新迭代，阿里云始終堅(jiān)持網(wǎng)絡(luò)的開(kāi)放性，也是網(wǎng)絡(luò)開(kāi)源生態(tài)的領(lǐng)導(dǎo)者和積極貢獻(xiàn)者，阿里云與 NVIDIA 在 AI 計(jì)算和高性能存儲(chǔ)領(lǐng)域合作多年，將持續(xù)探索創(chuàng)新基于 Open Ethernet 的高性能網(wǎng)絡(luò)方案，助力 AI 計(jì)算集群的大規(guī)模高效擴(kuò)展?！?/p>

NVIDIA 網(wǎng)絡(luò)高級(jí)副總裁 Gilad Shainer表示：“生成式 AI（Generative AI）是面向下一代業(yè)務(wù)需求的典型代表，為了支撐成千上萬(wàn)的用戶的需求，生成式 AI 云需要先進(jìn)及可靠的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)滿足各種 AI 業(yè)務(wù)的平滑增長(zhǎng)。阿里云和 NVIDIA 在 Spectrum-X 以太網(wǎng)平臺(tái)上的策略合作，可以充分利用 Spectrum-X 的先進(jìn)路由技術(shù)和云上業(yè)務(wù)性能隔離技術(shù)，使阿里云及其廣大用戶可以盡情享受生成式 AI 的服務(wù)?！?/p>

審核編輯：劉清