簡(jiǎn)單認(rèn)識(shí)全調(diào)度以太網(wǎng)技術(shù)

今日和文檔君一起學(xué)習(xí)技術(shù)名詞：

全調(diào)度以太網(wǎng)技術(shù)(Global Scheduling Ethernet，GSE)——基于報(bào)文容器PKTC轉(zhuǎn)發(fā)和負(fù)載均衡，并實(shí)現(xiàn)全局調(diào)度。

什么是全調(diào)度以太網(wǎng)GSE?

GSE(Global Scheduling Ethernet)，即全調(diào)度以太網(wǎng)技術(shù)。GSE是由中國(guó)移動(dòng)聯(lián)合產(chǎn)業(yè)合作伙伴共同提出的一種以太網(wǎng)技術(shù)架構(gòu)，是在現(xiàn)有以太網(wǎng)的基礎(chǔ)上進(jìn)行了優(yōu)化和創(chuàng)新，以滿足智算中心高性能網(wǎng)絡(luò)技術(shù)，旨在突破傳統(tǒng)以太網(wǎng)的技術(shù)瓶頸，打造無(wú)阻塞、高帶寬、低時(shí)延的新型智算中心網(wǎng)絡(luò)。

為什么需要GSE?

在AI訓(xùn)練中，我們常用RDMA協(xié)議來(lái)高速傳輸數(shù)據(jù)。但RDMA對(duì)丟包非常敏感，哪怕只丟了一點(diǎn)點(diǎn)數(shù)據(jù)包，網(wǎng)絡(luò)的有效傳輸速度就會(huì)大幅下降。

而AI大模型訓(xùn)練需要多個(gè)計(jì)算設(shè)備一起工作，它們之間需要頻繁通信和同步，這對(duì)網(wǎng)絡(luò)的要求就特別高?，F(xiàn)在AI模型越來(lái)越大，智算中心的網(wǎng)絡(luò)性能就得更強(qiáng)才行，需要無(wú)阻塞、“0”丟包、低延遲。

傳統(tǒng)的以太網(wǎng)在大規(guī)模、高速度的數(shù)據(jù)傳輸時(shí)，容易出現(xiàn)網(wǎng)絡(luò)擁塞等問(wèn)題。這就像是一條高速公路，車一多就容易堵。

智算中心的網(wǎng)絡(luò)中數(shù)據(jù)流雖然不多，但每個(gè)流的數(shù)據(jù)量都很大，傳統(tǒng)的負(fù)載均衡方式就容易出問(wèn)題，導(dǎo)致數(shù)據(jù)包丟失，動(dòng)態(tài)時(shí)延增大等問(wèn)題，從而影響AI訓(xùn)練的效率。

GSE技術(shù)就像是給去往某個(gè)目的地的多條高速公路裝上了智能導(dǎo)航系統(tǒng)，它能主動(dòng)控制車流選擇最優(yōu)路徑，避免堵車，更高效地轉(zhuǎn)發(fā)數(shù)據(jù)包。這樣一來(lái)，丟包就少了，網(wǎng)絡(luò)延遲也低了，整體傳輸速度就更高了，AI訓(xùn)練效率也就提升了。

GSE技術(shù)特點(diǎn)

1. 從“流”分發(fā)轉(zhuǎn)變?yōu)椤皥?bào)文”分發(fā)。傳統(tǒng)ECMP 負(fù)載均衡會(huì)導(dǎo)致鏈路負(fù)載不均以及哈希極化，可能引起擁塞和丟包。

GSE設(shè)備會(huì)將數(shù)據(jù)包進(jìn)行邏輯分組，組裝成長(zhǎng)度較長(zhǎng)的“定長(zhǎng)”容器，并基于報(bào)文容器轉(zhuǎn)發(fā)和動(dòng)態(tài)負(fù)載均衡，實(shí)現(xiàn)單條流在多路徑上均勻地負(fù)載分擔(dān)，提升有效帶寬。

如果把報(bào)文當(dāng)作貨物，報(bào)文容器就好像載貨能力一樣的貨車，每輛貨車?yán)瑯又亓康呢浳?數(shù)量可以不一樣)，大量貨車被均勻地調(diào)度到去往同個(gè)目的地的多條高速路上，可以最大程度利用道路資源。

2. 從被動(dòng)擁塞控制到主動(dòng)流控，引入“授權(quán)請(qǐng)求”和“全局調(diào)度機(jī)制”，通過(guò)構(gòu)建基于全局動(dòng)態(tài)調(diào)度隊(duì)列(DGSQ)的擁塞控制機(jī)制，本設(shè)備發(fā)送流量速率由最終的設(shè)備出口、途經(jīng)的設(shè)備統(tǒng)一進(jìn)行全網(wǎng)端到端授權(quán)，確保了流量負(fù)載不超過(guò)網(wǎng)絡(luò)的承載能力，有效避免了網(wǎng)絡(luò)擁塞而丟包。

這就好像貨車在出發(fā)前先詢問(wèn)了目的地的庫(kù)房是否具備接收能力，根據(jù)目的地的收貨能力以及沿途路況來(lái)決定發(fā)出多少貨物，確保貨物能準(zhǔn)確送達(dá)并接收。

由于AI大模型訓(xùn)練時(shí)任意一輪計(jì)算的結(jié)束均依賴最后一個(gè)結(jié)果的返回，降低網(wǎng)絡(luò)長(zhǎng)尾時(shí)延可有效提升訓(xùn)練完成時(shí)間。

交換網(wǎng)絡(luò)整體轉(zhuǎn)發(fā)時(shí)延和轉(zhuǎn)發(fā)路徑上中間節(jié)點(diǎn)的擁塞情況正相關(guān)，消除中間節(jié)點(diǎn)的擁塞就可消除長(zhǎng)尾時(shí)延。GSE技術(shù)實(shí)現(xiàn)了精細(xì)化調(diào)度和和高負(fù)載均衡，可有效降低長(zhǎng)尾時(shí)延，提升訓(xùn)練效率。

GSE支持GSE-N2N和GSE-E2E兩大技術(shù)場(chǎng)景，GSE-N2N通過(guò)網(wǎng)絡(luò)設(shè)備實(shí)現(xiàn)全部GSE功能，支持計(jì)算與網(wǎng)絡(luò)設(shè)備的解耦;GSE-E2E將部分GSE能力延伸至服務(wù)器網(wǎng)卡，借助端網(wǎng)協(xié)同實(shí)現(xiàn)高性能集群互聯(lián)。QGSE vs RoCEv2 vs InfiniBand

注：RoCEv2(RDMA over Converged Ethernet，融合以太網(wǎng)承載RDMA)

GSE有哪些應(yīng)用場(chǎng)景?

GSE主要面向無(wú)損、高帶寬、低時(shí)延等高性能網(wǎng)絡(luò)需求業(yè)務(wù)場(chǎng)景，如AI大模型訓(xùn)練的智算中心網(wǎng)絡(luò)。

GSE業(yè)界應(yīng)用進(jìn)展

在2023年9月的中國(guó)網(wǎng)絡(luò)大會(huì)上，中國(guó)移動(dòng)研究院攜手合作伙伴發(fā)布業(yè)界首款“全調(diào)度以太網(wǎng)(GSE)”樣機(jī)。

在2023年11月21日的開(kāi)放數(shù)據(jù)中心委員會(huì)(ODCC)冬季全會(huì)會(huì)議上，正式成立全調(diào)度以太網(wǎng)(GSE)技術(shù)特設(shè)組并召開(kāi)第一次工作組會(huì)議。

在2024年9月27日的中國(guó)算力大會(huì)上，中國(guó)移動(dòng)攜手國(guó)內(nèi)智算生態(tài)企業(yè)共同發(fā)布了全調(diào)度以太網(wǎng)(GSE)全套技術(shù)標(biāo)準(zhǔn)及首套商用產(chǎn)品。

2024.11，中國(guó)移動(dòng)聯(lián)合云豹智能共同研發(fā)首顆GSE DPU芯片--“智算琢光”。

2024.12，中國(guó)移動(dòng)聯(lián)合中興共同研發(fā)首顆可完整支持GSE功能的大容量高性能交換芯片