轉載｜數(shù)據(jù)中心網(wǎng)絡持續(xù)進階，超融合以太技術正當其時

隨著數(shù)字經(jīng)濟進入“算力時代”，在算力蓬勃發(fā)展的同時，打造一張與時俱進的高水平數(shù)據(jù)中心網(wǎng)絡顯得尤為重要。近日，華為聯(lián)合中國信息通信研究院共同發(fā)布的數(shù)據(jù)中心超融合以太技術白皮書，就為我們擘畫了一張高水平數(shù)據(jù)中心網(wǎng)絡的新藍圖。

決定一個木桶能裝多少水的往往是最短的那塊木板，那么，算力時代的數(shù)據(jù)中心最短的那塊木板是什么呢？

數(shù)據(jù)中心網(wǎng)絡是實現(xiàn)數(shù)據(jù)傳輸?shù)闹匾ǖ?，也是推動?shù)據(jù)中心算力服務能力升級，實現(xiàn)算力充分釋放的關鍵。數(shù)據(jù)中心網(wǎng)絡主要負責連接用戶終端以及數(shù)據(jù)中心內(nèi)部的計算、存儲等設備，保障數(shù)據(jù)通信網(wǎng)絡鏈路上高效、安全的傳輸。

《中國綜合算力指數(shù)（2022年）》報告中明確指出計算、存儲和網(wǎng)絡是算力最重要的組成部分，在數(shù)字經(jīng)濟發(fā)展新時期，要更加關注構建集算力、存力和運力于一體的數(shù)據(jù)中心。由于網(wǎng)絡設備算力水平無法滿足要求而引發(fā)的“木桶效應”，可能會拉低整個數(shù)據(jù)中心的實際算力水平。因此，要提升數(shù)據(jù)中心算力服務能力，就需要進一步提升數(shù)據(jù)中心網(wǎng)絡性能。

IDC分析報告顯示，以太網(wǎng)是當前以及未來數(shù)據(jù)中心的主要技術，當前數(shù)據(jù)中心以太網(wǎng)占比已經(jīng)接近95%。眾所周知，標準以太網(wǎng)絡采用盡力而為的工作機制，天然有丟包的特性對存儲的性能穩(wěn)定性帶來了極大的影響。算力時代，0.1%的丟包會導致50%的算力損失。因此傳統(tǒng)以太網(wǎng)已經(jīng)不適應現(xiàn)在算力時代數(shù)據(jù)中心的要求。推動以太網(wǎng)進化從而搭建先進網(wǎng)絡架構的時代已然來臨，以太網(wǎng)正在從“盡力而為”型向“性能敏感”型網(wǎng)絡演進。

從網(wǎng)絡架構、帶寬、時延、可靠性、應用加速、網(wǎng)絡技術演進六個方面來看，數(shù)據(jù)中心網(wǎng)絡正在從傳統(tǒng)以太、無損以太向超融合以太升級。

具體來看，超融合以太技術具備五大優(yōu)勢。

01 網(wǎng)絡級負載均衡算法，釋放AI算力

AI集群訓練過程中，參數(shù)通過高速互聯(lián)網(wǎng)絡在不同的服務器間進行同步交互，這些通信流量具有共同的特征：流量成周期性、流數(shù)量少、流量長連接、并行任務間有強實時同步性要求，通信效率取決于最慢的節(jié)點，并且AI集群訓練場景下，傳輸?shù)臄?shù)據(jù)量較大。上述的流量特征導致網(wǎng)絡較易出現(xiàn)負載分擔不均、整網(wǎng)吞吐下降的問題，從而影響AI集群訓練的性能。

現(xiàn)有創(chuàng)新的網(wǎng)絡均衡技術NSLB是面向AI訓練場景量身打造的，根據(jù)該場景下的流量特征，將搜集到的整網(wǎng)信息作為創(chuàng)新算路算法的輸入，從而得到最優(yōu)的流量轉發(fā)路徑，實現(xiàn)AI訓練場景下整網(wǎng)流量100%的均衡度和AI訓練性能的提升。

02 端網(wǎng)協(xié)同擁塞控制實現(xiàn)存儲算力優(yōu)化

高性能計算、AI模型訓練等應用場景，以及數(shù)據(jù)中心網(wǎng)絡/云網(wǎng)絡在架構上的發(fā)展（資源池化），均要求網(wǎng)絡傳輸排隊時延和吞吐上的進一步性能提升。

端網(wǎng)協(xié)同擁塞控制技術采用“端（智能網(wǎng)卡）網(wǎng)（交換機）”配合的方式達到交換機上的近似“零排隊”時延，使得端到端傳輸時延接近靜態(tài)時延。

端網(wǎng)協(xié)同主要根據(jù)網(wǎng)絡可用帶寬，調(diào)整端側發(fā)送速率，這種源端與交換機之間的密切配合使網(wǎng)絡中的隊列近乎為空，同時能保持接近100%的利用率。和當前業(yè)界主流的協(xié)同算法相比，端網(wǎng)協(xié)同算法C-AQM能夠把排隊時延控制得極低，接近于0，同時瓶頸鏈路達到接近100%利用率。

03

數(shù)據(jù)面快速收斂
提供分布式數(shù)據(jù)庫高可靠算力

隨著業(yè)務發(fā)放速度的不斷加快，以及引入了VM、容器等虛擬化技術，網(wǎng)絡流量的不確定性增加。而當前運維手段有限，仍然依靠傳統(tǒng)網(wǎng)管和命令行方式進行查看、監(jiān)控，分鐘級的網(wǎng)絡監(jiān)控已經(jīng)無法滿足業(yè)務秒級體驗保障的要求，往往被動感知故障。故障發(fā)生后，定位仍主要依賴專家經(jīng)驗，利用多種輔助工具，逐段定界、逐流分析、抓包定位，效率十分低下。

網(wǎng)絡故障收斂慢對業(yè)務穩(wěn)定性產(chǎn)生的負面影響，尤其會造成高性能數(shù)據(jù)庫類業(yè)務性能的嚴重下降。為了解決上述故障收斂慢的問題，華為提出了一種基于網(wǎng)絡設備數(shù)據(jù)面的鏈路故障快速自愈技術，稱為DPFF（Data Plane Fast Failover）。該技術基于轉發(fā)芯片的硬件可編程能力構建。DPFF從傳統(tǒng)的基于控制面軟件協(xié)議的收斂方式演進到基于數(shù)據(jù)面硬件極速感知故障和快速換路的收斂方式，并且基于數(shù)據(jù)面硬件實現(xiàn)遠程通告和快速換路，可達到亞毫秒級（<1ms）的收斂速度，將對業(yè)務性能的影響降至最低。該技術為高性能數(shù)據(jù)庫、存儲以及超算等關鍵應用提供了極致的高可靠性保證和穩(wěn)定性體驗。

測試結果表明，DPFF收斂方案比傳統(tǒng)的OSPF收斂方案在鏈路故障下，每100ms周期內(nèi)完成交易事務數(shù)量下降減少60%~80%。

04

網(wǎng)絡架構創(chuàng)新
構建E/10E級超大規(guī)模算力集群

5G、萬物互聯(lián)智能時代產(chǎn)生海量數(shù)據(jù)，智能訓練大模型部署，國家新一代超級計算中心的規(guī)劃建設……爆炸式增長的算力需求與實際算力增長速度之間存在巨大鴻溝。在后摩爾時代，通過構建大規(guī)模并行計算集群滿足不斷增長的算力需求，如10E級計算集群其計算服務器規(guī)模達到20萬以上。

計算集群網(wǎng)絡傳統(tǒng)采用CLOS架構，以業(yè)界常見的64口盒式交換機為例，3級CLOS架構，最大可支持6.5萬服務器接口，不滿足10E級計算集群規(guī)模訴求。如果增加網(wǎng)絡層數(shù)則會帶來網(wǎng)絡跳數(shù)增加，通信時延不滿足業(yè)務需求。

業(yè)界針對該問題開展了多樣的架構研究和新拓撲的設計。直連拓撲在超大規(guī)模組網(wǎng)場景下，因為網(wǎng)絡直徑短，具備低成本、端到端通信跳數(shù)少的特點。以64口盒式交換機構建10萬個節(jié)點超大規(guī)模集群為例，傳統(tǒng)的CLOS架構需要部署4層組網(wǎng)，端到端通信最大需要跨7跳交換機。使用無阻塞直連拓撲組網(wǎng)，端到端交換機轉發(fā)跳數(shù)最少只3跳，交換機臺數(shù)(整體投資)下降40%。

05

業(yè)務級SLA保障
實現(xiàn)數(shù)據(jù)中心一張網(wǎng)

為了解決這個難題，華為提出超融合智能無損網(wǎng)絡方案，將業(yè)務級SLA智能保障技術引入到交換機中，用iLossless智能無損算法代替專家經(jīng)驗，對網(wǎng)絡流量的變化進行基于隊列級捕獲和預測，實現(xiàn)細粒度動態(tài)差異化優(yōu)化。結合不同業(yè)務的流量變化情況以及業(yè)務特征，實現(xiàn)不同業(yè)務流量差異化動態(tài)優(yōu)化保障。

根據(jù)實驗室測試，采用3臺華為交換機組成2級Spine-Leaf組網(wǎng)，每臺接入層交換機下掛16臺100GE服務器，Spine與每個Leaf之間采用4個400G互聯(lián)(1:1收斂)。在計算和存儲benchmark流量混跑的測試環(huán)境下，智能無損算法相比于傳統(tǒng)算法配置，在保持存儲持平前提下，能夠有效降低計算任務的總體完成時間，在測試場景中實現(xiàn)最高20%以上的計算時延降低。

隨著數(shù)字產(chǎn)業(yè)智能化向智能世界發(fā)展，未來數(shù)據(jù)中心將朝著多云異構算力演進，要構建強大的算力，需要各類資源高度協(xié)同，深度融合。新算力，對網(wǎng)絡提出了新的訴求，下一代數(shù)據(jù)中心需要超融合以太技術給新算力進行新的賦能，以應對新的挑戰(zhàn)。作為數(shù)據(jù)中心動脈血管新的路標，一張開放、自主的超融合以太網(wǎng)絡將多維度與各類算力資源協(xié)同，全面提升網(wǎng)絡性能，通過網(wǎng)絡全棧技術的持續(xù)創(chuàng)新，為新算力賦能，釋放更高算力，從而助力“高算力、高安全、高效能、高可靠”的新型算力中心建設。