華為聯(lián)合IEEE Kazakhstan Subsection共同發(fā)布HPC無損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書

[阿拉木圖，2023年6月5日] 在2023華為中東中亞技術(shù)嘉年華期間，華為成功舉辦數(shù)通創(chuàng)新峰會。來自哈薩克斯坦、烏茲別克斯坦、沙特、阿聯(lián)酋、卡塔爾、巴基斯坦等多個國家的480多位客戶和伙伴參與本次峰會，共同討論行業(yè)數(shù)字化發(fā)展和網(wǎng)絡(luò)技術(shù)創(chuàng)新。會上，華為聯(lián)合IEEE Kazakhstan Subsection、阿聯(lián)酋高級國家研究和教育網(wǎng)絡(luò)Ankabut面向全球共同發(fā)布了《HPC無損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書》（以下簡稱“白皮書”）。白皮書闡述了無損以太數(shù)據(jù)中心網(wǎng)絡(luò)在HPC和AI領(lǐng)域廣泛的應(yīng)用前景，并從網(wǎng)絡(luò)架構(gòu)、關(guān)鍵技術(shù)、商業(yè)價值、最佳實踐等維度闡述了最新的技術(shù)研究與商用實踐成果。

華為聯(lián)合IEEE Kazakhstan Subsection、Ankabut
發(fā)布《HPC無損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書》

白皮書指出，無損以太網(wǎng)絡(luò)技術(shù)具有智能RDMA、網(wǎng)絡(luò)級負(fù)載均衡等特征，可實現(xiàn)零丟包轉(zhuǎn)發(fā)和90%的超高吞吐率，形成性能、兼容性、成本效益和靈活性等全方面優(yōu)勢，已成為高性能計算的必然選擇。同時全球各國積極頒發(fā)政策支持HPC和AI發(fā)展，未來，無損以太網(wǎng)絡(luò)將在全球數(shù)字化中發(fā)揮關(guān)鍵作用。

白皮書中首先介紹了當(dāng)前高性能計算網(wǎng)絡(luò)拓?fù)浼軜?gòu)包括CLOS、MultiRail、直連拓?fù)洹Ｆ渲?，CLOS是一個多級架構(gòu)，在每一級，每個交換單元都和下一級的所有交換單元相連接，可以做到嚴(yán)格的無阻塞、可重構(gòu)、可擴展；MultiRail通過框式設(shè)備的信元交換，實現(xiàn)平面內(nèi)的絕對負(fù)載均衡；直連拓?fù)淇蓪崿F(xiàn)超大規(guī)模組網(wǎng)，具備低成本、端到端通信跳數(shù)少的特點。

其次介紹了軟件架構(gòu)從網(wǎng)絡(luò)自身的優(yōu)化、網(wǎng)絡(luò)與應(yīng)用系統(tǒng)的融合優(yōu)化兩個方面來提升HPC&AI應(yīng)用性能。其中網(wǎng)絡(luò)自身優(yōu)化通過以下三個方面實現(xiàn)整網(wǎng)吞吐最高、時延最低的目標(biāo)：

• 第一是流控技術(shù)，通過識別環(huán)形緩存依賴并破除其產(chǎn)生的必要條件，從而解決PFC死鎖的問題，提高網(wǎng)絡(luò)可靠性；

• 第二是擁塞控制，通過AI算法動態(tài)調(diào)節(jié)ECN門限，以獲得最大帶寬與最小時延；

• 第三是流量調(diào)度，通過NSLB技術(shù)解決網(wǎng)絡(luò)負(fù)載不均的問題，實現(xiàn)90%高吞吐，以達(dá)成AI訓(xùn)練效率提升20%的結(jié)果。

網(wǎng)絡(luò)與應(yīng)用系統(tǒng)的融合優(yōu)化，則由HPC網(wǎng)絡(luò)通過在網(wǎng)計算實現(xiàn)運算優(yōu)化，即通過MPI通信的在網(wǎng)聚合運算特性，網(wǎng)絡(luò)設(shè)備參與計算過程，減少任務(wù)完成時間。

HPC無損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書

當(dāng)前整個社會發(fā)展的大趨勢是HPC&AI For Everything，無損以太網(wǎng)絡(luò)將持續(xù)為實現(xiàn)萬物互聯(lián)、萬網(wǎng)互通筑基架梁；為千行百業(yè)提供算力服務(wù)，打造數(shù)字經(jīng)濟時代的堅實高性能計算底座；為先進數(shù)字產(chǎn)業(yè)繁榮發(fā)展貢獻力量，助力全球數(shù)字化轉(zhuǎn)型。

點擊下載《HPC無損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書》！