百大案例 | 北京大學(xué)：華為智能無損高性能計算網(wǎng)絡(luò)，助力科研乘風(fēng)破浪

華為超融合數(shù)據(jù)中心網(wǎng)絡(luò)支撐科研完成算力飛躍，大大提升了作業(yè)效率。有了智能無損高性能計算網(wǎng)絡(luò)的加持，北大學(xué)子能夠更從容地面對Deadline，助力科研更上一層樓。

“趕實(shí)驗(yàn)工期，臨時要緊急跑個任務(wù)，計算資源排隊時間太長怎么辦？” “下周就是Deadline了，突然發(fā)現(xiàn)實(shí)驗(yàn)數(shù)據(jù)有問題，重新模擬運(yùn)行要100多個小時，有沒有更快的方法??？” “這個實(shí)驗(yàn)對我特別重要，馬上要來不及了，師兄師姐能不能讓我先跑一遍？” 曾經(jīng)，讓科研人最頭疼的不只是分子運(yùn)動、DNA構(gòu)成和風(fēng)洞實(shí)驗(yàn)，也不只是繁瑣的模型制作和模擬實(shí)驗(yàn)，還有跟實(shí)驗(yàn)室的師兄師姐搶計算資源，漫長的排隊和長時間的運(yùn)行等待。 為了提升高性能計算的效率，降低科研成本，北京大學(xué)（以下簡稱“北大”）高性能計算校級公共平臺組織了一次廠家“考核”，意在選出智能時代最優(yōu)的高性能計算網(wǎng)絡(luò)，華為智能無損高性能計算網(wǎng)絡(luò)因計算結(jié)果最優(yōu)拔得頭籌。

成績斐然的計算中心

1963年北大擁有第一臺計算機(jī)時，就在全國高校中率先成立了計算中心。2001年學(xué)校匯集多個領(lǐng)域的專家成立了北大科學(xué)與工程計算中心，搭建了一個具有多學(xué)科交叉性質(zhì)的研究平臺，服務(wù)全校教學(xué)科研，取得良好效益。2018年高性能計算校級公共平臺揭牌啟用，“未名一號”、“未名教學(xué)一號”和“未名生科一號”三套集群陸續(xù)投入運(yùn)行，公共平臺的計算總核心數(shù)達(dá)31,732個，峰值計算能力為3.65pflops。平臺為數(shù)學(xué)、力學(xué)、物理學(xué)、化學(xué)、生物學(xué)、地球科學(xué)等學(xué)科提供了高性能計算環(huán)境，可謂“上知天文，下知地理”。

眾口能調(diào)，科研支撐

高性能計算平臺是一所大學(xué)重要的科研支撐條件，用于提高科學(xué)研究水平、推動工程技術(shù)創(chuàng)新。截至2023年5月12日，北大高性能平臺共有師生用戶5070人，分布在全校96個院系單位。已知支撐科研課題超545項，總金額達(dá)31.36億元，科研論文1400多篇，并支撐了2020年戈登貝爾獎的發(fā)布。該獲獎項目通過機(jī)器學(xué)習(xí)將分子動力學(xué)模擬極限提升到1億原子的驚人數(shù)量，被認(rèn)為是當(dāng)今計算科學(xué)領(lǐng)域中最令人興奮的重大進(jìn)展。

使用需求高漲，改造迫在眉睫

隨著平臺使用人數(shù)的增加，用戶的作業(yè)量逐漸超過了平臺能力，網(wǎng)絡(luò)基礎(chǔ)設(shè)施的流量吞吐量和復(fù)雜性都大大增加。以“未名生科一號”為例，節(jié)點(diǎn)的占用率長期處于95%以上居高不下，作業(yè)運(yùn)行時間最高達(dá)109小時，排隊時間最高550小時，系統(tǒng)及網(wǎng)絡(luò)改造迫在眉睫。

圖?“未名一號”運(yùn)行狀態(tài)

針對排隊和作業(yè)時間過長的問題，各廠商先后提出IB（Infiniband）、RoCEv1、RoCEv2等無損網(wǎng)絡(luò)技術(shù)。通過嚴(yán)格測試，北京大學(xué)高性能計算校級公共平臺選擇采用華為超融合數(shù)據(jù)中心網(wǎng)絡(luò)CloudFabric 3.0解決方案，基于智能無損高性能計算網(wǎng)絡(luò)搭建高性能計算集群，100%釋放算力，縮短作業(yè)運(yùn)行時間和排隊時間。

華為智能無損高性能計算網(wǎng)絡(luò)
助力北大提升科研效率

此次測試主要關(guān)注TCP/IP、IB和RoCEv2分別在高性能計算基準(zhǔn)測試工具Linpack、地球系統(tǒng)模式CESM以及分子動力學(xué)軟件VASP等應(yīng)用場景中的測評結(jié)果。

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，在VASP測試中，華為智能無損高性能計算網(wǎng)絡(luò)100GE RoCEv2優(yōu)于IB；在Linpack和CESM測試中，華為智能無損高性能計算網(wǎng)絡(luò)100GE RoCEv2與IB性能表現(xiàn)基本一致，也證實(shí)了在真實(shí)應(yīng)用場景下華為智能無損高性能計算網(wǎng)絡(luò)可以代替IB。

華為智能無損高性能計算網(wǎng)絡(luò)解決方案獨(dú)家實(shí)現(xiàn)以太網(wǎng)0丟包，與傳統(tǒng)以太網(wǎng)相比，可實(shí)現(xiàn)服務(wù)器規(guī)模不變，算力翻番；可提供業(yè)界最高密768*400GE交換機(jī)CloudEngine 16800，可構(gòu)建10E級的超大規(guī)模算力集群；獨(dú)家實(shí)現(xiàn)網(wǎng)算一體，網(wǎng)絡(luò)協(xié)助計算，經(jīng)第三方權(quán)威測試機(jī)構(gòu)Tolly認(rèn)證，任務(wù)完成時間（JCT）對比IB 縮短 17%。

北大高性能計算校級平臺擁有國內(nèi)領(lǐng)先的超算集群，全系統(tǒng)Linpack效率常年位居前列，對網(wǎng)絡(luò)性能、可靠性和先進(jìn)性要求都非常高。此次測試結(jié)果加深超算行業(yè)技術(shù)圈對華為超融合數(shù)據(jù)中心網(wǎng)絡(luò)全無損以太的充分認(rèn)可。未來，華為智能無損高性能計算網(wǎng)絡(luò)將更廣泛地應(yīng)用于教育、科研等領(lǐng)域，為國家科學(xué)計算、工程技術(shù)創(chuàng)新、高精尖科研添磚加瓦。