華為針對流量特征優(yōu)化開源的Open MPI軟件

在廣東珠海舉行的全國高性能計算學(xué)術(shù)年會（CCF HPC China 2021）上，中國科學(xué)技術(shù)大學(xué)與華為聯(lián)合發(fā)布了基于Open MPI的在網(wǎng)計算聯(lián)合創(chuàng)新成果。

基于Open MPI的在網(wǎng)計算聯(lián)創(chuàng)成果發(fā)布現(xiàn)場

Open MPI是當(dāng)前高性能計算領(lǐng)域廣泛使用的一個消息傳遞接口（MPI： Message Passing Interface）庫項目，用于高性能計算集群中服務(wù)器間通信，被廣泛應(yīng)用于天氣預(yù)報、加密技術(shù)、流體力學(xué)、天體物理學(xué)、粒子動力學(xué)（交互作用計算）、模式匹配（DNA比較、圖像處理）等各領(lǐng)域的計算任務(wù)，在業(yè)界具有廣泛的使用基礎(chǔ)。

傳統(tǒng)的超算集群，網(wǎng)絡(luò)僅用于計算節(jié)點之間互聯(lián)，整個計算過程以計算節(jié)點為中心。當(dāng)多個計算節(jié)點一起參與通信時，會有通信步驟多，通信效率低等問題。在網(wǎng)計算技術(shù)是當(dāng)前高性能計算（HPC）和人工智能等領(lǐng)域的前沿課題之一，將部分計算卸載到網(wǎng)絡(luò)中，實現(xiàn)計算時延與服務(wù)器數(shù)目無關(guān)，可以有效地降低時延，提高通信效率，從而縮短計算任務(wù)的完成時間。

中國科學(xué)技術(shù)大學(xué)與華為聯(lián)合開展基于Open MPI的在網(wǎng)計算項目合作，聯(lián)合研究針對高性能計算場景的應(yīng)用加速技術(shù)，中國科學(xué)技術(shù)大學(xué)完成基于Open MPI的方案設(shè)計和開發(fā)，華為在網(wǎng)絡(luò)設(shè)備端完成在網(wǎng)計算方案的設(shè)計和研發(fā)，聯(lián)合研究成果基于Open MPI良好的應(yīng)用生態(tài)，為高性能計算領(lǐng)域帶來了一個針對時延敏感型計算任務(wù)性能提升的服務(wù)器端與網(wǎng)絡(luò)端協(xié)同的方案，可有效提升計算業(yè)務(wù)性能。

本次聯(lián)合研究成果在中國科學(xué)技術(shù)大學(xué)超級計算中心的高性能計算集群中使用，經(jīng)過驗證，運行OSU MPI Benchmark性能提高了30%。

中國科學(xué)技術(shù)大學(xué)是以前沿科學(xué)和高新技術(shù)為主的重點大學(xué)，華為是全球領(lǐng)先的信息與通信基礎(chǔ)設(shè)施以及智能終端提供商，也是技術(shù)創(chuàng)新頭部企業(yè)，雙方的合作將對超算產(chǎn)業(yè)的發(fā)展發(fā)揮重要意義。雙方領(lǐng)導(dǎo)肯定了這一突破性的合作成果，并將成果開源到社區(qū)，希望在先進的技術(shù)和開放的生態(tài)下，共同為企業(yè)和用戶提供更加豐富的產(chǎn)品，實現(xiàn)產(chǎn)業(yè)合作共贏。

在此次HPC行業(yè)盛會的華為論壇上，華為數(shù)據(jù)中心網(wǎng)絡(luò)解決方案總監(jiān)張磊表示，當(dāng)前云數(shù)據(jù)中心正在向算力中心邁進，業(yè)務(wù)驅(qū)動網(wǎng)絡(luò)技術(shù)融合。”單位能效算力””算力的確定性供給”成為算力網(wǎng)絡(luò)核心指標(biāo)。華為超融合數(shù)據(jù)中心網(wǎng)絡(luò)CloudFabric 3.0攻克了傳統(tǒng)以太網(wǎng)易丟包難題，通過智能無損、在網(wǎng)計算等技術(shù)創(chuàng)新，基于全無損以太架構(gòu)可打破傳統(tǒng)通用計算、存儲和高性能計算三套網(wǎng)絡(luò)架構(gòu)的限制，最大化實現(xiàn)數(shù)據(jù)的無障礙流動，有效提升算力能效比，并實現(xiàn)整網(wǎng)全生命周期自動化和智能運維。經(jīng)權(quán)威第三方機構(gòu)Tolly專業(yè)測評，華為超融合數(shù)據(jù)中心網(wǎng)絡(luò)相比IB網(wǎng)絡(luò)，性能最高可提升17%。

中國科學(xué)技術(shù)大學(xué)計算機學(xué)院教授、超級計算中心主任李京認為，高性能計算網(wǎng)絡(luò)目前的痛點是如何兼得低延遲和高帶寬以及如何針對目標(biāo)場景（高性能計算、存儲網(wǎng)絡(luò)、異構(gòu)計算/AI網(wǎng)絡(luò)）的特點進行網(wǎng)絡(luò)優(yōu)化。目前中國科學(xué)技術(shù)大學(xué)以VASP和OpenFOAM的典型算例為研究對象，針對流量特征，優(yōu)化了開源的Open MPI軟件。下一步中國科學(xué)技術(shù)大學(xué)將結(jié)合應(yīng)用流量特征進一步對擁塞控制進行優(yōu)化以及針對高性能計算網(wǎng)絡(luò)的建設(shè)進一步研究，比如異構(gòu)計算網(wǎng)絡(luò)及針對多校區(qū)異地高性能組網(wǎng)的實現(xiàn)等。

原文標(biāo)題：中國科學(xué)技術(shù)大學(xué)與華為聯(lián)合發(fā)布基于Open MPI的在網(wǎng)計算聯(lián)創(chuàng)成果

文章出處：【微信公眾號：華為數(shù)據(jù)通信】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
責(zé)任編輯:pj