交大攜手openEuler共建計算集群，共創(chuàng)開源技術(shù)新紀元

數(shù)字經(jīng)濟乘風起，百舸揚帆正當時。大數(shù)據(jù)、區(qū)塊鏈、云計算、人工智能、工業(yè)互聯(lián)網(wǎng)加速演進，信息化浪潮日新月異，新一輪科技革命和產(chǎn)業(yè)變革深入發(fā)展，數(shù)字經(jīng)濟產(chǎn)業(yè)集群紛紛涌現(xiàn)。

黨的二十大報告提出“加快建設(shè)制造強國、質(zhì)量強國、航天強國、交通強國、網(wǎng)絡(luò)強國、數(shù)字中國”?！稊?shù)字中國建設(shè)整體布局規(guī)劃》明確“建設(shè)數(shù)字中國是數(shù)字時代推進中國式現(xiàn)代化重要引擎”。鋪好數(shù)字經(jīng)濟發(fā)展的基石，打通數(shù)字基礎(chǔ)設(shè)施，為數(shù)字經(jīng)濟全面高質(zhì)量啟航營造良好生態(tài)尤為重要。

以操作系統(tǒng)為代表的基礎(chǔ)軟件，既是連接底層算力資源和計算生態(tài)應用層的產(chǎn)業(yè)核心，也是統(tǒng)籌各類數(shù)字資源、激發(fā)數(shù)字要素活力、構(gòu)建數(shù)字經(jīng)濟整體布局的關(guān)鍵。培育好連接底層算力資源和上層應用的操作系統(tǒng)基礎(chǔ)軟件，推動信息技術(shù)應用覆蓋社會生產(chǎn)生活的方方面面，構(gòu)建互聯(lián)互通的新型數(shù)字化產(chǎn)業(yè)，才能夠真正實現(xiàn)釋放數(shù)字潛能，廣泛賦能實體經(jīng)濟。

從星火到燎原，歐拉成為中國第一服務器操作系統(tǒng)

此前，我國基礎(chǔ)軟件產(chǎn)品大多依賴國外技術(shù)，操作系統(tǒng)作為軟件領(lǐng)域基礎(chǔ)研究中的重要環(huán)節(jié)，在基礎(chǔ)軟件中處于核心地位，也長期為國外所主導，國產(chǎn)化操作系統(tǒng)以及與之相應的共創(chuàng)共享的開源模式呼之欲出。

近年來，隨著我國計算生態(tài)和算力設(shè)施建設(shè)的日臻提升，中國操作系統(tǒng)迎來了高速發(fā)展，其中openEuler(歐拉)操作系統(tǒng)歷經(jīng)四年開源生態(tài)建設(shè)，成為國產(chǎn)操作系統(tǒng)的一騎絕塵。根據(jù)IDC 報告預測，2023 年中國服務器操作系統(tǒng)領(lǐng)域，openEuler(歐拉)系市場份額第一，達到 36.8%。

openEuler(歐拉)操作系統(tǒng)，面向數(shù)字基礎(chǔ)設(shè)施，支持服務器、云計算、邊緣計算、嵌入式等應用場景，自2019年正式開源以來，連接全球開源基金會、開源組織、開發(fā)者，共建全球開源新生態(tài)。四年來，從星星之火到燎原之勢，openEuler已經(jīng)成長為符合國際標準的開放治理、合規(guī)運作、具備安全供應鏈的全球化社區(qū)，在中國匯聚全球開源力量，為世界開源貢獻中國智慧。

openEule操作系統(tǒng)的崛起與openEule開源社區(qū)的生態(tài)發(fā)展、社區(qū)治理，以及openEule生態(tài)參與全球體系息息相關(guān)。中國工程院院士倪光南在由開放原子開源基金會、中國電子技術(shù)標準化研究院，國家工業(yè)信息安全發(fā)展研究中心、中國軟件行業(yè)協(xié)會共同主辦的“操作系統(tǒng)大會2023”上表示：“在當前我國正處在全面建設(shè)社會主義現(xiàn)代化國家的新征程，面臨新形勢、新任務，我們迫切需要重視開源，學習開源，用好開源，特別是在信息領(lǐng)域，開源可以成為發(fā)揮中國人才優(yōu)勢的創(chuàng)新平臺，成為中國融入科技創(chuàng)新網(wǎng)絡(luò)，參與國際治理的有效方式。正是在這個大背景下，開源歐拉的成功實踐，具有強大的現(xiàn)實意義?！?/p>

開放原子開源基金會孫文龍理事長認為，openEuler的快速發(fā)展證明，充分利用開源、參與開源、支持開源、回饋開源，是實現(xiàn)操作系統(tǒng)技術(shù)創(chuàng)新和產(chǎn)業(yè)繁榮的路徑。

openEule的繁榮同樣也是產(chǎn)業(yè)各界集智薈力的結(jié)果，在openEule操作系統(tǒng)廣泛應用，推動數(shù)字化轉(zhuǎn)型走深走實的過程中，出現(xiàn)了一批具有示范性商業(yè)實踐的應用落地。其中，上海交通大學“交我算”平臺openEuler集群作為教育行業(yè)的成功實踐，獲得由OpenAtom openEuler社區(qū)聯(lián)合國家工業(yè)信息安全發(fā)展研究中心，攜手業(yè)界專家最終評選的“2023年度openEuler領(lǐng)先商業(yè)實踐”殊榮。

“交我算”openEuler集群為教研計算平臺提供示范推廣價值

隨著信息通信技術(shù)的迅速發(fā)展，尤其是互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等技術(shù)的廣泛應用，新的學習渠道和教學方式正在形成，教育要素也在發(fā)生深刻變革，教育行業(yè)正面臨著轉(zhuǎn)型課題與巨大的發(fā)展機遇，教育數(shù)字化轉(zhuǎn)型成為全球教育變革的重要戰(zhàn)略。黨的二十大將“推進教育數(shù)字化”首次寫進黨代會報告，提出“推進教育數(shù)字化，建設(shè)全民終身學習的學習型社會、學習型大國”。面向新一輪科技革命和產(chǎn)業(yè)變革，積極推進教育數(shù)字化轉(zhuǎn)型，適應新時代人才培養(yǎng)的需求，是推動教育強國的必然要求。

獲得“2023年度openEuler領(lǐng)先商業(yè)實踐”榮譽的上海交通大學“交我算”平臺openEuler集群從屬于校級高性能計算服務平臺“交我算”。校級計算平臺“交我算”由網(wǎng)絡(luò)信息中心負責建設(shè)及管理，全面支撐學校的教學、科研和管理的計算需求，重點支持校內(nèi)高水平用戶科研，提供HPC+AI算力資源，覆蓋各學科門類，支撐海洋學、生物醫(yī)學、航空航天、機械制造、天體物理等領(lǐng)域的科學研究及工程應用。

“交我算”寓意師生的計算需求可以放心交給“我”來算，平臺從2013年開始建設(shè)，目前已發(fā)展成為國內(nèi)高校頂尖的計算平臺，根據(jù)計算需求提供“思源一號”高性能計算平臺、π2.0超算平臺、AI 平臺、ARM平臺四種計算支持?！敖晃宜恪眔penEuler計算集群是國內(nèi)高校首個基于ARM處理器的HPC集群，集群建設(shè)初期采用CentOS 7.6系統(tǒng)，2023年交大網(wǎng)絡(luò)信息中心開展了國產(chǎn)操作系統(tǒng)遷移專項工作，將ARM集群操作系統(tǒng)全面替換為openEuler22.03。

此前，在服務器操作系統(tǒng)居領(lǐng)先地位的CentOS操作系統(tǒng)于2020年開始停止維護，對高性能計算來說繼續(xù)使用CentOS將面臨重大安全隱患，同時我國信息技術(shù)的發(fā)展也對操作系統(tǒng)安全性能的要求進一步提高，這使得計算領(lǐng)域?qū)Π踩€(wěn)定、自主可控、可替代CentOS的國產(chǎn)操作系統(tǒng)的需求更為迫切。

openEuler搭載了鯤鵬，相較CentOS擁有更好的性能與兼容性，然而在高性能計算領(lǐng)域還未有大規(guī)模應用。在openEuler系統(tǒng)的遷移準備過程中，交大網(wǎng)絡(luò)中心圍繞openEuler的兼容性、使用openEuler對于超算應用性能的影響，開展了一系列的測試與分析，具體包括：在搭載了鯤鵬的ARM架構(gòu)超級計算機上成功部署了32個openEuler計算節(jié)點，為其部署了超算軟件棧，隨后安裝并成功運行了共計22個基準測試與超算應用；進行了操作系統(tǒng)層面的微基準測試、單節(jié)點的核函數(shù)測試，以及千核規(guī)模的超算應用測試，將評測結(jié)果與使用CentOS時的結(jié)果進行了對比與詳細的分析；過程中優(yōu)化集合通信性能，使用MPI和OpenMP混合編程、調(diào)整OpenMPI 的集合通信算法、更換編譯器與通信庫等方法，提高了使用openEuler時的集合通信性能。

“交我算”ARM 架構(gòu)超算平臺是國內(nèi)首臺基于ARM處理器的校級超級計算機。交大網(wǎng)絡(luò)中心依托“交我算”平臺對openEuler開展的評測與分析工作，驗證了openEuler對于ARM架構(gòu)超級計算機與多個典型科學計算應用具有良好的兼容性，并且發(fā)現(xiàn)openEuler相較于CentOS具有更低的操作系統(tǒng)噪聲和更優(yōu)的內(nèi)存管理能力。

交大網(wǎng)絡(luò)中心通過openEuler的遷移，定制了適用于“交我算”平臺的openEuler批量部署和集群配置管理方案，實現(xiàn)了國內(nèi)高校首個基于ARM處理器的HPC集群在硬件和系統(tǒng)層面上均采用了全國產(chǎn)化解決方案，積極呼應了國家提升自主創(chuàng)新能力、推動國產(chǎn)化替代的政策大方向；同時在高性能計算領(lǐng)域集群評測、分析以及性能優(yōu)化的工作，不僅判斷了ARM架構(gòu)超級計算機上openEuler代替CentOS的可行性，也為國產(chǎn)操作系統(tǒng)在高性能計算領(lǐng)域的大規(guī)模應用和完善提供了應用先例和推廣經(jīng)驗。

“交我算”openEuler集群建設(shè)為開源社區(qū)貢獻生態(tài)發(fā)展力量

2023年7月，“交我算”平臺正式上線了遷移完成后的openEuler計算集群。集群上線后面向上千個課題組共數(shù)千個用戶，提供了持續(xù)可靠的計算服務。到目前為止集群已穩(wěn)定運行5個月，月平均資源利用率穩(wěn)步上升，用戶對openEuler系統(tǒng)的易用性和穩(wěn)定性受到了普遍認可。另一方面，“交我算”平臺openEuler計算集群的實踐也充分驗證了openEuler在HPC領(lǐng)域替代CentOS的可行性。

在“操作系統(tǒng)大會2023”上，openEuler的開源生態(tài)和中國開源走向國際成為與會專家和產(chǎn)業(yè)界代表們熱議的話題。據(jù)openEuler平臺最新數(shù)據(jù)，目前開源社區(qū)已吸引213萬開源用戶，匯聚17000多名開源貢獻者，1400多家頭部企業(yè)、研究機構(gòu)和高校加入，成立104個特別興趣小組(SIG)，這表示國產(chǎn)操作系統(tǒng)已經(jīng)取得了里程碑式的重要進展。

openEuler委員會主席江大勇在“操作系統(tǒng)大會2023”上表示，openEule開源四年，歷經(jīng)了1445天成為中國服務器操作系統(tǒng)新增第一份額，實現(xiàn)了跨越式的發(fā)展。在技術(shù)創(chuàng)新、行業(yè)應用、產(chǎn)業(yè)生態(tài)建立了完善的發(fā)展體系，形成了正循環(huán)。歐拉通過開源協(xié)作的社區(qū)模式，匯聚了從服務器、SV、ISV和萬千開發(fā)者的力量，以開放的產(chǎn)業(yè)生態(tài)賦能千行萬業(yè)的生產(chǎn)，支撐了智能化的升級。歐拉操作系統(tǒng)支持全球98%的開源軟件，致力于打造國際化的開源協(xié)作平臺，匯聚全球開源力量，為世界開源貢獻智慧。

江大勇在談到openEuler作為數(shù)據(jù)基礎(chǔ)設(shè)施的開源操作系統(tǒng)，解決以往操作系統(tǒng)在實際應用中面臨“一種操作系統(tǒng)對應一個應用、用戶需要進行一次適配”問題時說：“openEuler創(chuàng)造性地提出一套代碼、一套架構(gòu)支持多樣性算力、支持全場景，openEuler的通用支持也包括對智能芯片的支持。openEuler不僅僅是替代者，更符合接下來共用共享、生態(tài)互通操作系統(tǒng)的技術(shù)趨勢?！?/p>

與openEuler生態(tài)的不斷發(fā)展同步而行的是，openEuler系統(tǒng)已經(jīng)在通信、金融、能源、交通、政務、信息化等領(lǐng)域開展規(guī)?；逃?，承載產(chǎn)業(yè)鏈各端力量，廣泛賦能實體經(jīng)濟并創(chuàng)造了顯著的社會效益。

上海交通大學“交我算”openEuler集群在平臺建設(shè)和推廣過程中所集成的經(jīng)驗給openEuler開源社區(qū)貢獻了生態(tài)發(fā)展力量。在系統(tǒng)遷移的前期測試中，交大網(wǎng)絡(luò)中心“交我算”團隊發(fā)現(xiàn)HPC領(lǐng)域廣泛使用的開源并行文件系統(tǒng)Lustre在openEuler系統(tǒng)上存在部分兼容性問題，如內(nèi)核模塊編譯失敗?！敖晃宜恪眻F隊與openEuler社區(qū)、Linaro協(xié)作，共同推進了lustre并行文件系統(tǒng)在openEuler上的適配工作。目前經(jīng)過適配的系統(tǒng)組件包和預編譯的lustre 2.12.5版本client端軟件包已被納入openEuler 22.03 SP2發(fā)行版本。由Linaro主導的server端適配工作也在繼續(xù)進行，計劃納入22.03 SP3發(fā)行版本。此項適配工作填補了openEuler在并行存儲領(lǐng)域支撐能力的一塊空白，增強了openEuler系統(tǒng)在高性能計算行業(yè)的競爭力。

上海交通大學網(wǎng)絡(luò)信息中心“交我算”平臺開發(fā)工程師張?zhí)礻柣叵肫鹪趏penEuler集群應用推廣中OpenFOAM的應用案例移植給他留下了深刻的印象：“OpenFOAM是一個廣泛應用于工程領(lǐng)域的自由、開源的計算流體力學軟件，在交我算平臺上使用該軟件的用戶群體數(shù)量非常多。這本來是個較為復雜的程序，但openEuler系統(tǒng)提供了友好的開發(fā)環(huán)境和豐富的應用生態(tài)，使得我們能夠沿用CentOS環(huán)境的部署經(jīng)驗，大大降低了移植難度。用戶使用角度來說，也能夠直接在openEuler集群上復用他們的工程項目，有助于迅速提升openEuler集群的利用率。”

接下來，上海交大網(wǎng)絡(luò)信息中心還將與openEuler社區(qū)展開深度合作，針對“交我算”openEuler集群系統(tǒng)中發(fā)現(xiàn)的問題，向社區(qū)直接提出改進需求并跟進相關(guān)優(yōu)化和適配工作。張?zhí)礻栂嘈胚@些從生產(chǎn)環(huán)境中挖掘出來、立足于實際業(yè)務的需求，和在實際操作過程中總結(jié)出的成熟經(jīng)驗有助于推動openEuler開源生態(tài)的自我完善和發(fā)展。交大超算平臺團隊人員還將參與openEuler SIG組的工作會議和年度用戶大會，為openEuler開源社區(qū)貢獻交大計算支持。

openEuler開源生態(tài)立足數(shù)字技術(shù)關(guān)鍵期，服務國家現(xiàn)代化建設(shè)

自openEuler推廣社區(qū)開源生態(tài)至今，秉承“共建、共享、共治”的原則，四年生態(tài)發(fā)展歷程也是中國開源界在當前數(shù)字經(jīng)濟技術(shù)自主創(chuàng)新的關(guān)鍵時期鼎立革新、奮力推進中國式現(xiàn)代化進程的縮影。openEuler計算生態(tài)和開源社區(qū)的崛起，表明國內(nèi)操作系統(tǒng)扭轉(zhuǎn)了過往信息技術(shù)領(lǐng)域軟件生態(tài)建設(shè)不足的歷史，全面支持大數(shù)據(jù)、云計算、人工智能、算力基礎(chǔ)設(shè)施、工業(yè)互聯(lián)網(wǎng)等數(shù)字要素云邊端協(xié)同的發(fā)展體系，開啟了國產(chǎn)操作系統(tǒng)研發(fā)與推廣的新局面。

正如倪光南院士所述：在上萬名開發(fā)者的參與和貢獻下，openEuler已經(jīng)從一粒種子成長為參天大樹，承擔起構(gòu)建我國信息領(lǐng)域技術(shù)和數(shù)字經(jīng)濟底座的重任。

與時俱進，守正創(chuàng)新。上海交通大學“交我算”平臺建于2013年，彼時已是當時國內(nèi)高校最大超算系統(tǒng)，經(jīng)過十年交大人的持續(xù)建設(shè)，目前發(fā)展成國內(nèi)高校頂尖的算力中心，同時“交我算”團隊是目前國內(nèi)最大的校級計算團隊。在校級計算平臺的探索與實踐上，“交我算”平臺openEuler集群既為交大全?？蒲袆?chuàng)新的支撐升級計算服務模式，在國內(nèi)高校計算平臺建設(shè)領(lǐng)域推出了與國產(chǎn)開源生態(tài)合作的先例，以積極響應新時期教育數(shù)字化轉(zhuǎn)型、高校教學科研對計算平臺和軟件生態(tài)支持升級以及國產(chǎn)化操作系統(tǒng)應用的需求，又推動了openEuler開源社區(qū)豐富應用生態(tài)、完善優(yōu)化與適配、提升高性能計算性能的生態(tài)建設(shè)。

產(chǎn)教融合、產(chǎn)學實踐，持續(xù)推動國產(chǎn)操作系統(tǒng)與開源生態(tài)進步與創(chuàng)新。上海交通大學網(wǎng)絡(luò)中心“交我算”平臺開發(fā)工程師張?zhí)礻柶谕敖晃宜恪眔penEuler集群的實踐經(jīng)驗對于其他高校起到借鑒意義，同時期望openEuler能夠進一步完善系統(tǒng)的應用生態(tài)，吸引到更多用戶和機構(gòu)，進一步擴大在國際上的知名度和影響力。

審核編輯：黃飛