開源發(fā)展與開發(fā)者專題 | openEuler技術(shù)委員會(huì)主席胡欣蔚：openEuler推動(dòng)操作系統(tǒng)與人工智能深度融合

?

編者按

開源孕育于軟件，發(fā)展于數(shù)字經(jīng)濟(jì)，是開放、協(xié)同、共享的新型生產(chǎn)方式，對(duì)于新時(shí)期推動(dòng)經(jīng)濟(jì)發(fā)展、科技創(chuàng)新、文化繁榮、社會(huì)治理、開放合作、共同富裕具有重要意義。長(zhǎng)期以來，中國始終秉持開放、融通、互利、共贏的合作觀，積極融入全球產(chǎn)業(yè)鏈供應(yīng)鏈，基本構(gòu)建了規(guī)模大、體系全、競(jìng)爭(zhēng)力較強(qiáng)的產(chǎn)業(yè)體系，為開源發(fā)展提供了土壤、積蓄了能量、創(chuàng)造了條件。 為了更好地宣傳中國開發(fā)者在開源技術(shù)領(lǐng)域的貢獻(xiàn)和創(chuàng)新，幫助更多人更充分了解開源和開發(fā)者對(duì)中國技術(shù)創(chuàng)新發(fā)展的貢獻(xiàn)和意義。開放原子開源基金會(huì)與中國電子報(bào)重磅推出“開源發(fā)展與開發(fā)者”專題報(bào)道，邀請(qǐng)開放原子開源基金會(huì)理事長(zhǎng)、兩院院士，以及基金會(huì)旗下的重點(diǎn)開源項(xiàng)目、頭部科技企業(yè)負(fù)責(zé)人和專家撰寫署名文章，分享對(duì)開源技術(shù)和開發(fā)者的見解和實(shí)踐經(jīng)驗(yàn)。

openEuler項(xiàng)目開源于2019年下半年，這是一個(gè)基于廣大開源社區(qū)的成果進(jìn)一步發(fā)展而來的開源操作系統(tǒng)社區(qū)。到2023年，openEuler自身也已經(jīng)成為一個(gè)活躍的開源社區(qū)。

openEuler社區(qū)進(jìn)展

目前社區(qū)中日常活躍的開發(fā)人員已從300人增加到了近4000人，增長(zhǎng)約10倍。所有這些開發(fā)人員與社區(qū)的活躍用戶，每天會(huì)產(chǎn)生100多個(gè)代碼提交請(qǐng)求，而openEuler直接集成的軟件包每天會(huì)增加約30個(gè)，每月有約10個(gè)新項(xiàng)目加入openEuler，并且社區(qū)平均每月發(fā)布80個(gè)錯(cuò)誤修復(fù)更新。 openEuler已得到產(chǎn)業(yè)認(rèn)可?；谏鐓^(qū)開發(fā)者的活躍和付出，openEuler系的操作系統(tǒng)累計(jì)裝機(jī)量已達(dá)到255.55萬套。社區(qū)有超過1000個(gè)成員單位，其中不少企業(yè)已在生產(chǎn)系統(tǒng)中采用基于openEuler的操作系統(tǒng)，包括眾多關(guān)鍵信息基礎(chǔ)設(shè)施行業(yè)。這意味著openEuler已在關(guān)鍵行業(yè)中得到評(píng)估和驗(yàn)證。未來，openEuler將會(huì)被更廣泛地采用。openEuler保持了快速創(chuàng)新的活力。比如，MICA項(xiàng)目支出實(shí)時(shí)操作系統(tǒng)和非實(shí)時(shí)操作系統(tǒng)在單一多核SoC上的協(xié)同運(yùn)行，軟總線項(xiàng)目可以使邊緣設(shè)備自動(dòng)發(fā)現(xiàn)并相互通信。KubeOS項(xiàng)目，使得K8S可以直接管理操作系統(tǒng)本身。Etmem項(xiàng)目，可以將分層內(nèi)存管理呈現(xiàn)為統(tǒng)一的內(nèi)存池。 目前社區(qū)已有超過400個(gè)創(chuàng)新代碼倉，并還在不斷增加。未來會(huì)有越來越多的項(xiàng)目從openEuler啟航，產(chǎn)生自己的行業(yè)影響力。

支持多樣性算力的智能時(shí)代已經(jīng)來到

隨著人工智能技術(shù)和物聯(lián)網(wǎng)的迅猛發(fā)展，計(jì)算能力的需求正在迅速增長(zhǎng)。有人預(yù)計(jì)，到2030年，全球的通用計(jì)算能力將達(dá)到3.3 zFlops，較2020年增長(zhǎng)了十倍。全球人工智能計(jì)算能力將增加到105 zFlops，較2020年增長(zhǎng)500倍。 伴隨算力需求快速增長(zhǎng)，人工智能（AI）技術(shù)也快速崛起，各項(xiàng)創(chuàng)新技術(shù)紛紛涌現(xiàn)。從萬物智聯(lián)到工業(yè)數(shù)字化轉(zhuǎn)型，多樣性算力和人工智能時(shí)代已經(jīng)到來。這為操作系統(tǒng)帶來了新的使命訴求。 為了成為支持多樣性算力的全場(chǎng)景智能操作系統(tǒng)，openEuler秉持著“OS for AI, AI for OS”的理念，致力于將人工智能融入操作系統(tǒng)的方方面面。我們的愿景是將openEuler打造成一個(gè)適用于各種場(chǎng)景的多元化和智能計(jì)算的操作系統(tǒng)，使其與眾不同。

openEuler支持OS for AI技術(shù)特點(diǎn)

不同的計(jì)算任務(wù)需要不同的計(jì)算能力。通用計(jì)算需要CPU，人工智能需要GPU或TPU，圖形需要GPU。這也是為什么DSA越來越受歡迎的原因。 但同時(shí)，當(dāng)前計(jì)算能力存在使用效率的問題。當(dāng)今的數(shù)據(jù)中心中，有大約一半的計(jì)算能力沒有真正應(yīng)用。多樣性算力使利用率偏低的情況變得更糟。因?yàn)閼?yīng)用程序?qū)λ懔Φ男枨笤诓粩嘧兓?，而操作系統(tǒng)與基礎(chǔ)軟件依然采用靜態(tài)分配和管理的方式對(duì)待不同的算力。 總的來看，一方面算力需求快速增長(zhǎng)，另一方面，算力浪費(fèi)嚴(yán)重。這是操作系統(tǒng)面臨的挑戰(zhàn)與機(jī)遇，是操作系統(tǒng)為碳達(dá)峰和未來碳中和能做出貢獻(xiàn)的領(lǐng)域。 低效利用的主要原因之一是不靈活，而不靈活源于多樣性算力之間的隔離。目前，操作系統(tǒng)將這些計(jì)算能力作為獨(dú)立的設(shè)備進(jìn)行管理。openEuler的愿景是將這些獨(dú)立的設(shè)備匯聚在一起，使操作系統(tǒng)能夠從全局的角度管理、分配和調(diào)度資源。在這些領(lǐng)域，openEuler都已取得了一些進(jìn)展。

openEuler支持AI of OS技術(shù)特點(diǎn)

未來的操作系統(tǒng)應(yīng)該為AI設(shè)計(jì)，同時(shí)也可以由AI管理，提供AI能力。 openEuler已經(jīng)初步具備能力，可以由人工智能進(jìn)行操作和管理。社區(qū)開發(fā)人員正在嘗試將大型語言模型與系統(tǒng)管理員連接起來。系統(tǒng)管理員可以通過日常語言溝通的形式，向EulerCopilot提出請(qǐng)求，以收集、分析和微調(diào)系統(tǒng)。而EulerCopilot則可以借助A-Tune和A-ops的幫助生成腳本，分析系統(tǒng)瓶頸，更改內(nèi)核和系統(tǒng)參數(shù)。從而使服務(wù)能夠以更高的吞吐量運(yùn)行，使用更少的硬件資源，并保持最新狀態(tài)。 此外，openEuler還支持利用AI進(jìn)行構(gòu)建和測(cè)試。例如，openEuler集成的畢昇編譯器，就在研究如何用人工智能替代啟發(fā)式算法，以生成更快、更小的openEuler二進(jìn)制文件。我們也擴(kuò)展了模糊測(cè)試，利用人工智能生成測(cè)試模型，這有助于提高openEuler的質(zhì)量，并將測(cè)試結(jié)果反饋給上游，以使更大的社區(qū)受益。 簡(jiǎn)而言之，我們?cè)趏penEuler項(xiàng)目當(dāng)前努力開發(fā)AI for OS的技術(shù)，希望操作系統(tǒng)能夠隨智能化時(shí)代的發(fā)展，更好地為用戶、為業(yè)務(wù)服務(wù)。

面向全場(chǎng)景的openEuler

在萬物智聯(lián)的大趨勢(shì)下，越來越需要一個(gè)能夠支持各種場(chǎng)景的平臺(tái)，以滿足來自硬件和應(yīng)用新的需求。從openEuler角度，可稱之為對(duì)全場(chǎng)景的支持。全場(chǎng)景的操作系統(tǒng)并不意味著在嵌入式、邊緣、服務(wù)器和云端上運(yùn)行相同的實(shí)例。而是需要一個(gè)操作系統(tǒng)平臺(tái)，能夠?yàn)橹С值乃胁煌瑘?chǎng)景創(chuàng)建實(shí)例。從而實(shí)現(xiàn)技術(shù)共享、按需組合、生態(tài)互通、極簡(jiǎn)互聯(lián)。這方面，openEuler具有獨(dú)特優(yōu)勢(shì)。 一方面，openEuler和OpenHarmony兩個(gè)項(xiàng)目緊密協(xié)同，兩者配合在包括“電鴻”等場(chǎng)景下已得到驗(yàn)證，可以形成一個(gè)完成的端邊協(xié)同方案。另一方面，openEuler也在不斷完善自身的工具鏈，使得軟件組件可以根據(jù)需求組合和定制。通過基于單一操作系統(tǒng)平臺(tái)，云端、邊緣和嵌入式的生態(tài)系統(tǒng)可以相互協(xié)作。為嵌入式開發(fā)的應(yīng)用程序可以移植到邊緣并繼續(xù)運(yùn)行。而且互聯(lián)和通信也可以得到極大簡(jiǎn)化?？珙I(lǐng)域創(chuàng)新變得更容易。

未來的目標(biāo)與挑戰(zhàn)

openEuler秉持“以AI賦能openEuler更智能，以openEuler使能AI更高效”的理念。通過異構(gòu)算力協(xié)同，實(shí)現(xiàn)超大容量和高效算力。通過PB級(jí)異構(gòu)內(nèi)存管理，使訓(xùn)練效率提升20%以上，通過異構(gòu)算力多維調(diào)度，使推理并發(fā)提升50%以上。這些目標(biāo)之后，需要對(duì)技術(shù)細(xì)節(jié)的極致追求和把握，需要對(duì)代碼質(zhì)量的高度熱情和重視，需要不同領(lǐng)域開發(fā)者的緊密團(tuán)結(jié)和協(xié)同。這樣規(guī)模的協(xié)作在國內(nèi)的開源開發(fā)者社區(qū)是沒有出現(xiàn)過的，這樣的技術(shù)挑戰(zhàn)也沒有成功的先例可循。openEuler致力于為開發(fā)者提供一個(gè)更為智能、高效的開發(fā)運(yùn)行環(huán)境，推動(dòng)操作系統(tǒng)與人工智能的深度融合。進(jìn)一步前行的過程中，希望能得到更多社區(qū)同行者的支持，共同打造2030年的openEuler操作系統(tǒng)。 訪問“開放原子”視頻號(hào)觀看2023開放原子開發(fā)者大會(huì)回放

點(diǎn)擊“閱讀原文”訪問AtomGit

下載經(jīng)嘉賓授權(quán)的演講材料