Volcano:在離線作業(yè)混部管理平臺(tái) 實(shí)現(xiàn)智能資源管理和作業(yè)調(diào)度

現(xiàn)代互聯(lián)網(wǎng)數(shù)據(jù)中心的規(guī)模隨著應(yīng)用服務(wù)需求的快速增長(zhǎng)而不斷擴(kuò)大，但服務(wù)器資源利用率卻一直很低，導(dǎo)致企業(yè)基礎(chǔ)設(shè)施成本不斷上漲。隨著云原生技術(shù)的發(fā)展，混合部署成為了降低成本的一大手 段。本文結(jié)合華為CCE團(tuán)隊(duì)在混合部署方面的研究和實(shí)戰(zhàn)，介紹了混合部署的背景、概念、混部技術(shù)的設(shè)計(jì)方案和實(shí)際落地情況，以及對(duì)未來的計(jì)劃和展望。
云原生概念在2013年由Matt Stine提出并沿用至今，經(jīng)過不斷的總結(jié)完善，已經(jīng)涵蓋了DevOps、持續(xù)交付、微服務(wù)、容器化等主題，成為一套完整的技術(shù)方法體系。通過構(gòu)建易觀測(cè)、低耦合、容錯(cuò)性高的 系統(tǒng)來達(dá)成提高效率、加速創(chuàng)新、降低成本的目標(biāo)。 隨著云原生基礎(chǔ)技術(shù)日漸成熟，在提升效率和加速創(chuàng)新的目標(biāo)上已經(jīng)取得了顯著的成效。得益于效率提升的優(yōu)勢(shì)，如今千行百業(yè)都在擁抱云原生，Gartner報(bào)告指出，到2022年將有75%的全球化企業(yè)在生 產(chǎn)中使用云原生的容器化應(yīng)用。同時(shí)伴隨著開源項(xiàng)目的不斷更新和逐步成熟，其加速創(chuàng)新的優(yōu)點(diǎn)也促使各企業(yè)在AI、大數(shù)據(jù)、邊緣、高性能計(jì)算等新興業(yè)務(wù)場(chǎng)景不斷采用云原生技術(shù)來構(gòu)建創(chuàng)新解決方 案。然而在降低成本的目標(biāo)上，當(dāng)前仍面臨著基礎(chǔ)設(shè)施成本高昂和資源利用率低下的問題。全球云基礎(chǔ)設(shè)施服務(wù)支出保持千億美元的年增長(zhǎng)，總體規(guī)模已經(jīng)突破萬億美元大關(guān)，中國(guó)僅IDC業(yè)務(wù)在2019年 就突破了千億大關(guān)，并保持30%的年增長(zhǎng)率。根據(jù)Dell'Oro市場(chǎng)研究公司于2021年7月發(fā)布的預(yù)測(cè)，未來五年服務(wù)器支出將以11%的年復(fù)合增長(zhǎng)率增長(zhǎng)，到2025年將占數(shù)據(jù)中心資本支出的近一半。《中 國(guó)“新基建”發(fā)展研究報(bào)告》稱，到2025年，數(shù)據(jù)中心將占全球能耗的最大份額，高達(dá)33%。另一方面，全球服務(wù)器平均利用率不到20%，我國(guó)大多數(shù)數(shù)據(jù)中心的PUE普遍大于2.2。由此可見，云基礎(chǔ)設(shè)施在 降低成本上還有很大的提升空間。