華為Volcano項目為構(gòu)建云原生批量計算平臺奠定基礎(chǔ)

4月10日，CNCF（云原生計算基金會）正式接納由華為云捐贈的容器批量計算項目Volcano， 迎來CNCF首個容器批量計算項目。Volcano項目的加入，將CNCF的云原生版圖進一步擴展至AI、大數(shù)據(jù)、基因等批量計算領(lǐng)域，為構(gòu)建“云原生批量計算平臺”奠定了基礎(chǔ)。

華為云CTO張宇昕表示：“ 華為云多年來一直致力于云原生技術(shù)推廣，不僅在國內(nèi)最早推出了Kubernetes云原生容器技術(shù)的商業(yè)化產(chǎn)品云容器引擎CCE和云容器實例CCI，而且在開源社區(qū)發(fā)起并領(lǐng)導了多個生態(tài)項目，幫助各行業(yè)更快地落地并實踐云原生技術(shù)。Volcano是基于Kubernetes的云原生批量計算引擎，基于華為云在AI、大數(shù)據(jù)領(lǐng)域的深厚業(yè)務(wù)積累，補齊了Kubernetes在面向AI、大數(shù)據(jù)、高性能計算等批量計算任務(wù)調(diào)度、編排等場景下的短板，向下支持鯤鵬、昇騰、X86等多元算力，向上使能TensorFlow、Spark、華為MindSpore等主流行業(yè)計算框架，讓數(shù)據(jù)科學家和算法工程師充分享受到云原生技術(shù)所帶來的高效計算與極致體驗。”

Volcano介紹

隨著Kubernetes的成熟，越來越多的企業(yè)把Kubernetes作為AI、大數(shù)據(jù)以及高性能批量計算的下一代基礎(chǔ)設(shè)施，得益于Kubernetes在應(yīng)用一致性、跨云遷移便利性、靈活任務(wù)調(diào)度等方面的優(yōu)勢，使得Kubernetes在大數(shù)據(jù)、AI、以及高性能批量計算領(lǐng)域快速得到廣泛應(yīng)用。

然而，Kubernetes作為普適的容器化解決方案，應(yīng)用到大數(shù)據(jù)、AI、高性能批量計算等專業(yè)領(lǐng)域時，仍與業(yè)務(wù)訴求存在一些差距，主要體現(xiàn)在：

?K8s的原生調(diào)度功能無法滿足計算要求

?K8s作業(yè)管理能力無法滿足AI訓練的復雜訴求

?數(shù)據(jù)管理方面，缺少計算側(cè)數(shù)據(jù)緩存能力，數(shù)據(jù)位置感知等功能

?資源管理方面缺少分時共享，利用率低

?硬件異構(gòu)能力弱

華為云容器團隊針對以上問題，推出高性能容器批量計算解決方案。

同時，為加快云原生技術(shù)在各行業(yè)的快速普及，于2019年將解決方案的核心引擎Volcano開源，Volcano在調(diào)度、作業(yè)管理、數(shù)據(jù)管理、資源管理四個方面進行了重點優(yōu)化。

? 增強了任務(wù)調(diào)度能力，如公平的調(diào)度（fair-share），組調(diào)度（gang-scheduling）

? 進一步優(yōu)化了作業(yè)管理能力，如multiple pod template能力， 更靈活的error handling機制

? 增加計算側(cè)數(shù)據(jù)緩存，提升數(shù)據(jù)的傳輸與讀取效率

? 引入多維度的綜合評分機制，實現(xiàn)資源更高效的管理和分配

? 多元算力支持：支持x86、鯤鵬和昇騰等算力

生態(tài)合作

針對不同應(yīng)用場景，Volcano已與多個主流計算框架社區(qū)完成官方合作集成，包括Kubeflow、Spark、PaddlePaddle、Horovod （MPI）、Cromwell 、MindSpore等。

Volcano彌補了Kubernetes在AI場景下的不足，為飛槳分布式深度學習對接Kubernetes提供了更好支持，PaddlePaddle on Volcano方案顯著簡化了飛槳推薦系統(tǒng)解決方案 ElasticCTR的部署落地，我們非常期待Kubernetes+Volcano+PaddlePaddle的整套開源部署方案更加成熟完善，給AI開發(fā)者帶來更大便利”。

—飛槳（PaddlePaddle）總架構(gòu)師于佃海

MindSpore是華為開源的一款支持端邊云全場景的深度學習訓練推理框架，當前主要應(yīng)用于計算機視覺、自然語言處理等AI領(lǐng)域，旨在為數(shù)據(jù)科學家和算法工程師提供設(shè)計友好、運行高效的開發(fā)體驗，提供昇騰AI處理器原生支持及軟硬件協(xié)同優(yōu)化。Volcano開源項目將有助于提升Kubernetes對AI任務(wù)的調(diào)度能力支持，有利于MindSpore等深度學習框架更加有效的部署，為AI和云原生兩大領(lǐng)域的攜手共創(chuàng)繁榮開源生態(tài)打下了堅實的基礎(chǔ)。

—MindSpore社區(qū)技術(shù)委員會主席、華為MindSpore首席科學家陳雷教授

Volcano自2019年6月宣布開源以來，受到了廣泛的關(guān)注和支持，來自15家大企業(yè)/機構(gòu)的80+核心開發(fā)者參與了社區(qū)開發(fā)及貢獻。

商業(yè)應(yīng)用

目前，Volcano已在華為云容器批量計算解決方案商用，并支撐多家國內(nèi)外頭部企業(yè)應(yīng)用于AI、大數(shù)據(jù)、基因等計算場景。Volcano支持批量任務(wù)與容器的快速發(fā)放，最快每秒可發(fā)放1000容器，并提供公平調(diào)度、隊列調(diào)度等高級功能，同時與華為鯤鵬、昇騰處理器深度融合，打造更高性能、更高性價比的容器批量計算解決方案。

未來可期

此次CNCF正式將Volcano接納為云原生領(lǐng)域唯一容器批量計算項目，將極大促進Volcano上下游社區(qū)生態(tài)構(gòu)建及合作，吸引廣大云原生企業(yè)用戶深度參與，Volcano將在企業(yè)數(shù)字化、云原生轉(zhuǎn)型過程中發(fā)揮越來越重要的作用，華為云也將在云原生領(lǐng)域持續(xù)耕耘、持續(xù)引領(lǐng)創(chuàng)新、繁榮生態(tài)，助力各行業(yè)走向快速智能發(fā)展之路。

責任編輯：gt