云原生邊緣計(jì)算平臺(tái) KubeEdge 架構(gòu)設(shè)計(jì)

CNCF 的 KubeEdge 項(xiàng)目作為業(yè)界首個(gè)云原生邊緣計(jì)算平臺(tái)，從資源、應(yīng)用、數(shù)據(jù)、AI、服務(wù)等多個(gè)維度，實(shí)現(xiàn)了邊云、邊邊之間的管理與協(xié)作，覆蓋了智慧園區(qū)、車路協(xié)同、工業(yè) IoT、邊緣媒體加速等多個(gè)場景。

1、云原生邊緣計(jì)算平臺(tái) KubeEdge 架構(gòu)實(shí)踐

邊緣計(jì)算和云計(jì)算是共生互補(bǔ)的。隨著物聯(lián)網(wǎng)、5G、AI、AR/VR 等技術(shù)的發(fā)展與應(yīng)用，完全依賴云計(jì)算來進(jìn)行數(shù)據(jù)傳輸和處理將會(huì)造成巨大的網(wǎng)絡(luò)延遲。邊緣計(jì)算可在邊緣節(jié)點(diǎn)處理數(shù)據(jù)，能夠有效減少數(shù)據(jù)的傳輸和處理，但通過云計(jì)算的遠(yuǎn)程存儲(chǔ)和分析仍然至關(guān)重要。

作為云計(jì)算平臺(tái)的延伸，邊緣計(jì)算平臺(tái)不應(yīng)該是一個(gè)孤立的系統(tǒng)，它應(yīng)該和云計(jì)算平臺(tái)保持關(guān)聯(lián)，實(shí)現(xiàn)：邊云平臺(tái)統(tǒng)一的設(shè)備和應(yīng)用管理視圖，事件、消息、數(shù)據(jù)的跨邊云高效同步，微服務(wù)在全局的自動(dòng)發(fā)現(xiàn)和流量治理等。

同時(shí)，邊緣計(jì)算平臺(tái)要與中心的云計(jì)算平臺(tái)保持解耦，提供本地自治的能力，以應(yīng)對(duì)弱網(wǎng)甚至是斷網(wǎng)的場景。另外，計(jì)算設(shè)備類型的異構(gòu)、離散分布以及資源受限等也對(duì)邊緣計(jì)算平臺(tái)的架構(gòu)設(shè)計(jì)提出了巨大挑戰(zhàn)。

KubeEdge 源于華為云 2017 年的啟動(dòng)的創(chuàng)新項(xiàng)目。項(xiàng)目初期我們嘗試開發(fā)一個(gè)能將邊緣和云端協(xié)同起來的云原生應(yīng)用管理框架。2018 年我們把這套框架開源出來，并逐步形成了 KubeEdge 社區(qū)。經(jīng)過 4 年的實(shí)踐，我們認(rèn)為邊緣計(jì)算平臺(tái)架構(gòu)的設(shè)計(jì)，需要滿足六大核心原則：開放生態(tài)、極致輕量、可靠連接、離線自治、云邊協(xié)同和邊緣智能。

開放生態(tài)：北向統(tǒng)一應(yīng)用開發(fā)接口，南向支持異構(gòu)邊緣形態(tài)??

“北向統(tǒng)一應(yīng)用開發(fā)接口，南向支持異構(gòu)邊緣形態(tài)”是 KubeEdge 的核心原則，圍繞這個(gè)原則，我們?cè)凇癐oT 設(shè)備 – 邊緣計(jì)算節(jié)點(diǎn) – 邊緣應(yīng)用”3 個(gè)層面，實(shí)現(xiàn)了邊緣計(jì)算全流程生態(tài)開放。

統(tǒng)一應(yīng)用生態(tài)：基于 Kubernetes 的原生能力，提供跨云邊統(tǒng)一的應(yīng)用治理和運(yùn)維體驗(yàn)，幫助云端應(yīng)用快速便捷地遷移到邊緣。

統(tǒng)一節(jié)點(diǎn)管控：KubeEdge 對(duì)邊緣計(jì)算節(jié)點(diǎn)進(jìn)行了統(tǒng)一的抽象和建模，通過擴(kuò)充 Kubernetes 原生的 Node 模型，實(shí)現(xiàn)邊緣節(jié)點(diǎn)和云端節(jié)點(diǎn)的混合管理。

統(tǒng)一 IoT 設(shè)備接入：在 IoT 設(shè)備層抽象出了統(tǒng)一的 IoT 設(shè)備接入框架，包括云原生 IoT 設(shè)備模型和 API 邊緣協(xié)議驅(qū)動(dòng)框架，方便用戶和廠商基于自由的 IoT 設(shè)備進(jìn)行系統(tǒng)集成。

極致輕量：輕量、靈活的邊緣軟件，全面覆蓋不同邊緣場景? ??

與云計(jì)算集中式資源管理不同，邊緣計(jì)算中資源往往呈現(xiàn)出全局地域離散、局部小規(guī)模集中的特征。同時(shí)，每個(gè)邊緣節(jié)點(diǎn)的資源十分有限，例如一些物聯(lián)網(wǎng)網(wǎng)關(guān)，內(nèi)存往往只有 512M 甚至 256M。因此，邊緣管控軟件需要滿足輕量和靈活擴(kuò)展的雙重要求，滿足不同的硬件和場景。

為了滿足管控軟件輕量化要求，我們對(duì)原生的 Kubelet 進(jìn)行了深度裁剪和重構(gòu)，將 Kubelet 的核心功能剝離出來，形成了輕量和邊緣管理軟件 EdgeCore。同時(shí)，我們自研了蜂巢（Bee Hive）開發(fā)框架，實(shí)現(xiàn)擴(kuò)展插件的動(dòng)態(tài)插拔、自動(dòng)發(fā)現(xiàn)和高效通信，以滿足定制化能力的擴(kuò)展。

可靠連接：邊云消息統(tǒng)一管理滿足弱網(wǎng)場景數(shù)據(jù)可靠傳輸? ?

與數(shù)據(jù)中心網(wǎng)絡(luò)的統(tǒng)一性和高可用性不同，邊緣節(jié)點(diǎn)和中心云在網(wǎng)絡(luò)上往往是隔離的，邊緣節(jié)點(diǎn)通過網(wǎng)關(guān)、代理或?qū)＞€實(shí)現(xiàn)與中心云的互通，這些網(wǎng)絡(luò)往往存在帶寬低、丟包嚴(yán)重以及不穩(wěn)定等問題。這導(dǎo)致面向穩(wěn)定網(wǎng)絡(luò)設(shè)計(jì)的 Kubernetes 在邊緣網(wǎng)絡(luò)中很難穩(wěn)定運(yùn)行。如何屏蔽邊緣網(wǎng)絡(luò)差異，是邊緣云原生平臺(tái)需要解決的一個(gè)重要問題。

KubeEdge 通過 CloudHub 和 EdgeHub 來實(shí)現(xiàn)對(duì)邊緣網(wǎng)絡(luò)的屏蔽，其核心功能包括如下三個(gè)方面：

通過雙向多路復(fù)用消息通道，支持邊緣節(jié)點(diǎn)跨私有網(wǎng)絡(luò)和云端進(jìn)行通信；

基于 WebSocket 和消息封裝，統(tǒng)一管理所有連接，大幅減少通信壓力，在高時(shí)延高抖動(dòng)下仍可正常工作；

通過云邊消息校驗(yàn)系統(tǒng)，在網(wǎng)絡(luò)不穩(wěn)定時(shí)防止數(shù)據(jù)丟失。

離線自治：邊緣輕量化分布式?jīng)Q策器，離線場景故障自愈??

邊緣網(wǎng)絡(luò)的不穩(wěn)定性導(dǎo)致邊緣節(jié)點(diǎn)經(jīng)常出現(xiàn)和管理系統(tǒng)的斷連，該場景下如何保證邊緣應(yīng)用持續(xù)穩(wěn)定的運(yùn)行，也是邊緣云原生平臺(tái)需要解決的重要問題。

KubeEdge 通過在邊緣上引入一個(gè)輕量的元數(shù)據(jù)管理模塊（MetaManager）對(duì)邊緣應(yīng)用的元數(shù)據(jù)進(jìn)行存儲(chǔ)。當(dāng)邊緣節(jié)點(diǎn)離線時(shí)，EdgeD 可以基于 MetaManager 存儲(chǔ)的元數(shù)據(jù)對(duì)應(yīng)用進(jìn)行管理和恢復(fù)。每個(gè)節(jié)點(diǎn)上的 MetaManager 只存儲(chǔ)了部署在本地的應(yīng)用的元數(shù)據(jù)信息，這樣即保證了較小的資源開銷，同時(shí)也保證了集群中其他節(jié)點(diǎn)數(shù)據(jù)的安全性。

云邊協(xié)同：網(wǎng)絡(luò)割裂環(huán)境下實(shí)現(xiàn)服務(wù)發(fā)現(xiàn)與流量代理??

邊緣節(jié)點(diǎn)資源有限，很難完成復(fù)雜的業(yè)務(wù)流程，因此在實(shí)際業(yè)務(wù)場景中，邊緣應(yīng)用往往需要和云端應(yīng)用互相配合，實(shí)現(xiàn)端到端的解決方案。

KubeEdge 提供了多種應(yīng)用間跨邊云數(shù)據(jù)交換的模式，包括提供消息通信能力的 EventBus 和 ServiceBus ，提供微服務(wù)間互相發(fā)現(xiàn)和流量轉(zhuǎn)發(fā)的 EdgeMesh。

EdgeMesh 是一個(gè)輕量化服務(wù)發(fā)現(xiàn)與流量代理組件，其目標(biāo)是在邊緣場景下屏蔽網(wǎng)絡(luò)結(jié)構(gòu)和鏈接方式的差異，提供統(tǒng)一的流量治理能力。其核心特性包括：

極致輕量：從 Pod 級(jí)的主機(jī)級(jí)的 Agent，資源占用較 Isito 標(biāo)準(zhǔn)數(shù)據(jù)面 Envoy 降低 90%+；

高可用性：基于 P2P 實(shí)現(xiàn)了不同節(jié)點(diǎn)跨網(wǎng)絡(luò)穿透，通過中繼轉(zhuǎn)發(fā)和直連通道協(xié)同工作，保證系統(tǒng)高效運(yùn)行；

高可靠性：基于元數(shù)據(jù)本地存儲(chǔ)，保證了離線時(shí)可持續(xù)工作。

邊緣智能：分布式協(xié)同 AI 框架，打破模型訓(xùn)練推理空間限制??

在數(shù)據(jù)生成的地方進(jìn)行快速處理并實(shí)時(shí)響應(yīng)是邊緣計(jì)算發(fā)展的原始動(dòng)力之一，因此，如何將數(shù)據(jù)智能處理應(yīng)用高效地運(yùn)行在邊緣，是邊緣計(jì)算研究的一個(gè)重要問題。具體有如下 4 點(diǎn)核心挑戰(zhàn):

邊緣場智能使用的設(shè)備往往資源有限，大型的 AI 模型難以運(yùn)行

資源硬件各異，不同場景碎片化嚴(yán)重

邊緣數(shù)據(jù)地理分散，受限于隱私等問題，不同節(jié)點(diǎn)間的數(shù)據(jù)難以共享，導(dǎo)致數(shù)據(jù)孤島問題凸顯

由于邊緣場景差異化較大，邊緣數(shù)據(jù)在時(shí)間和空間統(tǒng)計(jì)分布不一致，導(dǎo)致同一個(gè)模型難以適用全量的場景

針對(duì)這些問題，我們?cè)?KubeEdge 社區(qū)開源了邊緣協(xié)同 AI 框架項(xiàng)目 Sedna。

Sedna 基于 KubeEdge 提供的邊云協(xié)同能力，實(shí)現(xiàn)了 AI 應(yīng)用的跨邊云協(xié)同，支持現(xiàn)有 AI 類應(yīng)用無縫下沉到邊緣，快速實(shí)現(xiàn)跨邊云的增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、協(xié)同推理、終身學(xué)習(xí)等能力，最終達(dá)到降低邊緣 AI 服務(wù)構(gòu)建與部署成本、提升模型性能、保護(hù)數(shù)據(jù)隱私等效果。

2、IEF：基于 KubeEdge 的云原生邊緣計(jì)算商用平臺(tái)

華為云的智能邊緣平臺(tái)（Intelligent EdgeFabric）是基于 KubeEdge 的商業(yè)化產(chǎn)品，其目標(biāo)是基于云原生技術(shù)構(gòu)建一個(gè)全新的邊云協(xié)同操作系統(tǒng)，可運(yùn)行在多種邊緣設(shè)備上，將豐富的 AI、IoT 及數(shù)據(jù)分析等智能應(yīng)用以輕量化的方式從云端部署到邊緣，滿足用戶對(duì)智能應(yīng)用邊云協(xié)同的業(yè)務(wù)訴求。

IEF 服務(wù)著力構(gòu)筑兩個(gè)生態(tài)。在邊緣，構(gòu)筑硬件生態(tài)，讓各種規(guī)格、各種形態(tài)的邊緣硬件可以快速和平臺(tái)集成，形成邊緣基礎(chǔ)設(shè)施底座。在云端，構(gòu)建應(yīng)用生態(tài)，和華為云自有的大數(shù)據(jù)處理、AI 處理服務(wù)集成，結(jié)合第三方應(yīng)用，幫助更多企業(yè)客戶快速實(shí)現(xiàn)邊緣服務(wù)解決方案。

3、云原生邊緣計(jì)算商業(yè)實(shí)踐及落地案例

交通運(yùn)輸行業(yè)作為“新基建”集中落地的載體，5G、人工智能、軌道交通等產(chǎn)業(yè)的技術(shù)與生態(tài)將在此“聚變”，進(jìn)而“裂變”出海量的創(chuàng)新及應(yīng)用。作為交通行業(yè)數(shù)字化轉(zhuǎn)型的典型場景，使用電子收費(fèi)代替人工收費(fèi)站，面臨著收費(fèi)模式和收費(fèi)技術(shù)的重構(gòu)。

長遠(yuǎn)來看，減少人工收費(fèi)站，并建設(shè)大量的 ETC 門架系統(tǒng)，是未來交通管理行業(yè)走向信息化的必要一環(huán)。中國作為高速公路總里程第一的國家，傳統(tǒng)的收費(fèi)模式是由全國 33 個(gè)省市自治區(qū)獨(dú)立管理轄區(qū)內(nèi)的高速公路，進(jìn)行人工收費(fèi)。全國的計(jì)費(fèi)統(tǒng)計(jì)復(fù)雜，費(fèi)率難以統(tǒng)一管理，人工收費(fèi)效率低下，高峰期容易造成交通擁堵，影響通行效率。

基于以上挑戰(zhàn)，中國交通部自 2019 年開始在全國范圍內(nèi)推行電子收費(fèi)系統(tǒng)，取消省界之間的人工收費(fèi)站。該系統(tǒng)基于 Kubernetes 和 KubeEdge 技術(shù)構(gòu)建，利用云原生邊緣計(jì)算平臺(tái)帶來的備異構(gòu)計(jì)算、大規(guī)模設(shè)備接入、統(tǒng)一管理等優(yōu)勢，實(shí)現(xiàn)了接近 10 萬個(gè)邊緣節(jié)點(diǎn)和 50 萬邊緣應(yīng)用的統(tǒng)一管理：

異構(gòu)計(jì)算：當(dāng)前智能邊緣平臺(tái)支持 x86、ARM32、ARM64 架構(gòu)設(shè)備接入，并且支持主流操作系統(tǒng)如 CentOS、Ubuntu 等，取消省界項(xiàng)目中不同省份，地域選擇的邊緣計(jì)算硬件都不同，智能邊緣平臺(tái)異構(gòu)接入的能力避免了用戶大量的適配工作，使能客戶快速接入并部署業(yè)務(wù)。

大規(guī)模接入：當(dāng)前取消省界項(xiàng)目中存在近 7 萬邊緣節(jié)點(diǎn)，最高峰時(shí)接入了 8 萬邊緣節(jié)點(diǎn)。交通項(xiàng)目的規(guī)模往往隨著業(yè)務(wù)場景豐富而擴(kuò)大，智能邊緣平臺(tái)支持水平集群擴(kuò)容，能夠支持用戶根據(jù)自身訴求接入更多節(jié)點(diǎn)。

統(tǒng)一管理：取消省界項(xiàng)目客觀規(guī)模龐大，接入節(jié)點(diǎn)與部署的應(yīng)用數(shù)量極多，這對(duì)節(jié)點(diǎn)與應(yīng)用的生命周期管理，帶來難度。智能邊緣平臺(tái)，將功能可視化，提供全流程的生命周期管理，降低各省、市以及路段的運(yùn)維人員使用門檻與學(xué)習(xí)成本。

邊緣計(jì)算進(jìn)入“太空”，空間計(jì)算進(jìn)入云原生時(shí)代??

衛(wèi)星在太空中承擔(dān)了科學(xué)探測和研究、天氣預(yù)報(bào)、土地資源調(diào)查、土地利用、區(qū)域規(guī)劃、通信、跟蹤、導(dǎo)航等多個(gè)領(lǐng)域的工作。從最早的單一功能，到現(xiàn)在的一星多用，對(duì)于衛(wèi)星的智能化要求也越來越高，尤其是在復(fù)雜的太空?qǐng)鼍爸?，提高衛(wèi)星的智能化水平和應(yīng)用服務(wù)能力，讓衛(wèi)星更好、更快地向地面?zhèn)鬟f更有價(jià)值的信息，是衛(wèi)星全產(chǎn)業(yè)鏈價(jià)值提升的關(guān)鍵所在。

在此背景下，北京郵電大學(xué)與華為云邊緣云創(chuàng)新 Lab 合作，將 KubeEdeg 和 Sedna 與衛(wèi)星系統(tǒng)結(jié)合，實(shí)現(xiàn)了地面數(shù)據(jù)中心與衛(wèi)星系統(tǒng)的無縫融合，為空間實(shí)驗(yàn)提供按需使用的計(jì)算能力和分布式 AI 計(jì)算能力，有效降低空間計(jì)算實(shí)驗(yàn)門檻。

云原生邊緣計(jì)算和衛(wèi)星系統(tǒng)的結(jié)合，使衛(wèi)星具有更好的服務(wù)化能力，具備更廣闊的使用范圍和商業(yè)前景，具體包括以下幾個(gè)方面：

第一點(diǎn)是對(duì)衛(wèi)星上的計(jì)算資源進(jìn)行統(tǒng)一的管理和調(diào)度，將傳統(tǒng)的預(yù)占式資源分配方式變?yōu)榘葱枋褂玫闹悄苜Y源調(diào)度，提升計(jì)算資源的使用效率；

第二點(diǎn)是提供兼容 Kubernetes 的云原生應(yīng)用生命周期管理，可以按需部署、升級(jí)應(yīng)用，并提供全方位、可視化的的應(yīng)用運(yùn)維能力，降低應(yīng)用開發(fā)運(yùn)維成本；

第三點(diǎn)是實(shí)現(xiàn)了衛(wèi)星應(yīng)用和云端應(yīng)用協(xié)同聯(lián)動(dòng)，支持云平臺(tái)已有 AI 能力快速延伸至衛(wèi)星，并通過數(shù)據(jù)協(xié)同，支持中心云和衛(wèi)星系統(tǒng)的聯(lián)動(dòng)，提升衛(wèi)星的計(jì)算能力；最后一點(diǎn)就是通過 KubeEdge 提供安全的數(shù)據(jù)通道，支持?jǐn)?shù)據(jù)加密傳輸，保證數(shù)據(jù)的安全。

4、邊緣計(jì)算趨勢：構(gòu)建去中心化的分布式云

隨著物聯(lián)網(wǎng)通訊技術(shù)與相關(guān)嵌入式設(shè)備的高速發(fā)展，邊緣計(jì)算正在崛起并為云技術(shù)帶來新的趨勢?？梢钥吹?，各大云廠商業(yè)務(wù)從主要依賴超大規(guī)模數(shù)據(jù)中心, 光纜高速互聯(lián)的傳統(tǒng)公有云、發(fā)展到企業(yè)私有云與公有云專線互聯(lián)的混合云，逐步過渡到公有云為中心、邊緣節(jié)點(diǎn)與中心專線或公網(wǎng)互聯(lián)的邊緣云。未來甚至可能出現(xiàn)去中心化，中心數(shù)據(jù)中心與邊緣數(shù)據(jù)中心多路徑互聯(lián)的全分布式云。邊緣計(jì)算將為未來的百億終端提供 AI 能力，形成萬物感知、萬物互聯(lián)、 萬物智能的智能世界。

嘉賓介紹

齊飛，華為云主任工程師，2012 年加入華為，長期從事云計(jì)算系統(tǒng)和關(guān)鍵技術(shù)研究，參與華為混合云、邊緣云等多個(gè)云計(jì)算產(chǎn)品的創(chuàng)新孵化工作。2017 年開始負(fù)責(zé)華為云邊緣計(jì)算系統(tǒng)的創(chuàng)新孵化，參與華為智能邊緣平臺(tái)服務(wù)、云原生邊緣計(jì)算開源項(xiàng)目 KubeEdge 的設(shè)計(jì)和開發(fā)工作。現(xiàn)擔(dān)任華為邊云協(xié)同 OS 技術(shù)創(chuàng)新團(tuán)隊(duì)負(fù)責(zé)人。

參考鏈接： https://github.com/kubeedge https://kubeedge.slack.com https://www.huaweicloud.com/lab/edgecloud/home.html ? ?

編輯：黃飛

?