NKD：容器云集群與OS一體化運維利器

NKD 是 NestOS-kubernetes-Deployer 的縮寫，是為了基于 NestOS 部署的 Kubernetes 集群運維工作準備的解決方案。其目標是在集群外提供對集群基礎(chǔ)設(shè)施（包括操作系統(tǒng)和 Kubernetes 基礎(chǔ)組件）的部署、更新和配置管理等服務(wù)。

1. 引言

Kubernetes 作為云原生領(lǐng)域容器云場景的事實標準，以其卓越的功能和靈活性，極大地簡化了容器化應(yīng)用程序的部署和管理。容器技術(shù)封裝所需運行環(huán)境，實現(xiàn)與底層操作系統(tǒng)的解耦，而 Kubernetes 更進一步實現(xiàn)了與底層運行節(jié)點的解耦，使得應(yīng)用在不同云提供商和環(huán)境中無縫部署。

然而，這種解耦也帶來了新的挑戰(zhàn)。隨著 Kubernetes 的廣泛應(yīng)用，運維復(fù)雜性逐漸凸顯。維護 Kubernetes 集群需要大量技術(shù)和資源，運維人員必須熟悉復(fù)雜的 Kubernetes 配置和管理，以保證集群的穩(wěn)定運行。

為解決這一問題，運維人員主要將精力投入到集群本身的運維管理中，對于底層操作系統(tǒng)和 Kubernetes 基礎(chǔ)組件持保守態(tài)度，避免頻繁更新。然而，考慮到安全更新和 Kubernetes 新版本特性的支持，底層基礎(chǔ)設(shè)施組件的更新勢在必行。因此，需要一種解決方案來簡化底層基礎(chǔ)設(shè)施的運維工作，使運維更輕松地管理和更新集群的基礎(chǔ)設(shè)施。

2. NestOS 云底座操作系統(tǒng)

NestOS 是一款在 openEuler 社區(qū) CloudNative sig 組孵化的云底座操作系統(tǒng)，專注于提供大規(guī)模集群部署環(huán)境下最佳的容器主機。

傳統(tǒng)上，使用通用操作系統(tǒng)作為集群基礎(chǔ)設(shè)施時，采用類似 Red Hat Satellite 或 SUSE Manager 等企業(yè)級系統(tǒng)管理平臺是一個較為理想的解決方案。這些平臺提供軟件包管理、配置管理、補丁更新等功能，便于對大規(guī)模集群進行運維。然而，在對操作系統(tǒng)進行升級和管理的過程中，可能會遇到網(wǎng)絡(luò)或電源等異常情況，導(dǎo)致部分節(jié)點處于不穩(wěn)定的中間態(tài)。此外，這些平臺僅限于支持其本身所覆蓋的管理范圍，對于集群中存在運維人員臨時維護或開發(fā)人員臨時調(diào)試導(dǎo)致的環(huán)境不一致，可能無法及時發(fā)現(xiàn)和修正。

為解決這些問題，NestOS 采用基于 rpm-ostree 技術(shù)的操作系統(tǒng)封裝方案，實現(xiàn)原子化更新，避免中間狀態(tài)的存在，即使在升級過程中出現(xiàn)失敗也能快速回滾至上一個穩(wěn)定狀態(tài)，保證系統(tǒng)的穩(wěn)定性。在日常運行中，NestOS 采取安全措施保證系統(tǒng)穩(wěn)定性，關(guān)鍵目錄設(shè)為只讀狀態(tài)，核心系統(tǒng)文件和配置不會被意外修改，通過 ignition 機制導(dǎo)入和固化重要的系統(tǒng)配置，確保配置的持久性和一致性。這使得操作系統(tǒng)能夠始終保持預(yù)期的狀態(tài)，減少意外錯誤。

NestOS 的核心思想類似于容器技術(shù)中的鏡像，旨在為操作系統(tǒng)層面打造不可變基礎(chǔ)設(shè)施。在部署時凍結(jié)了操作系統(tǒng)版本和配置，使其成為一個不可變的實體。這種做法有助于消除操作系統(tǒng)變體，確?；A(chǔ)組件版本與配置的一致性，從而提供了一個穩(wěn)定可靠的基礎(chǔ)設(shè)施環(huán)境。在集群中使用 NestOS 可以帶來更高的一致性和可靠性，簡化和高效地管理和維護操作系統(tǒng)。

可變基礎(chǔ)設(shè)施 vs 不可變基礎(chǔ)設(shè)施

然而，引入 NestOS 在原理上簡化集群運維工作的同時，也在實際落地中帶來了一些新的挑戰(zhàn)。例如，NestOS 作為一種新的操作系統(tǒng)形態(tài)需要運維人員熟悉理解其核心思想，接受任何改動均需在 CICD 流水線上重新構(gòu)建系統(tǒng)鏡像而不是登入系統(tǒng)操作、操作系統(tǒng)變更需重新引導(dǎo)等與通用操作系統(tǒng)迥然不同的使用習(xí)慣，以便有效地管理和維護。此外，NestOS 與傳統(tǒng)操作系統(tǒng)存在差異，需要適應(yīng)新的工具和技術(shù)，具體有如下幾個方面：

「系統(tǒng)鏡像構(gòu)建工具鏈」：NestOS 一切業(yè)務(wù)相關(guān)的組件及配置變更均需重新構(gòu)建新版系統(tǒng)鏡像，因此提供 NestOS-Assembler 編譯工具鏈，可以完成從構(gòu)建配置到多種系統(tǒng)鏡像格式的生成，同時提供自動化測試工具，驗證鏡像基礎(chǔ)組件可靠性。

「環(huán)境相關(guān)動態(tài)配置文件」：NestOS 通過 ignition 機制在部署階段將與環(huán)境相關(guān)的動態(tài)配置（例如登錄憑據(jù)、網(wǎng)絡(luò)、外掛存儲等信息）注入，因此需要運維人員提前編寫配置文件，并通過 NestOS 提供的工具轉(zhuǎn)化為機器可讀的 ign 文件，供操作系統(tǒng)部署時使用。

「系統(tǒng)鏡像更新源」：NestOS 支持通過 rpm-ostree 直接下載當(dāng)前版本樹的最新版本，但需要運維人員對系統(tǒng)鏡像更新源進行維護管理，相應(yīng)也需要學(xué)習(xí)對應(yīng)的部署工具。也可以通過容器鏡像的形式分發(fā)新版本系統(tǒng)鏡像，復(fù)用現(xiàn)有 CICD 資源，但將無法應(yīng)用增量更新方式，每次更新均需下載完整系統(tǒng)鏡像。

「系統(tǒng)更新升級管理」：上述工具為系統(tǒng)更新做好了準備，但沒有解決何時可進行系統(tǒng)升級的問題。NestOS 雖提供了 zincati 組件實現(xiàn)基本的更新策略管理，但最佳實踐仍應(yīng)當(dāng)為結(jié)合操作系統(tǒng)當(dāng)前運行業(yè)務(wù)狀態(tài)，在業(yè)務(wù)允許的時間窗口對節(jié)點執(zhí)行更新維護操作。對于容器云場景，NestOS 提供基于 operator 機制實現(xiàn)的 housekeeper 服務(wù)，在對節(jié)點上運行的容器業(yè)務(wù)進行驅(qū)逐后再行升級，用戶也可基于此制定更為復(fù)雜的升級維護策略。

接納操作系統(tǒng)使用的新方式需要成熟案例與時間積淀，但引入的運維挑戰(zhàn)可以通過方便的運維工具去解決。在這一背景下，NestOS-kubernetes-Deployer 應(yīng)運而生，旨在提供集群外的部署、更新和配置管理等服務(wù)，為運維人員提升 NestOS 運維體驗。

3. NKD 對容器云運維場景的助力

NKD 是面向 kubernetes 集群場景的解決方案，主要簡化集群部署和升級流程，具體如下：

「集群基礎(chǔ)設(shè)施創(chuàng)建」：NKD 根據(jù)集群需求，連接基礎(chǔ)設(shè)施提供商動態(tài)創(chuàng)建所需的 IaaS 資源，支持裸金屬和虛擬化場景，目前優(yōu)先實現(xiàn) openstack 場景。

「操作系統(tǒng)鏡像構(gòu)建」：NestOS 提供完善的鏡像構(gòu)建工具鏈，可以輕松集成到用戶現(xiàn)有 CICD 流程中，便于根據(jù) openEuler 官方或用戶自定義軟件源快速構(gòu)建定制鏡像。NKD 目前獲取鏡像構(gòu)建結(jié)果，并將相應(yīng)更新源配置應(yīng)用到集群中，未來將支持 NKD 配置托管鏡像構(gòu)建流程。

「動態(tài)配置注入」：在部署 NestOS 系統(tǒng)時，需要通過 ignition 點火機制傳入系統(tǒng)部署后所需的動態(tài)配置。NKD 目前提供工具形式，支持通過命令行參數(shù)或配置文件將用戶配置轉(zhuǎn)換為 ign 點火文件。最終目標是提供用戶友好的前端配置界面，便于輕松生成所需配置，并提供配置變更版本管理功能。

「kubernetes 集群部署」：這也是 NKD 的核心能力，將 k8s 集群部署所需配置自動合并到用戶配置生成的 ign 文件中，使得節(jié)點在部署完成操作系統(tǒng)引導(dǎo)后自動開始創(chuàng)建 k8s 集群，無需手動干預(yù)。

「集群狀態(tài)檢測與 housekeeper 部署」：NKD 持續(xù)檢測 k8s 集群狀態(tài)，一旦集群創(chuàng)建完成，向用戶提供訪問憑據(jù)，并部署 housekeeper 自定義資源，用于后續(xù)維護升級功能。用戶可選擇默認不部署該 CRD。

「操作系統(tǒng)或 k8s 基礎(chǔ)組件升級維護」：當(dāng)操作系統(tǒng)或 k8s 基礎(chǔ)組件需要升級維護時，NKD 使用鏡像構(gòu)建工具重新構(gòu)建新版系統(tǒng)鏡像，并在查詢到新版鏡像后，向集群創(chuàng)建 housekeeper CR 資源。集群中的 housekeeper 服務(wù)按照配置逐次對集群節(jié)點進行升級，完成整個集群的升級工作。

通過以上整體方案，用戶可只通過 NKD 一鍵式完成集群創(chuàng)建和后續(xù)更新工作，而無需手動進行繁瑣步驟，簡化運維步驟。接下來我們對 NKD 架構(gòu)及未來規(guī)劃作一個簡要介紹。

4. NKD 完整規(guī)劃

NKD 整體架構(gòu)與集群交互全景

NKD 的整體架構(gòu)由多個組件構(gòu)成，主要包括 NKDS（NestOS-kubernetes-deployer-service）作為主體、部署到集群中的 HKO（housekeeper operator）以及集成在 NestOS 鏡像中的 installer。此外，還可以配合 NestOS 鏡像構(gòu)建工具鏈、配置管理倉庫（如 git）和私有化部署的容器鏡像倉庫，共同完成集群運維任務(wù)。目前 NKDS 以命令行工具提供，暫不提供對外 http 接口和前端配置頁面，但主體功能所需的基礎(chǔ)設(shè)施管理、配置管理、系統(tǒng)鏡像管理、證書管理、健康檢測等模塊已初步形成。HKO 主要包括面向集群的 HKO 組件和集成在 NestOS 鏡像中的 HKD（housekeeper daemon）組件。目前 installer 組件負責(zé)在系統(tǒng)點火階段部署創(chuàng)建 K8S 集群，未來計劃將其功能融合到 HKD 組件中，使整體方案更加精簡，更易于用戶根據(jù)個性化需求管理所需的 K8S 基礎(chǔ)組件。

NKD 的最終目標是以長期駐留服務(wù)形式提供運維服務(wù)，同時支持多個集群的管理。它將提供持久化配置變更記錄、證書管理、多種更新升級策略和鏡像源頻道等功能。未來，我們將持續(xù)優(yōu)化 NKD 的功能和性能，并引入更多智能化特性，如自動化故障處理和資源優(yōu)化等。我們的目標是將 NKD 打造成 NestOS 生態(tài)中的核心組件，為云原生場景下的運維工作提供全方位支持，進一步推動云原生技術(shù)的發(fā)展和應(yīng)用。

5. 總結(jié)

NestOS 作為專為云原生場景設(shè)計的操作系統(tǒng)，為容器云運維帶來了巨大的助力，而 NKD 則是針對 NestOS 運維中新引入的問題所提供的解決方案。通過持續(xù)優(yōu)化和創(chuàng)新，NKD 將使業(yè)界更易接受以 NestOS 為代表的不可變基礎(chǔ)設(shè)施，同時隨著 Kubernetes 社區(qū)的發(fā)展，更多創(chuàng)新解決方案將推動云原生技術(shù)向更成熟和可持續(xù)的未來發(fā)展。

審核編輯：湯梓紅