NVIDIA網絡運營商優(yōu)化Kubernetes橫向擴展GPU部署和管理

GPU 加速計算在云計算、企業(yè)計算和邊緣計算領域的日益普及，越來越依賴于強健而強大的網絡基礎設施。 NVIDIA ConnectX SmartNICs 和 NVIDIA BlueField DPU 提供了高吞吐量、低延遲的連接，使 GPU 資源能夠跨節(jié)點群擴展。為了滿足對云本地 AI 工作負載的需求， NVIDIA 提供了 GPU 運營商，旨在簡化 Kubernetes 上的橫向擴展 GPU 部署和管理。

今天， NVIDIA 宣布了 NVIDIA 網絡運營商的 1.0 版本。作為 NVIDIA GPU 運算符 的一個模擬，網絡運營商通過自動化網絡部署和配置的各個方面簡化了 Kubernetes 的擴展網絡設計，否則就需要手工操作。它在具有 NVIDIA 網絡接口的任何集群節(jié)點上加載所需的驅動程序、庫、設備插件和 CNI 。

與 GPU 運營商配合，網絡運營商啟用了 GPU 直接 RDMA ，這是一項關鍵技術，可將云本地 AI 工作負載加速幾個數量級。該技術在 NVIDIA GPU 之間提供了高效的零拷貝數據傳輸，同時利用了 SmartNICs 和 DPU 中的硬件引擎。圖 1 顯示了兩個 GPU 節(jié)點之間的 GPU 直接 RDMA 技術。節(jié)點 1 上的 GPU 通過網絡直接與節(jié)點 2 上的 GPU 通信，繞過 CPU 設備。

圖 1 。 GPU 兩個 GPU 節(jié)點之間的直接 RDMA 技術

NGC 網絡運營商現(xiàn)在可在 NGC 和 NVIDIA 上使用 Kubernetes 自定義資源 （ CRD ）和 操作員框架 來提供實現(xiàn)加速聯(lián)網所需的主機軟件。這篇文章討論了網絡運營商內部的內容，包括它的特性和功能。

易于部署和操作的 Kubernetes 網絡

網絡運營商致力于使 Kubernetes 網絡變得簡單和輕松。它是 Apache2 。 0 許可下的一個開源軟件項目。 1.0 版本針對運行在裸機服務器基礎設施和 Linux 虛擬化環(huán)境中的 Kubernetes 進行了驗證。以下是 1.0 版的主要功能：

在裸機 Kubernetes 環(huán)境中自動部署主機軟件組件，以實現(xiàn)以下功能：

macvlan 輔助網絡

SR-IOV 二次網絡（分配給 pod 的 VF ）

主機設備輔助網絡（分配給 pod 的 PF ）

GPU 直接 RoCE （使用 NVIDIA GPU 運算符）

在嵌套的 Kubernetes 環(huán)境（在 Linux VMs 中運行的 Kubernetes Pods ）中自動部署主機軟件組件，以創(chuàng)建以下內容：

SR-IOV 二級網絡（分配給 VM 的 VF 的#個，并通過不同的 POD ）

主機設備輔助網絡（分配給 Pod 的 PF ）

GPU 直接 RoCE （使用 NVIDIA GPU 運算符）

平臺支持：

Kubernetes v1 。 17 或更高版本

容器運行時： Containerd

裸機主機操作系統(tǒng)/ Linux 來賓操作系統(tǒng)： Ubuntu 20 。 04

Linux KVM 虛擬化

舵圖安裝

雖然啟用了 GPU 的節(jié)點是一個主要用例，但是網絡運營商對于啟用獨立于 NVIDIA GPU 的加速 Kubernetes 網絡環(huán)境也很有用。一些示例包括設置 SR-IOV 網絡和 DPDK 以加速電信 NFV 應用程序、建立 RDMA 連接以快速訪問 NVMe 存儲等等。

NVIDIA 網絡運營商內部

網絡運營商被設計成一個 Kubernetes 運營商，它利用多個定制資源為一個節(jié)點添加加速的網絡功能。 1 。 0 版本支持多種網絡模型，可適應各種 Kubernetes 網絡環(huán)境和不同的應用程序需求。如今，網絡運營商只為二級網絡配置 RoCE 。這意味著主吊艙網絡保持不變。將來的工作可能會允許為主網絡配置 RoCE 。

以下各節(jié)介紹網絡運營商打包和使用的不同組件。

節(jié)點功能發(fā)現(xiàn)

節(jié)點功能發(fā)現(xiàn) （ NFD ）是一個 Kubernetes 插件，用于檢測硬件特性和系統(tǒng)配置。網絡運營商使用 NFD 來檢測安裝了 NVIDIA SmartNICs 和 GPU 的節(jié)點，并將它們標記為這樣的節(jié)點?；谶@些標簽，網絡運營商安排適當的軟件資源。

CNI 木耳

Multus CNI 是 Kubernetes 的容器網絡接口（ CNI ）插件，支持將多個網絡接口連接到 pod 。通常在庫伯內特斯，每個吊艙只有一個網絡接口。使用 Multus ，您可以創(chuàng)建具有多個接口的多宿主 Pod 。 Multus 充當一個 meta-plugin ，一個可以調用多個其他 CNI 插件的 CNI 插件。 NVIDIA 網絡運營商安裝 Multus ，將用于高速 GPU – GPU 通信的二級網絡添加到集裝箱吊艙中。

NVIDIA OFED 驅動器

NVIDIA OpenFabrics 企業(yè)分銷（ OFED ） 網絡庫和驅動程序由 節(jié)點標簽 網絡團隊打包和測試。 NVIDIA OFED 通過 Infiniband 和以太網互連支持 遠程直接內存訪問 （ RDMA ）。網絡運營商使用 NVIDIA 將預編譯的 NVIDIA OFED 驅動程序容器部署到每個 Kubernetes 主機上。容器在啟動或停止時加載和卸載 NVIDIA OFED 驅動程序。

NVIDIA 對等內存驅動程序

NVIDIA 對等內存驅動程序 是一個客戶端，它與網絡驅動程序交互，以在 GPU 和主機內存之間提供 RDMA 。網絡運營商在同時具有 ConnectX 適配器和 NVIDIA GPU 的節(jié)點上安裝 NVIDIA 對等內存驅動程序。當容器啟動和停止時，此驅動程序也會自動加載和卸載。

RDMA 共享設備插件

Kubernetes 設備插件框架 向 Kubernetes 節(jié)點上運行的 Kubelet 代理播發(fā)系統(tǒng)硬件資源。網絡運營商部署 RDMA 共享設備插件 向 Kubelet 播發(fā) RDMA 資源，并向節(jié)點上運行的 pod 公開 RDMA 設備。它允許吊艙執(zhí)行 RDMA 操作。節(jié)點上運行的所有 pod 共享對相同 RDMA 設備文件的訪問。

容器網絡 CNI 插件

Macvlan CNI 公司 和 主機設備 CNI 是在 CNI 項目下托管的通用容器網絡插件。 macvlan CNI 創(chuàng)建一個新的 MAC 地址，并將所有通信轉發(fā)到容器。主機設備 CNI 將已經存在的設備移動到容器中。網絡運營商使用這些 CNI 插件創(chuàng)建 macvlan 網絡，并將 NIC 物理功能分別分配給容器或虛擬機。

SR-IOV 設備插件和 CNI

SR-IOV 是一種在虛擬機或容器吊艙與 NIC 硬件之間提供直接接口的技術。它繞過了主機 CPU 和操作系統(tǒng)，從 I / O 任務中釋放出昂貴的 CPU 資源，并大大加快了連接速度。 SR-IOV 設備插件 和 CNI 插件 啟用 Kubernetes 節(jié)點上可用的 SR-IOV 虛擬功能（ VF ）。這兩者都是網絡運營商創(chuàng)建 SR-IOV VF 并將其分配給處理 GPU -to- GPU 通信的二級網絡所必需的。

SR-IOV 操作員

SR-IOV 操作符旨在幫助用戶在集群中提供和配置 SR-IOV 設備插件和 SR-IOV CNI 插件。網絡運營商使用 SR-IOV 操作員 在 Kubernetes 集群中部署和管理 SR-IOV 。

Whereabouts CNI

Whereabouts CNI 是一個 IP 地址管理（ IPAM ） CNI 插件，可以在 Kubernetes 集群中分配 IP 地址。網絡運營商使用此 CNI 為承載 GPU -to- GPU 通信的二級網絡分配 IP 地址。

更好的結合： NVIDIA 加速計算和網絡

圖 2 顯示了網絡運營商如何與 GPU 運營商協(xié)同工作來部署和管理主機網絡軟件。

圖 2 。網絡運營商與 NVIDIA GPU 運營商一起安裝，以在 EGX 堆棧上自動化 GPU 直接 RDMA 配置

以下部分描述了支持的網絡模型和相應的主機軟件組件。

RoCE 共享模式

共享模式意味著在節(jié)點上的多個容器 pod 之間共享單個 IB 設備的方法。此網絡模型針對需要高性能網絡的企業(yè)和邊緣環(huán)境進行了優(yōu)化，無需多租戶。網絡運營商安裝以下軟件組件：

Multus CNI

RoCE 共享模式設備插件

Macvlan CNI

Whereabouts IPAM CNI

網絡運營商還在 GPU 節(jié)點上安裝 NVIDIA OFED 驅動程序和 NVIDIA 對等內存。

SR-IOV 、 RoCE 和 DPDK 網絡

如前所述， SR-IOV 是一種提供對 NIC 硬件的直接訪問的加速技術。此網絡模型針對運行在裸機上的多租戶 Kubernetes 環(huán)境進行了優(yōu)化。網絡運營商安裝以下軟件組件：

Multus CNI

SR-IOV 設備插件

SR-IOV CN

Whereabouts IPAM CNI

網絡運營商還在 GPU 節(jié)點上安裝 NVIDIA OFED 驅動程序和 NVIDIA 對等內存。

NIC PF 直通

這種網絡模式適合要求極高的應用。網絡運營商可以將 NIC 物理功能分配給 Pod ，以便 Pod 充分利用它。網絡運營商安裝以下主機軟件組件：

Multus CNI

SR-IOV 設備插件

主機開發(fā) CNI

Whereabouts IPAM CNI

網絡運營商還在 GPU 節(jié)點上安裝 NVIDIA OFED 驅動程序和 NVIDIA 對等內存。

為橫向擴展 GPU 集群優(yōu)化 Kubernetes 網絡

NVIDIA GPU 和網絡運營商都是 NVIDIA EGX 企業(yè)平臺的一部分，該平臺允許 GPU 加速計算與傳統(tǒng)企業(yè)應用程序在同一 IT 基礎設施上協(xié)同工作?？偠灾?，運營商使 NVIDIA GPU 成為庫伯內特斯的一等公民?，F(xiàn)在發(fā)布用于生產環(huán)境，網絡運營商簡化了 Kubernetes 網絡，帶來了必要的簡單性和可擴展性級別，以便在企業(yè)中實現(xiàn)擴展培訓和邊緣推斷。

關于作者

Itay Ozery 是 NVIDIA 網絡產品營銷總監(jiān)。他為 Mellanox 的云網絡解決方案推動戰(zhàn)略性產品營銷和產品管理計劃。 Itay 在網絡安全領域領導了大規(guī)模的業(yè)務和項目，并與數據中心和電信服務提供商在 IT 系統(tǒng)和網絡工程領域擔任過多個職位。

審核編輯：郭婷