各種網(wǎng)絡(luò)組件在 Kubernetes 集群中是如何交互的

Kubernetes 網(wǎng)絡(luò)模型的核心要求之一是每個(gè) Pod 都擁有自己的 IP 地址并可以使用該 IP 地址進(jìn)行通信。很多人剛開(kāi)始使用 Kubernetes 時(shí)，還不清楚如何為每個(gè) Pod 分配 IP 地址。他們了解各種組件如何獨(dú)立工作，但不清楚這些組件如何組合在一起使用。例如，他們了解什么是 CNI 插件，但是不知道它們是如何被調(diào)用的。本文就介紹了各種網(wǎng)絡(luò)組件在 Kubernetes 集群中是如何交互的，以及如何幫助每個(gè) Pod 都獲取 IP 地址。

在 Kubernetes 中有多種網(wǎng)絡(luò)設(shè)置方法，以及 container runtime 的各種選項(xiàng)。這篇文章將使用 Flannel 作為network provider，并使用 Containered 作為 container runtime。

背景概念

容器網(wǎng)絡(luò) 同一主機(jī)上的容器 在同一主機(jī)上運(yùn)行的容器通過(guò) IP 地址相互通信的方法之一是使用 Linux Bridge，即在 Kubernetes（和 Docker）世界中，創(chuàng)建 veth（虛擬以太網(wǎng)）設(shè)備。該 veth 設(shè)備的一端連接在容器網(wǎng)絡(luò)命名空間，另一端連接到主機(jī)網(wǎng)絡(luò)上的 Linux Bridge。同一主機(jī)上的所有容器都將這 veth pair 的一端連接到 Linux Bridge，它們可以通過(guò) Bridge 使用 IP 地址相互通信。Linux Bridge 也被分配了一個(gè) IP 地址，它充當(dāng)從目的地到不同節(jié)點(diǎn)的 Pod 流出流量的網(wǎng)關(guān)。

不同主機(jī)上的容器 在不同主機(jī)上運(yùn)行的容器可以通過(guò)其 IP 地址相互通信的方式之一是使用數(shù)據(jù)包封裝（packet encapsulation）。Flannel 通過(guò) vxlan 使用該功能，vxlan 將原始數(shù)據(jù)包封裝在 UDP 數(shù)據(jù)包中并將其發(fā)送到目的地。 在 Kubernetes 集群中，F(xiàn)lannel 會(huì)在每個(gè)節(jié)點(diǎn)上創(chuàng)建一個(gè) vxlan 設(shè)備和一些路由表。每個(gè)發(fā)往不同主機(jī)上的容器的數(shù)據(jù)包都會(huì)通過(guò) vxlan 設(shè)備，并封裝在 UDP 數(shù)據(jù)包中。在目標(biāo)位置，它會(huì)提取封裝的數(shù)據(jù)包，然后將數(shù)據(jù)包路由到目的地 Pod。

注意：這只是配置容器之間網(wǎng)絡(luò)的方法之一。

CRI CRI（容器運(yùn)行時(shí)接口）是一個(gè)插件接口，允許 kubelet 使用不同的 container runtimes。各種 container runtimes 都實(shí)現(xiàn)了 CRI API，這使用戶(hù)可以在 Kubernetes 安裝中使用他們想要的 container runtimes。 CNI

CNI（容器網(wǎng)絡(luò)接口）項(xiàng)目包含一個(gè)為 Linux 容器提供基于通用插件網(wǎng)絡(luò)解決方案的規(guī)則。它由各種插件組成，這些插件在配置 Pod 網(wǎng)絡(luò)時(shí)執(zhí)行不同的功能。CNI 插件是遵循 CNI 規(guī)范的可執(zhí)行文件。

為節(jié)點(diǎn)子網(wǎng)分配 Pod IP 地址

如果要求所有 Pod 具有 IP 地址，那么就要確保整個(gè)集群中的所有 Pod 的 IP 地址是唯一的。這可以通過(guò)為每個(gè)節(jié)點(diǎn)分配一個(gè)唯一的子網(wǎng)來(lái)實(shí)現(xiàn)，即從子網(wǎng)中為 Pod 分配節(jié)點(diǎn) IP 地址。

節(jié)點(diǎn) IPAM 控制器 當(dāng)nodeipam傳遞給 kube-controller-manager 的--controllers命令行標(biāo)志時(shí)，它將為每個(gè)節(jié)點(diǎn)分配來(lái)自集群 CIDR（集群網(wǎng)絡(luò)的 IP 范圍）的專(zhuān)用子網(wǎng)（podCIDR）。由于這些 podCIDR 是不相交的子網(wǎng)，因此它可以為每個(gè) Pod 分配唯一的 IP 地址。 當(dāng) Kubernetes 節(jié)點(diǎn)首次在集群上注冊(cè)時(shí)，會(huì)被分配一個(gè) podCIDR。要更改分配給集群中節(jié)點(diǎn)的 podCIDR，需要先注銷(xiāo)節(jié)點(diǎn)，然后使用應(yīng)用于 Kubernetes 控制平面的任何配置更改來(lái)重新注冊(cè)節(jié)點(diǎn)。podCIDR可以使用以下命令列出節(jié)點(diǎn)的名稱(chēng)：

Kubelet、Container Runtime 和 CNI 插件交互

當(dāng)在節(jié)點(diǎn)上調(diào)度 Pod 時(shí)，一啟動(dòng) Pod 就會(huì)發(fā)生很多事情。這里我們僅關(guān)注與 Pod 配置網(wǎng)絡(luò)有關(guān)的動(dòng)態(tài)。一旦在節(jié)點(diǎn)上調(diào)度了 Pod，將配置網(wǎng)絡(luò)并啟動(dòng)應(yīng)用程序容器。

參考：容器式 cri 插件架構(gòu) Container Runtime 與 CNI 插件的交互 每個(gè) network provider 都有一個(gè) CNI 插件，container runtime 會(huì)調(diào)用該插件，在 Pod 啟動(dòng)時(shí)配置網(wǎng)絡(luò)。使用容器化作為 container runtime，容器化 CRI 插件將調(diào)用 CNI 插件。每個(gè) network provider 都在每個(gè) Kubernetes 節(jié)點(diǎn)上安裝了一個(gè)代理，以配置 Pod 網(wǎng)絡(luò)。安裝 network provider agent 后，它會(huì)隨 CNI 一起配置或者在節(jié)點(diǎn)上創(chuàng)建，CRI 插件會(huì)使用它來(lái)確定要調(diào)用哪個(gè) CNI 插件。 CNI 配置文件的位置是可配置的，默認(rèn)值為/etc/cni/net.d/。集群管理員需要在每個(gè)節(jié)點(diǎn)上交付 CNI 插件。CNI 插件的位置也是可配置的，默認(rèn)值為/opt/cni/bin。 如果使用 containerd 作為 container runtime，則可以在 containerd config 部分下[plugins."io.containerd.grpc.v1.cri".cni]指定 CNI 配置和 CNI 插件的路徑。 本文中我們將 Flannel 作為 network provider，這里簡(jiǎn)單介紹一下 Flannel 的設(shè)置。Flanneld 是 Flannel 守護(hù)程序，通常 install-cni 作為帶有初始化容器的守護(hù)程序安裝在 Kubernetes 集群上。install-cni 容器創(chuàng)建 CNI 配置文件在每個(gè)節(jié)點(diǎn)上/etc/cni/net.d/10-flannel.conflist。Flanneld 創(chuàng)建一個(gè) vxlan 設(shè)備，從 apiserver 獲取網(wǎng)絡(luò)元數(shù)據(jù)，并監(jiān)控 Pod 上的更新。創(chuàng)建 Pod 時(shí)，它將在整個(gè)集群中為所有 Pod 分配路由，這些路由允許 Pod 通過(guò) IP 地址相互連接。 Containerd CRI 插件和 CNI 插件之間的交互可以如下所示：

如上所述，kubelet 調(diào)用 Containered CRI 插件創(chuàng)建容器，再調(diào)用 CNI 插件為容器配置網(wǎng)絡(luò)。Network provider CNI 插件調(diào)用其他基本 CNI 插件來(lái)配置網(wǎng)絡(luò)。CNI 插件之間的交互如下所述。 CNI 插件之間的交互 有多種 CNI 插件可幫助配置主機(jī)上容器之間的網(wǎng)絡(luò)，本文主要討論以下 3 個(gè)插件。 Flannel CNI 插件 當(dāng)使用 Flannel 作為network provider時(shí)，Containered CRI 插件使用 CNI 配置文件，調(diào)用 Flannel CNI 插件：/etc/cni/net.d/10-flannel.conflist。

Fannel CNI 插件與 Flanneld 結(jié)合使用，當(dāng) Flanneld 啟動(dòng)時(shí)，它將從 apiserver 中獲取 podCIDR和其他與網(wǎng)絡(luò)相關(guān)的詳細(xì)信息，并將它們存儲(chǔ)在文件中/run/flannel/subnet.env。

Flannel CNI 插件使用/run/flannel/subnet.env的信息來(lái)配置和調(diào)用 Bridge CNI 插件。 Bridge CNI 插件 Flannel CNI 插件使用以下配置調(diào)用 Bridge CNI 插件：

當(dāng) Bridge CNI 插件第一次調(diào)用時(shí)，它會(huì)創(chuàng)建一個(gè) Linux Bridge"name": "cni0"在配置文件中，然后為每個(gè) Pod 創(chuàng)建 veth pair，其一端在容器的網(wǎng)絡(luò)命名空間中，另一端連接到主機(jī)網(wǎng)絡(luò)上的 Linux Bridge。使用 Bridge CNI 插件，主機(jī)上的所有容器都連接到主機(jī)網(wǎng)絡(luò)上的 Linux Bridge。 配置完 veth pair 后，Bridge 插件將調(diào)用主機(jī)本地 IPAM CNI 插件。我們可以在 CNI config 中配置要使用的 IPAM 插件，CRI 插件用于調(diào)用 Flannel CNI插件。 主機(jī)本地 IPAM CNI 插件 Bridge CNI 插件使用以下配置調(diào)用主機(jī)本地 IPAM CNI 插件：

主機(jī)本地 IPAM（IP 地址管理）插件從中返回容器的 IP 地址，subnet將分配的 IP 本地存儲(chǔ)在主機(jī)下dataDir指定的目錄中 /var/lib/cni/networks// /var/lib/cni/networks//文件包含 IP 分配到的容器 ID。 調(diào)用時(shí)，主機(jī)本地 IPAM 插件返回以下有效負(fù)載：

總結(jié)

Kube-controller-manager 為每個(gè)節(jié)點(diǎn)分配一個(gè) podCIDR。從 podCIDR 中的子網(wǎng)值為節(jié)點(diǎn)上的 Pod 分配了 IP 地址。由于所有節(jié)點(diǎn)上的 podCIDR 是不相交的子網(wǎng)，因此它允許為每個(gè) pod 分配唯一的IP地址。

Kubernetes 集群管理員可配置和安裝 kubelet、container runtime、network provider，并在每個(gè)節(jié)點(diǎn)上分發(fā) CNI 插件。Network provider agent 啟動(dòng)時(shí)，將生成 CNI 配置。在節(jié)點(diǎn)上調(diào)度 Pod 后，kubelet 會(huì)調(diào)用 CRI 插件來(lái)創(chuàng)建 Pod。在容器情況下，容器的 CRI 插件調(diào)用 CNI 配置中指定的 CNI 插件來(lái)配置 Pod 網(wǎng)絡(luò)。所有這些都會(huì)影響 Pod 獲取 IP地址。