淺談容器中nsenter命令的語法

nsenter 命令是一個可以在指定進(jìn)程的命令空間下運(yùn)行指定程序的命令。它位于 util-linux 包中。

用途

一個最典型的用途就是進(jìn)入容器的網(wǎng)絡(luò)命令空間。相當(dāng)多的容器為了輕量級，是不包含較為基礎(chǔ)的命令的，比如說ip address，ping，telnet，ss，tcpdump等等命令，這就給調(diào)試容器網(wǎng)絡(luò)帶來相當(dāng)大的困擾：只能通過?docker inspect ContainerID?命令獲取到容器 IP，以及無法測試和其他網(wǎng)絡(luò)的連通性。這時就可以使用 nsenter 命令僅進(jìn)入該容器的網(wǎng)絡(luò)命名空間，使用宿主機(jī)的命令調(diào)試容器網(wǎng)絡(luò)。

此外，nsenter 也可以進(jìn)入mnt，uts，ipc，pid，user命令空間，以及指定根目錄和工作目錄。

使用

首先看下 nsenter 命令的語法：

nsenter [options] [program [arguments]]

options:
-t, --target pid：指定被進(jìn)入命名空間的目標(biāo)進(jìn)程的pid
-m, --mount[=file]：進(jìn)入mount命令空間。如果指定了file，則進(jìn)入file的命令空間
-u, --uts[=file]：進(jìn)入uts命令空間。如果指定了file，則進(jìn)入file的命令空間
-i, --ipc[=file]：進(jìn)入ipc命令空間。如果指定了file，則進(jìn)入file的命令空間
-n, --net[=file]：進(jìn)入net命令空間。如果指定了file，則進(jìn)入file的命令空間
-p, --pid[=file]：進(jìn)入pid命令空間。如果指定了file，則進(jìn)入file的命令空間
-U, --user[=file]：進(jìn)入user命令空間。如果指定了file，則進(jìn)入file的命令空間
-G, --setgid gid：設(shè)置運(yùn)行程序的gid
-S, --setuid uid：設(shè)置運(yùn)行程序的uid
-r, --root[=directory]：設(shè)置根目錄
-w, --wd[=directory]：設(shè)置工作目錄


如果沒有給出program，則默認(rèn)執(zhí)行$SHELL。

示例：

運(yùn)行一個 nginx 容器，查看該容器的 pid：

[root@staight ~]# docker inspect -f {{.State.Pid}} nginx
5645

然后，使用 nsenter 命令進(jìn)入該容器的網(wǎng)絡(luò)命令空間：

[root@staight ~]# nsenter -n -t5645
[root@staight ~]# ip addr
1: lo:  mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 000000:00 brd 000000:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
18: eth0@if19:  mtu 1500 qdisc noqueue state UP group default 
    link/ether 02ac00:02 brd ffffff:ff link-netnsid 0
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

進(jìn)入成功~

在 Kubernetes 中，在得到容器 pid 之前還需獲取容器的 ID，可以使用如下命令獲?。?/p>

[root@node1 test]# kubectl get pod test -oyaml|grep containerID
  - containerID: docker://cf0873782d587dbca6aa32f49605229da3748600a9926e85b36916141597ec85

或者更為精確地獲取 containerID ：

[root@node1 test]# kubectl get pod test -o template --template='{{range .status.containerStatuses}}{{.containerID}}{{end}}'
docker://cf0873782d587dbca6aa32f49605229da3748600a9926e85b36916141597ec85

原理

namespace

namespace 是 Linux 中一些進(jìn)程的屬性的作用域，使用命名空間，可以隔離不同的進(jìn)程。

Linux在不斷的添加命名空間，目前有：

mount：掛載命名空間，使進(jìn)程有一個獨(dú)立的掛載文件系統(tǒng)，始于Linux 2.4.19

ipc：ipc命名空間，使進(jìn)程有一個獨(dú)立的ipc，包括消息隊列，共享內(nèi)存和信號量，始于Linux 2.6.19

uts：uts命名空間，使進(jìn)程有一個獨(dú)立的hostname和domainname，始于Linux 2.6.19

net：network命令空間，使進(jìn)程有一個獨(dú)立的網(wǎng)絡(luò)棧，始于Linux 2.6.24

pid：pid命名空間，使進(jìn)程有一個獨(dú)立的pid空間，始于Linux 2.6.24

user：user命名空間，是進(jìn)程有一個獨(dú)立的user空間，始于Linux 2.6.23，結(jié)束于Linux 3.8

cgroup：cgroup命名空間，使進(jìn)程有一個獨(dú)立的cgroup控制組，始于Linux 4.6

Linux 的每個進(jìn)程都具有命名空間，可以在 /proc/PID/ns 目錄中看到命名空間的文件描述符。

[root@staight ns]# pwd
/proc/1/ns
[root@staight ns]# ll
total 0
lrwxrwxrwx 1 root root 0 Sep 23 19:53 ipc -> ipc:[4026531839]
lrwxrwxrwx 1 root root 0 Sep 23 19:53 mnt -> mnt:[4026531840]
lrwxrwxrwx 1 root root 0 Sep 23 19:53 net -> net:[4026531956]
lrwxrwxrwx 1 root root 0 Sep 23 19:53 pid -> pid:[4026531836]
lrwxrwxrwx 1 root root 0 Sep 23 19:53 user -> user:[4026531837]
lrwxrwxrwx 1 root root 0 Sep 23 19:53 uts -> uts:[4026531838]

clone

clone 是 Linux 的系統(tǒng)調(diào)用函數(shù)，用于創(chuàng)建一個新的進(jìn)程。

clone 和 fork 比較類似，但更為精細(xì)化，比如說使用 clone 創(chuàng)建出的子進(jìn)程可以共享父進(jìn)程的虛擬地址空間，文件描述符表，信號處理表等等。不過這里要強(qiáng)調(diào)的是，clone 函數(shù)還能為新進(jìn)程指定命名空間。

clone的語法：

#define _GNU_SOURCE
#include 


int clone(int (*fn)(void *), void *child_stack,
        int flags, void *arg, ...
        /* pid_t *ptid, void *newtls, pid_t *ctid */ );

其中 flags 即可指定命名空間，包括：

CLONE_NEWCGROUP：cgroup

CLONE_NEWIPC：ipc

CLONE_NEWNET：net

CLONE_NEWNS：mount

CLONE_NEWPID：pid

CLONE_NEWUSER：user

CLONE_NEWUTS：uts

使用示例：

pid = clone(childFunc, stackTop, CLONE_NEWUTS | SIGCHLD, argv[1]);

setns

clone 用于創(chuàng)建新的命令空間，而 setns 則用來讓當(dāng)前線程（單線程即進(jìn)程）加入一個命名空間。 語法：

#define _GNU_SOURCE             /* See feature_test_macros(7) */
#include 

int setns(int fd, int nstype);

fd參數(shù)是一個指向一個命名空間的文件描述符，位于/proc/PID/ns/目錄。

nstype指定了允許進(jìn)入的命名空間，一般可設(shè)置為0，表示允許進(jìn)入所有命名空間。

因此，往往該函數(shù)的用法為：

調(diào)用setns函數(shù)：指定該線程的命名空間。

調(diào)用execvp函數(shù)：執(zhí)行指定路徑的程序，創(chuàng)建子進(jìn)程并替換父進(jìn)程。

這樣，就可以指定命名空間運(yùn)行新的程序了。

代碼示例：

#define _GNU_SOURCE
#include 
#include 
#include 
#include 
#include 

#define errExit(msg)    do { perror(msg); exit(EXIT_FAILURE); 
                        } while (0)

int
main(int argc, char *argv[])
{
    int fd;


    if (argc < 3) {
        fprintf(stderr, "%s /proc/PID/ns/FILE cmd args...
", argv[0]);
        exit(EXIT_FAILURE);
    }


    fd = open(argv[1], O_RDONLY); /* Get file descriptor for namespace */
    if (fd == -1)
        errExit("open");


    if (setns(fd, 0) == -1)       /* Join that namespace */
        errExit("setns");


    execvp(argv[2], &argv[2]);    /* Execute a command in namespace */
    errExit("execvp");
}

使用示例：

./ns_exec /proc/3550/ns/uts /bin/bash

nsenter

那么，最后就是 nsenter 了，nsenter 相當(dāng)于在setns的示例程序之上做了一層封裝，使我們無需指定命名空間的文件描述符，而是指定進(jìn)程號即可。

指定進(jìn)程號PID以及需要進(jìn)入的命名空間后，nsenter會幫我們找到對應(yīng)的命名空間文件描述符/proc/PID/ns/FD，然后使用該命名空間運(yùn)行新的程序。

參考文檔

容器內(nèi)抓包定位網(wǎng)絡(luò)問題：https://tencentcloudcontainerteam.github.io/tke-handbook/skill/capture-packets-in-container.html

man-page：nsenter：http://www.man7.org/linux/man-pages/man1/nsenter.1.html#top_of_page

man-page：clone：http://www.man7.org/linux/man-pages/man2/clone.2.html

man-page：setns：http://www.man7.org/linux/man-pages/man2/setns.2.html

編輯：黃飛