簡要介紹了操作系統(tǒng)虛擬化的概念，以及實現(xiàn)操作系統(tǒng)虛擬化的技術(shù)

操作系統(tǒng)級虛擬化

KVM、XEN等虛擬化技術(shù)允許各個虛擬機(jī)擁有自己獨立的操作系統(tǒng)。與KVM、XEN等虛擬化技術(shù)不同，所謂操作系統(tǒng)級虛擬化，也被稱作容器化，是操作系統(tǒng)自身的一個特性，它允許多個相互隔離的用戶空間實例的存在。這些用戶空間實例也被稱作為容器。普通的進(jìn)程可以看到計算機(jī)的所有資源而容器中的進(jìn)程只能看到分配給該容器的資源。通俗來講，操作系統(tǒng)級虛擬化將操作系統(tǒng)所管理的計算機(jī)資源，包括進(jìn)程、文件、設(shè)備、網(wǎng)絡(luò)等分組，然后交給不同的容器使用。容器中運行的進(jìn)程只能看到分配給該容器的資源。從而達(dá)到隔離與虛擬化的目的。

實現(xiàn)操作系統(tǒng)虛擬化需要用到Namespace及cgroups技術(shù)。

命名空間(Namespace)

在編程語言中，引入命名空間的概念是為了重用變量名或者服務(wù)例程名。在不同的命名空間中使用同一個變量名而不會產(chǎn)生沖突。Linux系統(tǒng)引入命名空間也有類似的作用。例如，在沒有操作系統(tǒng)級虛擬化的Linux系統(tǒng)中，用戶態(tài)進(jìn)程從1開始編號(PID)。引入操作系統(tǒng)虛擬化之后，不同容器有著不同的PID命名空間，每個容器中的進(jìn)程都可以從1開始編號而不產(chǎn)生沖突。

目前，Linux中的命名空間有6種類型，分別對應(yīng)操作系統(tǒng)管理的6種資源：

掛載點(mount point) CLONE_NEWNS

進(jìn)程(pid) CLONE_NEWPID

網(wǎng)絡(luò)(net) CLONE_NEWNET

進(jìn)程間通信(ipc) CLONE_NEWIPC

主機(jī)名(uts) CLONE_NEWUTS

用戶(uid) CLONW_NEWUSER

將來還會引入時間、設(shè)備等對應(yīng)的namespace.

Linux 2.4.19版本引入了第一個命名空間——掛載點，因為那時還沒有其他類型的命名空間，所以clone系統(tǒng)調(diào)用中引入的flag就叫做CLONE_NEWNS

與命名空間相關(guān)的三個系統(tǒng)調(diào)用(system calls)

下面3個系統(tǒng)調(diào)用用來操作命名空間：

clone() —— 用來創(chuàng)建新的進(jìn)程及新的命名空間，新的進(jìn)程會被放到新的命名空間中

unshare() —— 創(chuàng)建新的命名空間但并不創(chuàng)建新的子進(jìn)程，之后創(chuàng)建的子進(jìn)程會被放到新創(chuàng)建的命名空間中去

setns() —— 將進(jìn)程加入到已經(jīng)存在的命名空間中

注意：這３個系統(tǒng)調(diào)用都不會改變調(diào)用進(jìn)程(calling process)的pid命名空間，而是會影響其子進(jìn)程的pid命名空間

命名空間本身并沒用名字(囧)，不同的命名空間用不同的inode號來標(biāo)識，這也符合Linux用文件一統(tǒng)天下的慣例?？梢栽趐roc文件系統(tǒng)中查看一個進(jìn)程所屬的命名空間，例如，查看PID為4123的進(jìn)程所屬的命名空間：

kelvin@desktop:~$ls -l /proc/4123/ns/

總用量0

lrwxrwxrwx1kelvin kelvin012月2616:28cgroup -> cgroup:[4026531835]

lrwxrwxrwx1kelvin kelvin012月2616:28ipc -> ipc:[4026531839]

lrwxrwxrwx1kelvin kelvin012月2616:28mnt -> mnt:[4026531840]

lrwxrwxrwx1kelvin kelvin012月2616:28net -> net:[4026531963]

lrwxrwxrwx1kelvin kelvin012月2616:28pid -> pid:[4026531836]

lrwxrwxrwx1kelvin kelvin012月2616:28user -> user:[4026531837]

lrwxrwxrwx1kelvin kelvin012月2616:28uts -> uts:[4026531838]

下面的代碼演示了如何利用上述3個系統(tǒng)調(diào)用來操作進(jìn)程的命名空間：

#define _GNU_SOURCE

#include

#include

#include

#include

#include

#include

#include

#include

#include

#include

#include

#include

#define STACK_SIZE (10 * 1024 * 1024)

charchild_stack[STACK_SIZE];

intchild_main(void* args){

pid_t child_pid = getpid();

printf("I'm child process and my pid is %d \n",child_pid);

// 子進(jìn)程會被放到clone系統(tǒng)調(diào)用新創(chuàng)建的pid命名空間中, 所以其pid應(yīng)該為1

sleep(300);

// 命名空間中的所有進(jìn)程退出后該命名空間的inode將會被刪除, 為后續(xù)操作保留它

return0;

}

intmain(){

/* Clone */

pid_t child_pid = clone(child_main,child_stack + STACK_SIZE,\

CLONE_NEWPID | SIGCHLD,NULL);

if(child_pid < 0){

perror("clone failed");

}

/* Unshare */

intret = unshare(CLONE_NEWPID);// 父進(jìn)程調(diào)用unshare, 創(chuàng)建了一個新的命名空間,

//但不會創(chuàng)建子進(jìn)程. 之后再創(chuàng)建的子進(jìn)程將會被加入到新的命名空間中

if(ret < 0){

perror("unshare failed");

}

intfpid = fork();

if(fpid < 0){

perror("fork error");

}elseif(fpid == 0){

printf("I am child process. My pid is %d\n",getpid());

// Fork后的子進(jìn)程會被加入到unshare創(chuàng)建的命名空間中, 所以pid應(yīng)該為1

exit(0);

}else{

}

waitpid(fpid,NULL,0);

/* Setns */

charpath[80] = "";

sprintf(path,"/proc/%d/ns/pid",child_pid);

intfd = open(path,O_RDONLY);

if(fd == -1)

perror("open error");

if(setns(fd,0) == -1)

// setns并不會改變當(dāng)前進(jìn)程的命名空間, 而是會設(shè)置之后創(chuàng)建的子進(jìn)程的命名空間

perror("setns error");

close(fd);

intnpid = fork();

if(npid < 0){

perror("fork error");

}elseif(npid == 0){

printf("I am child process. My pid is %d\n",getpid());

// 新的子進(jìn)程會被加入到第一個子進(jìn)程的pid命名空間中, 所以其pid應(yīng)該為2

exit(0);

}else{

}

return0;

}

運行結(jié)果：

$sudo./ns

I'mchildprocess andmy pid is1

Iam childprocess.My pid is1

Iam childprocess.My pid is2

控制組(Cgroups)

如果說命名空間是從命名和編號的角度進(jìn)行隔離，而控制組則是將進(jìn)程進(jìn)行分組，并真正的將各組進(jìn)程的計算資源進(jìn)行限制、隔離?？刂平M是一種內(nèi)核機(jī)制，它可以對進(jìn)程進(jìn)行分組、跟蹤限制其使用的計算資源。對于每一類計算資源，控制組通過所謂的子系統(tǒng)(subsystem)來進(jìn)行控制，現(xiàn)階段已有的子系統(tǒng)包括：

cpusets: 用來分配一組CPU給指定的cgroup，該cgroup中的進(jìn)程只等被調(diào)度到該組CPU上去執(zhí)行

blkio : 限制cgroup的塊IO

cpuacct : 用來統(tǒng)計cgroup中的CPU使用

devices : 用來黑白名單的方式控制cgroup可以創(chuàng)建和使用的設(shè)備節(jié)點

freezer : 用來掛起指定的cgroup，或者喚醒掛起的cgroup

hugetlb : 用來限制cgroup中hugetlb的使用

memory : 用來跟蹤限制內(nèi)存及交換分區(qū)的使用

net_cls : 用來根據(jù)發(fā)送端的cgroup來標(biāo)記數(shù)據(jù)包，流量控制器(traffic controller)會根據(jù)這些標(biāo)記來分配優(yōu)先級

net_prio : 用來設(shè)置cgroup的網(wǎng)絡(luò)通信優(yōu)先級

cpu :用來設(shè)置cgroup中CPU的調(diào)度參數(shù)

perf_event : 用來監(jiān)控cgroup的CPU性能

與命名空間不同，控制組并沒有增加系統(tǒng)調(diào)用，而是實現(xiàn)了一個文件系統(tǒng)，通過文件及目錄操作來管理控制組。下面通過一個例子來看一看cgroup是如何利用cpuset子系統(tǒng)來把進(jìn)程綁定到指定的CPU上去執(zhí)行的。

1. 創(chuàng)建一個一直執(zhí)行的shell腳本

#!/bin/bash

x=0

while[True];do

done;

2. 在后臺執(zhí)行這個腳本

# bash run.sh &

[1]20553

3. 查看該腳本在哪個CPU上運行

# ps -eLo ruser,lwp,psr,args | grep 20553 | grep -v grep

root 20553 3bash run.sh

可以看到PID為20553的進(jìn)程運行在編號為3的CPU上，下面利用cgroups將其綁定到編號為2的CPU上去執(zhí)行

4. 掛載cgroups類型的文件系統(tǒng)到一個新創(chuàng)建的目錄cgroups中

# mkdir cgroups

# mount -t cgroup -o cpuset cgroups ./cgroups/

# ls cgroups/

cgroup.clone_children cpuset.memory_pressure_enabled

cgroup.procscpuset.memory_spread_page

cgroup.sane_behaviorcpuset.memory_spread_slab

cpuset.cpu_exclusivecpuset.mems

cpuset.cpus cpuset.sched_load_balance

cpuset.effective_cpus cpuset.sched_relax_domain_level

cpuset.effective_mems docker

cpuset.mem_exclusivetasks

cpuset.mem_hardwall notify_on_release

cpuset.memory_migrate release_agent

cpuset.memory_pressure

5. 創(chuàng)建一個新的組group0

# mkdir group0

# ls group0/

cgroup.clone_childrencpuset.mem_exclusive cpuset.mems

cgroup.procs cpuset.mem_hardwallcpuset.sched_load_balance

cpuset.cpu_exclusive cpuset.memory_migratecpuset.sched_relax_domain_level

cpuset.cpuscpuset.memory_pressure notify_on_release

cpuset.effective_cpuscpuset.memory_spread_pagetasks

cpuset.effective_memscpuset.memory_spread_slab

6. 將上面的進(jìn)程20553加入到新建的控制組中：

# echo 20553 >> group0/tasks

# cat group0/tasks

20553

7. 限制該組的進(jìn)程只能運行在編號為2的CPU上

# echo 2 > group0/cpuset.cpus

# cat group0/cpuset.cpus

2

8. 查看PID為20553的進(jìn)程所運行的CPU編號

# ps -eLo ruser,lwp,psr,args | grep 20553 | grep -v grep

root 20553 2bash run.sh

上面的例子簡單的展示了如何使用控制組。控制組通過文件和目錄來操作，文件系統(tǒng)又是樹形結(jié)構(gòu)，因此如果不對cgroups的使用做一些限制的話，配置會變得異常復(fù)雜和混亂。因此，在新版的cgroups中做了一些限制。

小結(jié)

本文簡要介紹了操作系統(tǒng)虛擬化的概念，以及實現(xiàn)操作系統(tǒng)虛擬化的技術(shù)——命名空間及控制組。并通過兩個簡單的例子演示了命名空間及控制組的使用方法。