開(kāi)源之夏總結(jié)runk：基于Rust的OCI runtime實(shí)現(xiàn)

這是今年開(kāi)源之夏活動(dòng)中，陳軼陽(yáng)同學(xué)參加 runk 項(xiàng)目的總結(jié)文檔，主要介紹了 runk 的由來(lái)，以及如何基于現(xiàn)有 kata agent 組件來(lái)實(shí)現(xiàn)一個(gè)標(biāo)準(zhǔn)的 OCI runtime。

1. runk背景

kata-agent是在虛擬機(jī) (VM) 中運(yùn)行的進(jìn)程，作為管理容器和在這些容器中運(yùn)行的進(jìn)程的主管。換句話(huà)說(shuō)，kata-agent是 VM 內(nèi)部的一種“低級(jí)”容器運(yùn)行時(shí)，因?yàn)閍gent根據(jù) OCI 運(yùn)行時(shí)規(guī)范生成和運(yùn)行容器。但是，kata-agent沒(méi)有運(yùn)行時(shí)規(guī)范中定義的 OCI 命令行界面 (CLI)。kata-runtime提供了Kata Containers運(yùn)行時(shí)組件的 CLI 部分，但kata-runtime是一個(gè)容器運(yùn)行時(shí)，用于創(chuàng)建在主機(jī)上運(yùn)行的硬件虛擬化容器。

ManaSugi[1]發(fā)起了實(shí)驗(yàn)性質(zhì)的runk項(xiàng)目。runk是一個(gè)基于 Rust 的標(biāo)準(zhǔn) OCI 容器運(yùn)行時(shí)，它管理傳統(tǒng)的容器。runk旨在成為現(xiàn)有 OCI 兼容容器運(yùn)行時(shí)的替代方案之一。kata-agent具有容器運(yùn)行時(shí)所需的大部分功能，并且由于使用 Rust 語(yǔ)言實(shí)現(xiàn)，因此具有高性能和低內(nèi)存占用的特點(diǎn)。runk利用kata-agent的機(jī)制來(lái)避免重新發(fā)明輪子。

目前，runk仍然是實(shí)驗(yàn)性質(zhì)的工具，有一部分功能還有待實(shí)現(xiàn)。根據(jù) ManaSugi 提交的Proposal[2]，截止到目前，runk支持的功能如下：

我在這次CCF開(kāi)源夏令營(yíng)中新增實(shí)現(xiàn)的功能有l(wèi)ist/ps/exec/pause/resume子命令。

2. 新增子命令的作用和實(shí)現(xiàn)

2.1 list

list子命令用于列出當(dāng)前運(yùn)行的容器，列出的基本信息包括容器ID、進(jìn)程PID、狀態(tài)、Bundle、創(chuàng)建時(shí)間、所有者。運(yùn)行效果如下：

$ sudo runk list container1
ID  PID  STATUS   BUNDLE                                    CREATED                            OWNER
k1  0    stopped  /home/cyyzero/workspace/test/runk/bundle  2022-11-04 07:41:47.489394784 UTC  root

實(shí)現(xiàn)方式是遍歷root目錄下的所有子目錄，然后讀取state.json文件，解析出容器的基本信息并打印輸出。

2.2 ps

ps子命令用于列出容器內(nèi)的進(jìn)程信息。運(yùn)行效果如下：

$ sudo runk ps container1
  PID TTY          TIME CMD
    1 ?        00:00:00 sh
    2 ?        00:00:00 sleep
    3 pts/0    00:00:00 ps

實(shí)現(xiàn)方式是首先通過(guò)cgroup來(lái)獲取容器內(nèi)所有的pid；然后利用ps -ef命令搜集操作系統(tǒng)上所有進(jìn)程的信息。最后通過(guò)pid的比對(duì)，將容器進(jìn)程相關(guān)的信息打印出來(lái)。

2.3 exec

exec子命令用于在容器內(nèi)執(zhí)行一個(gè)新的進(jìn)程，它允許指定啟動(dòng)進(jìn)程的命令行參數(shù)、環(huán)境變量、cwd等信息。新進(jìn)程會(huì)通過(guò)setns系統(tǒng)調(diào)用來(lái)加入到容器的namesapce中，同時(shí)也會(huì)加入容器所在的cgroup進(jìn)程集合。

它與已實(shí)現(xiàn)的create和run命令類(lèi)似，依賴(lài)rustjail包里的LinuxContainer類(lèi)。LinuxContainer類(lèi)是agent啟動(dòng)容器的核心類(lèi)，針對(duì)每個(gè)容器會(huì)生成一個(gè)LinuxContainer實(shí)例，并通過(guò)這個(gè)對(duì)象來(lái)管理整個(gè)容器的生命周期，包括創(chuàng)建、啟動(dòng)、停止、刪除等一系列操作。runk也依賴(lài)LinuxContainer類(lèi)來(lái)啟動(dòng)容器進(jìn)程。目前只在兩個(gè)場(chǎng)景下使用：創(chuàng)建初始容器進(jìn)程(對(duì)應(yīng)create/run命令)和在已創(chuàng)建的容器中再啟動(dòng)額外進(jìn)程(對(duì)應(yīng)exec命令)。針對(duì)這兩種啟動(dòng)進(jìn)程的方式，我抽象出了兩個(gè)類(lèi)，InitContainer和ActivatedContainer，它們能夠生成ContainerLauncher類(lèi)的對(duì)象來(lái)啟動(dòng)進(jìn)程。

運(yùn)行方式如下：

# --pid-file 用于輸出啟動(dòng)進(jìn)程的進(jìn)程號(hào)，--env用于指定環(huán)境變量，--cwd用于指定工作目錄
$ sudo runk exec --pid-file container1.pid --env ENV1=test --cwd / container1 ls -l

2.4 pause/resume

pause/resume利用了cgroup的freezer子系統(tǒng)，可以?huà)炱鸹蛘呋謴?fù)cgroup集合中的進(jìn)程。

在cgroup_rs包中，已經(jīng)封裝好了對(duì)于freezer子系統(tǒng)的操作，目前支持cgroup v1和cgroup v2。核心代碼如下，可以很簡(jiǎn)單地改變?nèi)萜鞯膄reezer狀態(tài)。

pub fn freeze(cgroup: &cgroups::Cgroup, state: FreezerState) -> Result<()> {
    let freezer_controller: &FreezerController = cgroup
        .controller_of()
        .ok_or_else(|| anyhow!("failed to get freezer controller"))?;
    match state {
        FreezerState::Frozen => {
            freezer_controller.freeze()?;
        }
        FreezerState::Thawed => {
            freezer_controller.thaw()?;
        }
        _ => return Err(anyhow!("invalid freezer state")),
    }
    Ok(())
}

3. 遇到的特殊問(wèn)題

在cgroup v1，處于frozen狀態(tài)的進(jìn)程無(wú)法處理信號(hào)，所以對(duì)于kill命令，需要先將容器解除frozen狀態(tài)，然后再發(fā)送信號(hào)。詳情可以參考runc倉(cāng)庫(kù)的討論[5]。

4. 測(cè)試

目前，runk除了rust自帶的單元測(cè)試外，還添加了集成測(cè)試。集成測(cè)試的目的是驗(yàn)證runk的功能是否正常，以及runk與containerd的交互是否正常。集成測(cè)試的代碼在kata-containers/tests倉(cāng)庫(kù)的integration/containerd/runk/runk-tests.sh文件。測(cè)試會(huì)利用containerd自帶的調(diào)試工具ctr來(lái)調(diào)用runk，比如典型的容器啟動(dòng)命令如下：

# --runc-binary 用于指定runk的路徑，從而使用runk而非默認(rèn)的runc作為 OCI runtime
sudo ctr run --pid-file ${PID_FILE} --rm -d --runc-binary ${RUNK_BIN_PATH}  ${CONTAINER_ID}

5. 總結(jié)展望

在runk開(kāi)發(fā)的過(guò)程中，我學(xué)習(xí)到了安全容器的基本架構(gòu)，閱讀了一些容器相關(guān)的源碼（kata agent/runc/youki）,并輔以動(dòng)手編碼，加深了對(duì) OCI runtime 細(xì)節(jié)的了解。在參與 ·kata· 社區(qū)的定期周會(huì)以及 GitHub issue 討論中，我學(xué)習(xí)到了開(kāi)源社區(qū)的工作模式，也體驗(yàn)到了開(kāi)源社區(qū)的友好氛圍。在未來(lái)，我希望能夠繼續(xù)參與kata社區(qū)的開(kāi)發(fā)，為kata社區(qū)的發(fā)展做出貢獻(xiàn)。短期目標(biāo)來(lái)看，我會(huì)繼續(xù)專(zhuān)注runk，補(bǔ)全其他特性的開(kāi)發(fā)，并持續(xù)跟進(jìn)runk的測(cè)試，最終讓runk成為一個(gè)完善的 OCI runtime。

最后，感謝一直以來(lái)給予指導(dǎo)和review代碼的劉斌導(dǎo)師(@liubin)和Manabu Sugimoto(@ManaSugi)。

6. 個(gè)人介紹

我是來(lái)自中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心的研究生陳軼陽(yáng)，研究方向是超算環(huán)境的容器應(yīng)用。機(jī)緣巧合下從隔壁軟件所舉辦的開(kāi)源之夏活動(dòng)中知道了kata社區(qū)，并最終參加了GLCC開(kāi)源夏令營(yíng)，并做了一點(diǎn)微小的工作。

審核編輯：湯梓紅