rCore入門-來自清華的OS前沿教程

1. 簡介

rCore教程旨在一步一步展示如何從零開始用Rust語言寫一個基于RISC-V架構的類 Unix 內(nèi)核。值得注意的是， 本項目不僅支持模擬器環(huán)境（如Qemu/terminus 等），還支持在真實硬件平臺 Kendryte K210 上運行。

1.1 為什么要學習操作系統(tǒng)？

一名程序員的絕大部分工作都是在操作系統(tǒng)上面進行的。學習操作系統(tǒng)，深入了解操作系統(tǒng)原理，是每個合格的程序員必須要經(jīng)歷的。很多人學習 Rust 語言感到很吃力，基本上就是因為操作系統(tǒng)基礎知識薄弱造成的。通過自己實現(xiàn)一個操作系統(tǒng)，可以讓你對操作系統(tǒng)的理解不僅僅是停留在概念上。而且用 Rust 實現(xiàn)操作系統(tǒng)，對于 Rust 愛好者來說，更有意思。---上面應該是Rust大牛張漢東說的。

學習OS只是想更加了解Linux對當前工作輔助，可以參考我之前的一個文章介紹Linux 0.11的：os內(nèi)核入門-linux0.11編譯介紹。相對來說rCore更加學術前沿一些，關于學術和一個公司商用的技術，可能大家會有很多誤解，一般在醫(yī)學領域科研可能領先應用50年左右，計算機領域也可能領先15年左右。舉個例子之前介紹的seL4微內(nèi)核是一個學術性很先進的OS，十幾年前開發(fā)出來的，現(xiàn)在還沒大規(guī)模應用。

1.2 目前常見的操作系統(tǒng)內(nèi)核都是基于 C 語言的，為何要推薦 Rust 語言？

事實上，C 語言就是為寫 UNIX 而誕生的。Dennis Ritchie 和 KenThompson 沒有期望設計一種新語言能幫助高效地開發(fā)復雜與并發(fā)的操作系統(tǒng)邏輯(面向未來)，而是希望用一種簡潔的方式來代替難以使用的匯編語言抽象出計算機的行為，便于編寫控制計算機硬件的操作系統(tǒng)（符合當時實際情況）。

C 語言的指針既是天使又是魔鬼。它靈活且易于使用，但語言本身幾乎不保證安全性，且缺少有效的并發(fā)支持。這導致內(nèi)存和并發(fā)漏洞成為當前基于 C 語言的主流操作系統(tǒng)的噩夢。

Rust 語言具有與 C 一樣的硬件控制能力，且大大強化了安全編程和抽象編程能力。從某種角度上看，新出現(xiàn)的 Rust 語言的核心目標是解決 C 的短板，取代 C 。所以用 Rust 寫 OS 具有很好的開發(fā)和運行體驗。

用 Rust寫 OS 的代價僅僅是學會用 Rust 編程。

----上面摘自書中描述，下面講點我對Rust的理解。

計算機技術的發(fā)展還算比較快，在這個過程中軟件技術一直在更新，有的是因為要適應硬件，有的是要適應人類的需求，涌現(xiàn)出了大批的技術，最常見的是我們的桌面OS，還有很多桌面應用，這些大多是面向對象的C++、Java、Object-c實現(xiàn)的，還有一些嵌入式設備，沒有界面的，大部分用c語言這種面向過程的語言實現(xiàn)；網(wǎng)址網(wǎng)頁的應用更多用一些腳本語言，例如php js python去實現(xiàn)；還有一些人工智能的應用可能用一些偏向算法的語言，例如matlab去實現(xiàn)；一些服務器上運行的程序可能需要并發(fā)支持強的Go語言去實現(xiàn)，也適應多核CPU的硬件設計理念。這么多語言，就像一個江湖，里面有很多門派，如果要新搞一個門派，那一定需要博采眾長，成為一代宗師，厚積薄發(fā)才可以。

舉個游戲的例子，什么樣的游戲能受大眾的歡迎，“王者榮耀”可以說是老少皆宜，其又可以追溯到Dota，Dota可以說創(chuàng)造了此類玩法的流派，當年Dota的發(fā)展就是一個很好的例子，首先用戶主導，用戶給iceforge提需求想玩什么樣的角色，想玩什么的場景，然后不斷的更新英雄和地圖，英雄分三類：法師、力量型、敏捷型，基本涵蓋了玩游戲需求的場景，你是什么樣的性格就能找到自己對應的玩法，如上圖中?？梢哉fDota也是游戲領域的集大成者了。換個說法就是“精益求精、持續(xù)改進”。

所以現(xiàn)代的編程語言是一個可以一直演變的，今天新加了這個特性，明天又新加另外一個特性，才能保持活力，而古老的語言可能很久都不更新，也可能歷史的包袱太沉重，例如考慮兼容性和語言特長已無法再進行修改了。采眾之所長，可以說是我對Rust的一大感觸，首先底座基于C/C++，加入面向對象的思想，腳本語言的思想，并發(fā)、安全等思想，可以說是更高級的語言，包含了很多計算機技術的落地，所以對新手不友好，建議是多學幾門語言再學習Rust，就知道其好處了。缺點肯定也有，好的東西不是越多越好，可能會相互沖突，并且會造成不穩(wěn)定因素，更重要的是其弱小的時候得不到充分的驗證，有點像學術性的東西，大家也多抱觀望態(tài)度。就像上圖中畫的Rust吉祥物，一個大螃蟹：想橫著走，但是還需要第一個愿意吃螃蟹的人。

關于Rust的名字的來源：

rust直譯過來是一類真菌(中文中叫植物銹病的不少都是這類真菌造成的，如上圖中)，關于Rust的由來有很多說法：

直接因素是Mozilla公司和Chrome是對頭，chrome是鉻金屬，那么就需要Rust去腐蝕。

我更喜歡的解釋是：

這類真菌生物結構上沒有一個中心點,而是完全分布式的.是空間上無單點失敗的(想象下人類腦袋心臟隨便哪塊掉),非常魯棒.

這類真菌的生命周期中有五種形態(tài)(像毛毛蟲變蝴蝶這就是算有兩種形態(tài)),非常獨特,非常魯棒。有多獨特呢?筆者為了寫這個答案,苦搜wiki,發(fā)現(xiàn)查出來的這五種形態(tài) Pycniospore, Aecium ,Urediniospore , Telium ,Basidium 中間三種都是這類真菌獨有的.

有多魯棒呢?作為真菌,五種生物形態(tài)下的rust中的2,3,5形態(tài)甚至還能往前倒退到之前的形態(tài)(真正的回到娘胎重造),做到了避免時間上的單點失敗

有多種生物形態(tài),也是映射Rust多范式的特點吧

這類真菌在寄生的時候甚至可以是多宿主的,而且能在宿主間切換,也是映射Rust對語言間互操作性的重視(想想除了D基本沒語言能跟C++好好互操作,都只能操作C,大家只能依賴SWIG這種技術再人為定義接口才行).

這類真菌有一個特性叫Dikaryon, 用采訪中說的比喻就是類似當想夫妻兩想生孩子時候,可以同步并行得看看到底兩人的后代能有多少種組合,這種繁殖時候的并行性,是又雙叒叕一層的保證rust菌生存的魯棒性

1.3 目前常見的指令集架構是 x86 和 ARM ，為何要推薦 RISC-V ？

目前為止最常見的指令集架構是 x86 和 ARM ，它們已廣泛應用在服務器、臺式機、移動終端和很多嵌入式系統(tǒng)中。由于它們的通用性和向后兼容性需求，需要支持非常多（包括幾十年前實現(xiàn)）的軟件系統(tǒng)和應用需求，導致這些指令集架構越來越復雜。

x86 后向兼容的策略確保了它在桌面和服務器領域的江湖地位，但導致其丟不掉很多已經(jīng)比較過時的硬件設計，讓操作系統(tǒng)通過冗余的代碼來適配各種新老硬件特征。

x86 和ARM 在商業(yè)上都很成功，其廣泛使用使得其 CPU 硬件邏輯越來越復雜，且不夠開放，不能改變，不是開源的，難以讓感興趣探索硬件的學生了解硬件細節(jié)，在某種程度上讓CPU成為了一個黑盒子，并使得操作系統(tǒng)與硬件的交互變得不那么透明，增加了學習操作系統(tǒng)的負擔。

從某種角度上看，新出現(xiàn)的 RISC-V 的核心目標是靈活適應未來的AIoT（人工智能物聯(lián)網(wǎng), AI + IoT）場景，保證基本功能，提供可配置的擴展功能。其開源特征使得學生都可以深入CPU的運行細節(jié)，甚至可以方便地設計一個 RISC-VCPU。從而可幫助學生深入了解操作系統(tǒng)與硬件的協(xié)同執(zhí)行過程。

編寫面向 RISC-V 的 OS 的硬件學習代價僅僅是你了解 RISC-V 的 Supervisor特權模式，知道 OS 在 Supervisor 特權模式下的控制能力。

---上面還是書中的解釋，下面介紹點RISC-V的由來。

“芯片”是我國一個更大的痛點，拋開制造被美國各種卡脖子，在軟件指令集授權方面也是被交智商稅。你會說我們很多公司都會設計芯片，例如華為的麒麟芯片，或者國內(nèi)大部分廠商都自己造了芯片，這只是表象，核心是基本都買的ARM的授權，然后自己再改改。

先介紹下ARM，ARM指令集也是RISC精簡指令集，目前已經(jīng)占領了大部分芯片市場。但是其商業(yè)模式是賣芯片設計的，授權費相當?shù)陌嘿F，有時要上千萬美元，大企業(yè)還可以買，小公司就不行了，可以說“天下苦ARM久已”。

美國的高校想用也要付費，RISC指令集的創(chuàng)始人加州大學伯克利分校的David Patterson教授自己想用都不行。2010年，加州大學伯克利分校的一個研究團隊正在準備啟動一個新項目。在為新項目選擇指令集的時候，他們發(fā)現(xiàn)，x86指令集被Intel控制得死死的，ARM指令集的授權費又非常貴，MIPS、SPARC、PowerPC也存在知識產(chǎn)權問題。在牛人眼中，這么小兒科的東西還要收錢，直接新搞一個，并且使用BSDLicense開源協(xié)議，硬件也開源，沒錯就是這么瘋狂，誰想用誰用，不用付費，并且新一代的設計，吊打舊的技術。有點像Linus Torvalds當年svn收費還不好用直接開發(fā)了一個git一樣。

RISC-V是因為其前開發(fā)過四個版本，這是第五個版本。這么一個好東西，大家伙可以說一擁而上，短短幾年的時間里，包括谷歌、華為、阿里、IBM、鎂光、英偉達、高通、三星、西部數(shù)據(jù)等商業(yè)公司，以及加州大學伯克利分校、麻省理工學院、普林斯頓大學、ETH Zurich、印度理工學院、洛倫茲國家實驗室、新加坡南洋理工大學以及中科院計算所等學術機構，都紛紛加入RISC-V基金會。好處首先就是價格便宜，例如阿里的玄鐵開發(fā)板不足百元，可以硬剛樹莓派幾百元的價格。真是學生都可以隨便買，真香系列如下圖：

RISC-V當然作為新興的事物，也有缺點，跟上面說的Rust一樣，在發(fā)展的初期弱小的時候得不到充分驗證，一些缺點也被ARM抨擊，但是還是要多一些包容，其還在改進發(fā)展之中。作為“攪局者”，已經(jīng)把大旗插好了，就看大家的熱情了。

有興趣可以參考：https://zhuanlan.zhihu.com/p/73089738

2.課程介紹和代碼下載編譯運行

2.1課程介紹

本小節(jié)調(diào)一點課程里面，剛開始就介紹很精彩的部分，大家感受下。

操作系統(tǒng)抽象：

在計算機和操作系統(tǒng)的技術研究和發(fā)展的過程中，形成了一系列的核心（抽象）概念：執(zhí)行環(huán)境、進程、地址空間和文件，這些奠定了操作系統(tǒng)內(nèi)核設計與實現(xiàn)的基礎。

CPU在執(zhí)行過程中，可以在不同層次的執(zhí)行環(huán)境之間切換，這稱為執(zhí)行環(huán)境切換。執(zhí)行環(huán)境切換主要是通過特定的API或ABI來完成的，這樣不同執(zhí)行環(huán)境的軟件就能實現(xiàn)數(shù)據(jù)交換與互操作，而且還保證了彼此之間有清晰的隔離。對于應用程序的執(zhí)行環(huán)境而言，應用程序只能看到執(zhí)行環(huán)境直接提供給它的接口（API 或 ABI），這使得應用程序所能得到的服務取決于執(zhí)行環(huán)境提供給它的訪問接口。所以，操作系統(tǒng)可以看成是應用程序執(zhí)行環(huán)境，其形態(tài)可以是一個庫，也可以是一個虛擬機等，或者它們的某種組合形式。更清晰常見的形式如下圖：

應用程序的內(nèi)存布局：

在上圖中可以看到，代碼部分只有代碼段.text一個段，存放程序的所有匯編代碼。而數(shù)據(jù)部分則還可以繼續(xù)細化：

已初始化數(shù)據(jù)段保存程序中那些已初始化的全局數(shù)據(jù)，分為.rodata和.data兩部分。前者存放只讀的全局數(shù)據(jù)，通常是一些常數(shù)或者是常量字符串等；而后者存放可修改的全局數(shù)據(jù)。

未初始化數(shù)據(jù)段.bss保存程序中那些未初始化的全局數(shù)據(jù)，通常由程序的加載者代為進行零初始化，即將這塊區(qū)域逐字節(jié)清零；

堆（heap）區(qū)域用來存放程序運行時動態(tài)分配的數(shù)據(jù)，如 C/C++ 中的 malloc/new 分配到的數(shù)據(jù)本體就放在堆區(qū)域，它向高地址增長；

棧（stack）區(qū)域不僅用作函數(shù)調(diào)用上下文的保存與恢復，每個函數(shù)作用域內(nèi)的局部變量也被編譯器放在它的棧幀內(nèi)，它向低地址增長。

2.2 環(huán)境搭建和代碼下載運行

環(huán)境搭建主要是安裝Rust和qemu，參考：

http://rcore-os.cn/rCore-Tutorial-Book-v3/chapter0/5setup-devel-env.html

代碼下載參考第一章的代碼：

git clone https://github.com/rcore-os/rCore-Tutorial-v3.git cd rCore-Tutorial-v3 gitcheckoutch1 cd os makerun

打印的RUSTSBI是這個系統(tǒng)的BootLoader，也是用Rust語言寫的。

關于rCore系統(tǒng)整體的介紹，可以參考清華王潤基同學的畢業(yè)論文：

https://raw.githubusercontent.com/wiki/rcore-os/zCore/files/wrj-thesis.pdf

后記：

rCore也算是一個承前啟后的學習OS，可以學習OS的基本技術，另外Rust和RISC-V屬于未來的前沿技術，未來的OS很可能以此為根基。有一點rCore是一個宏內(nèi)核，這點不是太新穎，但是清華直接給補上了，下一篇會介紹更新的zCore。

審核編輯 ：李倩