如何搭建一個(gè)用于學(xué)習(xí)linux的QEMU環(huán)境？

1.開場(chǎng)白

環(huán)境：

處理器架構(gòu)：arm64

內(nèi)核源碼：linux-5.9.2

ubuntu版本：20.04.1

代碼閱讀工具：vim+ctags+cscope

對(duì)于Ｌinux愛好者，你是否也有這樣的困擾，為了學(xué)習(xí)Ｌinux而去購(gòu)買昂貴的開發(fā)版，這大可不必，QEMU模擬器幾乎可以滿足你的需求，足夠你去學(xué)習(xí)Linux，它能夠模擬x86， arm， riscv等各種處理器架構(gòu)，本文將向你呈現(xiàn)的不是QEMU/虛擬化的原理解讀，而是如何搭建一個(gè)用于學(xué)習(xí)linux的QEMU環(huán)境，當(dāng)然對(duì)于Ｌinux內(nèi)核的學(xué)習(xí)這已經(jīng)足夠了。

注：這篇文章是之前寫的，當(dāng)時(shí)最新內(nèi)核版本是linux-5.9.２，不想做重復(fù)工作，現(xiàn)在基本上都使用linux-5.11內(nèi)核講解代碼，但是qemu環(huán)境搭建基本一致，且本文暫不涉及虛擬化講解。

2.交叉編譯工具鏈的安裝

工欲善其事必先利其器，搭建ＱＥＭＵ的模擬環(huán)境首先需要下載安裝對(duì)應(yīng)架構(gòu)的交叉編譯工具鏈（這里是arm64架構(gòu)）：注：有時(shí)候需要安裝一些依賴，根據(jù)提示安裝即可！

$ sudo apt-get install gcc-aarch64-linux-gnu `

安裝完成之后查看版本說明安裝完成：

$ aarch64-linux-gnu-gcc -v

Using built-in specs.

COLLECT_GCC=aarch64-linux-gnu-gcc

COLLECT_LTO_WRAPPER=/usr/lib/gcc-cross/aarch64-linux-gnu/5/lto-wrapper

Target： aarch64-linux-gnu

Configured with： 。./src/configure -v --with-pkgversion=‘Ubuntu/Linaro 5.5.0-12ubuntu1’ --with-bugurl=file:///usr/share/doc/gcc-5/README.Bugs --enable-languages=c，ada，c++，go，d，fortran，objc，obj-c++ --prefix=/usr --program-suffix=-5 --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --with-sysroot=/ --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-libquadmath --enable-plugin --enable-default-pie --with-system-zlib --enable-multiarch --enable-fix-cortex-a53-843419 --disable-werror --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=aarch64-linux-gnu --program-prefix=aarch64-linux-gnu- --includedir=/usr/aarch64-linux-gnu/include

Thread model： posix

gcc version 5.5.0 20171010 （Ubuntu/Linaro 5.5.0-12ubuntu1）

3.QEMU的安裝

下面安裝我們的QEMU，當(dāng)然我們可以下載QEMU的源碼通過編譯的方式安裝，但這里我們是直接apt-get的這種方式安裝：

$ sudo apt-get install qemu-system-arm

安裝完成之后同樣查看版本號(hào)：

$ qemu-system-aarch64 --version

QEMU emulator version 4.2.0

Copyright （c） 2003-2019 Fabrice Bellard and the QEMU Project developers

說明安裝成功！

4．根文件系統(tǒng)制作

這一步我們將要完成的是最小的根文件系統(tǒng)，雖然是最小的根文件系統(tǒng)，但是我們還是希望能夠運(yùn)行動(dòng)態(tài)編譯的應(yīng)用程序，具體的制作過程如下：

１）首先準(zhǔn)備下載一份Busybox源碼：Busybox的官方源碼下載路徑為：

http://busybox.net/downloads/

這里我們使用的是busybox-1.28.1：

2）解壓源碼

tar xvf busybox-1.28.1.tar.bz2

3）進(jìn)入源碼目錄

cd busybox-1.28.1

4）指定工具鏈

export ARCH=arm64

export CROSS_COMPILE=aarch64-linux-gnu-

5）配置

make menuconfig1靜態(tài)編譯：

Settings ---》

［*］ Build static binary （no shared libs）

6）編譯安裝

make

make install

7）完善其他目錄結(jié)構(gòu)上面我們編譯安裝完成之后會(huì)在busybox源碼目錄的_install目錄下生成必要的一些文件：

$ ls

bin linuxrc sbin usr

可以看到都是一些命令相關(guān)的文件已經(jīng)作為init進(jìn)程的linuxrc，缺少其他的一些配置文件等目錄，所以需要進(jìn)一步完善。

我們來創(chuàng)建其他需要的目錄：

mkdir dev etc lib sys proc tmp var home root mnt

我們主要需要更新etc、dev和lib目錄：

１）對(duì)于etc目錄的更新：

添加profile文件：

#！/bin/sh

export HOSTNAME=liebao

export USER=root

export HOME=/home

export PS1=“［$USER@$HOSTNAME W］# ”

PATH=/bin:/sbin:/usr/bin:/usr/sbin

LD_LIBRARY_PATH=/lib:/usr/lib：$LD_LIBRARY_PATH

export PATH LD_LIBRARY_PATH

可以看到我們自定義了命令提示符，cd進(jìn)入了我們制定的家目錄homes，導(dǎo)出了環(huán)境變量。

添加inittab文件：

：/etc/init.d/rcS

：-/bin/sh

：-/bin/sh

：/bin/umount -a -r

這個(gè)是init進(jìn)程解析的配置文件，通過這個(gè)配置文件決定執(zhí)行哪個(gè)進(jìn)程，何時(shí)執(zhí)行。

添加fstab文件：

#device mount-point type options dump fsck order

proc /proc proc defaults 0 0

tmpfs /tmp tmpfs defaults 0 0

sysfs /sys sysfs defaults 0 0

tmpfs /dev tmpfs defaults 0 0

debugfs /sys/kernel/debug debugfs defaults 0 0

kmod_mount /mnt 9p trans=virtio 0 0

指定掛載的文件系統(tǒng)。

創(chuàng)建init.d目錄：

mkdir init.d

init.d下添加rcS文件：

mkdir -p /sys

mkdir -p /tmp

mkdir -p /proc

mkdir -p /mnt

/bin/mount -a

mkdir -p /dev/pts

mount -t devpts devpts /dev/pts

echo /sbin/mdev 》 /proc/sys/kernel/hotplug

mdev -s

到此我們etc下的文件都制作好了，目錄結(jié)構(gòu)如下：

$ tree

。

├── fstab

├── init.d

│ └── rcS

├── inittab

└── profile

1 directory， 4 files

２）制作dev下必要文件：

cd dev/

sudo mknod console c 5 1

制作lib下必要文件：為了支持動(dòng)態(tài)編譯的應(yīng)用程序的執(zhí)行，根文件系統(tǒng)需要支持動(dòng)態(tài)庫(kù)，所以我們添加arm64相關(guān)的動(dòng)態(tài)庫(kù)文件到lib下：

cd lib

cp /usr/aarch64-linux-gnu/lib/*.so* -a 。

對(duì)庫(kù)文件進(jìn)行瘦身（去除符號(hào)表和調(diào)試信息），使得庫(kù)文件變?。?/p>

aarch64-linux-gnu-strip *

至此，我們的最小的根文件系統(tǒng)已經(jīng)全部制作完成！

5．內(nèi)核源碼的編譯

１）下載最新的Ｌiunx內(nèi)核源碼：

官網(wǎng)下載最新的Ｌinux-5.9.２內(nèi)核：http://www.kernel.org/pub/linux/kernel/

２）解壓

tar xvf linux-5.9.2.tar.xz

３）放置根文件系統(tǒng)到源碼目錄：

cd linux-5.9.2

cp 。./。./busybox-1.31.1/_install _install_arm64 -a

４）配置

添加hotplug支持：

diff --git a/arch/arm64/configs/defconfig b/arch/arm64/configs/defconfig

index 6d04b9577..f89143b69 100644

--- a/arch/arm64/configs/defconfig

+++ b/arch/arm64/configs/defconfig

@@ -1043，3 +1043，6 @@ CONFIG_DEBUG_KERNEL=y

#CONFIG_DEBUG_PREEMPT is not set

#CONFIG_FTRACE is not set

CONFIG_MEMTEST=y

+

+CONFIG_UEVENT_HELPER=y

+CONFIG_UEVENT_HELPER_PATH=“/sbin/hotplug”

添加initramfs的支持：

diff --git a/arch/arm64/configs/defconfig b/arch/arm64/configs/defconfig

index f89143b69..caa7a34bf 100644

--- a/arch/arm64/configs/defconfig

+++ b/arch/arm64/configs/defconfig

@@ -1046，3 +1046，5 @@ CONFIG_MEMTEST=y

CONFIG_UEVENT_HELPER=y

CONFIG_UEVENT_HELPER_PATH=“/sbin/hotplug”

+

+CONFIG_INITRAMFS_SOURCE=“_install_arm64”

４）編譯

現(xiàn)在進(jìn)行漫長(zhǎng)的編譯過程，編譯的快慢取決于電腦的性能：

export ARCH=arm64

export CROSS_COMPILE=aarch64-linux-gnu-

make defconfig

make all -j8

6.開始體驗(yàn)

１）創(chuàng)建共享目錄

$ mkdir kmodules

用于主機(jī)和qemu運(yùn)行的系統(tǒng)進(jìn)行共享文件。

２）運(yùn)行ｑｅｍｕ模擬器：

qemu-system-aarch64 -machine virt -cpu cortex-a57 -machine type=virt

-m 1024 -smp 4 -kernel arch/arm64/boot/Image --append “rdinit=/linuxrc root=/dev/vda rw console=ttyAMA0 loglevel=8” -nographic

--fsdev local，id=kmod_dev，path=$PWD/kmodules，security_model=none

-device virtio-9p-device，fsdev=kmod_dev，mount_tag=kmod_mount

其中：-cpu指定了模擬的cpu為 cortex-a57，-m 1024 指定內(nèi)存大小為１Ｇ， -smp 4指定模擬的系統(tǒng)為４核處理器 ，-kernel指定啟動(dòng)的內(nèi)核鏡像， --append指定傳遞的命令行參數(shù)，后面的選項(xiàng)指定共享目錄已經(jīng)使用的９P協(xié)議。

運(yùn)行起來之后就進(jìn)入了跟文件系統(tǒng)：

Please press Enter to activate this console.

［root@liebao ］#

［root@liebao ］#

［root@liebao ］#

［root@liebao ］# uname -a

Linux （none） 5.9.2-gacff57f0a #1 SMP PREEMPT Sat Oct 31 1125 CST 2020 aarch64 GNU/Linux

可以看到內(nèi)核版本是我們編譯的新的Ｌinux-5.9.２內(nèi)核，到處我們成功搭建了ＱＥＭＵ環(huán)境來運(yùn)行我們的新內(nèi)核。

３）使用模擬磁盤

上面我們使用initramfs的方式將我們的根文件系統(tǒng)的目錄直接打包到內(nèi)核源碼，成為了內(nèi)核的一部分，當(dāng)然這個(gè)時(shí)候可以操作文件，但是文件都是在內(nèi)存中，系統(tǒng)重啟就會(huì)丟失，所以下面我們使用模擬磁盤的方式來掛載根文件系統(tǒng)。

制作磁盤文件：

dd if=/dev/zero of=rootfs_ext4.img bs=1M count=8192

mkfs.ext4 rootfs_ext4.img

mkdir -p tmpfs

mount -t ext4 rootfs_ext4.img tmpfs/ -o loop

cp -af _install_arm64/* tmpfs/

umount tmpfs

rm -rf tmpfs

chmod 777 rootfs_ext4.img

執(zhí)行qemu命令：

qemu-system-aarch64 -machine virt -cpu cortex-a57 -machine type=virt

-m 1024 -smp 4 -kernel arch/arm64/boot/Image --append “noinitrd root=/dev/vda rw console=ttyAMA0 loglevel=8” -nographic

-driver if=none，file=rootfs_ext4.img，id=hd0

-device virtio-blk-device，drive=hd0

--fsdev local，id=kmod_dev，path=$PWD/kmodules，security_model=none

-device virtio-9p-device，fsdev=kmod_dev，mount_tag=kmod_mount

我們可以發(fā)現(xiàn)，傳遞給內(nèi)核的命令行參數(shù)變化了，添加了noinitrd選項(xiàng)，這樣就會(huì)掛載我們自己的模擬磁盤。

同樣能進(jìn)入到最小文件系統(tǒng)，但是這次我們查看：

［root@liebao ］# df -mh

Filesystem Size Used Available Use% Mounted on

/dev/root 7.8G 148.5M 7.3G 2% /

devtmpfs 468.4M 0 468.4M 0% /dev

tmpfs 489.8M 0 489.8M 0% /tmp

kmod_mount 901.1G 672.5G 182.8G 79% /mnt

可以看到大小為８Ｇ的磁盤可以我們使用，而且文件的操作重啟之后不會(huì)丟失?。?！

４）共享文件

前面已經(jīng)支持了主機(jī)和ｑｅｍｕ上的系統(tǒng)共享目錄，這個(gè)目錄就是kmodules目錄：通過mount可以查看被掛載到了ｑｅｍｕ上的系統(tǒng)的/mnt目錄下

在主機(jī)的內(nèi)核源碼目錄的kmodules目錄中ｅｃｈｏ一個(gè)文件：

$ echo “Hello QEMU” 》 test.txt

然后進(jìn)入到我們啟動(dòng)ｑｅｍｕ的內(nèi)核根文件系統(tǒng)的/mnt目錄：

［root@liebao ］# cd /mnt/

［root@liebao mnt］# ls

［root@liebao mnt］# ls

test.txt

［root@liebao mnt］#

［root@liebao mnt］# cat test.txt

Hello QEMU

可以看到我們之前寫的文件，共享目錄ＯＫ！

5）測(cè)試－》應(yīng)用測(cè)試：我們來寫一個(gè)簡(jiǎn)單的hello world應(yīng)用程序，體驗(yàn)一下在ＱＥＭＵ中的系統(tǒng)執(zhí)行：源碼如下：

#include 《stdio.h》

int main（int argc， char **argv）

{

printf（“Hello World， QEMU?。?！

”）;

return 0;

}

然后使用交叉編譯工具鏈動(dòng)態(tài)編譯：

$ aarch64-linux-gnu-gcc test.c -o test

拷貝到共享目錄下：

cp test 。./。./kmodules/

在ＱEMU系統(tǒng)中，進(jìn)入/mnt目錄下執(zhí)行：

［root@liebao mnt］# 。/test

Hello World， QEMU！??！

可以發(fā)現(xiàn)被成功執(zhí)行了，說明模擬出來的系統(tǒng)可以運(yùn)行應(yīng)用程序，而且可以使用動(dòng)態(tài)鏈接庫(kù)?。?！

-》內(nèi)核模塊測(cè)試：下面寫一個(gè)簡(jiǎn)單的內(nèi)核模塊：

Ｍakefile文件：

export ARCH=arm64

export CROSS_COMPILE=aarch64-linux-gnu-

KERNEL_DIR ？= /home/hanch/study/kernel/linux-5.9.2

obj-m ：= module_test.o

modules：

$（MAKE） -C $（KERNEL_DIR） M=$（PWD） modules

clean：

$（MAKE） -C $（KERNEL_DIR） M=$（PWD） clean

install：

cp *.ko $（KERNEL_DIR）/kmodules

內(nèi)核模塊文件module_test.c：

#include 《linux/init.h》

#include 《linux/module.h》

#include 《linux/kernel.h》

static int __init module_test_init（void）

{

printk（“module_test_init

”）;

return 0;

}

static void __exit module_test_exit（void）

{

printk（“module_test_exit

”）;

}

module_init（module_test_init）;

module_exit（module_test_exit）;

MODULE_LICENSE（“GPL”）;

編譯拷貝：

$ make modules

make -C /home/hanch/study/kernel/linux-5.9.2 M=/home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg modules

make［1］： 進(jìn)入目錄“/home/hanch/study/kernel/linux-5.9.2”

CC ［M］ /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/module_test.o

MODPOST /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/Module.symvers

CC ［M］ /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/module_test.mod.o

LD ［M］ /home/hanch/study/kernel/linux-5.9.2/mydriver/module_eg/module_test.ko

make［1］： 離開目錄“/home/hanch/study/kernel/linux-5.9.2”

$ make install

cp *.ko /home/hanch/study/kernel/linux-5.9.2/kmodules

到QEMU的內(nèi)核系統(tǒng)中，進(jìn)入/mnt目錄下：執(zhí)行模塊的插入/移除：

［root@liebao mnt］# insmod module_test.ko

［ 1406.614976］ module_test_init

［root@liebao mnt］# lsmod

module_test 16384 0 - Live 0xffff800008d40000 （O）

［root@liebao mnt］# rmmod module_test

［ 1424.748114］ module_test_exit

內(nèi)核模塊也正常運(yùn)行?。?！

文章到這里關(guān)于ＱＥＭＵ體驗(yàn)最新的Ｌinux內(nèi)核已經(jīng)完成了，當(dāng)然ＱＥＭＵ有多功能在此不在描述，目前配置的ＱＥＭＵ環(huán)境已經(jīng)足夠內(nèi)核的學(xué)習(xí)和實(shí)際，只有大量的內(nèi)核源代碼＋在一種體系架構(gòu)的處理器上實(shí)際內(nèi)核才能真正的去理解內(nèi)核的實(shí)現(xiàn)機(jī)理，才能更好去使用內(nèi)核。

原文標(biāo)題：使用QEMU搭建ARM64實(shí)驗(yàn)環(huán)境

文章出處：【微信公眾號(hào)：Linuxer】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq