教你們?nèi)绾问褂胑BPF追蹤LINUX內(nèi)核

1. 前言

我們可以使用BPF對Linux內(nèi)核進行跟蹤，收集我們想要的內(nèi)核數(shù)據(jù)，從而對Linux中的程序進行分析和調(diào)試。與其它的跟蹤技術相比，使用BPF的主要優(yōu)點是幾乎可以訪問Linux內(nèi)核和應用程序的任何信息，同時，BPF對系統(tǒng)性能影響很小，執(zhí)行效率很高，而且開發(fā)人員不需要因為收集數(shù)據(jù)而修改程序。

本文將介紹保證BPF程序安全的BPF驗證器，然后以BPF程序的工具集BCC為例，分享kprobes和tracepoints類型的BPF程序的使用及程序編寫示例。

2. BPF驗證器

BPF借助跟蹤探針收集信息并進行調(diào)試和分析，與其它依賴于重新編譯內(nèi)核的工具相比，BPF程序的安全性更高。重新編譯內(nèi)核引入外部模塊的方式，可能會因為程序的錯誤而產(chǎn)生系統(tǒng)奔潰。BPF程序的驗證器會在BPF程序加載到內(nèi)核之前分析程序，消除這種風險。

BPF驗證器執(zhí)行的第一項檢查是對BPF虛擬機加載的代碼進行靜態(tài)分析，目的是確保程序能夠按照預期結束。驗證器在進行第一項檢查時所做工作為：

程序不包含控制循環(huán)；

程序不會執(zhí)行超過內(nèi)核允許的最大指令數(shù)；

程序不包含任何無法到達的指令；

程序不會超出程序界限。

BPF驗證器執(zhí)行的第二項檢查是對BPF程序進行預運行，所做工作為：

分析BPF程序執(zhí)行的每條指令，確保不會執(zhí)行無效指令；

檢查所有內(nèi)存指針是否可以正確訪問和引用；

預運行將程序控制流的執(zhí)行結果通知驗證器，確保BPF程序最終都會執(zhí)行BPF_EXIT指令。

3. 內(nèi)核探針 kprobes

內(nèi)核探針可以跟蹤大多數(shù)內(nèi)核函數(shù)，并且系統(tǒng)損耗最小。當跟蹤的內(nèi)核函數(shù)被調(diào)用時，附加到探針的BPF代碼將被執(zhí)行，之后內(nèi)核將恢復正常模式。

3.1 kprobes類BPF程序的優(yōu)缺點

優(yōu)點 動態(tài)跟蹤內(nèi)核，可跟蹤的內(nèi)核函數(shù)眾多，能夠提取內(nèi)核絕大部分信息。

缺點 沒有穩(wěn)定的應用程序二進制接口，可能隨著內(nèi)核版本的演進而更改。

3.2 kprobes

kprobe程序允許在執(zhí)行內(nèi)核函數(shù)之前插入BPF程序。當內(nèi)核執(zhí)行到kprobe掛載的內(nèi)核函數(shù)時，先運行BPF程序，BPF程序運行結束后，返回繼續(xù)開始執(zhí)行內(nèi)核函數(shù)。下面是一個使用kprobe的bcc程序示例，功能是監(jiān)控內(nèi)核函數(shù)kfree_skb函數(shù)，當此函數(shù)觸發(fā)時，記錄觸發(fā)它的進程pid，進程名字和觸發(fā)次數(shù)，并打印出觸發(fā)此函數(shù)的進程pid，進程名字和觸發(fā)次數(shù)：

#！/usr/bin/python3

# coding=utf-8

from __future__ import print_function

from bcc import BPF

from time import sleep

# define BPF program

bpf_program = “”“

#include 《uapi/linux/ptrace.h》

struct key_t{

u64 pid;

};

BPF_HASH（counts， struct key_t）;

int trace_kfree_skb（struct pt_regs *ctx） {

u64 zero = 0， *val， pid;

pid = bpf_get_current_pid_tgid（） 》》 32;

struct key_t key = {};

key.pid = pid;

val = counts.lookup_or_try_init（&key， &zero）;

if （val） {

（*val）++;

}

return 0;

}

”“”

def pid_to_comm（pid）：

try：

comm = open（“/proc/%s/comm” % pid， “r”）.read（）.rstrip（）

return comm

except IOError：

return str（pid）

# load BPF

b = BPF（text=bpf_program）

b.attach_kprobe（event=“kfree_skb”， fn_name=“trace_kfree_skb”）

# header

print（“Tracing kfree_skb.。。 Ctrl-C to end.”）

print（“%-10s %-12s %-10s” % （“PID”， “COMM”， “DROP_COUNTS”））

while 1：

sleep（1）

for k， v in sorted（b［“counts”］.items（），key = lambda counts： counts［1］.value）：

print（“%-10d %-12s %-10d” % （k.pid， pid_to_comm（k.pid）， v.value））

該bcc程序主要包括兩個部分，一部分是python語言，一部分是c語言。python部分主要做的工作是BPF程序的加載和操作BPF程序的map，并進行數(shù)據(jù)處理。c部分會被llvm編譯器編譯為BPF字節(jié)碼，經(jīng)過BPF驗證器驗證安全后，加載到內(nèi)核中執(zhí)行。python和c中出現(xiàn)的陌生函數(shù)可以查下面這兩個手冊，在此不再贅述：

python部分遇到的陌生函數(shù)可以查這個手冊： 點此跳轉(zhuǎn)

c部分中遇到的陌生函數(shù)可以查這個手冊： 點此跳轉(zhuǎn)

需要說明的是，該BPF程序類型是kprobe，它是在這里進行程序類型定義的：

b.attach_kprobe（event=“kfree_skb”， fn_name=“trace_kfree_skb”）

b.attach_kprobe（）指定了該BPF程序類型為kprobe；

event=“kfree_skb”指定了kprobe掛載的內(nèi)核函數(shù)為kfree_skb；

fn_name=“trace_kfree_skb”指定了當檢測到內(nèi)核函數(shù)kfree_skb時，執(zhí)行程序中的trace_kfree_skb函數(shù)；

BPF程序的第一個參數(shù)總為ctx，該參數(shù)稱為上下文，提供了訪問內(nèi)核正在處理的信息，依賴于正在運行的BPF程序的類型。CPU將內(nèi)核正在執(zhí)行任務的不同信息保存在寄存器中，借助內(nèi)核提供的宏可以訪問這些寄存器，如PT_REGS_RC。

程序運行結果如下：

3.3 kretprobes

相比于內(nèi)核探針kprobe程序，kretprobe程序是在內(nèi)核函數(shù)有返回值時插入BPF程序。當內(nèi)核執(zhí)行到kretprobe掛載的內(nèi)核函數(shù)時，先執(zhí)行內(nèi)核函數(shù)，當內(nèi)核函數(shù)返回時執(zhí)行BPF程序，運行結束后返回。

以上面的BPF程序為例，若要使用kretprobe，可以這樣修改：

b.attach_kretprobe（event=“kfree_skb”， fn_name=“trace_kfree_skb”）

b.attach_kretprobe（）指定了該BPF程序類型為kretprobe，kretprobe類型的BPF程序?qū)⒃诟櫟膬?nèi)核函數(shù)有返回值時執(zhí)行BPF程序；

event=“kfree_skb”指定了kretprobe掛載的內(nèi)核函數(shù)為kfree_skb；

fn_name=“trace_kfree_skb”指定了當內(nèi)核函數(shù)kfree_skb有返回值時，執(zhí)行程序中的trace_kfree_skb函數(shù)；

4. 內(nèi)核靜態(tài)跟蹤點 tracepoint

tracepoint是內(nèi)核靜態(tài)跟蹤點，它與kprobe類程序的主要區(qū)別在于tracepoint由內(nèi)核開發(fā)人員在內(nèi)核中編寫和修改。

4.1 tracepoint 程序的優(yōu)缺點

優(yōu)點 跟蹤點是靜態(tài)的，ABI更穩(wěn)定，不隨內(nèi)核版本的變化而致不可用。

缺點 跟蹤點是內(nèi)核人員添加的，不會全面涵蓋內(nèi)核的所有子系統(tǒng)。

4.2 tracepoint 可用跟蹤點

系統(tǒng)中所有的跟蹤點都定義在/sys/kernel/debug/traceing/events目錄中：

使用命令perf list 也可以列出可使用的tracepoint點：

對于bcc程序來說，以監(jiān)控kfree_skb為例，tracepoint程序可以這樣寫：

b.attach_tracepoint（tp=“skb:kfree_skb”， fn_name=“trace_kfree_skb”）

bcc遵循tracepoint命名約定，首先是指定要跟蹤的子系統(tǒng)，這里是“skb：”，然后是子系統(tǒng)中的跟蹤點“kfree_skb”：

5. 總結

本文主要介紹了保證BPF程序安全的BPF驗證器，然后以BPF程序的工具集BCC為例，分享了kprobes和tracepoints類型的BPF程序的使用及程序編寫示例。本文分享的是內(nèi)核跟蹤，那么用戶空間程序該如何跟蹤呢，這將在后面的文章中逐步分享，感謝閱讀。

參考資料：

若未安裝bcc，請參考下方網(wǎng)址進行安裝；

https://github.com/iovisor/bcc/blob/master/INSTALL.md

bcc程序編寫指導手冊

https://github.com/iovisor/bcc/blob/master/docs/reference_guide.md

參考書《Linux內(nèi)核觀測技術 BPF》

編輯：jq