借助Linux內(nèi)核文件操作監(jiān)控機(jī)制inotify協(xié)助定位

嵌入式Linux系統(tǒng)在運(yùn)行時(shí)，除了小概率的因突然斷電等非正常關(guān)機(jī)造成的文件系統(tǒng)損壞之外，更大概率的是因?yàn)閼?yīng)用程序編程不當(dāng)，造成對(duì)Nandflash的頻繁擦寫(xiě)，行業(yè)術(shù)語(yǔ)稱(chēng)之為 過(guò)度編程（Over Program） ，逼近Nandflash約十萬(wàn)次的擦寫(xiě)壽命，表現(xiàn)為Nandflash的某些塊/頁(yè)陸續(xù)出現(xiàn)位反轉(zhuǎn)（bit flip，所謂位反轉(zhuǎn)，指的是原先Nandflash中存儲(chǔ)的某個(gè)數(shù)據(jù)位變化了，即要么從1變成了0，要么從0變成了1）的現(xiàn)象，少量的位反轉(zhuǎn)是可以靠硬件/軟件ECC（Error Checking and Correction，錯(cuò)誤檢查和糾正）算法自糾過(guò)來(lái)的，但大量的位反轉(zhuǎn)超出ECC的糾正能力之后，會(huì)導(dǎo)致文件系統(tǒng)數(shù)據(jù)損壞，嚴(yán)重時(shí)會(huì)導(dǎo)致系統(tǒng)崩潰，終端運(yùn)行不起來(lái)。

對(duì)于大規(guī)模量產(chǎn)的終端設(shè)備而言，這種問(wèn)題一旦發(fā)生，往往不是升級(jí)下應(yīng)用程序就能解決的，因?yàn)榈讓哟鎯?chǔ)器件的壽命已到，必需要更換硬件才行，這會(huì)給公司帶來(lái)大量的人力、物力及財(cái)力消耗，公司產(chǎn)品口碑也會(huì)受到影響，后果是非常嚴(yán)重的。

然而現(xiàn)實(shí)中，采用嵌入式Linux系統(tǒng)的應(yīng)用程序，其代碼規(guī)模一般都不會(huì)很小，少則幾萬(wàn)十幾萬(wàn)行，多則幾十上百萬(wàn)行，想要快速找到應(yīng)用程序中對(duì)文件寫(xiě)操作比較頻繁的地方，猶如大海撈針。這種情況下，尋找一種快速有效的方法，協(xié)助我們研發(fā)人員快速定位問(wèn)題所在，將有問(wèn)題的應(yīng)用程序在家里提前暴露出來(lái)，不要流到現(xiàn)場(chǎng)等著問(wèn)題去爆發(fā)，就顯得尤為重要。

Linux內(nèi)核從2.6.13版本起，加入了inotify特性，這是一種文件系統(tǒng)的變化通知機(jī)制，通過(guò)inotify可以監(jiān)控文件系統(tǒng)中添加、刪除、修改，移動(dòng)等各種文件操作，當(dāng)事件發(fā)生時(shí)可及時(shí)發(fā)出相關(guān)的事件警告。利用這個(gè)內(nèi)核接口，第三方軟件就可以監(jiān)控文件系統(tǒng)下文件的各種變化情況。

具體實(shí)施方式

以嵌入式Linux系統(tǒng)常用的ubi文件系統(tǒng)為例，具體步驟如下：

步驟1： 觀察內(nèi)核啟動(dòng)時(shí)掛載ubi文件系統(tǒng)時(shí)的打印信息，或者在系統(tǒng)正常運(yùn)行過(guò)程中隨時(shí)輸入ubinfo命令，查看目前文件系統(tǒng)對(duì)Nandflash閃存的最大擦寫(xiě)次數(shù)。

ubinfo -d 0

ubi0

Volumes count: 1

Logical eraseblock size: 126976 bytes, 124.0 KiB

Total amount of logical eraseblocks: 400 (50790400 bytes, 48.4 MiB)

Amount of available logical eraseblocks: 0 (0 bytes)

Maximum count of volumes 128

Count of bad physical eraseblocks: 0

Count of reserved physical eraseblocks: 8

Current maximum erase counter value: 36864

Minimum input/output unit size: 2048 bytes

Character device major/minor: 251:0

Present volumes: 0

步驟2： 正常如果應(yīng)用程序沒(méi)有過(guò)度編程的話，上面顯示的最大擦寫(xiě)次數(shù)（Current maximum erase counter value）一般不會(huì)很大，如果看到這種幾萬(wàn)次的擦寫(xiě)次數(shù)，或者短時(shí)間內(nèi)這個(gè)最大擦寫(xiě)次數(shù)增長(zhǎng)比較快，說(shuō)明應(yīng)用程序中應(yīng)該有過(guò)度編程的情況，這時(shí)我們可以借助Linux系統(tǒng)中的文件操作監(jiān)控工具inotify協(xié)助定位。

步驟3： 在inotify的站點(diǎn)下載inotify-tools監(jiān)控工具源代碼，這里以版本inotify-tools-3.13.tar.gz為例。

步驟4： 由于嵌入式Linux系統(tǒng)一般運(yùn)行在ARM平臺(tái)上，需要將上面下載的源代碼進(jìn)行交叉編譯（cross-compiling，所謂交叉編譯，就是在一種平臺(tái)上編譯，編譯出來(lái)的程序，放到別的平臺(tái)上運(yùn)行，即編譯環(huán)境和運(yùn)行環(huán)境不一樣，這個(gè)概念主要和嵌入式開(kāi)發(fā)有關(guān)，一般是在x86平臺(tái)上編譯，在ARM平臺(tái)上運(yùn)行），生成inotifywait、inotifywatch可執(zhí)行程序及運(yùn)行時(shí)需要的庫(kù)文件。

make CC=arm-none-linux-gnueabi-gcc

步驟5： 將交叉編譯后生成的inotifywait、inotifywatch可執(zhí)行程序上傳到嵌入式Linux設(shè)備的/sbin目錄下，并修改可執(zhí)行權(quán)限。

chmod 755 inotifywait
chmod 755 inotifywatch

步驟6： 將交叉編譯后生成的庫(kù)文件libinotifytools.so.0.4.1上傳到嵌入式Linux設(shè)備的/lib目錄下，并在/lib目錄下建立符號(hào)鏈接。

ln -s libinotifytools.so.0.4.1 libinotifytools.so.0

步驟7： 執(zhí)行如下命令即可啟動(dòng)對(duì)文件操作的監(jiān)聽(tīng)。

inotifywait -mrq --timefmt '%y/%m/%d %H:%M' --format '%T %w %f %e' -e modify,delete,create,attrib --exclude 'ptmx|pts|ttyS*' /

其中：

--timefmt選項(xiàng)用于控制打印出來(lái)的時(shí)間格式，這里采用了“年/月/日 時(shí):分”的格式。

--exclude選項(xiàng)用于剔除過(guò)濾不需要監(jiān)控的文件名稱(chēng)，支持通配符*過(guò)濾。

-e選項(xiàng)用于注冊(cè)要監(jiān)聽(tīng)的文件操作事件。

步驟8： 這時(shí)應(yīng)該就可以看到inotify打印的監(jiān)聽(tīng)到的文件操作，根據(jù)打印信息再到代碼里面去搜索對(duì)應(yīng)的文件操作，便可以很容易定位。