服務(wù)器數(shù)據(jù)恢復(fù)—RAID5陣列兩塊硬盤(pán)離線崩潰，數(shù)據(jù)如何起死回生？

服務(wù)器數(shù)據(jù)恢復(fù)環(huán)境：
兩組分別由4塊SAS接口硬盤(pán)組建的raid5陣列，兩組raid5陣列劃分LUN并由LVM管理，格式化為EXT3文件系統(tǒng)。

服務(wù)器故障：
RAID5陣列中一塊硬盤(pán)未知原因離線，熱備盤(pán)自動(dòng)激活上線替換離線硬盤(pán)。在熱備盤(pán)上線過(guò)程中，raid5陣列中又有一塊硬盤(pán)離線。熱備盤(pán)同步失敗，該raid陣列崩潰，LVM結(jié)構(gòu)變得不完整，文件系統(tǒng)無(wú)法正常使用。
將故障RAID5陣列中的兩塊離線硬盤(pán)標(biāo)記后取出進(jìn)行檢測(cè)，發(fā)現(xiàn)先離線硬盤(pán)無(wú)法識(shí)別，初步推斷該盤(pán)存在硬件故障，需要開(kāi)盤(pán)修復(fù)，另一塊硬盤(pán)可以正常識(shí)別。

服務(wù)器數(shù)據(jù)恢復(fù)過(guò)程：
1、將故障raid中其他沒(méi)有離線的硬盤(pán)標(biāo)記后取出。硬件工程師對(duì)這些硬盤(pán)進(jìn)行檢測(cè)后沒(méi)有發(fā)現(xiàn)有硬盤(pán)存在明顯硬件故障，都可以正常讀取。以只讀方式將完好的硬盤(pán)進(jìn)行扇區(qū)級(jí)全盤(pán)鏡像。鏡像完成后將所有磁盤(pán)按照原樣還原到原服務(wù)器中，后續(xù)的數(shù)據(jù)分析和數(shù)據(jù)恢復(fù)操作都基于鏡像文件進(jìn)行，避免對(duì)原始磁盤(pán)數(shù)據(jù)造成二次破壞。硬件工程師在無(wú)塵工作間對(duì)故障硬盤(pán)進(jìn)行開(kāi)盤(pán)修復(fù)操作。開(kāi)盤(pán)后發(fā)現(xiàn)該硬盤(pán)盤(pán)片磨損嚴(yán)重，無(wú)法修復(fù)，只能對(duì)陣列進(jìn)行缺盤(pán)處理。
為了安全起見(jiàn)，對(duì)另一組raid陣列的全部成員盤(pán)進(jìn)行只讀全盤(pán)鏡像。

北亞企安數(shù)據(jù)恢復(fù)—RAID5數(shù)據(jù)恢復(fù)

北亞企安數(shù)據(jù)恢復(fù)—RAID5數(shù)據(jù)恢復(fù)

2、基于鏡像文件分析硬盤(pán)底層數(shù)據(jù)。解析EXT3文件系統(tǒng)結(jié)構(gòu)，分析兩組raid5陣列的盤(pán)序、條帶大小、校驗(yàn)方向等配置信息。根據(jù)上述分析出來(lái)的信息重組兩組raid5陣列。由于有一塊硬盤(pán)無(wú)法修復(fù)，所以在重組故障raid時(shí)只能做缺盤(pán)處理。

北亞企安數(shù)據(jù)恢復(fù)—RAID5數(shù)據(jù)恢復(fù)

北亞企安數(shù)據(jù)恢復(fù)—RAID5數(shù)據(jù)恢復(fù)

3、兩組raid5陣列重組完成后分析底層數(shù)據(jù)，找到LVM結(jié)構(gòu)信息并分析LVM結(jié)構(gòu)。將兩組raid中作為PV（LVM物理卷）的LUN導(dǎo)出，然后將兩個(gè)PV重組，重新生成LVM邏輯卷。

北亞企安數(shù)據(jù)恢復(fù)—RAID5數(shù)據(jù)恢復(fù)

北亞企安數(shù)據(jù)恢復(fù)—RAID5數(shù)據(jù)恢復(fù)

4、LVM重組完成之后，使用北亞企安自主開(kāi)發(fā)的工具解析LV（邏輯卷）中的EXT3文件系統(tǒng)，恢復(fù)并導(dǎo)出其中的全部數(shù)據(jù)。

北亞企安數(shù)據(jù)恢復(fù)—RAID5數(shù)據(jù)恢復(fù)

5、在恢復(fù)出來(lái)的數(shù)據(jù)中挑選部分壓縮文件進(jìn)行校驗(yàn)，發(fā)現(xiàn)部分文件損壞。對(duì)比解析結(jié)果和恢復(fù)結(jié)果，發(fā)現(xiàn)部分文件損壞且無(wú)法恢復(fù)。經(jīng)過(guò)分析，初步判斷文件損壞與兩組raid中部分硬盤(pán)存在壞道有關(guān)。
兩組raid中部分硬盤(pán)壞道情況：
Raid 1：2# 67 bad source sectors encountered.
4# 13 bad source sectors encountered.
Raid 2：2# 37 bad source sectors encountered.
6、由于故障硬盤(pán)損壞嚴(yán)重，無(wú)法修復(fù)，且部分硬盤(pán)存在壞道，導(dǎo)致raid結(jié)構(gòu)存在缺陷，部分文件損壞。經(jīng)過(guò)用戶方驗(yàn)證，大部份文件恢復(fù)出來(lái)了，只有小部分文件丟失或者損壞，用戶方認(rèn)可數(shù)據(jù)恢復(fù)結(jié)果。

審核編輯 黃宇