服務器數(shù)據(jù)恢復—RAID5陣列硬盤離線但熱備盤未激活的數(shù)據(jù)恢復案例

服務器數(shù)據(jù)恢復環(huán)境：
一臺服務器上有一組由5塊硬盤（4塊數(shù)據(jù)盤+1塊熱備盤）組建的raid5陣列。服務器安裝Linux Redhat操作系統(tǒng)，運行一套基于oracle數(shù)據(jù)庫的OA系統(tǒng)。

服務器故障：
這組raid5陣列中一塊磁盤離線，但是熱備盤并沒有自動激活rebuild，當另外一塊數(shù)據(jù)盤發(fā)生故障離線后，raid崩潰。
用戶方要求恢復raid數(shù)據(jù)，同時要求還原操作系統(tǒng)。經(jīng)過初步觀察，raid中的這些硬盤沒有表現(xiàn)出存在明顯的物理故障的特征，也沒有明顯的同步表現(xiàn)，數(shù)據(jù)恢復的可能性很大。

服務器數(shù)據(jù)恢復過程：
1、關閉服務器，將所有磁盤標記后取出并掛到一個只讀環(huán)境上進行完整磁盤鏡像。鏡像完成后將所有磁盤按照原樣還原到原服務器中，后后續(xù)的數(shù)據(jù)分析和數(shù)據(jù)恢復操作都基于鏡像文件進行，避免對原始磁盤數(shù)據(jù)造成二次破壞。
2、鏡像過程中在后掉線的硬盤中發(fā)現(xiàn)了幾十個壞扇區(qū)，其他硬盤都沒有發(fā)現(xiàn)問題?；阽R像文件分析所有磁盤底層數(shù)據(jù)，或者重組raid所需要的信息（盤序、塊大小、數(shù)據(jù)校驗方式、條帶方向等）。

北亞企安數(shù)據(jù)恢復—RAID5數(shù)據(jù)恢復

3、嘗試重組raid。重組完成后驗證數(shù)據(jù)，發(fā)現(xiàn)數(shù)據(jù)量在200M以上壓縮包解壓正常，說明raid結構是正確的。按照這個結構在一塊單盤上生成raid并嘗試打開，沒有報錯。
4、將生成raid的這塊單盤接入到原服務器。用linux SystemRescueCd啟動，然后通過dd命令進行全盤回寫。啟動操作系統(tǒng)出現(xiàn)報錯：/etc/rc.d/rc.sysinit:Line 1:/sbin/pidof:Permission denied，
初步判斷這個文件權限出了問題。使用SystemRescueCd重啟檢查后發(fā)現(xiàn)該文件的權限、大小、時間都存在明顯的錯誤，節(jié)點損壞。
5、重新分析重組數(shù)據(jù)中的根分區(qū)，定位出錯的/sbin/pidof，發(fā)現(xiàn)導致問題出現(xiàn)的原因就是那塊后掉線磁盤上的壞道。使用另外幾塊完好的數(shù)據(jù)盤對后掉線的那塊盤的損壞區(qū)域進行xor補齊，可是補齊之后校驗文件系統(tǒng)依然報錯。再一次檢查iNode表發(fā)現(xiàn)后掉線的那塊盤的損壞區(qū)域有部分節(jié)點表現(xiàn)為55 55 55部分。

北亞企安數(shù)據(jù)恢復—RAID5數(shù)據(jù)恢復

6、節(jié)點中描述的uid雖然看起來正常，但是大小、屬性、最初分配塊都是錯誤的。分析了所有的可能性方案，發(fā)現(xiàn)都無法將這個損壞節(jié)點找回來，只能嘗試修復或者以相同文件代替。
7、通過日志將所有可能有錯的文件原節(jié)點塊的節(jié)點信息確定出來，然后進行修正。修正之后重新dd根分區(qū)，然后執(zhí)行fsck -fn /dev/sda5，仍然報錯。

北亞企安數(shù)據(jù)恢復—RAID5數(shù)據(jù)恢復

8、根據(jù)報錯提示重新分析，發(fā)現(xiàn)系統(tǒng)中有多個節(jié)點共用同樣的數(shù)據(jù)塊，原來是第一塊離線硬盤的掉線時間比較早，導致出現(xiàn)節(jié)點信息新舊交集的情況。將錯誤節(jié)點清除后再次執(zhí)行fsck -fn /dev/sda5，依然報錯。
好在這些節(jié)點大多是在doc目錄下，不影響系統(tǒng)啟動。于是強行修復&重啟系統(tǒng)，進入桌面啟動數(shù)據(jù)庫和應用軟件，無報錯。
9、用戶方仔細檢測后，確認重要數(shù)據(jù)都在，認可數(shù)據(jù)恢復結果。

審核編輯 黃宇