A-Ops數(shù)據(jù)庫場景在線應(yīng)用性能診斷案例

數(shù)據(jù)庫場景下，由于操作系統(tǒng)某些進(jìn)程操作（比如磁盤、網(wǎng)絡(luò)等）占用I/O帶寬過高，造成應(yīng)用因?yàn)镮/O帶寬不足產(chǎn)生性能劣化的問題，如何快速、準(zhǔn)確地診斷應(yīng)用性能問題，并對問題進(jìn)行定界定位是運(yùn)維人員的重要挑戰(zhàn)。

案例一

GaussDB應(yīng)用磁盤IO類故障在線診斷

該案例通過對Gaussdb應(yīng)用注入磁盤IO故障來模擬。

1

故障注入前

應(yīng)用實(shí)時(shí)拓?fù)潢P(guān)系如下圖所示，gaussdb應(yīng)用包含1個(gè)master(進(jìn)程id：1548)和1個(gè)slaver（進(jìn)程id：1739），運(yùn)行在虛擬機(jī)vm02上，gaussdb master有5個(gè)客戶端TCP連接。

此時(shí)，gaussdb的應(yīng)用性能如下圖所示，平均600 TPS。

2

注入故障

在gaussdb的數(shù)據(jù)目錄注入磁盤讀寫故障，命令如下：blade create disk burn --read --write --path /data --timeout 120

3

應(yīng)用性能診斷

此時(shí)應(yīng)用性能出現(xiàn)劣化，從大概600 TPS → 60 TPS，下降了近10倍，如下圖所示：

故障發(fā)現(xiàn)與定位結(jié)果如下圖所示，可以看出已產(chǎn)生應(yīng)用性能劣化事件，原因是磁盤讀寫響應(yīng)異常。

具體的故障傳播關(guān)系如下圖所示，可見應(yīng)用性能劣化是因?yàn)榇疟P寫響應(yīng)異常以及block層request時(shí)延異常，進(jìn)一步的磁盤類異常是由于故障注入工具chaos（進(jìn)程id：3941335）導(dǎo)致。

案例二

Redis應(yīng)用網(wǎng)絡(luò)時(shí)延類故障在線診斷

1

注入故障

通過故障注入工具ChaosBlade注入2分鐘網(wǎng)絡(luò)時(shí)延故障，具體命令：blade create network delay --time 50 --offset 50 --interface ens1 --local-port 3742 --timeout 120

故障注入期間redis sli指標(biāo)出現(xiàn)明顯劣化，大概從10ms → 80ms

2

應(yīng)用性能診斷

故障發(fā)現(xiàn)與定位結(jié)果如下圖所示，可以看出已產(chǎn)生應(yīng)用性能劣化事件，原因是網(wǎng)絡(luò)時(shí)延異常。

具體的故障傳播關(guān)系如下圖所示，可見應(yīng)用性能劣化是因?yàn)榫W(wǎng)絡(luò)時(shí)延異常導(dǎo)致。

審核編輯 ：李倩