如何使用A-Ops火焰圖快速定位系統(tǒng)或者應(yīng)用的性能問題

本文將分享基于A-Ops性能熱點(diǎn)火焰圖進(jìn)行性能診斷的2個實際案例，介紹如何使用火焰圖快速定位系統(tǒng)或者應(yīng)用的性能問題，加深大家對A-Ops火焰圖特性的理解。

案例1

云原生場景下Java類應(yīng)用性能問題診斷

1. 場景及案例介紹

某Kafka producer客戶端Java應(yīng)用版本升級后性能出現(xiàn)下降，性能從222W TPS下降到65W TPS，吞吐量從337MB/s下降到95.9MB/s，如下圖所示（為了便于比較，在不同POD里同時啟動升級前后的兩個應(yīng)用）：

可見，Kafka 客戶端應(yīng)用的性能出現(xiàn)了明顯的下降，但此時Kafka服務(wù)端較輕載，CPU 0.7%，內(nèi)存16.8%，說明性能劣化是由于客戶端應(yīng)用的問題導(dǎo)致。Kafka服務(wù)端資源情況如下：

2.性能問題診斷

通過升級前后的火焰圖比較可以看出，升級后的CPU性能主要消耗在字符串format處理函數(shù)上。對于Kafka生成端應(yīng)用，一般存在大量字符串操作，而字符串處理函數(shù)format性能較低，與StringBuilder方法相比有幾倍甚至幾十倍的性能差距，可見字符串format函數(shù)是導(dǎo)致性能降低的主要原因。

案例2

CPU抖動類性能故障診斷案例

1. 場景及案例介紹

在生產(chǎn)環(huán)境中經(jīng)常會遇到一些偶發(fā)性的CPU抖動問題，這會對應(yīng)用的性能造成一定的影響，但由于沒有必然的規(guī)律，故障發(fā)現(xiàn)及問題定位比較難。

2.性能問題診斷

為了模擬上述偶發(fā)性的故障，我們通過iperf打流注入2分鐘的故障，然后從多個角度分析故障注入前后火焰圖的數(shù)據(jù)，進(jìn)而對CPU抖動類性能故障進(jìn)行診斷。

在1038通過 iperf3注入2分鐘的流量，命令如下：

 iperf3 -c 192.168.122.115 -p 5201 -i 10 -t 120 -P 100 -N -M 100 -b 10000M

流量注入前后，系統(tǒng)應(yīng)用指標(biāo)及火焰圖如下圖所示：

從上圖可見，流量注入期間，CPU使用率從平均22%升高到33%，應(yīng)用性能從232w tps下降到215w tps，火焰圖中iperf3進(jìn)程對CPU的占用為8.96%。

我們可以通過火焰圖比較視圖進(jìn)一步分析這個問題，下圖左邊的火焰圖是注入故障前的火焰圖，右邊為注入故障期間的火焰圖，對比可以看到故障注入期間多個iperf3這個進(jìn)程。

另外，我們還可以通過火焰圖diff視圖來分析這個問題，參考下圖，火焰圖紅色部分為故障注入期間新增加的進(jìn)程，進(jìn)而可以定位到iperf3是造成這次CPU抖動以及應(yīng)用性能劣化的根因。

通過A-Ops性能熱點(diǎn)火焰圖，開發(fā)者和維護(hù)者可以很方便地預(yù)測潛在問題和定位已發(fā)生問題。

安裝A-Ops性能熱點(diǎn)火焰圖

gala-ops是針對云基礎(chǔ)設(shè)施灰度故障的應(yīng)用級/系統(tǒng)級在線診斷工具，火焰圖探針stackprobe集成在其中的gala-gopher組件內(nèi)，用戶只需一鍵安裝gala-gopher后，在配置文件中開啟或關(guān)閉火焰圖探針即可使用。

審核編輯：劉清