RocketMQ on openEuler提供高性能消息隊(duì)列的穩(wěn)定性解決方案

RocketMQ on openEuler，是一種將 RocketMQ 消息中間件通過(guò)容器化的方式部署在 openEuler 操作系統(tǒng)上運(yùn)行，借助 openEuler 系統(tǒng)對(duì)于 OS 緩存回收效率增強(qiáng)的內(nèi)核特性，提升消息中間件在面向超大規(guī)模高并發(fā)、高吞吐量、低延遲場(chǎng)景下穩(wěn)定性和可靠性的軟件解決方案。

RocketMQ 消息隊(duì)列在穩(wěn)壓測(cè)試中遇到的 OOM 問(wèn)題

移動(dòng)云 RocketMQ 消息隊(duì)列產(chǎn)品正式上線前，通過(guò)壓測(cè)工具，創(chuàng)建多組生產(chǎn)者/消費(fèi)者進(jìn)程對(duì) RocketMQ 獨(dú)享集群做多輪性能和穩(wěn)定性的壓力測(cè)試。

測(cè)試環(huán)境

壓測(cè)結(jié)果

在某次持續(xù)長(zhǎng)時(shí)間的壓測(cè)過(guò)程中，發(fā)現(xiàn)消息收發(fā)吞吐，在一段時(shí)間內(nèi)的某一時(shí)刻會(huì)出現(xiàn)大幅度 TPS（生產(chǎn)/消費(fèi)）抖動(dòng)下降的現(xiàn)象，并且是周期性的。

移動(dòng)云 RocketMQ 消息隊(duì)列一直都比較穩(wěn)定運(yùn)行，為何在高并發(fā)的壓測(cè)下也會(huì)出現(xiàn) TPS 的抖動(dòng)？我們初步懷疑是 CPU 負(fù)載或者 RocketMQ Broker 組件 GC 頻率過(guò)高導(dǎo)致，但通過(guò)查看 CPU 負(fù)載和 JVM GC 頻率并未發(fā)現(xiàn)任何異常。最終，經(jīng)過(guò)排查發(fā)現(xiàn)是由于 Broker Pod 進(jìn)程中的 buff/cache 在持續(xù)長(zhǎng)時(shí)間壓測(cè)下不斷增加，系統(tǒng)無(wú)法及時(shí)有效回收，導(dǎo)致 Pod 中的運(yùn)行進(jìn)程占用內(nèi)存空間超出預(yù)先設(shè)置的 Limit 限制，觸發(fā)了 OOM Killer 機(jī)制重啟了 Broker Pod。

RocketMQ on openEuler—解決大規(guī)模高并發(fā)場(chǎng)景下提升穩(wěn)定性的新選擇

為何在持續(xù)高并發(fā)下進(jìn)行消息收發(fā)會(huì)導(dǎo)致系統(tǒng)的 buff/cache 的持續(xù)增加？通過(guò)翻閱操作系統(tǒng)手冊(cè)，可知 buff/cache 主要體現(xiàn)在系統(tǒng)的 PageCache 上。

PageCache 在 RocketMQ 消息存儲(chǔ)中的重要作用

PageCache 也叫頁(yè)緩沖或文件緩沖，在 linux 讀寫(xiě)文件時(shí)，它用于緩存文件的邏輯內(nèi)容，從而加快對(duì)磁盤(pán)上映像和數(shù)據(jù)的訪問(wèn)。

上圖中，紅色部分即為，PageCache。可見(jiàn) PageCache 的本質(zhì)是由 Linux 內(nèi)核管理的內(nèi)存區(qū)域。平時(shí)我們寫(xiě)的各種程序，通過(guò) mmap 及 buffered I/O 將文件讀取到內(nèi)存空間實(shí)際上都是讀取到 PageCache 中。為了在大規(guī)模高并發(fā)場(chǎng)景下實(shí)現(xiàn)實(shí)現(xiàn)低延遲、高吞吐的目標(biāo)，RocketMQ 消息隊(duì)列的存儲(chǔ)模塊主要采用如下兩種方案。

「Mmap + PageCache 的消息并發(fā)讀寫(xiě)方案」：在該方案中，消息的讀寫(xiě)流程都會(huì)經(jīng)過(guò) PageCache。在多線程并發(fā)讀寫(xiě)的場(chǎng)景下，PageCache 不可避免會(huì)有鎖的問(wèn)題，尤其是在維護(hù) PageCache 一致性時(shí)，系統(tǒng)回刷臟頁(yè)時(shí)磁盤(pán)壓力較高，會(huì)導(dǎo)致出現(xiàn)毛刺現(xiàn)象。

「堆外內(nèi)存池化技術(shù) + PageCache 的消息讀寫(xiě)分離方案」：消息寫(xiě)入時(shí)候?qū)懼?RocketMQ 啟動(dòng)時(shí)創(chuàng)建的堆外內(nèi)存塊（DirectByteBuffer）中，同時(shí)消息從 PageCache 中讀取。這樣，消息讀寫(xiě)分離使得整體流程并發(fā)性更好，有效降低時(shí)延，同時(shí)利用堆外內(nèi)存池減少了用戶態(tài)與內(nèi)核態(tài)的切換開(kāi)銷(xiāo)。

PageCache 在 RocketMQ 消息隊(duì)列的存儲(chǔ)層扮演著舉足輕重的作用，一旦系統(tǒng)的 PageCache 出現(xiàn)問(wèn)題（如緩存回收、一致性和缺頁(yè)中斷等問(wèn)題），都會(huì)對(duì)消息收發(fā)的主要流程造成嚴(yán)重的影響。

openEuler 系統(tǒng)在緩存回收效率方面的優(yōu)化

為了防止 PageCache 申請(qǐng)過(guò)多（默認(rèn)無(wú)限制）將可靠?jī)?nèi)存耗盡，需要對(duì) PageCache 的總量及使用可靠?jī)?nèi)存總量進(jìn)行限制。相對(duì)于 CentOS 系統(tǒng)內(nèi)核無(wú)法對(duì)未超出 node 節(jié)點(diǎn)內(nèi)存資源的 PageCache 進(jìn)行及時(shí)回收，openEuler 針對(duì) PageCache 的回收增加了相關(guān)的系統(tǒng)內(nèi)核參數(shù)，并為限制 PageCache 使用量的功能提供若干 proc 接口，接口定義在/proc/sys/vm/下，用來(lái)控制 PageCache 的使用量，具體如下：

「cache_reclaim_enable」：表示 PageCache 限制的功能的使能開(kāi)關(guān)；

「cache_reclaim_s」：表示定期觸發(fā) cache 回收的時(shí)間，以秒為單位。系統(tǒng)會(huì)根據(jù)當(dāng)前 online 的 cpu 個(gè)數(shù)來(lái)創(chuàng)建工作隊(duì)列，如果有 n 個(gè) cpu 則創(chuàng)建 n 個(gè)工作隊(duì)列，每個(gè)工作隊(duì)列每隔 cache_reclaim_s 秒進(jìn)行一次回收。該參數(shù)與 cpu 上下線功能兼容，如果 cpu offline，則會(huì)減少工作隊(duì)列個(gè)數(shù)；反之，cpu online 則會(huì)增加工作隊(duì)列個(gè)數(shù)。

「cache_reclaim_weight」：表示每次回收的權(quán)值，內(nèi)核每個(gè) CPU 每次期望回收 32 * cache_reclaim_weight 個(gè) page。該權(quán)值同時(shí)作用于 page 上限觸發(fā)的回收和定期 pageCache 回收；

RocketMQ on openEuler 方案在生產(chǎn)環(huán)境中的驗(yàn)證

為解決遇到的 OOM 問(wèn)題，我們針對(duì)獨(dú)享集群所在機(jī)器進(jìn)行了操作系統(tǒng)內(nèi)核版本的升級(jí)，更新至最新的 BC-Linux for Euler 21.10 版本（BC-Linux for Euler 是移動(dòng)云操作系統(tǒng)團(tuán)隊(duì)以 openEuler 社區(qū)操作系統(tǒng)為基礎(chǔ)，借助開(kāi)源社區(qū)的開(kāi)放優(yōu)勢(shì)，通過(guò)定制化方式研發(fā)的企業(yè)級(jí) Linux 操作系統(tǒng)）。更新系統(tǒng)后，采用兩種消息體（1Kb 和 4Kb）分別對(duì)同樣的測(cè)試環(huán)境進(jìn)行長(zhǎng)時(shí)間的壓測(cè)。

測(cè)試場(chǎng)景 1

測(cè)試消息大小 1Kb 消息收發(fā)性能及長(zhǎng)時(shí)間壓測(cè)穩(wěn)定性，測(cè)試中，獨(dú)享集群能夠達(dá)到收發(fā)消息總和 TPS 為 2w+TPS（其中發(fā)送消息 1w+TPS，消費(fèi)消息 1w+TPS）。消息生產(chǎn)和消費(fèi)的速度規(guī)律，如下圖所示：

從圖中可見(jiàn)在消息體大小為 1Kb 的消息時(shí)，消息生產(chǎn)和消費(fèi)速度在長(zhǎng)時(shí)間壓測(cè)下沒(méi)有抖動(dòng)，TPS 保持平穩(wěn)，整個(gè)壓測(cè)時(shí)間服務(wù)正常。

測(cè)試場(chǎng)景 2

測(cè)試消息大小 4Kb 消息收發(fā)性能及長(zhǎng)時(shí)間壓測(cè)穩(wěn)定性，測(cè)試中，集群能夠達(dá)到收發(fā)消息總和 TPS 為 1.4w+ TPS（其中發(fā)送消息 0.7w+TPS，消費(fèi)消息 0.7w+TPS）。消息生產(chǎn)和消費(fèi)的速度規(guī)律，如下圖所示：

從圖中可見(jiàn)在消息體大小為 4Kb 的消息時(shí)，消息生產(chǎn)和消費(fèi)速度長(zhǎng)時(shí)間壓測(cè)沒(méi)有抖動(dòng)，TPS 保持平穩(wěn)，整個(gè)壓測(cè)時(shí)間服務(wù)正常。

總結(jié)

移動(dòng)云 RocketMQ 消息隊(duì)列的獨(dú)享實(shí)例在 22 年已完成了云原生化的完全升級(jí)，特別適合云原生、Serverless 化架構(gòu)和大數(shù)據(jù)流計(jì)算的技術(shù)演進(jìn)與相關(guān)應(yīng)用場(chǎng)景。目前，RocketMQ on openEuler 的解決方案已在廣州 3 AZ2、呼和浩特、北京、杭州等多個(gè)資源池上線且完成了部分存量服務(wù)器的遷移與改造升級(jí)。后續(xù)，移動(dòng)云 RocketMQ 消息隊(duì)列并將不斷提升服務(wù)質(zhì)量，為廣大客戶創(chuàng)造更多的價(jià)值。歡迎大家多多關(guān)注。

審核編輯：湯梓紅