讓Ceph存儲的性能飆升的原因竟然是因為它?

?Ceph作為一款開源的分布式存儲軟件解決方案，由于其功能豐富、社區(qū)活躍，在公有云和私有云環(huán)境中有著廣泛的應(yīng)用。

然而，由于Ceph的大規(guī)模分布式架構(gòu)原因，其IO路徑過長，使得其性能一直被業(yè)界所詬病。

現(xiàn)實中，Ceph更多用在備份和歸檔等性能要求不高的場景。在這種場景下，一般存儲介質(zhì)采用HDD，很少采用全閃存的配置。

伴隨著固態(tài)盤（SSD）價格的不斷走低，云提供商紛紛開始著手為客戶打造具備卓越性能和高可靠性的全閃存存儲。

為此，他們迫切希望獲得基于 Ceph 的全閃存參考架構(gòu)，并了解具體的性能表現(xiàn)和最佳優(yōu)化實踐。

英特爾?傲騰? 技術(shù)前所未有地集高吞吐量、低延遲、高服務(wù)質(zhì)量和高耐用性優(yōu)勢于一身，它由 3D XPoint? 內(nèi)存介質(zhì)和英特爾?軟件等組合而成。

這些構(gòu)建模塊相互配合，配合至強可擴展處理器，在降低延遲和加速系統(tǒng)性能方面實現(xiàn)了具體提升，能夠全面滿足工作負載對于大容量和快速存儲的需求。

本篇文章將圍繞 Ceph 全閃存存儲系統(tǒng)參考架構(gòu)和基于英特爾?至強?可擴展處理器的軟件優(yōu)化等方面，介紹Intel所取得的進展。

在本文中，將重點為您介紹Ceph 參考架構(gòu)和性能結(jié)果，該架構(gòu)的配置包括 RADOS 塊設(shè)備（RBD）接口、英特爾?傲騰? 技術(shù)和英特爾?至強?可擴展處理器產(chǎn)品家族（英特爾?至強?鉑金 8180 處理器和英特爾?至強?金牌 6140 處理器）。

我們先介紹采用英特爾?傲騰? 技術(shù)和英特爾?至強?可擴展處理器的Ceph 全閃存陣列（AFA）參考架構(gòu)，然后介紹典型工作負載的性能結(jié)果和系統(tǒng)特性。

Intel建議Ceph AFA采用英特爾?至強?鉑金 8180 處理器，它是英特爾?至強?可擴展處理器產(chǎn)品家族中先進的處理器。

建議使用英特爾?傲騰? 固態(tài)盤（SSD）作為BlueStore WAL(Write-Ahead Logging) 設(shè)備，使用基于 NAND 固態(tài)盤作為數(shù)據(jù)硬盤，并使用 Mellanox 40 GbE 網(wǎng)絡(luò)接口卡（NIC）作為高速以太網(wǎng)數(shù)據(jù)端口，具備最高性能（吞吐量和延遲）。它是 I/O 密集型工作負載的最佳選擇。

測試系統(tǒng)由5個Ceph存儲服務(wù)器和5個客戶端節(jié)點組成。

每個存儲節(jié)點配置Intel Xeon Platinum 8180處理器和384 GB內(nèi)存，使用1x Intel Optane SSD DC P4800X 375GB作為BlueStore WAL設(shè)備，4x Intel SSD DC P3520 2TB作為數(shù)據(jù)驅(qū)動器，以及2x Mellanox 40 GbE NIC作為Ceph的獨立集群和公共網(wǎng)絡(luò)。

同時，每個節(jié)點均使用 Ceph 12.2.2，并且每個英特爾?固態(tài)盤 DC P3520 系列運行一個對象存儲守護程序（OSD）。用于測試的 RBD 池配置有 2 個副本。

對于客戶端，每個節(jié)點配置了英特爾?至強?鉑金 8180 處理器、384 GB 內(nèi)存和 1 個 Mellanox 40GbE 網(wǎng)卡。

Intel設(shè)計了四種不同的工作負載來模擬云中典型的全閃存 Ceph 集群（基于帶 librbd 的 fio），其中包括 4K 隨機讀寫和 64K 順序讀寫，以分別模擬隨機工作負載和順序工作負載。對于每個測試用例，IO 性能（IOPS 或帶寬）使用卷擴展數(shù)量（最大擴展到 100）來衡量，每個卷配置為 30 GB。

這些卷已預先分配，以消除 Ceph 精簡配置機制的影響，獲得穩(wěn)定且可復制的結(jié)果。每次測試之前停止 OSD 頁高速緩存，以消除頁高速緩存的影響。在每個測試用例中，fio 配置了 300 秒的準備時限和 300 秒的數(shù)據(jù)采集時限。

?

4K隨機寫特性

用戶空間消耗的CPU利用率為37％，占CPU總利用率的75％。分析結(jié)果顯示Ceph OSD過程消耗了大部分CPU周期; CPU還有空間的可疑原因是軟件線程和鎖定模型實現(xiàn)限制了Ceph在單個節(jié)點上的擴展能力，這仍然是下一步優(yōu)化工作。

4K隨機寫入的系統(tǒng)指標

?

4K隨機讀取特性

CPU利用率約為60％，其中IOWAIT約占15％，因此實際CPU消耗也約為45％;類似于隨機寫例。OSD磁盤的讀取IOPS非常穩(wěn)定在80K，40 GBbE NIC帶寬約為2.1 GB/s。沒有觀察到明顯的硬件瓶頸;疑似軟件瓶頸類似于4K隨機寫入案例，需要進一步調(diào)查。

4K隨機讀取的系統(tǒng)指標

64K順序?qū)懭胩匦?/strong>