QSAN XN5124D整合式存儲(chǔ)設(shè)備測(cè)試報(bào)告

面對(duì)虛擬化、容器化、監(jiān)控、備份等工作負(fù)載，現(xiàn)代企業(yè)和公司比以往任何時(shí)候都更需要大規(guī)模的多功能存儲(chǔ)，而性能是一切的關(guān)鍵。為此，東芝團(tuán)隊(duì)在其實(shí)驗(yàn)室中展開(kāi)一項(xiàng)測(cè)試，使用東芝新一代企業(yè)級(jí)容量型 MG 系列 HDD (22TB SAS 12Gb/s 型號(hào) MG10SFA22TE ) ，并安裝在 QSAN 旗艦產(chǎn)品 XN5124D 中（圖 1）。這是一款 4U/24盤(pán)位的整合式存儲(chǔ)設(shè)備，可以用作網(wǎng)絡(luò)附加存儲(chǔ) (NAS) 來(lái)提供共享文件夾/文件系統(tǒng)，也可以作為專(zhuān)用存儲(chǔ)區(qū)域網(wǎng)絡(luò) (SAN)（如 iSCSI、光纖通道）的塊存儲(chǔ)運(yùn)行，甚至可以同時(shí)用作 NAS 和 SAN。QSAN 將其宣傳為“最新一代 XCubeNXT，利用業(yè)界領(lǐng)先的多功能性來(lái)處理混合工作負(fù)載?！贝送猓撛O(shè)備高可用度且安全的多協(xié)議和跨 QSAN 平臺(tái)支持，可為高容量需求應(yīng)用提供最佳的總擁有成本 (TCO)。

配置和性能比較

重點(diǎn)關(guān)注最大性能

在之前的 24 盤(pán)位存儲(chǔ)設(shè)備（如 QSAN XN8024D）的實(shí)驗(yàn)室報(bào)告中，最大性能受限于網(wǎng)絡(luò)接口（通常為 10GbE），最高傳輸速度為 1200 MB/s。由于這個(gè)限制，我們目前還無(wú)法評(píng)估該裝置的性能極限。實(shí)驗(yàn)室中的 XN5124D 型號(hào)，是第一款配備 25GbE 接口的 24 盤(pán)位存儲(chǔ)設(shè)備，因此我們重點(diǎn)評(píng)估不同 HDD 配置的最高性能。

設(shè)置

XN5124D 配備雙控制器架構(gòu)，因此最適合大容量 SAS 近線(xiàn) HDD。機(jī)架式，具有從網(wǎng)絡(luò)到 HDD 訪問(wèn)的雙路徑以及雙重/冗余電源，非常適合企業(yè)級(jí)應(yīng)用。為了實(shí)現(xiàn)大規(guī)模部署，我們安裝了東芝企業(yè)級(jí)容量型 MG 系列的當(dāng)前熱門(mén)型號(hào)，22TB SAS 12Gb/s 型號(hào) MG10SFA22TE。

每個(gè)控制器默認(rèn)配備 4 個(gè)10GbE SFP+ 通道、一個(gè) 1GbE RJ45 管理端口和兩個(gè) SFF-8644 (mini-SAS-HD) 端口，可使用外部 JBOD 擴(kuò)展容量。兩個(gè)子模塊插槽支持升級(jí)不同的連接技術(shù)，例如光纖通道，或者本例中帶有兩個(gè) SFP28 端口的 25GbE。我們通過(guò) SFP28 直連銅纜將每個(gè)控制器單元的一個(gè)端口連接到應(yīng)用程序服務(wù)器（圖 2）。

僅供參考：我們測(cè)試的型號(hào)版本為 XN5124D-044C20，控制器固件為 4.0.2。

HDD配置

為了進(jìn)行性能評(píng)估，我們創(chuàng)建了一個(gè)包含 24 個(gè) HDD 磁盤(pán)組的池 (Pool) ，這些磁盤(pán)組采用不同的 RAID 級(jí)別配置（表 1）。

表 1：RAID 設(shè)置和存儲(chǔ)效率

RAID6 of 24 HDDs：一個(gè)具有雙重奇偶校驗(yàn) (Double Parity) 的 RAID 配置。擁有 22 個(gè) HDD 的凈容量，并且由于雙重奇偶校驗(yàn)而具有較高的數(shù)據(jù)保護(hù)級(jí)別。如果一個(gè)驅(qū)動(dòng)器發(fā)生故障，數(shù)據(jù)仍然受到第二個(gè)奇偶校驗(yàn)的保護(hù)。Pool效率為 92%（24 個(gè) HDD 中有 22 個(gè)承載用戶(hù)數(shù)據(jù)），或者說(shuō) 528TB 總安裝容量中有 484TB 可用容量。

RAID60 of 24 HDDs, 具有不同數(shù)量子陣列 (2/4/6)：RAID60（相當(dāng)于多個(gè) RAID6 組條帶化結(jié)合在一起）允許更快速地并行訪問(wèn)磁盤(pán)。但每個(gè)子陣列都需要兩個(gè)奇偶校驗(yàn)單元，Pool效率降低——陣列越多，效率越低。

RAID10 of 24 HDDs：該配置由 12 個(gè)子陣列組成，每個(gè)陣列在兩個(gè)磁盤(pán)上有鏡像數(shù)據(jù)。這種配置在寫(xiě)入方面相當(dāng)高效，尤其是隨機(jī)寫(xiě)入，因?yàn)椴恍枰?jì)算奇偶校驗(yàn)信息——數(shù)據(jù)只是簡(jiǎn)單鏡像而已。也因此，效率下降到 50%，這對(duì)于所有基于鏡像的配置來(lái)說(shuō)都是典型現(xiàn)象，并且與 RAID6x 類(lèi)型的數(shù)據(jù)保護(hù)相比，RAID10 并不是嚴(yán)格的雙重保護(hù)。如果一個(gè)鏡像發(fā)生故障，數(shù)據(jù)僅存在于剩余的一個(gè)未受保護(hù)的鏡像磁盤(pán)上。

在具有上述 RAID 級(jí)別的Pool中，我們安裝了一些卷，其中一個(gè) 50TB 的卷始終作為 LUN 連接到 iSCSI 主機(jī)組（圖 3）。此 iSCSI LUN 連接到到一個(gè)應(yīng)用服務(wù)器，作為一個(gè) Windows 物理盤(pán)。我們使用“fio”基準(zhǔn)測(cè)試評(píng)估該物理盤(pán)的性能、同時(shí)也測(cè)量了HDD的 溫度和功耗。

所有測(cè)量都是在block volume狀態(tài)在線(xiàn)（即完全初始化）的情況下完成的，對(duì)于奇偶校驗(yàn) RAID 級(jí)別（例如 RAID6 和 RAID60），10TB volume容量大約需要兩個(gè)小時(shí)。

設(shè)置如下（表 2）：

表 2：Pool/Volume設(shè)置

圖 3：QSAN 的 QSM GUI 中的Pool/Volume配置

表 3：性能測(cè)量結(jié)果

順序讀取性能約為 2700 MB/s，與應(yīng)用服務(wù)器的 25GbE iSCSI 連接速度相匹配，因此速度由網(wǎng)絡(luò)決定，而不是由 RAID 級(jí)別決定。無(wú)論 RAID 級(jí)別如何，順序?qū)懭胨俣榷荚?1500 MB/s 左右。這表明，由于 RAID6 級(jí)別具有較高的存儲(chǔ)效率，實(shí)際上是順序訪問(wèn)（存檔、流媒體、視頻）為主的工作負(fù)載的最佳解決方案。任何并行性更高的磁盤(pán)訪問(wèn)配置（如 RAID60 或 RAID10）都不會(huì)帶來(lái)更高的性能，而只會(huì)減少可用的存儲(chǔ)容量。

即使對(duì)于隨機(jī)讀?。▽?duì)于 AI/視頻分析類(lèi)型的應(yīng)用程序很重要），RAID6 表現(xiàn)出最高的 IOPS 性能，因?yàn)樵谶@種配置下，數(shù)據(jù)分布在最多數(shù)量的有效磁盤(pán)上（24 個(gè)中的 22 個(gè)）。

對(duì)于以隨機(jī)寫(xiě)入為主的工作負(fù)載（例如，活躍目錄/數(shù)據(jù)庫(kù)和電子郵件服務(wù)/虛擬化），具有更多子陣列的 RAID60 并行結(jié)構(gòu)可提供更高的性能。對(duì)于 RAID10 也是如此，沒(méi)有奇偶校驗(yàn)操作，只是簡(jiǎn)單的數(shù)據(jù)鏡像，性能甚至能高達(dá) 8k IOPS。因此，如果 HDD 大容量存儲(chǔ)的寫(xiě)入性能至關(guān)重要，則 RAID10 是最佳配置。

雖然 RAID10 的存儲(chǔ)效率較低，但其保護(hù)級(jí)別不如 RAID6 和 RAID60 高 - 因?yàn)榘l(fā)生錯(cuò)誤的兩個(gè)故障HDD如果位于同一個(gè)鏡像，那么就會(huì)導(dǎo)致數(shù)據(jù)丟失，而在 RAID6/60 中，即使任意兩個(gè)驅(qū)動(dòng)器發(fā)生故障，也不會(huì)導(dǎo)致丟失數(shù)據(jù)。

此外，對(duì)于上述隨機(jī)類(lèi)型工作負(fù)載，SSD 緩存有機(jī)會(huì)提供顯著的性能優(yōu)勢(shì)。但由于提升的程度高度取決于工作負(fù)載的實(shí)際情況，因此這個(gè)選項(xiàng)不在本實(shí)驗(yàn)室評(píng)估的范圍內(nèi)。

功率和溫度測(cè)量

表 4：功耗測(cè)量

該型號(hào)配備了東芝 MG10SFA22TE類(lèi)型的高容量 HDD，為降低 IT 和數(shù)據(jù)中心存儲(chǔ)功耗做出了重要且重大的貢獻(xiàn)，測(cè)得的最高功耗值不到 500W，對(duì)于高達(dá)半 PB 的凈存儲(chǔ)，平均功耗為 400W，包含高速網(wǎng)絡(luò)接口，整體工作功耗不到 1kW/PB，這是一個(gè)非常優(yōu)秀的數(shù)值。

東芝 MG 系列 HDD 的內(nèi)部溫度最高可至 60°C，可見(jiàn) 42°C 的最高溫度遠(yuǎn)遠(yuǎn)沒(méi)有達(dá)到極限值。但長(zhǎng)期可靠性在平均溫度或恒定溫度超過(guò) 42°C 時(shí)往往會(huì)下降。因此，為了獲得盡可能高的長(zhǎng)期可靠性，保持環(huán)境溫度在 24°C，以確保在較長(zhǎng)時(shí)間內(nèi) HDD 溫度不會(huì)超過(guò) 42°C 。

測(cè)量腳本

使用 fio 進(jìn)行測(cè)量。列出指令以供參考：

結(jié)論

經(jīng)測(cè)試的 QSAN XN5124D 整合式存儲(chǔ)系統(tǒng)提供大容量、高性能、高度可用和可靠的企業(yè)級(jí)數(shù)據(jù)存儲(chǔ)，完全可以滿(mǎn)足開(kāi)篇描述的工作負(fù)載（例如虛擬化、容器化、監(jiān)控和備份）的嚴(yán)苛容量和性能需求。

使用 24 塊東芝 22TB 企業(yè)級(jí) SAS HDD，原始容量為 528TB，根據(jù)配置不同，凈容量從 264TB (RAID10) 到 484TB (RAID6) 不等。

即使沒(méi)有任何 SSD 緩存，接近 3GB/s 的順序讀取和高達(dá) 1.5GB/s 的順序?qū)懭胄阅芤彩欠浅３錾臄?shù)據(jù)，與 25GbE 網(wǎng)絡(luò)連接的理論極限值相符。建議采用 RAID6 配置，因?yàn)樗婢吒唔樞蛐阅芎碗p重奇偶校驗(yàn)保護(hù)，并實(shí)現(xiàn)了高達(dá) 92% 的存儲(chǔ)效率。隨機(jī)讀取性能約為 3000 IOPS，寫(xiě)入性能峰值高達(dá) 8000 IOPS（在 RAID10 配置下）。

滿(mǎn)載下的最大功耗不超過(guò) 400W（每 TB 凈容量功耗不到 1W，包括擴(kuò)展卡、控制卡、25GbE SFP+ 和 RJ 網(wǎng)絡(luò)接口——非常出色的能效值！）。

適當(dāng)且高效的散熱確保 HDD 溫度保持相對(duì)較低，溫差較小，這有助于延長(zhǎng)旋轉(zhuǎn)式磁盤(pán)的使用壽命并降低故障率。而且所有這些優(yōu)異性能都是在確保高水平的數(shù)據(jù)保護(hù)和低擁有成本的前提下實(shí)現(xiàn)的，這對(duì)于企業(yè)級(jí)應(yīng)用來(lái)說(shuō)也是一個(gè)重要的考量因素。

致謝合作伙伴

我們要感謝我們的合作伙伴 QSAN 提供 XN5124D 測(cè)試機(jī)，也感謝他們?cè)谠O(shè)置和性能測(cè)試方面給予的大力協(xié)助和合作。此次合作是價(jià)值鏈合作的優(yōu)秀范例，為 QSAN 和東芝客戶(hù)提供了如何設(shè)計(jì)經(jīng)過(guò)驗(yàn)證的存儲(chǔ)解決方案的寶貴指導(dǎo)。