大促秒殺更順滑｜憶聯(lián)攜手南大通用，提供數(shù)據(jù)密集型存儲新范式

雙十二的結(jié)束，意味著2023年的所有大促已落下帷幕。雙十一全網(wǎng)11386億元的銷售額背后是消費的狂歡，更是一場場數(shù)據(jù)洪峰，單天貓平臺在雙十一期間累計訪問用戶數(shù)就已超8億，數(shù)據(jù)訪問的壓力不言而喻。

面對瞬時流量高并發(fā)、海量數(shù)據(jù)查詢等應(yīng)用場景，固態(tài)硬盤憑借其高吞吐量、低時延等特征逐漸成為大數(shù)據(jù)時代下數(shù)據(jù)存儲的重要載體，是當(dāng)前本地部署的數(shù)據(jù)倉庫產(chǎn)品重要搭載硬件，可滿足電商大促場景下大規(guī)模數(shù)據(jù)的存儲和查詢需求。

為更好應(yīng)對含電商在內(nèi)的數(shù)據(jù)密集型行業(yè)對高性能、高可靠存儲的要求，憶聯(lián)特聯(lián)合國內(nèi)大數(shù)據(jù)倉儲的佼佼者——南大通用（下稱：GBase）共同探索大數(shù)據(jù)時代下數(shù)字化轉(zhuǎn)型存儲新方案。

南大通用大規(guī)模分布式并行數(shù)據(jù)庫集群系統(tǒng)（簡稱GBase 8a MPP Cluster），是在GBase 8a系列存儲數(shù)據(jù)庫基礎(chǔ)上開發(fā)的一款Shared Nothing架構(gòu)的分布式并行數(shù)據(jù)庫集群，具備高性能、高可用、高擴展等特性，可為各種規(guī)模數(shù)據(jù)管理提供高性價比的通用計算平臺，廣泛用于支撐各類數(shù)據(jù)倉庫系統(tǒng)、BI系統(tǒng)和決策支持系統(tǒng)。

圖1：GBase 8a MPP Cluster技術(shù)架構(gòu)圖

GBase 8a MPP Cluster采用MPP+Shared Nothing的分布式聯(lián)邦架構(gòu)，節(jié)點間通過TCP/IP網(wǎng)絡(luò)進行通信，每個節(jié)點采用本地磁盤來存儲數(shù)據(jù)。GBase 8a MPP Cluster系統(tǒng)中的每一個節(jié)點都是相對獨立的、自給的，整個系統(tǒng)具有非常強的擴展性，可從幾個節(jié)點擴展到上百節(jié)點，滿足業(yè)務(wù)規(guī)模增長的要求。

本次驗證硬件配置:

本次驗證軟件配置:

本次驗證組網(wǎng)規(guī)劃:

圖2：本次GBase 8a MPP組網(wǎng)規(guī)劃架構(gòu)圖

步驟1：將6塊SAS UM511a配置Raid5。

步驟2：創(chuàng)建數(shù)據(jù)庫和表使用TPC-H工具評估數(shù)據(jù)庫分析處理能力，需要提前創(chuàng)建數(shù)據(jù)庫和TPC-H內(nèi)置的8張表；使用TPC-DS工具評估數(shù)據(jù)庫分析處理能力，提前創(chuàng)建數(shù)據(jù)庫和TPC-DS內(nèi)置的25張表。

步驟3：參數(shù)調(diào)優(yōu)根據(jù)GBase建議進行相關(guān)參數(shù)調(diào)優(yōu)。

步驟4：數(shù)據(jù)生成TCH-H通過dbgen工具可以通過設(shè)置參數(shù)生成所需的測試數(shù)據(jù)，命令參數(shù)為/dbgen -C 10 -S 1 -s 3000 –vf；TPC-DS通過dsdgen工具可以通過設(shè)置參數(shù)生成所需的測試數(shù)據(jù)，命令參數(shù)為./dsdgen -scale 3000 -dir testdata -force -parallel 10 -child 1。

步驟5：數(shù)據(jù)加載數(shù)據(jù)導(dǎo)入時，在GBASE集群本地節(jié)點搭建FTP服務(wù)器，通過FTP加載數(shù)據(jù)。當(dāng)一個表包含多個數(shù)據(jù)文件時，將單表的多個數(shù)據(jù)文件集成一個導(dǎo)入語句中，以單表為粒度分別加載測試數(shù)據(jù)至8張數(shù)據(jù)庫表中。

步驟6：SQL執(zhí)行獨立的客戶端，通過業(yè)務(wù)平面網(wǎng)絡(luò)與GBase集群通信，使用gccli工具執(zhí)行TPC-H 22個SQL用例，

參考命令如下：

/home/GBase/gccli_install/gcluster/server/bin/gccli -h 10.28.100.38 -uroot -Dtpch -vvv < query_1.sql。

本次在GBase 8a MPP場景下驗證結(jié)果如下：

①、憶聯(lián)SAS SSD在Raid邏輯卷帶寬性能測試下的表現(xiàn)：

圖3：憶聯(lián)SAS盤在Raid邏輯卷帶寬性能測試下的表現(xiàn)

在本次測試中，將6個SAS SSD配置Raid5，12塊SATA配置Raid50，在Server主機使用FIO測試工具進行128KB順序讀寫帶寬性能壓測。從圖3結(jié)果表現(xiàn)可知，SAS SSD讀寫帶寬更優(yōu)，讀帶寬比SATA有19.6%左右提升，寫帶寬提升34%左右，展現(xiàn)了SAS SSD在Raid邏輯卷帶寬下的絕對優(yōu)勢，可為高并發(fā)的業(yè)務(wù)場景提供穩(wěn)定、順暢的數(shù)據(jù)服務(wù)體驗。

②、憶聯(lián)SAS SSD在單盤故障降級&重構(gòu)讀性能下的表現(xiàn)：

圖4：憶聯(lián)SAS SSD在單盤故障降級&重構(gòu)讀性能下的表現(xiàn)

單盤降級讀性能是指RAID組在單盤故障或拔出情況下的RAID組邏輯卷讀業(yè)務(wù)性能，重構(gòu)性能是指單盤故障后，RAID同時進行熱備盤數(shù)據(jù)重構(gòu)和業(yè)務(wù)下發(fā)時的業(yè)務(wù)側(cè)性能。本次通過將6塊憶聯(lián)SAS SSD配置Raid5后，在一塊SSD故障條件下進行測試。

如圖4所示，不管是在單盤降級讀性能還是在重構(gòu)讀帶寬條件下，SAS盤的表現(xiàn)都優(yōu)于SATA，單盤降級讀性能優(yōu)于SATA 22.7%左右，重構(gòu)讀帶寬性能上比SATA最大有38.4%左右的提升，滿足在各種復(fù)雜場景下業(yè)務(wù)不中斷、數(shù)據(jù)不丟失的超高可用性要求。

③、憶聯(lián)SAS SSD在TPC-DS場景下的表現(xiàn)：

圖5：TPC-DS場景下憶聯(lián)SAS SSD的表現(xiàn)

TPC-DS測試是通過FTP協(xié)議加載數(shù)據(jù)到GBase數(shù)據(jù)庫表。從圖5可見，在相同物理硬件環(huán)境下，SAS SSD不管是在數(shù)據(jù)導(dǎo)入還是在SQL用例執(zhí)行時間上所用時間都略低于SATA SSD，具備一定時間優(yōu)勢，通過降低系統(tǒng)延遲，提供更快的數(shù)據(jù)訪問速度來提升用戶體驗。

④、憶聯(lián)SAS SSD在TCP-H場景下的表現(xiàn)

圖6：TPC-H場景下憶聯(lián)SAS SSD的表現(xiàn)

TPC-H測試是通過FTP協(xié)議加載數(shù)據(jù)到GBase數(shù)據(jù)庫表。圖6展現(xiàn)了SAS SSD以及SATA SSD在TPC-H測試下的表現(xiàn)，其中SAS SSD總用時略優(yōu)于SATA SSD，數(shù)據(jù)導(dǎo)入時間優(yōu)于SATA約6%，對SQL用例執(zhí)行時間上相比 SATA SSD降低了3%左右，可為業(yè)務(wù)系統(tǒng)提供快速、可靠的決策支持服務(wù)。

總結(jié)：本次驗證充分體現(xiàn)了憶聯(lián)SAS SSD在GBase 8a MPP場景下的性能優(yōu)勢，可有效支持業(yè)務(wù)高效開展，具備單盤帶寬更高，盤故障重構(gòu)、降級性能更優(yōu)等特點，不僅可以幫助企業(yè)節(jié)約硬件采購成本，也可幫助互聯(lián)網(wǎng)數(shù)據(jù)中心、運營商解決海量數(shù)據(jù)下的大數(shù)據(jù)存儲和計算問題，高效處理海量結(jié)構(gòu)化數(shù)據(jù)。

憶聯(lián)深耕固態(tài)硬盤領(lǐng)域多年，已發(fā)布多款高性能、高可靠產(chǎn)品，具備應(yīng)對復(fù)雜的業(yè)務(wù)環(huán)境和數(shù)據(jù)庫挑戰(zhàn)的能力，可滿足行業(yè)用戶海量數(shù)據(jù)處理需求。未來，憶聯(lián)將持續(xù)聯(lián)合GBase共同打造數(shù)字化轉(zhuǎn)型背景下的存儲新方案。