浪潮信息分布式存儲(chǔ)平臺(tái)AS13000G7的優(yōu)越性能

近年來(lái)，人工智能相關(guān)技術(shù)在社會(huì)發(fā)展中扮演著日漸重要的角色。特別是在廣告、影視等多個(gè)行業(yè)，AIGC將內(nèi)容生產(chǎn)效率提升數(shù)倍甚至數(shù)十倍，降低人力成本50%以上，是推動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵動(dòng)力。然而，在AI技術(shù)快速發(fā)展和相關(guān)應(yīng)用迅速增長(zhǎng)的同時(shí)，其背后的數(shù)據(jù)基礎(chǔ)設(shè)施也面臨嚴(yán)峻的考驗(yàn)。

在諸如大規(guī)模訓(xùn)練數(shù)據(jù)加載、PB級(jí)檢查點(diǎn)斷點(diǎn)續(xù)訓(xùn)（其中，檢查點(diǎn)相關(guān)開(kāi)銷平均可占訓(xùn)練總時(shí)間的12%，甚至高達(dá)43%）和高并發(fā)推理問(wèn)答等場(chǎng)景下，存儲(chǔ)系統(tǒng)的性能直接關(guān)乎整個(gè)訓(xùn)練與推理過(guò)程中GPU的有效利用率。特別在萬(wàn)卡集群規(guī)模下，存儲(chǔ)性能的不足會(huì)顯著增加GPU閑置時(shí)間，導(dǎo)致計(jì)算資源浪費(fèi)——存儲(chǔ)系統(tǒng)1小時(shí)的開(kāi)銷，在千卡集群中就意味著將浪費(fèi)1000卡時(shí)，進(jìn)而造成業(yè)務(wù)成本劇增。因此，在AI場(chǎng)景中，存儲(chǔ)已超越了傳統(tǒng)“數(shù)據(jù)容器”的范疇，轉(zhuǎn)變?yōu)橹蜛I發(fā)展的核心組件。要加快數(shù)據(jù)價(jià)值釋放，推動(dòng)AI產(chǎn)業(yè)化向產(chǎn)業(yè)AI化發(fā)展，提升存儲(chǔ)系統(tǒng)的性能至關(guān)重要。

如果把計(jì)算節(jié)點(diǎn)比作數(shù)據(jù)工廠，存儲(chǔ)介質(zhì)則相當(dāng)于數(shù)據(jù)倉(cāng)庫(kù)。提升存儲(chǔ)性能，意味著用戶能夠在同一時(shí)間內(nèi)通過(guò)“存儲(chǔ)高速”在“數(shù)據(jù)工廠”和“數(shù)據(jù)倉(cāng)庫(kù)”之間更高效地存取“數(shù)據(jù)物料”。

那么，要實(shí)現(xiàn)“數(shù)據(jù)物料”的快速運(yùn)輸，可以從哪些方向入手呢？

其一，減少中轉(zhuǎn)站--數(shù)控分離。通過(guò)軟件層面的創(chuàng)新，將控制面（數(shù)據(jù)工廠）和數(shù)據(jù)面（介質(zhì)倉(cāng)庫(kù)）分離，減少數(shù)據(jù)中轉(zhuǎn)，縮短傳輸路徑，提升存儲(chǔ)單節(jié)點(diǎn)及集群的整體性能。

其二，增加車道數(shù)--硬件升級(jí)。硬件層面采用新一代的高性能硬件，通過(guò)DDR5和PCIe5.0等，升級(jí)存儲(chǔ)帶寬，增加傳輸通道數(shù)量，提升存儲(chǔ)性能的上限。

其三，物料就近存儲(chǔ)--軟硬協(xié)同。在軟硬協(xié)同層面，基于數(shù)控分離架構(gòu)，自主控制數(shù)據(jù)頁(yè)緩存（儲(chǔ)備倉(cāng)）分配策略，靈活調(diào)度內(nèi)核數(shù)據(jù)移動(dòng)，數(shù)據(jù)就近獲取，從而實(shí)現(xiàn)快速I/O。

接下來(lái)，我們將一一介紹這三大性能提升手段背后的實(shí)現(xiàn)原理及其主要價(jià)值。

軟件優(yōu)化

數(shù)控分離，降低80%節(jié)點(diǎn)間數(shù)據(jù)轉(zhuǎn)發(fā)量

在傳統(tǒng)分布式文件系統(tǒng)中，數(shù)據(jù)和元數(shù)據(jù)高度耦合，導(dǎo)致數(shù)據(jù)讀寫(xiě)信息的分發(fā)、傳輸和元數(shù)據(jù)處理都需要經(jīng)過(guò)主存儲(chǔ)節(jié)點(diǎn)。在AI應(yīng)用場(chǎng)景下，隨著客戶端數(shù)量激增和帶寬需求擴(kuò)大，CPU、內(nèi)存、硬盤和網(wǎng)絡(luò)I/O的處理能力面臨嚴(yán)峻考驗(yàn)。盡管數(shù)控一體的分布式文件系統(tǒng)在穩(wěn)定性方面表現(xiàn)優(yōu)異，但在面對(duì)AI訓(xùn)練等大I/O、高帶寬需求時(shí)，其性能瓶頸逐漸顯現(xiàn)。數(shù)據(jù)需通過(guò)主節(jié)點(diǎn)在集群內(nèi)部進(jìn)行轉(zhuǎn)發(fā)，這不僅占用了大量的CPU、內(nèi)存、帶寬和網(wǎng)絡(luò)資源，還導(dǎo)致了數(shù)據(jù)傳輸?shù)难舆t。

為解決該問(wèn)題，業(yè)界曾嘗試通過(guò)RDMA技術(shù)來(lái)提升存儲(chǔ)帶寬。RDMA允許外部設(shè)備繞過(guò)CPU和操作系統(tǒng)直接訪問(wèn)內(nèi)存，從而降低了數(shù)據(jù)傳輸延遲并減輕了CPU負(fù)載，進(jìn)而提升了網(wǎng)絡(luò)通信效率。然而，這種方式并未從根本上解決數(shù)據(jù)中轉(zhuǎn)帶來(lái)的延遲問(wèn)題。

基于此背景，浪潮信息采用全新數(shù)控分離架構(gòu)，將文件系統(tǒng)的數(shù)據(jù)面和控制面完全解耦。控制面主要負(fù)責(zé)管理數(shù)據(jù)的屬性信息，如位置、大小等，通過(guò)優(yōu)化邏輯控制和數(shù)據(jù)管理算法來(lái)提高存儲(chǔ)系統(tǒng)的訪問(wèn)效率和數(shù)據(jù)一致性。而數(shù)據(jù)面則直接負(fù)責(zé)數(shù)據(jù)的讀寫(xiě)操作，消除了中間環(huán)節(jié)的數(shù)據(jù)處理延遲，從而縮短了“數(shù)據(jù)物料”的存取時(shí)間。

這種數(shù)控分離的方式顯著減少了數(shù)據(jù)流在節(jié)點(diǎn)間的轉(zhuǎn)發(fā)次數(shù)，降低80%的東西向（節(jié)點(diǎn)間）數(shù)據(jù)轉(zhuǎn)發(fā)量，充分發(fā)揮硬盤帶寬，特別是全閃存儲(chǔ)性能。以浪潮信息分布式存儲(chǔ)平臺(tái)AS13000G7為例，在相同配置下，相比于單一TCP和單一RDMA方案，數(shù)控分離架構(gòu)能夠帶來(lái)60%讀帶寬提升和110%寫(xiě)帶寬提升。

硬件升級(jí)

拓寬傳輸通路，實(shí)現(xiàn)存儲(chǔ)性能翻倍

在AI應(yīng)用場(chǎng)景下，“數(shù)據(jù)物料”的快速運(yùn)輸依賴于高效的“存儲(chǔ)高速”通道。隨著CPU、內(nèi)存、硬盤等硬件技術(shù)的不斷創(chuàng)新，升級(jí)“存儲(chǔ)高速”通道的硬件成為提升存儲(chǔ)性能的重要途徑。

浪潮信息分布式存儲(chǔ)平臺(tái)AS13000G7采用業(yè)界最新高端處理器芯片，如Intel第五代志強(qiáng)可拓展處理器，單顆最大支持60核，支持Intel 最新2.0版本睿頻加速技術(shù)、超線程技術(shù)以及高級(jí)矢量拓展指令集512（AVX-512)。同時(shí)，支持DDR5內(nèi)存，如三星、海力士的32G、64G高性能、大容量?jī)?nèi)存，單根內(nèi)存在1DPC1情況下，可以支持5600MHz頻率，相比與DDR4的3200MHz的內(nèi)存，性能提升75%。

基于最新處理器的硬件平臺(tái)，AS13000G7已經(jīng)支持PCIe5.0標(biāo)準(zhǔn)，并在此基礎(chǔ)上支持了NVDIA最新的CX7系列400G IB卡及浪潮信息自研PCIe5.0 NVMe。相較于上一代AS13000G6的PCIe4.0的I/O帶寬，實(shí)現(xiàn)帶寬提升100%。

在設(shè)計(jì)上，G7一代硬件平臺(tái)將硬件模塊化設(shè)計(jì)理念最大化，將處理器的I/O全部扇出，采用線纜、轉(zhuǎn)接卡等標(biāo)準(zhǔn)設(shè)計(jì)，實(shí)現(xiàn)配置的靈活性。最大可支持4張PCIe5.0 X16的FHHL卡，所有后端的SSD設(shè)備均通過(guò)直連實(shí)現(xiàn)，取消了AS13000G6 的PCIe Switch設(shè)計(jì)，從而消除了數(shù)據(jù)鏈路上的瓶頸點(diǎn)。前端IO的性能及后端IO的理論性能均提升了4倍。

為測(cè)試性能表現(xiàn)，浪潮信息將兩種軟件棧分別部署在兩代硬件上并進(jìn)行讀寫(xiě)測(cè)試。結(jié)果顯示，與上一代硬件平臺(tái)相比，在不同軟件棧上AS13000G7的性能可提升170%-220%，有效保障了AI應(yīng)用場(chǎng)景下的存儲(chǔ)性能。

軟硬協(xié)同

內(nèi)核親和力調(diào)度，內(nèi)存訪問(wèn)效率提升4倍

在當(dāng)前的AI基礎(chǔ)設(shè)施平臺(tái)中，計(jì)算服務(wù)器配置非常高，更高性能的CPU和更多的插槽數(shù)帶來(lái)了NUMA（Non-Uniform Memory Access）節(jié)點(diǎn)數(shù)據(jù)的增加。在NUMA架構(gòu)中，系統(tǒng)內(nèi)存被劃分為多個(gè)區(qū)域，每個(gè)區(qū)域?qū)儆谝粔K特定的NUMA節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都有自己的本地內(nèi)存。因此，每個(gè)處理器訪問(wèn)本地內(nèi)存的速度遠(yuǎn)快于訪問(wèn)其他節(jié)點(diǎn)內(nèi)存的速度。

然而，在多核處理器環(huán)境下，會(huì)產(chǎn)生大量的跨NUMA遠(yuǎn)端訪問(wèn)。在分布式存儲(chǔ)系統(tǒng)中，由于IO請(qǐng)求會(huì)經(jīng)過(guò)用戶態(tài)、內(nèi)核態(tài)和遠(yuǎn)端存儲(chǔ)集群，中間頻繁的上下文切換會(huì)帶來(lái)內(nèi)存訪問(wèn)延遲。如下圖，在未經(jīng)過(guò)NUMA均衡的存儲(chǔ)系統(tǒng)中，存儲(chǔ)的緩存空間集中在單個(gè)NUMA節(jié)點(diǎn)內(nèi)存內(nèi)。當(dāng)IO請(qǐng)求量增大時(shí)，所有其他NUMA節(jié)點(diǎn)的CPU核的數(shù)據(jù)訪問(wèn)均集中在單個(gè)Socket內(nèi)，造成了大量跨Socket 、跨NUMA訪問(wèn)。這不僅導(dǎo)致了CPU核的超負(fù)荷運(yùn)載和大量閑置，還使得不同Socket上的內(nèi)存帶寬嚴(yán)重不均衡，單次遠(yuǎn)端NUMA節(jié)點(diǎn)訪問(wèn)造成的微小時(shí)延累積將進(jìn)一步增大整體時(shí)延，導(dǎo)致存儲(chǔ)系統(tǒng)聚合帶寬嚴(yán)重下降。

為了降低跨NUMA訪問(wèn)帶來(lái)的時(shí)延，浪潮信息通過(guò)內(nèi)核親和力調(diào)度技術(shù)，在全新數(shù)控分離架構(gòu)下，使內(nèi)核客戶端可自主控制數(shù)據(jù)頁(yè)緩存分配策略并主動(dòng)接管用戶下發(fā)的IO任務(wù)。這種方式能夠更加靈活地實(shí)現(xiàn)各類客戶端內(nèi)核態(tài)到遠(yuǎn)端存儲(chǔ)池的數(shù)據(jù)移動(dòng)策略。其中，針對(duì)不同的IO線程進(jìn)行NUMA感知優(yōu)化，將業(yè)務(wù)讀線程與數(shù)據(jù)自動(dòng)分配到相同的NUMA節(jié)點(diǎn)上，這樣，所有數(shù)據(jù)均在本地NUMA內(nèi)存命中，有效減少了高并發(fā)下NUMA節(jié)點(diǎn)間數(shù)據(jù)傳輸，降低了IO鏈路時(shí)延，4倍提升內(nèi)存訪問(wèn)效率，保證負(fù)載均衡。

浪潮信息分布式存儲(chǔ)平臺(tái)AS13000G7通過(guò)一系列創(chuàng)新技術(shù)，顯著提升了數(shù)據(jù)處理效率，在最新發(fā)布的AI存儲(chǔ)基準(zhǔn)評(píng)測(cè)MLPerf中取得8項(xiàng)測(cè)試的5項(xiàng)性能全球第一，實(shí)現(xiàn)集群帶寬360GB/s、單節(jié)點(diǎn)帶寬達(dá)120GB/s，在滿足AI場(chǎng)景下的高性能存儲(chǔ)需求方面展現(xiàn)出了卓越的能力，為大規(guī)模數(shù)據(jù)處理和AI應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)。