浪潮信息剖析智能時(shí)代數(shù)據(jù)存儲領(lǐng)域面臨的挑戰(zhàn)與機(jī)遇

在當(dāng)今數(shù)字化時(shí)代，算力與存力的協(xié)同增長已成為驅(qū)動(dòng)各行各業(yè)發(fā)展的關(guān)鍵力量。特別是在人工智能（AI）這一前沿領(lǐng)域，隨著數(shù)據(jù)量的爆炸式增長，對存儲系統(tǒng)的需求日益復(fù)雜和多樣。近期，在首屆CCF中國存儲大會上，浪潮信息存儲首席架構(gòu)師孫斌深刻剖析了智能時(shí)代數(shù)據(jù)存儲領(lǐng)域面臨的挑戰(zhàn)與機(jī)遇。

算力增長與新范式

近年來，數(shù)據(jù)中心計(jì)算性能的增長呈現(xiàn)出前所未有的態(tài)勢。據(jù)統(tǒng)計(jì)，過去20年間，數(shù)據(jù)中心的計(jì)算性能已經(jīng)增長了超過1000倍。2018年，我們迎來了特定領(lǐng)域架構(gòu)（Domain Specific Architecture, DSA）發(fā)展的黃金時(shí)代，這標(biāo)志著算力增長的新范式已經(jīng)到來。這一范式以通用算力與AI算力的緊密結(jié)合為基礎(chǔ)，通過集群擴(kuò)展和xPU多元編程模式，支撐未來20年計(jì)算性能的持續(xù)增長。

在傳統(tǒng)CPU場景中，邏輯控制遵循摩爾定律，盡管近年來性能增長放緩，但眾核與集群擴(kuò)展技術(shù)的應(yīng)用仍然推動(dòng)了性能的不斷提升。而在GPU/TPU/NPU多場景中，并行計(jì)算能力的迅速提升更是令人矚目，近6年來每年性能增長達(dá)2.5倍。CUDA、HIP、OneAPI等編程模型的出現(xiàn)，為AI計(jì)算提供了強(qiáng)有力的支持。

智能時(shí)代多元存力需求

然而，隨著AI技術(shù)的廣泛應(yīng)用，智能時(shí)代對存力的需求也呈現(xiàn)出多維度、多層次的特征，數(shù)據(jù)的高效匯聚、析取、流動(dòng)與算子部署成為了關(guān)鍵所在。據(jù)預(yù)測，AI合成新數(shù)據(jù)的規(guī)模增速將顯著加快，到2025年，其在全球數(shù)據(jù)總量中的占比將達(dá)到10%。為了實(shí)時(shí)獲取洞察力并加速數(shù)據(jù)價(jià)值的變現(xiàn)，存儲系統(tǒng)需要滿足計(jì)算、存儲、網(wǎng)絡(luò)吞吐率1：1：1的比例，而未來20年存力的增長需求更是高達(dá)100倍以上。

此外，智能時(shí)代的存儲需求還體現(xiàn)在多源、多維、多模、多態(tài)、多域等多個(gè)方面。數(shù)據(jù)來源于多個(gè)行業(yè)、設(shè)備、階段，形態(tài)也多種多樣，包括文本、二進(jìn)制、數(shù)據(jù)庫等。這些數(shù)據(jù)需要在云數(shù)據(jù)中心、邊緣數(shù)據(jù)中心和大型數(shù)據(jù)中心之間高效流動(dòng)和協(xié)同處理。

制約存儲性能提升的隱形枷鎖

盡管存儲系統(tǒng)在性能上取得了顯著進(jìn)步，但存儲節(jié)點(diǎn)仍面臨諸多挑戰(zhàn)。I/O棧依賴的硬件技術(shù)發(fā)展進(jìn)入平緩期，單核IOPS效率、多核擴(kuò)展性、內(nèi)存和IO帶寬與CPU核的比例均呈現(xiàn)下降趨勢。這意味著，保持成本與能耗不變的情況下，兩年翻番的紅利期已經(jīng)結(jié)束。

首先，存儲節(jié)點(diǎn)的緊耦合設(shè)計(jì)限制了其靈活性和擴(kuò)展性。傳統(tǒng)存儲節(jié)點(diǎn)通常采用2/4/5U固定高度，并靜態(tài)配置CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)設(shè)備。這種設(shè)計(jì)雖然簡化了部署和管理，但導(dǎo)致了資源利用率低的問題。由于器部件、設(shè)備、數(shù)據(jù)生命周期不匹配，部分硬件提前淘汰，從而造成資源浪費(fèi)。同時(shí)，SSD存控耦合也限制了單盤容量的提升，進(jìn)一步制約了存儲性能的增長。

其次，以CPU為中心編程的I/O棧存在數(shù)據(jù)通量受限的問題。在處理小規(guī)模數(shù)據(jù)時(shí)，這種設(shè)計(jì)可能表現(xiàn)良好，但隨著數(shù)據(jù)量的增加，CPU逐漸成為瓶頸，限制了數(shù)據(jù)通量。這使得CPU對數(shù)據(jù)I/O的五類算子（編碼、搬移、比較、查詢、插?。┑奶幚硇什桓?，導(dǎo)致單節(jié)點(diǎn)性能上限僅為百萬級IOPS。

此外，I/O驅(qū)動(dòng)的存儲架構(gòu)還導(dǎo)致AI就緒數(shù)據(jù)準(zhǔn)備周期長。AI就緒數(shù)據(jù)通常需要經(jīng)過清洗、轉(zhuǎn)換、聚合等多個(gè)預(yù)處理步驟，在I/O驅(qū)動(dòng)的存儲架構(gòu)下，這些步驟往往耗時(shí)較長，導(dǎo)致數(shù)據(jù)準(zhǔn)備時(shí)間占比超過80%，模型迭代緩慢。

面向未來數(shù)據(jù)中心的存儲底座

為了應(yīng)對數(shù)據(jù)洪流的洶涌澎湃，存力必須實(shí)現(xiàn)百倍的增長。這一需求不僅是對存儲容量的簡單擴(kuò)張，更是對存儲架構(gòu)設(shè)計(jì)范式的根本性變革。重構(gòu)存儲節(jié)點(diǎn)硬件資源的耦合設(shè)計(jì)、打破以CPU為中心的傳統(tǒng)編程模式，將成為支撐未來20年存儲效率與擴(kuò)展能力百倍提升的關(guān)鍵。

在此背景下，浪潮信息存儲首次提出了打造“機(jī)柜級存儲底座（Bottom of Rack, BoR）”和“數(shù)據(jù)中心級存儲底座（Bottom of Datacenter, BoD）”的創(chuàng)新理念。BoR支持近計(jì)算端按需組合存儲節(jié)點(diǎn)配置和軟件微服務(wù)，能夠重構(gòu)多形態(tài)存儲系統(tǒng)，滿足全場景綜合負(fù)載需求。而BoD則支持全域、全局、全生命周期的數(shù)據(jù)編制服務(wù)，能夠解決數(shù)據(jù)孤島問題，提升數(shù)據(jù)流動(dòng)效率，為AI應(yīng)用提供高質(zhì)量的實(shí)時(shí)數(shù)據(jù)，進(jìn)一步簡化部署和運(yùn)維。

浪潮信息在今年5月份CCF秀湖會議提出的“三層三面兩體”新型存儲架構(gòu)理念為BoR和BoD的實(shí)施提供了具體的方向：即向內(nèi)不斷優(yōu)化存儲算法、提升硬件性能、完善軟件功能，以實(shí)現(xiàn)對存儲資源的高效利用和靈活擴(kuò)展；向外積極與云計(jì)算、大數(shù)據(jù)、人工智能等新興技術(shù)融合，推動(dòng)存儲系統(tǒng)的智能化、自動(dòng)化和云化發(fā)展。

近年來，浪潮信息存儲積極探索新型存儲系統(tǒng)與架構(gòu)技術(shù)，以應(yīng)對智能時(shí)代的存儲需求。其中，解耦可組合存儲硬件/軟件設(shè)計(jì)v2.0是關(guān)鍵的創(chuàng)新方向。這一研究深入探索控制/計(jì)算、多層異構(gòu)介質(zhì)硬件資源的解耦與互連，以及存儲功能軟件組件的微服務(wù)化與通信機(jī)制。通過AI統(tǒng)籌的存儲I/O棧微服務(wù)、線程、協(xié)程并發(fā)調(diào)度，實(shí)現(xiàn)近線性擴(kuò)展。同時(shí)，基于新協(xié)議互連，實(shí)現(xiàn)軟件動(dòng)態(tài)定義邏輯控制節(jié)點(diǎn)，實(shí)現(xiàn)存算資源按需彈性組合，SSD模組解耦控制服務(wù)軟硬件與定義盤控協(xié)同規(guī)范，從而支撐SSD容量密度達(dá)到PB級。

此外，浪潮信息存儲還致力于面向數(shù)據(jù)算子的xPU協(xié)同編程新模式的研究。該模式通過聚焦傳統(tǒng)存儲數(shù)據(jù)I/O流和AI就緒的數(shù)據(jù)算子硬件加速技術(shù)，旨在建立xPU協(xié)同編程的新模式。通過分布式共享緩存架構(gòu)和數(shù)據(jù)算子硬件加速技術(shù)，這一模式能夠?qū)崿F(xiàn)單節(jié)點(diǎn)千萬級IOPS高通量和跨節(jié)點(diǎn)近線性擴(kuò)展，從而大幅提升存儲系統(tǒng)的性能。

在全域全局全生命周期數(shù)據(jù)編織服務(wù)平臺方面浪潮信息存儲也進(jìn)行了深入研究。通過構(gòu)建全域、全局、全生命周期的數(shù)據(jù)編織服務(wù)平臺，實(shí)現(xiàn)API驅(qū)動(dòng)的數(shù)據(jù)容納、處理、安全、流動(dòng)、共享和管理。該平臺突破了數(shù)據(jù)與存儲系統(tǒng)解耦技術(shù)，建立了數(shù)據(jù)流通技術(shù)規(guī)范，驅(qū)動(dòng)數(shù)據(jù)跨應(yīng)用、跨系統(tǒng)、跨云共享。同時(shí)，主動(dòng)元數(shù)據(jù)管理引擎、數(shù)據(jù)與算子的統(tǒng)籌部署為AI實(shí)時(shí)提供高質(zhì)量的就緒數(shù)據(jù)，進(jìn)一步提升了存儲系統(tǒng)的智能化和自動(dòng)化水平。

在智能時(shí)代的大背景下，浪潮信息存儲不斷探索和突破新型存儲系統(tǒng)與架構(gòu)技術(shù)，以應(yīng)對日益復(fù)雜和多樣的存儲需求，通過創(chuàng)新舉措正逐步構(gòu)建起一個(gè)高效、可擴(kuò)展、智能化的存儲生態(tài)系統(tǒng)。未來，隨著技術(shù)的不斷進(jìn)步和應(yīng)用場景的不斷拓展，浪潮信息存儲將繼續(xù)引領(lǐng)存儲行業(yè)的發(fā)展潮流，為數(shù)字經(jīng)濟(jì)的繁榮發(fā)展貢獻(xiàn)力量。