AI時(shí)代，存強(qiáng)則強(qiáng)

2024年，全球各個(gè)國(guó)家、地區(qū)，乃至千行萬業(yè)都迎來了對(duì)AI技術(shù)空前高漲的熱情與關(guān)注。在中國(guó)，兩會(huì)政府工作報(bào)告中首次提出了“人工智能+行動(dòng)”；在歐盟，歐洲會(huì)議通過了具有里程碑意義的《人工智能法案》；在中東地區(qū)，迪拜通過了最新的人工智能戰(zhàn)略，希望打造全球AI中心，沙特建立了數(shù)據(jù)和人工智能管理局（SDAIA），負(fù)責(zé)領(lǐng)導(dǎo)國(guó)家的AI戰(zhàn)略。

今天，AI時(shí)代已經(jīng)真正來臨。與此同時(shí)，全球各方，產(chǎn)學(xué)各界也意識(shí)到一個(gè)問題：AI絕不僅僅是模型和算法的問題，而是對(duì)整個(gè)數(shù)字化基礎(chǔ)設(shè)施的全新考驗(yàn)，是一場(chǎng)算力、存力、運(yùn)力的綜合比拼。

其中，存儲(chǔ)是一個(gè)無法被AI時(shí)代忽視的支點(diǎn)。AI大模型對(duì)存儲(chǔ)提出了哪些需求？什么樣的存儲(chǔ)，才能夠稱為AI存儲(chǔ)？存儲(chǔ)產(chǎn)業(yè)如何在新時(shí)代找到新路徑？

（華為數(shù)據(jù)存儲(chǔ)產(chǎn)品線總裁周躍峰）

帶著這些問題，我們來到了華為中國(guó)合作伙伴大會(huì)2024。與華為數(shù)據(jù)存儲(chǔ)產(chǎn)品線副總裁樊杰進(jìn)行深度交流，了解華為存儲(chǔ)走進(jìn)AI時(shí)代的思考與行動(dòng)。

在本屆大會(huì)中，華為提出了“以存強(qiáng)算、以存強(qiáng)訓(xùn)、以存強(qiáng)安”的理念，希望為業(yè)界打造領(lǐng)先數(shù)據(jù)基礎(chǔ)設(shè)施，推進(jìn)全場(chǎng)景閃存化。在這個(gè)節(jié)點(diǎn)，回顧華為存儲(chǔ)一路走來的戰(zhàn)略布局，會(huì)發(fā)現(xiàn)它的每一步都與AI時(shí)代的脈搏緊密相連，提前預(yù)判產(chǎn)業(yè)走勢(shì)，最終以極高的效率對(duì)大模型訓(xùn)推、數(shù)據(jù)覺醒等需求給出了精準(zhǔn)回應(yīng)。

當(dāng)存儲(chǔ)產(chǎn)業(yè)，面向AI時(shí)代的漫漫曠野時(shí)，華為存儲(chǔ)已經(jīng)率先實(shí)現(xiàn)了AI ready。

我們可以將其定義為一次拓路，幫助存儲(chǔ)產(chǎn)業(yè)拓開AI之路，幫助全球用戶拓開存力之路。

不妨一起來回顧一下，華為存儲(chǔ)的AI拓路是如何完成的。通過這個(gè)過程，我們能夠共同推導(dǎo)出一個(gè)結(jié)論：AI時(shí)代，存強(qiáng)則強(qiáng)。

AI時(shí)代，存強(qiáng)則強(qiáng)

在以深度學(xué)習(xí)為基底的本次AI復(fù)興中，智能與數(shù)據(jù)間的聯(lián)接價(jià)值達(dá)到了史無前例的高度。主流AI技術(shù)的工作機(jī)理，無不建立在算法對(duì)數(shù)據(jù)進(jìn)行充分學(xué)習(xí)的基礎(chǔ)上。因此，數(shù)據(jù)的規(guī)模龐大、質(zhì)量高、流動(dòng)效率強(qiáng)，對(duì)AI技術(shù)的發(fā)展起到了決定性的意義，而數(shù)據(jù)的保管、流動(dòng)、安全水平，都建立在存儲(chǔ)能力的基礎(chǔ)上。

從這個(gè)邏輯出發(fā)，我們可以發(fā)現(xiàn)目前AI技術(shù)涉及的各個(gè)階段，都出現(xiàn)了存弱則AI弱，存強(qiáng)則AI強(qiáng)的現(xiàn)象。

首先是在AI模型最基本的訓(xùn)練階段。

可以看到，隨著AI大模型的興起，大規(guī)模集群化訓(xùn)練已經(jīng)成為主流。而在AI訓(xùn)練集群場(chǎng)景下，任何一個(gè)瓶頸點(diǎn)都會(huì)影響到整個(gè)集群的效率，其中存儲(chǔ)的表現(xiàn)尤為關(guān)鍵。比如說，GPU大量時(shí)間都在加載數(shù)據(jù)，如果期間出現(xiàn)加載失敗，就需要中斷后進(jìn)行斷點(diǎn)重新錄入，耗費(fèi)大量時(shí)間。傳統(tǒng)的存儲(chǔ)解決方案沒有適配AI訓(xùn)練的存力加持，會(huì)因?yàn)榇鎯?chǔ)表現(xiàn)不佳全面拖慢整個(gè)AI訓(xùn)練集群的表現(xiàn)。

因此，越來越多的專家與企業(yè)認(rèn)為，AI訓(xùn)練需要專用的存儲(chǔ)。比如說，英偉達(dá)官方提供的AI訓(xùn)推IT參考架構(gòu)，就專門強(qiáng)調(diào)了大模型訓(xùn)練需要使用外置的專業(yè)高性能共享存儲(chǔ)，以此來提升訓(xùn)練過程的效率與可靠性。這是因?yàn)樵谌f卡集群這樣的大規(guī)模訓(xùn)練場(chǎng)景下，傳統(tǒng)的存儲(chǔ)模式會(huì)導(dǎo)致單個(gè)盤的故障，拖累整體數(shù)據(jù)傳輸效率，并且定位故障需要耗費(fèi)較長(zhǎng)的時(shí)間，導(dǎo)致訓(xùn)練工作頻繁暫停。而讓AI算力直通存儲(chǔ)的新模式，則可以大幅提升AI訓(xùn)練集群的數(shù)據(jù)讀取效率，進(jìn)而縮短模型訓(xùn)練時(shí)間。要知道，在今天的情況下，AI大模型的訓(xùn)練效率就是千行萬業(yè)的產(chǎn)業(yè)效率。除此之外，適配AI訓(xùn)練的存儲(chǔ)，最好還可以實(shí)現(xiàn)更高效的數(shù)據(jù)管理，更簡(jiǎn)便的數(shù)據(jù)清洗，以此來全方位強(qiáng)化AI訓(xùn)練工作。

其次，是在企業(yè)數(shù)據(jù)的保存與流通階段。

伴隨著AI技術(shù)的崛起，企業(yè)的數(shù)據(jù)價(jià)值愈發(fā)寶貴，而企業(yè)所需要存儲(chǔ)的數(shù)據(jù)量在指數(shù)級(jí)增長(zhǎng)。且原本只需要存放的冷數(shù)據(jù)，也因?yàn)锳I技術(shù)的加入而變成了溫?cái)?shù)據(jù)，甚至熱數(shù)據(jù)，需要隨時(shí)參與數(shù)據(jù)流動(dòng)。與此同時(shí)，在數(shù)據(jù)資產(chǎn)化的浪潮下，企業(yè)也希望數(shù)據(jù)具有更強(qiáng)的流通能力，從而真正發(fā)揮資產(chǎn)價(jià)值。在一系列AI技術(shù)帶來的衍生場(chǎng)景中，企業(yè)都需要更強(qiáng)的存儲(chǔ)能力來筑牢數(shù)據(jù)資產(chǎn)，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的可流通屬性。

再次，是中小企業(yè)數(shù)字化進(jìn)程中的數(shù)據(jù)成本問題。

在AI技術(shù)的發(fā)展進(jìn)程中，我們希望智能化的價(jià)值是普惠多元的。但客觀來看，中小企業(yè)想要獲得同等的AI競(jìng)爭(zhēng)力，需要付出更大的數(shù)字化基礎(chǔ)設(shè)施建設(shè)成本。如何實(shí)現(xiàn)中小企業(yè)的存儲(chǔ)升級(jí)普惠，尤其是完成全閃存的更迭，也是存儲(chǔ)行業(yè)面臨的挑戰(zhàn)。

最后，是數(shù)據(jù)安全風(fēng)險(xiǎn)加劇的問題。

在數(shù)據(jù)資產(chǎn)價(jià)值不斷升級(jí)，且AI大模型需要高頻次調(diào)動(dòng)數(shù)據(jù)的新階段，企業(yè)面臨著以勒索病毒為代表的更深刻、更具體的數(shù)據(jù)安全問題。數(shù)據(jù)保護(hù)需要從被動(dòng)保護(hù)向主動(dòng)安全躍遷。

從以上種種不難看出，在智能化體系中，數(shù)據(jù)存在居于底座地位，并且牽一發(fā)動(dòng)全身。適配AI時(shí)代的存儲(chǔ)，不僅是單一存儲(chǔ)技術(shù)的升級(jí)，更是對(duì)經(jīng)濟(jì)智能化所產(chǎn)生綜合存儲(chǔ)升級(jí)的回應(yīng)。

存強(qiáng)則AI強(qiáng)，存強(qiáng)則數(shù)據(jù)強(qiáng)，已經(jīng)成為AI時(shí)代真實(shí)而深刻的風(fēng)向。

智能大勢(shì)，筑基為先

在這樣的智能化大勢(shì)下，存儲(chǔ)產(chǎn)業(yè)應(yīng)該如何回應(yīng)？如何抓住重點(diǎn)，破局謀篇？

華為存儲(chǔ)的選擇，是首先為AI大模型建立起存力底座，讓AI技術(shù)所涉及的各類非結(jié)構(gòu)化數(shù)據(jù)都能統(tǒng)一入湖。有了基礎(chǔ)底座，向上的一切架構(gòu)延展、功能添加才不會(huì)變成空中樓閣。

面對(duì)智能化的大勢(shì)所趨，華為存儲(chǔ)選擇先筑牢基礎(chǔ)。在不久之前的MWC 2024期間，華為存儲(chǔ)發(fā)布了AI數(shù)據(jù)湖、全場(chǎng)景數(shù)據(jù)保護(hù)和DCS全棧數(shù)據(jù)中心三大解決方案。AI數(shù)據(jù)湖，就是構(gòu)建華為存儲(chǔ)為AI時(shí)代構(gòu)建的存力底座。

具體而言，華為AI數(shù)據(jù)湖解決方案，具備數(shù)據(jù)管理DME、一站式知識(shí)生成工具鏈eDataMate、數(shù)據(jù)編織Data Fabric，以及OceanStor A800/A310等全新AI存儲(chǔ)底座。其中新一代高性能NAS存儲(chǔ)OceanStor A800，可以通過數(shù)控分離架構(gòu)、OceanFS高性能并行文件系統(tǒng)、雙向靈活擴(kuò)展等能力，支撐大規(guī)模AI訓(xùn)練集群的實(shí)時(shí)調(diào)度，成為AI大模型的存力底座。

AI數(shù)據(jù)湖對(duì)AI時(shí)代能夠起到哪些層面的加持與支撐？我們可以分三個(gè)層面來分析。

首先，AI訓(xùn)練必須使用大量非結(jié)構(gòu)化數(shù)據(jù)，尤其是圖形類數(shù)據(jù)。AI數(shù)據(jù)湖具有強(qiáng)大的數(shù)據(jù)收集能力，可以確保所有數(shù)據(jù)種類都能入湖，從而使能AI訓(xùn)練場(chǎng)景下，數(shù)據(jù)的全局可視、可管、可用，讓訓(xùn)練數(shù)據(jù)歸集、預(yù)處理和訓(xùn)練的效率倍增，進(jìn)而全面提升大模型訓(xùn)練效率，縮短訓(xùn)練時(shí)間。

其次，AI數(shù)據(jù)湖具有數(shù)據(jù)清洗能力，從而可以通過先清洗再進(jìn)行訓(xùn)練，縮短AI訓(xùn)練的等待時(shí)間。數(shù)據(jù)清洗能力的加入，讓存儲(chǔ)能力與AI訓(xùn)練場(chǎng)景的適配度進(jìn)一步提升。

此外，OceanStor A800/A310等全新AI存儲(chǔ)產(chǎn)品，具備TB級(jí)的帶寬，能夠?qū)崿F(xiàn)極強(qiáng)的數(shù)據(jù)加載能力，可以全面提升數(shù)據(jù)的加載速度，從而兼容到分鐘級(jí)別的數(shù)據(jù)加載。通過數(shù)據(jù)加載能力的升級(jí)，AI訓(xùn)練可以更加高效準(zhǔn)確，讓寶貴的AI算力得到更高的使用效率。

整體而言，面向突然爆火的AI大模型，華為存儲(chǔ)基于長(zhǎng)時(shí)間對(duì)AI存儲(chǔ)的理解與布局，用最快速度給出了回應(yīng)。AI數(shù)據(jù)湖就是這種回應(yīng)的集中表現(xiàn)，其通過軟硬件結(jié)合搭建起了完整的AI存儲(chǔ)體系。這一體系架構(gòu)具備強(qiáng)大的AI訓(xùn)推效率，以及優(yōu)秀的可擴(kuò)展性，能夠滿足未來幾年的持續(xù)演進(jìn)，與AI大模型技術(shù)發(fā)展并軌發(fā)展。

筑牢基礎(chǔ)，是破局一個(gè)新趨勢(shì)、新需求的關(guān)鍵。AI數(shù)據(jù)湖，就是華為存儲(chǔ)為AI時(shí)代筑下的基礎(chǔ)。

它會(huì)成為一把鑰匙，一個(gè)樞紐，容納華為存儲(chǔ)的多元發(fā)展思路，進(jìn)而打開企業(yè)存儲(chǔ)升級(jí)的多種可能性。

三流合一，存以致用

面向AI時(shí)代，存儲(chǔ)產(chǎn)業(yè)的需求是非常多元復(fù)雜的。其中容納了AI大模型的訓(xùn)練推理需求，也有中小企業(yè)的普惠發(fā)展需求，以及貫穿全行業(yè)的存儲(chǔ)安全需求等。因此，華為存儲(chǔ)也執(zhí)行了面向多元需求的發(fā)展策略。

我們可以將這種策略歸納為存力升級(jí)的“三流合一”。

第一條支流，AI ready。

我們前文所重點(diǎn)討論的AI存儲(chǔ)能力，已經(jīng)成為華為存儲(chǔ)的核心差異化競(jìng)爭(zhēng)力?？梢哉f，通過具有前瞻性的布局與產(chǎn)品打造，華為存儲(chǔ)在行業(yè)內(nèi)率先實(shí)現(xiàn)了AI ready。未來，面向AI場(chǎng)景的存儲(chǔ)能力將愈發(fā)重要。AI相關(guān)布局也會(huì)持續(xù)融合為華為存儲(chǔ)的差異化競(jìng)爭(zhēng)力。

第二條支流，全場(chǎng)景數(shù)據(jù)安全。

在AI技術(shù)爆發(fā)式發(fā)展，數(shù)據(jù)價(jià)值不斷提升的今天，也要看到安全隱憂也被同步放大。從近兩年的情況看，勒索病毒持續(xù)泛濫，并且已經(jīng)真實(shí)危害到了金融、電力等涉及國(guó)計(jì)民生的核心產(chǎn)業(yè)。面向存儲(chǔ)的高安全需求，華為首創(chuàng)了存儲(chǔ)與網(wǎng)絡(luò)協(xié)同的多層聯(lián)動(dòng)勒索攻擊防護(hù)（MRP）解決方案。通過2道防線，6層防護(hù)來構(gòu)建全場(chǎng)景的數(shù)據(jù)安全能力。這一能力已經(jīng)美國(guó)權(quán)威機(jī)構(gòu)Tolly認(rèn)證，可以100%實(shí)現(xiàn)防勒索病毒有效。隨著安全能力在數(shù)字化體系中的價(jià)值占比不斷提升，存儲(chǔ)原生安全將成為新的行業(yè)戰(zhàn)略高點(diǎn)。

第三條支流，全場(chǎng)景閃存普惠。

伴隨著各行業(yè)對(duì)數(shù)據(jù)存儲(chǔ)綜合能力需求的提升，越來越多中小企業(yè)希望進(jìn)行全閃存升級(jí)。面對(duì)這一需求，華為在業(yè)界率先提出了閃存普惠理念，并且在目前階段，發(fā)布了含OceanStor Dorado 2100、OceanProtect X3000等全閃存系列產(chǎn)品，可以為企業(yè)帶來性能十倍，更好能耗比，且綜合成本沒有顯著變化的全閃存產(chǎn)品，助力中小企業(yè)的數(shù)字化升級(jí)。

為應(yīng)對(duì)AI時(shí)代帶來的一系列變化，滿足AI訓(xùn)推、閃存普惠、全場(chǎng)景安全等核心需求，華為打造了綜合性的全場(chǎng)景數(shù)據(jù)存儲(chǔ)產(chǎn)品與解決方案。其中富含的戰(zhàn)略目標(biāo)，用華為自己的總結(jié)可以歸納為——以存強(qiáng)算，以存強(qiáng)訓(xùn)，以存強(qiáng)安。

在華為存儲(chǔ)“三流合一”的發(fā)展節(jié)奏背后，核心是應(yīng)對(duì)時(shí)代變化、需求變化的“存以致用”。只有給出準(zhǔn)確的技術(shù)升級(jí)與產(chǎn)品打造，才能讓不同需求、不同行業(yè)、不同發(fā)展階段的企業(yè)，都能夠用存儲(chǔ)強(qiáng)健自身的智能化選擇。

企業(yè)有了更有用，更好用的存儲(chǔ)能力，AI時(shí)代才能夠從曠野變成航道。

拓路曠野，設(shè)立航標(biāo)

AI ready、全閃存普惠，以及全場(chǎng)景安全等能力的構(gòu)建，不僅強(qiáng)化了華為存儲(chǔ)自身的市場(chǎng)價(jià)值，更對(duì)整個(gè)存儲(chǔ)產(chǎn)業(yè)起到了積極的影響。

在今天的存儲(chǔ)產(chǎn)業(yè)眼中，AI時(shí)代還是一片朦朧的曠野。業(yè)界對(duì)于AI需要適配的存儲(chǔ)產(chǎn)品具有宏觀上的共識(shí)，但缺乏具體的可執(zhí)行方案。

從眺望曠野到抵達(dá)目標(biāo)，行業(yè)需要一條路。需要先進(jìn)的產(chǎn)品作為發(fā)展導(dǎo)向，需要強(qiáng)大的技術(shù)能力作為發(fā)展標(biāo)準(zhǔn)，需要豐富的客戶實(shí)踐作為發(fā)展依據(jù)。這種情況下，華為存儲(chǔ)做的事情其實(shí)就是拓路，通過在全新的AI曠野踏出一條路，華為為全球存儲(chǔ)產(chǎn)業(yè)設(shè)立了航標(biāo)。

面向AI時(shí)代的航標(biāo)，具有兩重價(jià)值。首先從橫向的客戶價(jià)值層面看，華為存儲(chǔ)的AI ready讓全球客戶有了面向AI時(shí)代的數(shù)據(jù)底座選擇，同時(shí)也有了全力智能化發(fā)展的底氣與信心。

一家新加坡的TOP級(jí)銀行，基于華為存儲(chǔ)提供的相關(guān)能力構(gòu)建了金融智能化能力。東南亞的TOP級(jí)電商，在華為存儲(chǔ)的幫助下搭建了千卡級(jí)別的AI數(shù)據(jù)湖底座。在中國(guó)市場(chǎng)，科大訊飛與華為存儲(chǔ)合作，用AI數(shù)據(jù)湖搭配400G網(wǎng)絡(luò)，大幅提升了星火大模型的訓(xùn)練效率。

豐富的客戶實(shí)踐表明，華為存儲(chǔ)在AI時(shí)代展現(xiàn)出了更強(qiáng)的競(jìng)爭(zhēng)力，不僅其性能好、可靠性高的產(chǎn)品優(yōu)勢(shì)得到進(jìn)一步釋放，更以對(duì)AI場(chǎng)景的理解獲得了新的機(jī)會(huì)。

在全球市場(chǎng)上，華為存儲(chǔ)已經(jīng)是當(dāng)之無愧的第一梯隊(duì)。根據(jù)3月4日Gartner發(fā)布的《2024年Gartner Peer Insights主存儲(chǔ)客戶之聲》報(bào)告，華為存儲(chǔ)在全球廠商中脫穎而出，獨(dú)家獲得了全球“客戶之選”。

本次評(píng)選共有業(yè)界主流的21家廠商參與，華為OceanStor存儲(chǔ)收到來自亞太、歐洲、中東等區(qū)域的數(shù)百個(gè)客戶評(píng)價(jià)，覆蓋運(yùn)營(yíng)商、金融、教育、醫(yī)療、能源、制造等行業(yè)?？蛻粢恢抡J(rèn)為華為存儲(chǔ)最符合自身期待，提供了全球最佳的使用體驗(yàn)。這一幕對(duì)于中國(guó)存儲(chǔ)產(chǎn)業(yè)來說可謂是前所未有。

而從行業(yè)縱向發(fā)展的角度看，華為存儲(chǔ)率先打造了符合AI時(shí)代需求的技術(shù)架構(gòu)與產(chǎn)品體系，讓行業(yè)有了向前發(fā)展的航標(biāo)。

比如說，可以看到華為在業(yè)界率先提出了AI數(shù)據(jù)湖概念，已經(jīng)起到了引領(lǐng)市場(chǎng)的作用。全球各大廠商都在加強(qiáng)對(duì)AI存儲(chǔ)的研發(fā)投入，從而帶來整個(gè)AI時(shí)代的進(jìn)一步增長(zhǎng)，實(shí)現(xiàn)存算之間更加平衡的適配。

總結(jié)來看，通過洞察AI時(shí)代的存力需求，打造AI存儲(chǔ)基礎(chǔ)設(shè)施，推進(jìn)“三流合一”的發(fā)展策略，華為存儲(chǔ)一步步實(shí)現(xiàn)了面向AI曠野的拓路。

在其努力下，存力不再是滯后與緩慢發(fā)展的一環(huán)，AI時(shí)代的基礎(chǔ)設(shè)施巨變有了齊頭發(fā)展的可行性。

AI時(shí)代，存強(qiáng)則強(qiáng)。換言之，我們可以以存力強(qiáng)AI，以存力強(qiáng)時(shí)代。