《流浪地球》中,科學家利用木星的“引力彈弓”效應(yīng),為地球加速,成功脫離危機,是整部電影最激動人心的高潮段落。
加速,不僅在科幻電影中揪人心弦,對AI行業(yè)也十分重要。比如說,千億級大模型必須寫容錯點checkpoint,一旦數(shù)據(jù)存儲發(fā)生災(zāi)難性故障,導(dǎo)致AI訓練中斷,對于一些著急上線的企業(yè)來說,時間就是生命線,可能造成難以彌補的損失。所以說,確保AI快速穩(wěn)定地進行,是產(chǎn)業(yè)智能化的必要條件。
為AI加速,存儲也可以起到“引力彈弓”效應(yīng)。
試想一下,當你正在滑滑板,有一個速度很快的人從你旁邊經(jīng)過,拉了你一把,就如同彈弓弓弦一樣,給了你一個加速前進的力。存力之于AI,就起到了類似的作用。存力和算力互相協(xié)同,通過存力來縮短數(shù)據(jù)讀寫時間,減少算力的空轉(zhuǎn)等待時間,可以有效提升AI大模型的訓練效率。
不過,想充分釋放存力的“引力彈弓”效應(yīng),傳統(tǒng)存儲的性能、可靠性等,就有些力不從心了。鍛造一張最適合AI的“引力彈弓”,曙光存儲出手了。
此前,曙光推出的智存產(chǎn)品搭載五級加速方案,已經(jīng)在政務(wù)、科研、金融、醫(yī)療等行業(yè)場景,相繼落地。就在近期,又宣布與智元機器人合作,成為具身智能領(lǐng)域的存力伙伴。
在曙光存儲的存力底座上,越來越多的AI模型/能力,正加速奔向產(chǎn)業(yè)宇宙。我們就跟隨這張“引力彈弓”的發(fā)射方向,來一場奔赴星辰大海的AI之旅吧。
“引力彈弓”效應(yīng),利用了宇宙中天體的引力,當航天器進入引力影響范圍時,被拉了一把,行程就會開始加速。
對AI來說,存儲也自帶加速“引力”嗎?答案是肯定的。
至少從四個方面,存儲可以“拉”AI一把:
首先是性能。計算越復(fù)雜,對存儲性能和帶寬的要求越高,存儲必須足夠快,才能匹配上GPU或AI芯片,否則就會導(dǎo)致算力空載、空轉(zhuǎn)或等待。在模型訓練中斷時從checkpoint快速寫回,也可以提高AI計算效率。
其次是質(zhì)量。“garbage in,garbage out(垃圾進,垃圾出)”,存儲承載的數(shù)據(jù)質(zhì)量,直接影響到大模型訓練的效果,隨著大模型需要“咀嚼”的數(shù)據(jù)規(guī)模、類型越來越多,AI存儲必須具備對海量規(guī)模、異構(gòu)等數(shù)據(jù)的高效吞吐和處理能力。
第三是安全。存儲系統(tǒng)的管理審計、權(quán)限管理等,從數(shù)據(jù)I/O通路上保證用戶數(shù)據(jù)的安全可靠,不會有篡改、不可追溯等問題,也是AI用戶十分看重的。
第四是優(yōu)化。存儲可以結(jié)合用戶業(yè)務(wù),進行一些個性化的微調(diào)與適配,比如了解到業(yè)務(wù)數(shù)據(jù)中的大文件多還是小文件多,隨機訪問多還是順序訪問多,在此基礎(chǔ)上進行參數(shù)調(diào)整,可以針對性優(yōu)化,提升業(yè)務(wù)體驗。
因此,存儲在AI基礎(chǔ)設(shè)施中的優(yōu)先級不斷提高。
去年大模型爆火初期,AI行業(yè)用戶一開始只關(guān)注存儲產(chǎn)品的容量,后續(xù)則慢慢意識到存儲的性能、開放兼容性、AI應(yīng)用適配性等更多維度指標的重要性。
從能用到智用,存儲之于AI的“引力”正越來越大,起到了越來越重要的加速作用。
AI存儲對行業(yè)用戶的吸引力,越來越大,但動輒萬億參數(shù)、萬卡集群的AI大模型,對存儲的要求也指數(shù)級上升。
市面上是否有超強AI存力的產(chǎn)品,像木星推動地球一樣,發(fā)揮出強大天體才具備的“引力彈弓效應(yīng)”呢?曙光決定來打造一個。
曙光ParaStor分布式全閃存儲,作為最懂AI的存儲產(chǎn)品,核心特點就是一個字:快。
可以將AI整體表現(xiàn)提升20倍以上,讓數(shù)據(jù)無需等待,AI也就快人一步。具體是怎么做到的?曙光存儲運營總監(jiān)石靜向我們解密。
這張最適合AI的“引力彈弓”,有兩大核心:一是最強的數(shù)據(jù)底座,二是最佳的AI應(yīng)用加速套件。
可以這樣理解,數(shù)據(jù)底座就像是天體本身的引力足夠大、足夠強。
曙光存儲的ParaStor分布式全閃存儲,在整個硬件層面進行提升,可以發(fā)揮出極致性能。帶寬倍數(shù)提升,單個節(jié)點可以做到最高150GB/s帶寬,一秒鐘提供150G的數(shù)據(jù)吞吐。IOPS十倍提升,一秒鐘可以處理320萬個I/O請求,實現(xiàn)高效吞吐。
而應(yīng)用套件,就像是在原有引力基礎(chǔ)上再造一個加速引擎,推動AI走得更快。
ParaStor分布式全閃存儲采用了業(yè)內(nèi)獨家的“五級加速方案”,盡可能地縮短整個I/O流程,讓數(shù)據(jù)更加靠近計算,分別實現(xiàn)了本地內(nèi)存、Burst Buffer加速層、網(wǎng)絡(luò)層(RDMA-Based)、存儲節(jié)點高速層( NVMe SSD-Based )、應(yīng)用層(存儲直達GPU)的五層加速。
最強數(shù)據(jù)底座+五級加速的最佳AI應(yīng)用加速套件,成為一張強有力的“引力彈弓”,讓AI表現(xiàn)提升20倍,可以去往更廣闊的產(chǎn)業(yè)天地。
利用“引力彈弓效應(yīng)”,人造航空器“旅行者1號” 飛出了太陽系,進入了太陽系外更廣闊的宇宙空間。曙光存儲可以讓AI走得更快,那么能推動AI走得更遠嗎?
目前來看,答案是確定的。
作為分布式存儲市場領(lǐng)導(dǎo)者象限中排名第一的廠商,曙光也在AI賽道上起到了引領(lǐng)作用。曙光存儲走向行業(yè)的足跡,連起來,就是AI邁向產(chǎn)業(yè)的“軌跡”。
為AI筑底座。曙光存儲與中國移動合作,為其新型智算中心提供存儲底座,助力萬卡甚至超萬卡集群的建設(shè),算力網(wǎng)絡(luò)AI注智賦能,有望為各行各業(yè)提供澎湃的智能算力。泉州智慧城市大腦,借助新一代曙光存儲的異構(gòu)融合能力,實現(xiàn)海量異構(gòu)數(shù)據(jù)資源的融合,打造更堅實的“數(shù)字底座”。
為AI謀效率。在與某AI大模型廠商的合作中,曙光存儲的ParaStor分布式全閃存儲,單節(jié)點150GB/s帶寬和320萬IOPS,整體訓練效率提升50%以上,有了高效率的支撐大模型廠商更快推出產(chǎn)品來滿足市場需求。
為AI降成本。目前,曙光存儲實現(xiàn)了國內(nèi)外雙棧技術(shù)生態(tài)全兼容(CPU/GPU/OS/DB/Cloud),可以應(yīng)對AI算力多元異構(gòu)的技術(shù)挑戰(zhàn),支持國內(nèi)外不同廠商、不同架構(gòu)、不同版本的算卡,以及多樣的大模型,幫助行業(yè)客戶在智能化過程中,實現(xiàn)成本均衡。更合理的成本,也可以加速AI的產(chǎn)業(yè)化進程。
為AI謀新篇。在具身智能等新興領(lǐng)域,曙光存儲深入了解行業(yè)痛點,針對具身智能機器人低時延、高性能、絲滑體驗等剛需,憑借快訓練、快歸檔和合理成本等優(yōu)勢,為智元機器人打造堅實存儲底座,讓智元機器人可以實時、高效、絲滑地運行,及時處理故障,保持在最佳狀態(tài),加速商用進程,開啟具身智能的新紀元。
不難看到,一張強大存儲的“引力彈弓”,正推動AI走得又快又穩(wěn)又遠,走向廣袤的產(chǎn)業(yè)宇宙。
可能有人會問,為什么最適配AI的存儲,會率先誕生在中國、在曙光?
首先,曙光與國內(nèi)AI的距離最近??梢葬槍π缘貪M足國內(nèi)AI廠商的定制化開發(fā)需求,這是海外廠商很難具備的。
此外,曙光自主研發(fā)實力很強。有國產(chǎn)化要求、擔心海外供應(yīng)鏈風險、追求完全自研的廠商,曙光存儲有極強的吸引力。
而AI新技術(shù),也要求存儲廠商需要更多地跟介質(zhì)廠商、網(wǎng)絡(luò)廠商交互,共同探索全新的方案。以及在存儲系統(tǒng)中納入AI的能力,在算法上面有更多的積淀。因此,對存儲廠商的綜合能力、生態(tài)合作等,也都提出了新的要求。
從這個角度講,曙光存儲在AI領(lǐng)域的“引力彈弓”效應(yīng),也將進一步推動國產(chǎn)存儲廠商的跟進與升級。
當越來越多的國產(chǎn)先進存儲,為AI提供加速引力,一定會將AI推向更廣闊的產(chǎn)業(yè)地帶。那時,我們將看到一個更加遼闊璀璨的智能中國。
審核編輯 黃宇
-
存儲
+關(guān)注
關(guān)注
13文章
4314瀏覽量
85842 -
AI
+關(guān)注
關(guān)注
87文章
30887瀏覽量
269063
發(fā)布評論請先 登錄
相關(guān)推薦
評論