探討大模型時代背景下數據存儲的變革之道

在當今數字化浪潮洶涌澎湃的時代背景下，大模型技術猶如一顆璀璨的明星，照亮了科技發(fā)展的廣闊蒼穹，而存儲技術的變革，作為這一進程中的堅實基石，正日益成為產業(yè)界與學術界共同矚目的核心焦點。

為此，浪潮信息聯(lián)合DOIT推出《有數·高端對話》欄目，分布式存儲產品線總經理姜樂果及DOIT傳媒主編李祥敬，與特邀嘉賓上海交通大學吳晨濤和中科聞歌陳思含共同圍繞大模型的存儲需求變化，展開了一場深度對話。深入探討大模型時代背景下數據存儲的變革之道，共話數字經濟的創(chuàng)新發(fā)展，進一步夯實數據基礎設施，充分釋放數據資源的巨大價值，為廣大行業(yè)同仁及用戶提供價值參考與啟示。

大模型驅動存儲變革

大模型技術的迅猛發(fā)展對存儲系統(tǒng)提出了極為嚴苛的要求。以GPT-4為例，其參數量達到了2200億，每張GPU配備的HBM顯存帶寬達1.6TB/s，整體訓練所需的顯存容量接近400TB。根據Meta等公司的調研數據顯示，大模型在運行過程中會頻繁遭遇內存故障，平均每2-3小時便可能導致一次訓練中斷，這無疑對存儲系統(tǒng)的安全可靠性提出了極高的標準。吳晨濤教授以GPT-4等前沿模型作為實例，清晰闡明了大容量HBM顯存、高帶寬以及高可靠性是存儲系統(tǒng)不可或缺的三大核心特性。

同時，從宏觀角度出發(fā)，吳教授呼吁建立開放的數據生態(tài)。在這一生態(tài)中，通過強化監(jiān)管與隱私保護，旨在打破數據孤島，促進數據的流動與共享，為高質量數據的充分涌流開辟道路，從而為行業(yè)大模型的發(fā)展提供持續(xù)不斷的動力。

作為存儲廠商的代表，姜樂果從存儲技術進化的視角出發(fā)，詳細闡述了在大模型驅動下，傳統(tǒng)計算與當前智算中心存儲設施的全方位變革。在性能層面，智算中心對存儲性能的要求已從百GB級躍遷至TB級，與算力協(xié)同攀升；在容量維度，存儲系統(tǒng)已從PB級大步邁向EB級，輕松應對海量數據洪流的沖擊。同時，數據格式與協(xié)議的多元化與復雜性日益顯著，這對存儲系統(tǒng)突破兼容壁壘提出了迫切需求。

姜樂果還展示了企業(yè)在數據要素市場的積極布局與創(chuàng)新探索。浪潮信息緊跟政策導向，與多方合作伙伴攜手，深入挖掘行業(yè)需求，精心研發(fā)端到端的解決方案及高性能存儲新品。例如，新一代分布式存儲平臺AS13000G7系列產品在MLPerf AI存儲基準評測中表現出色，在3D-UNet（醫(yī)學圖像分割）和CosmoFlow（宇宙學參數預測）兩個應用場景共計8項測試中，斬獲5項全球第一，彰顯強大的性能實力，為行業(yè)大模型數據存儲難題提供有力支撐。

中科聞歌作為一家專注于復雜數據解析和AI輔助決策的人工智能公司，陳思含分享了中科聞歌在大模型實踐中的寶貴經驗。在大模型的發(fā)展歷程中，存儲需求經歷了顯著的動態(tài)演變：從早期對訓練速度的追求導致存儲性能需求激增，到參數量膨脹帶來的數據量與參數規(guī)模指數級增長，再到多模態(tài)數據處理對存儲復雜性的嚴格要求，以及混合讀寫模式和多樣化應用場景引發(fā)的多元化需求。

數據質量作為行業(yè)大模型發(fā)展的核心驅動力，中科聞歌在此方面進行了創(chuàng)新實踐。集成了全球多語言媒體數據的聞海大數據平臺，運用跨模態(tài)AI技術融合信息，構建了垂直領域知識庫，并提供模塊化的智能大屏工具。這一平臺不僅具備全球范圍內高效、安全獲取和處理高質量數據的能力，還成為訓練大模型所需高質量數據的主要數據源和知識庫。

在為客戶提供大模型落地產品和系統(tǒng)時，中科聞歌采取了混合模式，即結合公司自身海量數據與用戶的私有行業(yè)數據進行模型訓練和應用構建，確保了客戶的數據安全，避免了數據出域的風險。

協(xié)同創(chuàng)新下的趨勢展望

展望未來存儲發(fā)展，吳晨濤教授立足學術前沿，前瞻性地預判了關鍵技術走向。他認為，跨域資源調度共享技術，特別是基于CXL協(xié)議的內存池創(chuàng)新，將打破資源限制，實現全域資源的靈動調配。同時，優(yōu)化元數據管理將提升數據檢索與處理效率，而內存故障預測及 Checkpointing 技術則能確保系統(tǒng)穩(wěn)定運行，最大限度地減少故障對數據處理連續(xù)性和完整性的影響。這些技術的迭代升級將為存儲技術的發(fā)展指明方向。

作為存儲廠商的代表，浪潮信息積極擁抱變革，從Storage for AI深度適配需求，到AI for Storage智能賦能提效，再到與大模型企業(yè)緊密合作，精準挖掘系統(tǒng)性能潛能，為用戶提供更貼合業(yè)務的產品。

作為大模型企業(yè)的代表，中科聞歌致力于打造高效、安全和可靠的存儲系統(tǒng)，以適應大模型時代的新要求。在架構上，采用存算分離架構部署AI-Ready數據基礎設施，以加速智能應用。在效率提升方面，全閃存存儲憑借其卓越性能成為破局關鍵，能夠加速數據流轉，激活數據價值。而在安全防護層面，中科聞歌構建主動防御體系，從內核強化存儲安全，筑牢安全防線。

此次對話欄目的成功舉辦，不僅搭建了產學研用之間的溝通橋梁，還為各方的深度合作提供了寶貴的機會。各方代表能夠相互交流思想、碰撞火花，共同探討大模型時代下的存儲技術變革。這一舉措為產學研用四方攜手共進創(chuàng)造了難得契機，共同迎接大模型時代帶來的存儲變革浪潮，推動我國存儲產業(yè)的繁榮發(fā)展。