美光高管看2024年AI數(shù)據(jù)中心、AI PC的存儲趨勢

電子發(fā)燒友網報道（文/黃晶晶）生成式AI帶來的產業(yè)技術革新不僅在于性能越來越強大的GPU，它同時正在推進存儲產品的變化和技術的進步。近日，美光副總裁暨客戶端存儲事業(yè)部總經理Prasad Alluri在接受包括電子發(fā)燒友網在內的少數(shù)媒體采訪時指出，與過往不同，閃存和內存曾各自為政，主要致力于提高密度。AI的興起帶來了兩大轉變，一是與系統(tǒng)架構的協(xié)同優(yōu)化；二是將能效作為關鍵優(yōu)化參數(shù)。為此，美光科技正積極優(yōu)化存儲產品、賦能AI在數(shù)據(jù)中心、PC、智能手機乃至汽車等各領域的應用與發(fā)展。

AI數(shù)據(jù)中心：兩大存儲池的不同存儲策略

Prasad Alluri表示，在探討AI基礎設施對數(shù)據(jù)中心存儲的具體影響時，我們可以將其視為兩個獨立的存儲池來分析。

首先，存在一個龐大的數(shù)據(jù)池，用于存儲供模型訓練所需的數(shù)據(jù)。以GPT-4為例，據(jù)估算，其訓練過程消耗了互聯(lián)網上約四分之一的數(shù)據(jù)，這足以說明大模型所需數(shù)據(jù)的龐大規(guī)模。為了訓練這類模型，必須具備存儲海量數(shù)據(jù)的能力，我們可以形象地稱之為“數(shù)據(jù)湖”，即所有待訓練數(shù)據(jù)均匯聚于此。

對于這一存儲場景，最關鍵的屬性在于能夠高效且經濟地傳輸數(shù)據(jù)。將容量與經濟性相結合，意味著需要摒棄主要依賴大容量硬盤驅動器的傳統(tǒng)架構，轉而采用大容量SSD。此舉不僅能減少物理占用空間，還能降低能耗，從而提升整體能源經濟性。在此方面，美光科技推出的6500 ION系列產品正是針對大容量存儲需求而優(yōu)化的理想解決方案。

另一方面是訓練過程實際發(fā)生的存儲池，即緊鄰GPU的存儲池。此時，需考慮的是如何將數(shù)據(jù)湖中的數(shù)據(jù)高效送入GPU內存以供訓練。在此過程中，設備的讀寫性能至關重要，尤其是隨機讀取性能。對于這類靠近GPU訓練集群的存儲，美光9550 SSD從設計之初便旨在滿足這些需求。9550 SSD隨機讀取性能領先業(yè)界，速率高達3,300 KIOPS，這正是訓練集群所亟需的。

此外，美光9550 SSD提供業(yè)界領先的能效，并在支持各類AI工作負載方面表現(xiàn)出眾，包括使用大規(guī)模存儲加速器(BaM)進行圖神經網絡(GNN)訓練（SSD平均功耗降低高達43%，整體系統(tǒng)能耗減少高達29%）、NVIDIA Magnum IO GPUDirect Storage（每傳輸1TB數(shù)據(jù)，SSD能耗降低高達81%）、MLPerf（SSD能耗降低高達35%，系統(tǒng)能耗降低高達13%）以及使用Microsoft DeepSpeed對Llama 大語言模型(LLM)訓練進行微調（SSD能耗降低高達 21%）。

AI PC的存儲需求，將遠超微軟的“基準要求”

微軟為AI PC產品Copilot+設定了基準要求，其中NPU的算力起始于40 TOPS，內存方面則規(guī)定了至少16GB的容量，以及256GB的存儲空間作為最低配置。不過，Prasad Alluri表示，這些僅是基礎指導線，并未全面界定AI PC的真正內涵。

“要深入理解AI PC，我們需將焦點放在用戶體驗上。AI PC的核心在于通過諸如翻譯或圖像編輯等任務來提升生產力，且這些任務需在設備上高效完成。正是這種整體體驗定義了AI PC，而非單純的技術規(guī)格。為了滿足用戶的這些期望，我們認為所需的內存量遠超最低指導線。事實上，當前多數(shù)OEM在打造AI PC時，已配備了24GB至32GB的DRAM?！?br />
從存儲角度來看，盡管OEM目前提供的最低容量為512GB，但我們認為對于AI工作負載而言，更理想的容量應接近1TB。

不過，這不僅僅關乎容量大小，功耗效率和性能同樣至關重要。在存儲領域，目標是以最高效的方式將AI模型從存儲加載到內存中。為此，需要在不增加功耗的前提下，獲得盡可能高的吞吐量。美光高性能客戶端3500 SSD在相同功耗下提供了業(yè)界領先的性能。

針對于AI PC，美光科技加速了LPDDR5X在AI PC中的應用普及。與同類SODIMM產品相比，LPDDR5X的性能提升了約1.5倍。此外，還專為AI個人電腦設計了一種新型內存模塊——LPCAMM2。與傳統(tǒng)SODIMM產品相比，LPCAMM2不僅性能提升1.5倍，而且功耗降低高達58%，空間節(jié)省達64%。這款新產品于今年早些時候推出，主要圍繞三大目標設計：提升性能、降低功耗以及減小體積。在標準PC中，通常需要兩個SODIMM并排放置，占用主板大量空間。而LPCAMM2則將這些功能集成到一個DIMM中，從而顯著提升了電源效率和性能。

在當前的PC環(huán)境中，以我們內部使用的Microsoft Copilot為例，它高度依賴云計算，將大部分復雜任務卸載到云端。然而，未來的AI個人電腦將能夠在本地處理部分工作負載，減少對云端的依賴。這樣，模型復雜性將降低，AI個人電腦能在保持高性能的同時，實現(xiàn)更高效的能源利用，提高數(shù)據(jù)處理的靈活性和速率。

在PC的本地存儲中完全可以放置多個模型，并根據(jù)用戶查詢的上下文加載這些模型。例如，如果用戶需要語音轉文本服務，您可以加載相關模型；如果用戶需要圖像創(chuàng)建，您可以加載相應的模型。在此過程中，關鍵在于以節(jié)能方式從存儲中加載數(shù)據(jù)，因此，SSD的性能至關重要，它需在最低功耗下實現(xiàn)最高吞吐量，即充分利用PCIe 4.0 的四通道。

為此，美光科技的3500 SSD不僅在最低功耗下提供行業(yè)領先的性能。同時，該SSD中內置了啟發(fā)式算法。當檢測到AI工作負載時，驅動器可以主動加載所需的正確模型或數(shù)據(jù)。這些就是為實現(xiàn)高效能和電源效率所做的優(yōu)化。

QLC越發(fā)重要，閃存層數(shù)應從縱橫向提升

當本網記者問及當前QLC對于AI存儲越來越重要，美光的看法與規(guī)劃，以及3D NAND閃存的層數(shù)將如何發(fā)展等問題時，Prasad Alluri也給出了詳細的分析。

Prasad Alluri表示，從NAND技術的視角來看，最關鍵的因素在于每平方毫米的容量密度。也就是我們最終追求的是比特面密度（Bit Areal Density），因為這將有助于降低成本。

但是，有多種方法可以實現(xiàn)這一目的。其中一種是對單個物理單元提升容量。這正是四階存儲單元（QLC）技術大顯身手的地方，而我們在這一領域始終保持領先地位，特別是在PC市場率先推出了這一技術。目前，美光科技在該領域的市場占有率位居前列。盡管我們尚未宣布針對數(shù)據(jù)中心的具體計劃，但我們仍在持續(xù)投資QLC技術，并致力于提高容量密度，這是推動技術進步的重要途徑之一。

另外，在NAND技術中可以通過堆疊更多層來增加單位面積內的容量。美光科技最近推出了第九代（G9）TLC NAND技術。雖然目前尚不清楚3D NAND的層數(shù)何時會達到極限，但在未來的幾代產品中，美光的閃存層數(shù)將繼續(xù)增加。



但他也強調，層數(shù)并非實現(xiàn)比特面密度提升的唯一關鍵因素，因為橫向擴展同樣至關重要。除了關注3D堆疊層的數(shù)量外，還需要考慮單元之間水平位置的接近程度。這種橫向優(yōu)化是美光提高比特面密度的另一個關鍵領域。