AI和內(nèi)存類存儲結(jié)合節(jié)省成本

采用人工智能 （AI） 應(yīng)用程序的曲棍球棒正在順利進(jìn)行，包括 CPU、GPU、FPGA 和神經(jīng)網(wǎng)絡(luò)處理器在內(nèi)的定制架構(gòu)正在云中占據(jù)一席之地。人工智能大規(guī)模并行架構(gòu)的弱點(diǎn)之一是對電源故障時數(shù)據(jù)丟失的敏感性，導(dǎo)致這些數(shù)據(jù)中心的成本很高。內(nèi)存類存儲架構(gòu)為 AI 應(yīng)用程序提供高性能、持久的內(nèi)存，使數(shù)據(jù)中心的正常運(yùn)行時間、更低的功耗和更高的利潤達(dá)到新的水平。

人工智能 （AI） 和深度學(xué)習(xí)算法的迅速普及正在改變現(xiàn)代數(shù)據(jù)中心的格局。隨著云成為信息的通用資源，包括語音識別、增強(qiáng)現(xiàn)實、醫(yī)學(xué)數(shù)據(jù)挖掘和成千上萬的其他應(yīng)用程序正在捕獲越來越多的數(shù)據(jù)周期。我在這里使用的簡單術(shù)語 AI 意味著許多類型的應(yīng)用程序的集合，其中一些具有截然不同的技術(shù)要求。

云也是大多數(shù)企業(yè)的主要收入來源，正常運(yùn)行時間已成為一項主要要求。系統(tǒng)停機(jī)造成的損失平均為每分鐘 22，000 美元，每年平均 14.1 小時的停機(jī)時間使平均每年損失 1800 萬美元。完全依賴互聯(lián)網(wǎng)的公司很容易看到間接費(fèi)用的倍數(shù)。

顯然，如果解決方案能夠最大限度地減少停機(jī)時間并加快從電源故障中恢復(fù)的速度，那么投資回報就會很快。將內(nèi)存類存儲（以下定義的術(shù)語）引入數(shù)據(jù)中心，尤其是 AI 處理器子系統(tǒng)是提高數(shù)據(jù)中心價值的關(guān)鍵性能增強(qiáng)。

常見的人工智能應(yīng)用

人工智能并不新鮮，盡管大規(guī)模部署人工智能是最近的趨勢。人工智能處理中心沒有單一的架構(gòu)，但是在人工智能的部署中出現(xiàn)了一些共同的趨勢。一般來說，人工智能使用大量相對簡單的處理單元在非常廣泛的數(shù)據(jù)集上并行運(yùn)行，每個處理單元都在數(shù)據(jù)的一個子集上運(yùn)行。

為了幫助可視化這是如何工作的，想象一個 JPEG 圖片處理算法，它有一個小型處理單元，為 8x8 像素陣列運(yùn)行離散余弦變換算法 （DCT）。由于典型的原始圖片遠(yuǎn)大于 8x8 像素，因此 AI 引擎可以包括許多并行運(yùn)行的處理單元，每個處理單元運(yùn)行相同的 DCT 算法，然后有一個主控制器將整體圖片的 8x8 部分提供給處理單元。主控制器將來自每個處理單元的結(jié)果反饋到結(jié)果的輸出緩存中，例如編碼的 JPEG 文件的數(shù)據(jù)。

這些并行處理元素還可以選擇在它們之間共享數(shù)據(jù)，例如管理相鄰輸入數(shù)據(jù)塊之間的邊緣。該解決方案的一種方法是遞歸神經(jīng)網(wǎng)絡(luò) （RNN），如圖 1 所示。

［圖1 | 遞歸神經(jīng)網(wǎng)絡(luò)處理］

將 AI 的使用與功耗成本聯(lián)系起來，上面的簡單 RNN 應(yīng)用程序顯示了當(dāng)黃色輸入數(shù)據(jù)和橙色輸出數(shù)據(jù)存儲在動態(tài)內(nèi)存中時的固有開銷。在數(shù)據(jù)丟失時，必須重新加載輸入數(shù)據(jù)并重新運(yùn)行 RNN 算法以恢復(fù)輸出數(shù)據(jù)。

深度學(xué)習(xí)是 AI 的另一種變體，它對數(shù)據(jù)吞吐量表現(xiàn)出更高的敏感性。深度學(xué)習(xí)算法將種子模式加載到 AI 內(nèi)存中，該模式表示對預(yù)期可能答案的預(yù)先計算估計。深度學(xué)習(xí)的示例包括語音識別，其中種子數(shù)據(jù)可能代表通用語音模式。但是，一旦輸入數(shù)據(jù)開始流過處理單元，深度學(xué)習(xí)就可以修改種子模式。對于語音識別，這可能包括針對特定用戶的口音調(diào)整識別引擎。深度卷積網(wǎng)絡(luò)是一種添加識別、上下文和修改種子以提高算法質(zhì)量和準(zhǔn)確性的機(jī)制。

【圖2 | 深度卷積網(wǎng)絡(luò)處理］

深度學(xué)習(xí)算法面臨的一個挑戰(zhàn)是避免重新訓(xùn)練。想象一下每次將語音識別設(shè)備移到不同房間時都必須重新訓(xùn)練語音識別設(shè)備的客戶的反應(yīng)。對于深度學(xué)習(xí)，修改后的種子模型需要定期檢查點(diǎn)，以便在斷電后可以恢復(fù)學(xué)習(xí)到的數(shù)據(jù)。在圖 2 中，綠色圓圈代表這些模型，如果這些數(shù)據(jù)丟失，則必須重新學(xué)習(xí)對模型的任何更新。粉紅色雙圓圈中的池化層還包含加速處理的信息，必須保存或重建。

常見的 AI 架構(gòu)

如前所述，業(yè)界在人工智能架構(gòu)的硬件實現(xiàn)方面存在趨勢。這些趨勢是：1） 將大量數(shù)據(jù)饋送到廣泛的處理元件陣列中，2） 每個處理器在相對簡單的算法上運(yùn)行，以 3） 產(chǎn)生輸出數(shù)據(jù)，該輸出數(shù)據(jù)被重新組合成所需的結(jié)果。4）對于深度學(xué)習(xí)，這些中間結(jié)果可以修改需要定期提取的初始輸入數(shù)據(jù)集。

【圖3 | 示例 AI 處理器］

圖 3 顯示了一個相當(dāng)?shù)湫偷?AI 設(shè)備，其中 15 個處理元件的陣列通過內(nèi)部存儲器交叉開關(guān)連接到使用高帶寬存儲器的大型數(shù)據(jù)資源（例如，32 GB）。HBM 提供一個 1024 位寬的接口，每個數(shù)據(jù)引腳以 2.4 Gbps 的速度運(yùn)行，并且通過四個內(nèi)部 HBM 總線，可以以大約 1.2 TB/s 的組合吞吐量為處理元件提供數(shù)據(jù)。

此外，每個 AI 設(shè)備都提供多個高速串行 I/O 接口（例如 1 Tbps），以將架構(gòu)擴(kuò)展到大量處理器。這些串行總線以某種特定于應(yīng)用程序的模式互連，通常是超立方體或環(huán)形排列，因此數(shù)據(jù)可以通過陣列分布，以供許多 AI 設(shè)備并行處理。圖 4 是通過陣列路由數(shù)據(jù)的環(huán)形連接方案示例。

【圖4 | 多個AI設(shè)備的環(huán)形連接］

在 1 Tbps 時，這些串行鏈路相當(dāng)快，但鏈路的數(shù)量仍然有限，并且數(shù)據(jù)必須通過陣列進(jìn)行幾跳才能到達(dá)目的地。即使在相當(dāng)高的總線效率下，填充每個 AI 設(shè)備的 HBM 內(nèi)容也可能需要幾秒鐘的時間。一種解決方案是增加來自支持硬件的串行輸入饋送數(shù)量，但在 26 GB/s 的完整 DDR4 接口下，需要四個 DDR4 通道來饋送一個輸入管道，因此外部支持硬件很快成為瓶頸。

檢查點(diǎn)在深度學(xué)習(xí)應(yīng)用程序中修改模型的內(nèi)容也發(fā)生在這些串行總線上。每個 AI 設(shè)備都需要將其內(nèi)容傳達(dá)給支持硬件，以承諾使用非易失性資源，通常是 NVMe 或 SSD 單元。這種檢查點(diǎn)會消耗通信鏈路上寶貴的帶寬，這些時間可以更好地用于數(shù)據(jù)處理。

停電的代價

串行鏈路造成的瓶頸突出了電源故障所面臨的問題。一旦模型丟失，重新填充大量 AI 設(shè)備可能需要很長時間。將應(yīng)用程序重新加載到執(zhí)行單元中也需要時間，然后重新啟動算法并恢復(fù)正在進(jìn)行的丟失工作也可能需要大量時間。同時，系統(tǒng)無法進(jìn)行終端用戶數(shù)據(jù)處理。

對于深度學(xué)習(xí)環(huán)境，數(shù)據(jù)丟失可能是不可接受的，因此必須建立復(fù)雜的機(jī)制來定期檢查種子數(shù)據(jù)模型的學(xué)習(xí)修改。

根據(jù)系統(tǒng)架構(gòu)，重新加載的速度將受到非易失性存儲接口的限制。即使使用 10 GB/s NVMe 備份，大型 AI 陣列的恢復(fù)也可能需要幾分鐘時間。如果這個瓶頸定義了保存的深度學(xué)習(xí)模型的粒度，則可以確保永久丟失數(shù)據(jù)的可能性。為了避免這種數(shù)據(jù)丟失，通常會部署不間斷的備份系統(tǒng)，但是這些架構(gòu)的電源要求往往相當(dāng)高，而且 UPS 相對昂貴。

AI中的內(nèi)存類存儲

Nantero NRAM 是一種非易失性存儲器技術(shù)，可在全 DRAM 速度下運(yùn)行并具有無限的寫入耐久性，因此稱為 Memory Class Storage。NRAM 使用靜電力來切換碳納米管陣列以存儲 1 和 0。NRAM 與 HBM 接口相結(jié)合，為 AI 架構(gòu)的電源故障敏感性問題提供了很好的解決方案。

NRAM HBM 完全像 DRAM HBM 一樣放入 AI 設(shè)備。它使用相同的信號和時序，使集成異常簡單。與存儲類內(nèi)存相比，存儲類內(nèi)存比 DRAM 慢得多，耐用性非常有限，因此仍需要支持 DRAM 才能實現(xiàn)所需的性能，NRAM 完全取代了 AI 設(shè)備中的所有 DRAM，無需額外支持。由于 NRAM 本質(zhì)上是非易失性的，因此 AI 控制器還可以利用其獨(dú)特的功能，例如關(guān)閉刷新并在相同的時鐘頻率下獲得額外 15% 的性能。

【圖5 | HBM NRAM 架構(gòu)］

停電時，系統(tǒng)會向所有 AI 設(shè)備發(fā)送一個信號，警告即將停電。每個 AI 設(shè)備的響應(yīng)方式是完成進(jìn)程中的計算并將結(jié)果存儲到非易失性 NRAM 中，然后關(guān)閉。當(dāng)電源恢復(fù)時，執(zhí)行單元代碼從 NRAM 恢復(fù)到每個執(zhí)行單元所附的本地內(nèi)存（如 SRAM），恢復(fù)臨時結(jié)果，并在微秒而不是分鐘內(nèi)恢復(fù)執(zhí)行。

由于數(shù)據(jù)永遠(yuǎn)不會丟失，并且不需要外部串行鏈路，也不需要 NVMe 或 SSD 等外部備份機(jī)制，因此將 NRAM HBM 并入 AI 架構(gòu)無需昂貴的電池備份系統(tǒng)。

結(jié)論

總之，使用 NRAM HBM 重新構(gòu)想了人工智能和深度學(xué)習(xí)應(yīng)用的計算基礎(chǔ)設(shè)施。通過始終提供固有的數(shù)據(jù)持久性，AI 服務(wù)器無需承受與重新加載模型和其他數(shù)據(jù)相關(guān)的長時間延遲。修改后的模型數(shù)據(jù)的檢查點(diǎn)是自動的，并且不會消耗處理元件和支持計算系統(tǒng)之間的互連上的帶寬。

將 NRAM HBM 整合到 AI 架構(gòu)中，消除了電池備份系統(tǒng)的成本、復(fù)雜性和可靠性問題，并降低了數(shù)據(jù)中心的功耗，同時提高了性能。備份和恢復(fù)過程主要變成 NOP……只需重新啟動即可！

審核編輯：郭婷