深入解析Cache在AI處理器設(shè)計中的作用機制

如今，人工智能 （AI） 無處不在，從互聯(lián)網(wǎng)核心的數(shù)據(jù)中心到互聯(lián)網(wǎng)邊緣的傳感器和手持設(shè)備（如智能手機）以及介于兩者之間的每個點，例如自主機器人和車輛。?

人工智能有兩個主要方面：訓(xùn)練，主要在數(shù)據(jù)中心進行，以及推理，可以在從云到最不起眼的人工智能傳感器的任何地方進行。

人工智能貪婪地消耗了兩樣?xùn)|西：計算處理能力和數(shù)據(jù)。在處理能力方面，ChatGPT 的創(chuàng)建者 OpenAI 發(fā)布了報告，顯示自 2012 年以來，大型 AI 訓(xùn)練運行中使用的計算量每 3.4 個月翻一番，而且沒有放緩的跡象。

在內(nèi)存方面，像 ChatGPT-4 這樣的大型生成式 AI （GenAI） 模型可能有超過一萬億個參數(shù)，所有這些參數(shù)都需要以一種允許同時處理大量請求的方式訪問。此外，還需要考慮需要流式傳輸和處理的大量數(shù)據(jù)。

速度慢的方案

假設(shè)我們正在設(shè)計一個包含一個或多個處理器內(nèi)核的片上系統(tǒng) （SoC） 設(shè)備。我們將在設(shè)備內(nèi)部包含相對少量的內(nèi)存，而大部分內(nèi)存將駐留在 SoC 外部的設(shè)備中。

最快的存儲器類型是SRAM，但每個SRAM單元需要六個晶體管，因此SRAM在SoC內(nèi)部很少使用，因為它會消耗大量的空間和功率。相比之下，DRAM每個單元只需要一個晶體管和電容器，這意味著它消耗的空間和功率要少得多。因此，DRAM 用于在 SoC 外部創(chuàng)建大容量存儲設(shè)備。盡管DRAM提供高容量，但它比SRAM慢得多。

隨著用于開發(fā)集成電路的工藝技術(shù)不斷發(fā)展，結(jié)構(gòu)越來越小，大多數(shù)設(shè)備變得越來越快?？杀氖?，作為DRAM核心的晶體管-電容器位單元并非如此。事實上，由于其模擬性質(zhì)，比特單元的速度幾十年來基本保持不變。

話雖如此，從外部接口可以看出，DRAM的速度隨著每一代產(chǎn)品的發(fā)展而翻了一番。由于每次內(nèi)部訪問都相對較慢，因此實現(xiàn)此目的的方式是在設(shè)備內(nèi)部執(zhí)行一系列burst訪問。如果我們假設(shè)我們正在讀取一系列連續(xù)的數(shù)據(jù)單詞，那么接收第一個單詞將需要相對較長的時間，但我們會更快地看到任何后續(xù)單詞。

如果我們希望流式傳輸大塊連續(xù)數(shù)據(jù)，這很有效，因為我們在傳輸開始時會受到一次性點擊，之后后續(xù)訪問會高速進行。但是，如果我們希望對較小的數(shù)據(jù)塊執(zhí)行多次訪問，則會出現(xiàn)問題。?

速度更快的方案

解決方案是使用高速SRAM在處理設(shè)備內(nèi)部創(chuàng)建本地cache存儲。當處理器首次從 DRAM 請求數(shù)據(jù)時，該數(shù)據(jù)的副本將存儲在處理器的cache中。如果處理器隨后希望重新訪問相同的數(shù)據(jù)，它將使用其本地副本，該副本的訪問速度要快得多。

在 SoC 內(nèi)部使用多級cache是很常見的。這些稱為 1 級 （L1）、2 級 （L2） 和 3 級 （L3）。第一個cache級別具有最小的容量，但訪問速度最高，每個后續(xù)級別的容量更高，訪問速度更低。如圖 1?所示，假設(shè)系統(tǒng)時鐘為 1GHz，DDR4 DRAM，處理器訪問其 L1 cache僅需 1.8 ns，訪問 L2 cache只需 6.4 ns，訪問 L3 cache只需 26 ns。從外部 DRAM 訪問一系列數(shù)據(jù)字中的第一個需要高達 70 ns。

圖1??cache和 DRAM ?訪問?速度??????????

cache在 AI 中的作用

AI 的實現(xiàn)和部署方案種類繁多。就我們的 SoC 而言，一種可能性是創(chuàng)建一個或多個 AI 加速器 IP，每個 IP 都包含自己的內(nèi)部cache。假設(shè)我們希望與 SoC 處理器集群保持cache coherence，我們可以將其視為保持數(shù)據(jù)的所有副本相同。然后，我們將不得不使用coherent interconnect形式的硬件cache coherence解決方案，例如 AMBA 規(guī)范中定義的 CHI。

圖2 cache示例。

維護cache一致性會產(chǎn)生開銷。在許多情況下，AI 加速器不需要保持cache一致性，達到與處理器集群相同的程度。例如，可能只有在加速器處理了大量數(shù)據(jù)后，才需要重新同步，這可以在軟件控制下實現(xiàn)。AI 加速器可以采用更小、更快的互連解決方案（圖 2b）。

在許多情況下，加速器 IP 的開發(fā)人員在其實現(xiàn)中不包括cache。有時，在性能評估開始之前，沒有認識到對cache的需求。一種解決方案是在 AI 加速器和互連之間加入一個特殊的cache IP，以提供 IP 級性能提升（圖 2c）。另一種可能性是將cache IP 用作最后一級cache，以提供 SoC 級性能提升（圖 2d）。

cache設(shè)計并不容易，但設(shè)計人員可以使用可配置的現(xiàn)成解決方案。

許多 SoC 設(shè)計人員傾向于只在處理器和處理器集群的上下文中考慮cache。但是，cache的優(yōu)勢同樣適用于許多其他復(fù)雜 IP，包括 AI 加速器。因此，以 AI 為中心的 SoC 的開發(fā)人員越來越多地評估和部署各種支持cache的 AI 場景。

?審核編輯：黃飛

?