谷歌新一代 TPU 芯片 Ironwood：助力大規(guī)模思考與推理的 AI 模型新引擎?

電子發(fā)燒友網(wǎng)報(bào)道（文 / 李彎彎）日前，谷歌在 Cloud Next 大會(huì)上，隆重推出了最新一代 TPU AI 加速芯片 ——Ironwood。據(jù)悉，該芯片預(yù)計(jì)于今年晚些時(shí)候面向 Google Cloud 客戶開放，將提供 256 芯片集群以及 9,216 芯片集群兩種配置選項(xiàng)。

在核心亮點(diǎn)層面，Ironwood 堪稱谷歌首款專門為 AI 推理精心設(shè)計(jì)的 TPU 芯片，能夠有力支持大規(guī)模思考與推理 AI 模型。谷歌方面表示，它代表著 AI 發(fā)展從 “響應(yīng)式” 向 “主動(dòng)式” 的范式轉(zhuǎn)變，未來(lái) AI 代理將能夠主動(dòng)檢索并生成數(shù)據(jù)，進(jìn)而提供深度見解，而非僅僅輸出原始數(shù)據(jù)。

在性能與能效表現(xiàn)上，Ironwood 取得了重大突破。其每瓦性能達(dá)到上一代 TPU Trillium 的兩倍，能效近乎首款云 TPU 的 30 倍。單芯片配備 192GB 高帶寬內(nèi)存（HBM），容量為 Trillium 的 6 倍；HBM 帶寬高達(dá) 7.2TB/s，是 Trillium 的 4.5 倍。芯片間互連（ICI）帶寬提升至 1.2TB/s，為 Trillium 的 1.5 倍，這一提升有力地支持了大規(guī)模分布式訓(xùn)練與推理任務(wù)。

此外，Ironwood 還是谷歌首款支持 FP8 浮點(diǎn)格式的 TPU 芯片。在此之前，TPU 僅支持 INT8（用于推理）和 BF16（用于訓(xùn)練）。采用 FP8 計(jì)算可使 AI 訓(xùn)練吞吐量翻倍，性能相較于 BF16 提升 10 倍。

Ironwood 還配備了增強(qiáng)版 SparseCore 專用加速器，可用于處理高級(jí)排名和推薦任務(wù)中常見的超大嵌入。憑借這一增強(qiáng)版 SparseCore，其能夠加速更多領(lǐng)域的任務(wù)，應(yīng)用范圍從傳統(tǒng)的 AI 任務(wù)拓展至金融和科學(xué)等領(lǐng)域。

在系統(tǒng)架構(gòu)與擴(kuò)展性方面，Ironwood 可擴(kuò)展至 9216 個(gè)液冷芯片，借助突破性的 ICI 網(wǎng)絡(luò)進(jìn)行連接，功率接近 10 兆瓦。它提供 256 芯片和 9216 芯片兩種 Pod 配置，其中 9216 芯片的 Pod 配置整體 AI 算力可達(dá) 42.5 Exaflops。谷歌先進(jìn)的液冷解決方案能夠確保芯片在持續(xù)繁重的 AI 工作負(fù)載下依然保持高性能。

谷歌的 TPU 作為專為機(jī)器學(xué)習(xí)設(shè)計(jì)的定制化加速芯片，自 2015 年首次亮相以來(lái)，已成為 AI 硬件領(lǐng)域的重要力量。TPU 主要應(yīng)用于訓(xùn)練和推理大規(guī)模 AI 模型（如 AlphaGo、PaLM、Gemini 等），并深度融入 Google Cloud 以及谷歌內(nèi)部 AI 服務(wù)之中。

截至目前，TPU 已歷經(jīng)多次版本迭代：TPU v1 支持 INT8 精度，主要用于谷歌內(nèi)部項(xiàng)目（如 AlphaGo、RankBrain）；TPU v2/v3 面向訓(xùn)練與推理場(chǎng)景，支持浮點(diǎn)運(yùn)算，v3 進(jìn)一步增加了內(nèi)存和互連帶寬；TPU v4 的算力達(dá)到 TPU v3 的 2.7 倍，采用液冷技術(shù)，支持 4096 芯片互聯(lián)的 Pod 集群，適用于超大規(guī)模模型（如 PaLM）。

由此可見，谷歌 TPU 憑借其專用化設(shè)計(jì)、高能效比以及與 TensorFlow 的深度集成等優(yōu)勢(shì)，成為大規(guī)模 AI 模型訓(xùn)練與推理的核心硬件支撐。如今，Ironwood 的推出不僅將進(jìn)一步鞏固谷歌在 AI 硬件領(lǐng)域的領(lǐng)先地位，也勢(shì)必為生成式 AI 的下一階段發(fā)展提供強(qiáng)大的計(jì)算動(dòng)力。?