谷歌Gemini模型AI網(wǎng)絡(luò)及TPU拆解

Gemini 是一款新型的多模態(tài)大語言模型，此前多模態(tài)大模型在處理視頻、文字、圖像等多維度輸入信息時是采用分別訓練分別輸出再進行拼接的方式，這種方式的缺點在于面對復(fù)雜邏輯問題時，大模型的回復(fù)略顯遲鈍。

Gemini 采用了全新的訓練方式，直接在多模態(tài)數(shù)據(jù)上進行預(yù)訓練，并利用額外的多模態(tài)數(shù)據(jù)進行微調(diào)，因而可在處理復(fù)雜邏輯問題上更加智能。

下載鏈接：

Gemini 模型一共包括三個版本，可以在不同設(shè)備上進行使用。

1）Gemini Nano—端側(cè)設(shè)備上最高效的模型。這款模型專為智能手機設(shè)計，可以在沒有連接外部服務(wù)器的情況下完成 AI 處理任務(wù)。

2）Gemini Pro—運行在谷歌數(shù)據(jù)中心。Pro 版本將在最新版本的 AI 聊天機器人 Bard 提供支持，是 Bard推出以來的最大升級。目前為 170 多個國家和地區(qū)提供英語服務(wù)，計劃未來幾個月內(nèi)支持新的語言和地區(qū)，并應(yīng)用于搜索、廣告、Chrome 和 Duet AI 等更多谷歌產(chǎn)品。

3）Gemini Ultra —規(guī)模最大且功能最強大的模型，專用于高度復(fù)雜的任務(wù)，會在完成當前測試階段后的明年初向開發(fā)者和企業(yè)客戶提供。屆時還會推出基于 Gemini Ultra 的 Bard Advanced 更新版本。

Gemini 模型訓練基于谷歌自研 TPU 芯片，發(fā)布 TPU v5P，性能全部升級。谷歌較早就開始布局 AI 市場，2015 年便發(fā)布了專門用于 AI 領(lǐng)域的專用芯片 TPU v1,2015 年至今，谷歌已經(jīng)完成了五個版本的迭代。目前現(xiàn)階段谷歌展示的 Gemini 1.0 模型就是基于 TPU v4 和 TPU v5e 兩類芯片來完成訓練過程。

在發(fā)布 Gemini 模型的同時，谷歌發(fā)布了最新的 TPU v5p 系列。v5p 進一步增強了方案可拓展性，并為了應(yīng)對復(fù)雜模型的推理訓練與調(diào)整需求，設(shè)計了新的硬件架構(gòu)。在 v5p 構(gòu)建的集群，每個 Pod 計算單元由 8960顆芯片互聯(lián)，數(shù)量較之前的版本翻倍。計算性能上，新的 pod 浮點運算能力相比 v4 提升了兩倍，訓練速度相比 v4 提升 2.8 倍以上。

谷歌 TPU：創(chuàng)新網(wǎng)絡(luò)拓撲結(jié)構(gòu)，采用光交換技術(shù)（OCS）。傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)為 leaf-spine 葉脊架構(gòu)，英偉達 AI 集群采用的是無收斂胖拓撲結(jié)構(gòu)，谷歌的 AI 網(wǎng)絡(luò)集群在 spine 層進行創(chuàng)新，用 OCS 交換機（光路開關(guān)，optical circuit switch）代替?zhèn)鹘y(tǒng)的電交換機（以太網(wǎng)交換機）。傳統(tǒng)數(shù)據(jù)中心在 spine 層需要進行大量的電光轉(zhuǎn)換，會產(chǎn)生較多的功耗，并且隨著數(shù)據(jù)量增加 spine 層每 2-3 年都需要進行更換。谷歌的 OCS 的目的是替代當下的電網(wǎng)絡(luò)交換機，從而實現(xiàn)近一步成本和功耗的降低。

谷歌的 OCS 稱為為 Palomar，內(nèi)部結(jié)構(gòu)為：輸入輸出為光纖準直器陣列，光纖準直器包括光纖陣列和微透鏡陣列，輸入和數(shù)據(jù)均為 136 個通道（128 個端口+8 個備用端口）。當光通過光纖進入 OCS 系統(tǒng)后，會通過兩個 2D 的 MEMS 陣列，每個 MEMS 陣列含有 136 個平面鏡，用于調(diào)整光的傳播方向。波長為 850nm。

谷歌 AI 網(wǎng)絡(luò)結(jié)構(gòu)拆解：TPU v4 為例。在 TPU v4 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計時候，每個基礎(chǔ)單元是 4*4*4=64 顆 TPU 組成，每個面有 16 個鏈路，因此每個單元一共有 16*6=96 個鏈路連接到 OCS 的光鏈路.此外因為提供 3D 環(huán)面的環(huán)繞鏈接，相對側(cè)的鏈接必須連接到同一個 OCS。因此，每個基礎(chǔ)單元需要 6×16/2=48 個 OCS。

谷歌 TPU v4 支持 4096 顆 TPU 互聯(lián)，具體方案為一共使用 64 個機柜，每個機柜內(nèi)部構(gòu)建 4*4*4=64 顆 TPU的 3D 網(wǎng)絡(luò)結(jié)構(gòu)，其中 3D 結(jié)構(gòu)的外表部分連接到 OCS，中間部分采用無源電纜互聯(lián)。在 4096 顆 TPU 互聯(lián)的系統(tǒng)中一共使用 48 了個 OCS，每個 OCS128 個端口。此外因為 OCS 本身直接進行光信號的傳輸，所以每個端口只需要 1 個光模塊。因為該集群需要 48*128=6144 個光模塊。TPU：光模塊用量=4096：6144=1：1.5

AMD MI300X 對標英偉達 H100。MI300X 由臺積電代工，基于自研的第三代 CDNA 架構(gòu)，集成了 1530 億個晶體管。

對比英偉達 H100，集成了 800 億個晶體管。在性能指標上：1）AI 芯片算力：8 位精度浮點數(shù)（FP8）計算水平來看，MI300X 為 42petaFLOPs（每秒千萬億次浮點運算），H100 則為 32petaFLOPs；2）內(nèi)存：MI300X為 192GB，英偉達 H109 為 120GB。目前，集合 8 張 MI300X 的 Instinct 工作臺已經(jīng)可以支持運行 Llama2（700 億參數(shù)）、BLOOM（1760 億參數(shù)）大模型的訓練與推理。

MI300A：首款高性能 APU。具體參數(shù)上，MI300A 具有 228 個 CDNA3 架構(gòu)的計算核心，24 個 Zen4 架構(gòu)的 X86核心，4 個 I/O DIe，8 個 HBM3，128GB 顯存，5.3TB 峰值帶寬，256MB 的 Infinity 緩存，采用 3.5D 的封裝形式。

審核編輯：湯梓紅