硅光芯片如何連接到GPU？

在過去幾面，我們一直在談?wù)摴韫庾訉W(xué)，以至于我們可能和你們中的許多人一樣，對它還沒有普及感到沮喪。但好消息是隨著電信號的進步，我們可能現(xiàn)在不得不轉(zhuǎn)向光芯片尋找?guī)椭?/p>

由于組件之間的電氣互連成本要低得多，這對價格/性能等式的價格分子部分來說是一個福音，盡管硅光子學(xué)在該等式的分母性能部分具有優(yōu)勢。隨著時間的推移，隨著帶寬的增加，電信號變得越來越短，而且噪音也越來越大。這一天將不可避免地到來，我們將從電子轉(zhuǎn)向光子作為電磁信號方法，從銅轉(zhuǎn)向光纖玻璃作為信號介質(zhì)。

這條曲線來自 Nvidia 首席科學(xué)家 Bill Dally 在 3 月份的光纖通信會議上發(fā)表的演講，很好地說明了這一點：

這些曲線沒有爭議，盡管你可以用材料科學(xué)魔法稍微彎曲它們。

幾周前，英偉達(dá)與 Ayar Labs 簽署了研發(fā)合作協(xié)議，我們坐下來與這家硅光子初創(chuàng)公司的首席執(zhí)行官 Charlie Wuischpard 進行了交談，討論了兩人將開展的工作。Nvidia 參與了 Ayar Labs 今年早些時候進行的 C 輪融資，當(dāng)時它籌集了 1.3 億美元來開發(fā)其帶外激光器和硅光子互連。Hewlett Packard Enterprise也在今年 2 月與 Ayar Labs 簽署了一項協(xié)議。為了弄清楚如何將硅光子學(xué)引入 Slingshot 互連，他也是今年 4 月那輪融資的投資者。Ayar Labs 也得到了英特爾的早期支持，盡管英特爾希望將激光器嵌入芯片內(nèi)部，而不是像 Ayar Labs 那樣從芯片外部泵入激光信號。（如果現(xiàn)在有什么是真的，那就是英特爾現(xiàn)在不能做錯任何事。所以英特爾用硅光子對沖它的賭注是件好事。）

在 4 月份的融資時，我們與 Wuischpard 詳細(xì)討論了硅光子學(xué)適合現(xiàn)代系統(tǒng)的地方——以及它尚不適合的地方，最近，我們得到了一些關(guān)于 Nvidia 可能專門開發(fā)的東西的提示。

我們隨后了解到 Dally 在 OFC 2022 上所做的上述演示，該演示非常具體地概述了使用密集波分復(fù)用 （DWDM：dense wave division multiplexing） 的共同封裝光學(xué)器件的目標(biāo)，以及如何將硅光子學(xué)用作交叉連接機架的傳輸和機架的 GPU 計算引擎。

該演示文稿展示了一個未命名的概念機器，例如Dally 的團隊早在 2010 年開發(fā)的“Echelon”概念百億億次系統(tǒng)，我們在 2012 年就聽說了。該機器有特殊的數(shù)學(xué)引擎——不是 GPU——它們之間具有高基數(shù)電氣切換和 Cray “Aries” 機器機架之間的光學(xué)互連。而且那臺 Echelon 機器顯然從未商業(yè)化，而 Nvidia 取而代之的是 Dally 在 Nvidia Research 研究的 NVSwitch 內(nèi)存互連，并提早將其投入生產(chǎn)，以制造本質(zhì)上由fat多端口 InfiniBand 互連的大型iron NUMA GPU 處理器復(fù)合體代替pipes。

在最初的基于 NVSwitch 的 DGX 系統(tǒng)中，Nvidia 只能使用“Volta”V100 GPU 加速器在單個圖像中擴展到 16 個 GPU，而使用“Ampere”A100 GPU 加速器時，Nvidia 不得不將每個 GPU 的帶寬加倍，因此必須將 NVSwitch 的基數(shù)減少兩倍，因此只能將八個 GPU 組合成一個圖像。借助今年早些時候宣布的 NVSwitches 的leaf/spine 網(wǎng)絡(luò)以及將于今年晚些時候發(fā)貨的“Hopper”H100 GPU 加速器，Nvidia 可以將 256 個 GPU 組合成一個內(nèi)存結(jié)構(gòu)，這是一個巨大的改進因素。

但歸根結(jié)底，作為 DGX H100 SuperPOD 核心的 NVSwitch 結(jié)構(gòu)本質(zhì)上仍然是一種創(chuàng)建放大 NUMA 機器的方法，而且它絕對受到電纜布線的限制。而且 NVSwitch 的規(guī)模，即使是 Hopper 一代，也比不上超大規(guī)模生產(chǎn)商為運行最大的 AI 工作負(fù)載而捆綁在一起的數(shù)萬個 GPU。

“我不能談太多細(xì)節(jié)，”Wuischpard 笑著告訴The Next Platform。“你知道，我們是一個物理層解決方案，在軟件和 GPU、內(nèi)存和 CPU 之間的編排方面，還有很多東西要超越它。我們不參與任何這些事情。因此，我想你可以將我們視為未來的物理支持。這是一種多階段的方法。這不僅僅是一個踢輪胎的練習(xí)。但我們必須在一些參數(shù)范圍內(nèi)證明自己，我們必須達(dá)到一些里程碑?！?/p>

我們希望這能澄清這一點。

無論如何，現(xiàn)在讓我們轉(zhuǎn)向 Dally 在 OFC 2022 上的演講，該演講跳到了未來的 GPU 加速系統(tǒng)與硅光子互連的樣子。在我們開始討論之前，讓我們看看 GPU 或交換機之間的帶寬和功率限制、它們連接的印刷電路板以及它們可能被匯集到的機柜，這為硅光子互連奠定了基礎(chǔ)：

規(guī)則很簡單，鏈路越短，帶寬就越高，移位所消耗的功耗就越低。下表列出了中介層、印刷電路板、共封裝光學(xué)器件、電纜和有源光纜的相對功率、成本、密度和每一個，所有這些都是構(gòu)成現(xiàn)代系統(tǒng)不同層次的電線。

使用 DWDM 的共同封裝光學(xué)器件的目標(biāo)是具有比電纜更低的功耗，但成本相似，具有與有源電纜相當(dāng)?shù)姆秶?，并提供與印刷電路板相當(dāng)?shù)男盘柮芏取?/p>

以下是 Dally 對 DWDM 信號的示意圖：

下面是 GPU 和 NVSwitch 如何使用光學(xué)引擎將電信號轉(zhuǎn)換為光學(xué)信號以創(chuàng)建 GPU 的 NVSwitch 網(wǎng)絡(luò)的框圖：

每個光學(xué)引擎有 24 根光纖，它們最初將以 200 Gb/秒的信號速率運行，總帶寬為 4.8 Tb/秒。每個 GPU 都有一對這樣的設(shè)備，可以為其提供進出 NVSwitch 結(jié)構(gòu)的雙向帶寬。因此，具有六個光學(xué)引擎的 NVSwitch 的原始速率為 28.8 Tb/秒，去除編碼開銷后為 25.6 Tb/秒。

以下是 Nvidia 硅光子概念機中設(shè)備組件之間各種障礙的能耗如何計算：

在 GPU 和交換機之間移入和移出數(shù)據(jù)的每比特 3.5 皮焦耳與 Dally 在上表中設(shè)定的目標(biāo)完全一致。我們懷疑成本仍然必須降低才能使計算引擎可以接受共同封裝的光學(xué)器件，但是這里正在進行大量工作，每個人都非常積極。

當(dāng)前 DGX-A100 系統(tǒng)上的嵌入式 NVSwitch 結(jié)構(gòu)上使用的電信號傳輸范圍約為 300 厘米，并以每比特 8 皮焦耳的速度傳輸數(shù)據(jù)。目標(biāo)是硅光子學(xué)以一半的能量做到這一點，并將設(shè)備之間的距離提高到 100 米。

發(fā)生這種情況時，您可以分解架構(gòu)中的 GPU 和交換機——雖然 Nvidia 的概念機沒有顯示這一點，但 CPU 也可以具有光學(xué)引擎，并且它們也可以分解。

以下是帶有共同封裝光學(xué)器件的 GPU 和交換機的外觀：

以下是具有 CPO 鏈接的 GPU 和 NVSwitch 的聚合方式：

外部激光源占用了大量空間，但這也意味著機架的密度可以大大降低，因為設(shè)備之間的連接可以更長。這將使冷卻更容易，并且激光器也可以更換。如果所有這些東西都運行得更冷，激光也會更好地工作。密度被高估了，并且在許多情況下，例如 DGX 系統(tǒng)，機器最終會變得非常熱，以至于您無論如何只能安裝一半的機架，因為功率密度和冷卻需求超出了大多數(shù)數(shù)據(jù)中心的處理能力。

您會注意到，上面的 GPU 和開關(guān)行是垂直放置的，這有助于冷卻。而且它們也沒有安裝在帶有 sockets的巨型印刷電路板上，這將有助于降低整體系統(tǒng)成本，以幫助支付使用光學(xué)互連的費用。

審核編輯 ：李倩