基于 400Gbps 100G-PAM4 OSFP 和 QSFP112 的線纜和光模塊之IB網(wǎng)絡(luò)連接

什么是? [ NVIDIA LinkX ]

NVIDIA LinkX是指英偉達(dá)提供的一系列網(wǎng)絡(luò)連接解決方案，主要用于高性能計(jì)算（HPC）和數(shù)據(jù)中心環(huán)境。LinkX涵蓋了多種產(chǎn)品，包括連接交換機(jī)、網(wǎng)卡等設(shè)備的線纜和光模塊，支持從100Gb/s EDR（Enhanced Data Rate增強(qiáng)速率）到200Gb/s HDR（High-Dynamic Range高動(dòng)態(tài)光照渲染）再到最新的400Gb/s NDR（Next Data Rate最新的速率）速率。適用于100G/ 200G/ 400G 和 800G 基礎(chǔ)設(shè)施的 InfiniBand 和以太網(wǎng)互連。這個(gè)網(wǎng)絡(luò)架構(gòu)中的光模塊、有源光纜和DAC堆疊線纜具有非常出色的低延時(shí)、低功耗和可靠性，適用于AI和加速計(jì)算。接下來我們重點(diǎn)看看400Gbps 100G-PAM4 OSFP 和 QSFP112 的線纜和光模塊在這個(gè)網(wǎng)絡(luò)解決方案中的連接是怎么樣的？

連接方案概述

在高性能計(jì)算平臺Quantum-2 InfiniBand、ConnectX-7網(wǎng)卡、高性能數(shù)據(jù)處理單元BlueField-3 DPU和為高性能計(jì)算和數(shù)據(jù)中心應(yīng)用提供強(qiáng)大的支持的DGX? H100 GPU 系統(tǒng)的 800Gb/s 和 400Gb/s 高速線纜和光模塊連接方案中。其線纜連接方面包括最長3米的直連式線纜(DAC)、3米到5米的線性有源銅纜（ACC）、最長50米的多模光纖以及最長100米、500米和2公里的單模光纖。光模塊方面：交換機(jī)端口可使用雙端口八通道小型可插拔(OSFP）光模塊；ConnectX-7有2種類型的封裝，OSFP和QSFP112；BlueField-3數(shù)據(jù)處理單元的封裝為QSFP112。

交換機(jī)、網(wǎng)卡、DPU適配的光模塊封裝是哪些？

在100G EDR系統(tǒng)和200G HDR系統(tǒng)中，交換機(jī)和網(wǎng)卡上適配的是QSFP28光模塊和QSFP56光模塊；在100G PAM4系統(tǒng)中，交換機(jī)、網(wǎng)卡、DPU等各自適用的光模塊封裝形式是不一樣的。

InfiniBand NDR Quantum-2 QM9700交換機(jī)

這臺交換機(jī)有32個(gè)端口，一個(gè)端口上可插入雙端口頂部帶散熱片的2*400G光模塊，稱為雙端口頂部散熱OSFP端口。由于雙端口OSFP光模塊中有兩個(gè)400G引擎，因此其總電口側(cè)的數(shù)據(jù)速率為800Gb/s，也可以稱為2x400G光模塊。

ConnectX-7網(wǎng)卡：

CX7網(wǎng)卡上面的端口搭配的是平頂式400G單端口OSFP光模塊或者是QSFP112、QSFP56、QSFP28封裝形式的光模塊。雙端口頂部帶散熱片的光模塊是不能用在CX7網(wǎng)卡和DPU上的，端口封裝不匹配。

BlueField-3DPU:

DPU則僅可以插入QSFP112線纜和光模塊，并且DPU可以兼容QSFP56和QSFP28光模塊，但OSFP封裝是不匹配的。

LinkX 100G-PAM4產(chǎn)品線概述

LinkX產(chǎn)品線包括直接連接銅線(DAC)、有源銅纜(ACC)，以及多模和單模光模塊和分支跳線。

DAC

l 在100G-PAM4系統(tǒng)中，DAC堆疊線最長可以達(dá)到3米。它們具有接近零延遲和功耗小于1W的特征。

l 針對2米的DAC堆疊線，我們采用30AWG線號；針對小于3米的DAC堆疊線，我們采用26AWG線號。

l 通常可以做成800G直連線纜，800G分2400G線纜，800G分4200G線纜，分支端的封裝可選OSFP或者是QSFP112。

ACC

l ACC線纜是DAC高速線纜的一種，是一種在線纜的接收端（Rx端）加入一定能力的線性Redriver來提供信號的均衡和整形的技術(shù)，他利用芯片來補(bǔ)償無源銅纜DAC的高頻損失，更像是通過放大擬信號的有源電纜。

l ACC線纜遠(yuǎn)傳輸距離可達(dá)5米

l 800G端為功耗小于1.5W，分支端為0.6W和0.35W，延遲極低。

l 針對2米的DAC堆疊線，我們采用30AWG線號；針對小于3米的DAC堆疊線，我們采用26AWG線號。

l 通?？梢宰龀?00G直連線纜，800G分2400G線纜，800G分4200G線纜，分支端的封裝可選OSFP或者是QSFP112。

850nm的多模光模塊通過50直徑的光纖進(jìn)行信號的轉(zhuǎn)換和傳輸

l 在多模光纖中進(jìn)行傳輸，隨著距離的增大，信號失真增大，多模光模塊的最大傳輸距離是50米。

l 多模光模塊的制造成本會底很多，因?yàn)?0微米直徑的大光纖芯易于將光纖與激光器和檢測器對準(zhǔn)，從而降低制造成本。

l 與單模光學(xué)器件相比，快速且易于對準(zhǔn)和制造可最大限度地降低成本。

l 800G雙端口OSFP光模塊的功耗小于17W

l 400G QSFP112 或 OSFP 光模塊功耗小于9W。

l 800G雙端口直連或者是用一分二的分支跳線將800G光模塊和2個(gè)400G光模塊連接。

l 兩個(gè)光模塊端口均使用1分2光纖分支線纜，創(chuàng)建4個(gè)2x100G-PAM4（200G）鏈路。

l 不提供200Gb/s 多模光模塊，與 2 通道光纖分路端一起使用時(shí)可實(shí)現(xiàn) 200G 并降低功耗。

1310波長光模塊在9微米的纖芯上提供長達(dá)2km的信號傳輸。

l 纖芯直徑小，難以對準(zhǔn)和制造，因此單模光模塊比多模光模塊更昂貴。

l 800G雙端口OSFP光模塊的功耗小于17W

l 400G QSFP112 或 OSFP 光模塊功耗小于9W。

l 不提供200Gb/s 多模收發(fā)器，與 2 通道光纖分路端一起使用時(shí)可實(shí)現(xiàn) 200G 并降低功耗。

l 單模光纖的主要優(yōu)勢在于其使用以下方式提供的長距離傳輸：

1）可定制50米1分2的分支光纖，通過分支光纖和單模光模塊連接交換機(jī)和網(wǎng)卡。

2）可定制100M、500M、2KM距離的光纖用于交換機(jī)和交換機(jī)之間的連接。

英偉達(dá)LinkX IB網(wǎng)絡(luò)解決方案的光模塊、堆疊線和有源光纜特點(diǎn)：

傳輸距離： 數(shù)據(jù)中心用的光模塊連接方案最遠(yuǎn)可達(dá)2km,但實(shí)際應(yīng)用中，一般不超過50米。組件之間保持較短距離的連接，也是最大限度的減少延遲。

速率： 交換機(jī)端口的速率可達(dá)800G，網(wǎng)卡和數(shù)據(jù)處理單元的速率一般為400G

低延遲： 在這個(gè)網(wǎng)絡(luò)系統(tǒng)中使用的光模塊、有源光纜產(chǎn)品需要經(jīng)過嚴(yán)格的測試，保證100G PAM4產(chǎn)品在傳輸大量數(shù)據(jù)時(shí)低延時(shí)要求，盡量減少數(shù)據(jù)的重傳。

光模塊直連： 可插拔光模塊之前的連接可以使用分支線纜，將2個(gè)、3個(gè)或者5個(gè)光模塊互聯(lián)。

相同的電子和光學(xué)元件：不同的光模塊封裝

雙端口OSFP 800Gb/s 頂部帶散熱片的高速線纜和光模塊僅用于交換機(jī)。

雙端口OSFP 800Gb/s 平頂式高速線纜和光模塊可用于DGX-H100和NVLink4 交換系統(tǒng)。單模和多模都可以適用。

800G雙端口OSFP光模塊，平頂版和帶散熱片的具有相同的內(nèi)部結(jié)構(gòu)，一般應(yīng)用于使用液冷系統(tǒng)中的設(shè)備和用于GPU鏈路的大型DGX H100機(jī)箱。

4通道400G光模塊使用OSFP或QSFP112封裝，兩者的電子和光學(xué)元件相同。

封裝兼容性

l DAC高速線纜和(AOC有源光纜，可向后兼容一端 2x200G 雙端口 OSFP 和分支端2x 200G 或 2x 100G QSFP56/28，用于連接到HDR/200GbE和 100GbE/HDR100網(wǎng)卡和交換機(jī)。這些DAC和AOC是唯一可以將 NDR/400GbE 連接到 HDR/200GbE 系統(tǒng)的線纜。光模塊是不兼容的。

l 另外，ConnectX-7網(wǎng)卡和 BlueField-3 DPU 中的 QSFP112 端口向后兼容，并支持帶有4x50G-PAM4的QSFP56 200G 和帶有4x 25G-NRZ 的 QSFP28 100G。端口接受不同類型的光模塊，并且網(wǎng)卡可以降級到較慢的線路速率。

l 100G-PAM4 多模和單模光模塊無法降速到 50G-PAM4 和 25G-NRZ 的較低線路速率。

審核編輯 黃宇