Meta AI數(shù)據(jù)中心網(wǎng)絡(luò)用了哪家的芯片

在Meta，我們相信開放的硬件會(huì)推動(dòng)創(chuàng)新。在當(dāng)今世界，越來越多的數(shù)據(jù)中心基礎(chǔ)設(shè)施致力于支持新興的AI技術(shù)，開放硬件在協(xié)助分解方面發(fā)揮著重要作用。通過將傳統(tǒng)數(shù)據(jù)中心技術(shù)分解為其核心組件，我們可以構(gòu)建更加靈活、可擴(kuò)展和高效的新系統(tǒng)。

自2011年幫助創(chuàng)建OCP以來，我們分享了數(shù)據(jù)中心和組件設(shè)計(jì)，并開源了網(wǎng)絡(luò)編排軟件，以激發(fā)自己的數(shù)據(jù)中心和整個(gè)行業(yè)的新想法。這些想法使Meta的數(shù)據(jù)中心成為世界上最具可持續(xù)性和效率的數(shù)據(jù)中心之一。現(xiàn)在，通過OCP，我們正在為數(shù)據(jù)中心和更廣泛的行業(yè)帶來新的開放的先進(jìn)網(wǎng)絡(luò)技術(shù)，用于先進(jìn)的AI應(yīng)用。

我們宣布了數(shù)據(jù)中心的兩個(gè)新的里程碑：下一代AI網(wǎng)絡(luò)結(jié)構(gòu)，以及與多家供應(yīng)商密切合作開發(fā)的新網(wǎng)絡(luò)硬件組合。

DSF：已分解并開放的結(jié)構(gòu)

網(wǎng)絡(luò)性能和可用性在從AI訓(xùn)練集群中提取最佳性能方面起著重要作用。正是出于這個(gè)原因，我們一直在為AI集群推動(dòng)后端網(wǎng)絡(luò)結(jié)構(gòu)的分解。在過去的一年里，我們?yōu)橄乱淮鶤I集群開發(fā)了一個(gè)分解的計(jì)劃結(jié)構(gòu)（DSF），以幫助我們開發(fā)開放的、與供應(yīng)商無關(guān)的系統(tǒng)，這些系統(tǒng)具有來自整個(gè)行業(yè)供應(yīng)商的可互換的構(gòu)建塊。基于DSF允許我們構(gòu)建大型、無阻塞的結(jié)構(gòu)，以支持高帶寬AI集群。

DSF將我們的分解網(wǎng)絡(luò)系統(tǒng)擴(kuò)展到基于VoQ的交換系統(tǒng)，該系統(tǒng)由開放的OCP-SAI標(biāo)準(zhǔn)和FBOSS（Meta自己的網(wǎng)絡(luò)操作系統(tǒng)，用于控制網(wǎng)絡(luò)交換機(jī)）提供支持?；赩oQ的調(diào)度確保了網(wǎng)絡(luò)中的主動(dòng)擁塞避免，而不是被動(dòng)的擁塞信號(hào)和反應(yīng)。

DSF結(jié)構(gòu)支持一個(gè)開放和標(biāo)準(zhǔn)的基于以太網(wǎng)的RoCE接口，跨越多個(gè)xPU和NIC，包括Meta的MTIA以及來自幾個(gè)供應(yīng)商的端點(diǎn)和加速器。

下一代AI結(jié)構(gòu)的DSF平臺(tái)

Arista 7700R4系列

DSF平臺(tái)，Arista 7700R4系列，由專用的葉片和spine系統(tǒng)組成，它們組合在一起形成一個(gè)大型的分布式交換機(jī)。作為一個(gè)分布式系統(tǒng)，DSF旨在支持大規(guī)模的AI集群。

7700R4C-38PE: DSF葉片開關(guān)

DSF分布式葉式交換機(jī)（基于Broadcom Jericho3-AI）

18 * 800GE (36 * 400GE) fp800主機(jī)端口

20 *800Gbps (40 *400Gbps)光纖接口

14.4Tbps的無線速度性能和16GB的緩沖區(qū)

7720R4-128PE: DSFspine開關(guān)

DSF分布式主干交換機(jī)（基于Broadcom Ramon3）

加速計(jì)算優(yōu)化流水線

128*800Gbps (256*400Gbps)光纖接口

102.4Tbps的無線速度性能

下一代400G/800G光纖的51T交換機(jī)

Meta將部署兩款下一代400G光纖交換機(jī)，Minipack3（最新版本的Minipack，Meta自己的光纖網(wǎng)絡(luò)交換機(jī)）和Cisco 8501，這兩款交換機(jī)都可以向后兼容之前的200G和400G交換機(jī)，并支持升級(jí)到400G和800G。

Minipack3采用Broadcom最新的Tomahawk5 ASIC，而Cisco 8501則基于Cisco的Silicon One G200 ASIC。這些高性能交換機(jī)的傳輸速率高達(dá)51.2 Tbps，具有64x OSFP端口，并且該設(shè)計(jì)在不需要計(jì)時(shí)器的情況下進(jìn)行了優(yōu)化，以實(shí)現(xiàn)最大的功率效率。與之前的型號(hào)相比，它們也顯著降低了每比特的功率。

Meta將在FBOSS上同時(shí)運(yùn)行Minipack3和Cisco 8501。

光學(xué)：2x400G FR4光學(xué)器件，用于400G/800G光互連

Meta的數(shù)據(jù)中心結(jié)構(gòu)已經(jīng)從200 Gbps/400 Gbps發(fā)展到400 Gbps/800 Gbps，我們已經(jīng)在數(shù)據(jù)中心部署了2x400G光學(xué)器件。

DSF中FBOSS和SAI的演化

我們繼續(xù)采用OCP-SAI將新的網(wǎng)絡(luò)結(jié)構(gòu)、交換硬件平臺(tái)和光收發(fā)器搭載到FBOSS。我們與供應(yīng)商和OCP合作，共同發(fā)展SAI。它現(xiàn)在支持新的特性和概念，如DSF和其他增強(qiáng)的路由方案。

來自世界各地的開發(fā)人員和工程師可以使用這個(gè)開放硬件，并貢獻(xiàn)自己的軟件，反過來，他們可以自己使用并與更廣泛的行業(yè)共享。

FBNIC：由Meta設(shè)計(jì)的多主機(jī)基礎(chǔ)網(wǎng)卡

我們正在繼續(xù)設(shè)計(jì)更多的ASIC，包括用于FBNIC的ASIC。FBNIC是一個(gè)真正的多主機(jī)基礎(chǔ)網(wǎng)卡，包含了為服務(wù)器艦隊(duì)和MTIA解決方案設(shè)計(jì)的第一個(gè)元網(wǎng)絡(luò)ASIC。它最多可以支持四個(gè)主機(jī)，每個(gè)主機(jī)具有完全的數(shù)據(jù)路徑隔離。FBNIC驅(qū)動(dòng)程序從v6.11內(nèi)核開始可用，NIC模塊由Marvell設(shè)計(jì)，并已貢獻(xiàn)給OCP。

FBNIC的主要特點(diǎn)包括：

網(wǎng)絡(luò)接口高達(dá)4*100/4*50/4*25 GE，SerDes支持高達(dá)56G PAM4每通道。

最多4個(gè)獨(dú)立的PCIe Gen5片

HW卸載包括LSO，Checksum

用于PTP的線路速率時(shí)間戳（從PHY一直到每個(gè)主機(jī)）

頭數(shù)據(jù)分割，以協(xié)助零拷貝

兼容OCP網(wǎng)卡3.0，版本1.2.0，設(shè)計(jì)規(guī)范

未來是開放的

推進(jìn)AI意味著構(gòu)建超越規(guī)模的數(shù)據(jù)中心基礎(chǔ)設(shè)施。它還必須考慮到靈活性，高效和可持續(xù)地執(zhí)行。在Meta，我們?cè)O(shè)想AI硬件系統(tǒng)的未來不僅是可擴(kuò)展的，而且是開放和協(xié)作的。

我們鼓勵(lì)任何想要幫助推進(jìn)AI網(wǎng)絡(luò)硬件未來的人與OCP和Meta合作，以幫助共享AI基礎(chǔ)設(shè)施的未來。