利用Multi-Die設(shè)計的AI數(shù)據(jù)中心芯片對40G UCIe IP的需求

越來越多的日常設(shè)備開始部署生成式人工智能，市場對大語言模型和出色算力的需求也隨之日益增長。Yole Group在2024年OCP區(qū)域峰會的演講過程中表示：“對于訓(xùn)練參數(shù)達(dá)到1750億的GPT-3，我們估計需要6000到8000個A100 GPU歷時長達(dá)一個月才能完成訓(xùn)練任務(wù)。”不斷提高的HPC和AI計算性能要求正在推動Multi-Die設(shè)計的部署，將多個異構(gòu)或同構(gòu)裸片集成到一個標(biāo)準(zhǔn)或高級封裝中。為了快速可靠地處理AI工作負(fù)載，Multi-Die設(shè)計中的Die-to-Die接口必須兼具穩(wěn)健、低延遲和高帶寬特性，最后一點尤為關(guān)鍵。本文概述了利用Multi-Die設(shè)計的AI數(shù)據(jù)中心芯片對40G UCIe IP的需求。

高帶寬Die-to-Die接口用例

AI應(yīng)用正在給半導(dǎo)體行業(yè)帶來新的挑戰(zhàn)。為支持深度學(xué)習(xí)和機器學(xué)習(xí)算法的海量數(shù)據(jù)處理任務(wù)，對更大帶寬的需求不斷增加，特別是對于計算和網(wǎng)絡(luò)應(yīng)用。這些AI應(yīng)用對于Die-to-Die接口提出了不同的要求。本文以100Tb網(wǎng)絡(luò)交換機和AI加速器為例。

圖1為100Tb交換機示例，該交換機可用于AI數(shù)據(jù)中心，采用橫向擴(kuò)展方法來處理跨數(shù)據(jù)中心的海量數(shù)據(jù)。橫向擴(kuò)展方法在機器協(xié)同工作的網(wǎng)絡(luò)中將工作負(fù)載分配到多臺服務(wù)器上。交換機SoC不斷擴(kuò)展，正在接近尺寸極限，因此它被分割成更小的裸片，以提高邊緣使用率。在這種情況下，Die-to-Die接口通過高速以太網(wǎng)在裸片之間以及向外界傳輸大量數(shù)據(jù)，反之亦然。

▲圖1 100Tb交換機的裸片分割用例片

類似Google張量處理單元這樣的AI加速器采用Multi-Die設(shè)計，為PCIe和以太網(wǎng)等接口配備單獨的計算裸片和IO裸片。此類AI處理器在更主流的技術(shù)工藝上使用IO裸片來節(jié)省成本，并在更先進(jìn)的技術(shù)工藝上使用計算裸片來提高性能和能效，從而充分發(fā)揮Multi-Die設(shè)計的優(yōu)勢。一些AI加速器使用圖3所示的裸片分割方法，需要高帶寬Die-to-Die接口來無縫傳輸裸片之間的數(shù)據(jù)。

▲圖2 使用AI加速器的裸片分割用例

另一個示例是裸片連接用例，其中主服務(wù)器裸片或處理器連接到AI加速器裸片，以便執(zhí)行可分流到特定功能加速器的任務(wù)。在這種用例中，Die-to-Die接口用于在需要時將數(shù)據(jù)從服務(wù)器裸片發(fā)送到加速器裸片，而無需在高帶寬下運行。此類用例使用標(biāo)準(zhǔn)封裝技術(shù)（如有機襯底），復(fù)雜性較低。許多邊緣AI和移動應(yīng)用都使用此類用例。

▲圖3 裸片連接用例

利用40G UCIe IP為Die-to-Die連接提供最大帶寬

UCIe規(guī)范已成為Die-to-Die連接的事實標(biāo)準(zhǔn)，確保裸片之間的互操作性、低延遲和實時數(shù)據(jù)傳輸。得益于UCIe，100Tb交換機和AI加速器等使用Multi-Die設(shè)計技術(shù)在標(biāo)準(zhǔn)封裝和高級封裝下實現(xiàn)了帶寬效率更高。作為通用芯粒互聯(lián)產(chǎn)業(yè)聯(lián)盟（UCIe Consortium）的成員，新思科技在其當(dāng)前經(jīng)驗證的UCIe IP基礎(chǔ)上，推出了40G UCIe IP解決方案，可提供比UCIe規(guī)范高25%的帶寬，而不會影響能效或面積。

40G UCIe PHY符合新的UCIe規(guī)范，實現(xiàn)了各種功能，可確保Die-to-Die鏈路可靠性和質(zhì)量。PHY具有全面的可測性設(shè)計（DFT）功能，可用于已知良好裸片和生產(chǎn)測試，從而提高了可測試性。嵌入式信號完整性監(jiān)視器（SIMs）可監(jiān)測Die-to-Die鏈路的任務(wù)模式。監(jiān)視器可以持續(xù)分析Die-to-Die信號質(zhì)量，并在任務(wù)模式下執(zhí)行校正措施，以實現(xiàn)可靠的通信。

PHY在2GHz頻率下支持高達(dá)128B的接口寬度，可以利用整個PHY的帶寬。對于必須以較低時鐘頻率運行的系統(tǒng)，它還在1GHz頻率下支持更寬的256B接口。40G UCIe控制器支持不同的接口選項，例如流式傳輸、CXS、AXI，以及PCIe、CXL、AXI和CHI C2C等協(xié)議，以在Die-to-Die鏈路上運行標(biāo)準(zhǔn)化數(shù)據(jù)。

雖然更高的數(shù)據(jù)速率有助于AI應(yīng)用實現(xiàn)高帶寬效率并滿足數(shù)據(jù)處理要求，但也帶來了設(shè)計挑戰(zhàn)。開發(fā)者必須精心設(shè)計通道規(guī)格，避免更高的插入損耗和串?dāng)_，以實現(xiàn)更優(yōu)性能。速度較低時，可能不需要對發(fā)射器（TX）進(jìn)行均衡處理。但在速度較高時，為了達(dá)到所需的信道性能，就需要進(jìn)行TX均衡，比如使用2抽頭前饋均衡（FFE）。此外還需要采用更強大的接收器（RX）均衡技術(shù)，例如1抽頭決策反饋均衡（DFE）及連續(xù)時間線性均衡（CTLE）。Die-to-Die通道需經(jīng)過大量的信號完整性和電源完整性仿真，以驗證Die-to-Die鏈路特性和性能是否符合預(yù)期。

▲圖4 16G奈奎斯特頻率下的有損信道示例

▲圖5 良好渠道設(shè)計示例

40G UCIe PHY支持新興的先進(jìn)封裝技術(shù)，例如硅或RDL中介層、硅橋和RDL扇出，以及傳統(tǒng)的有機襯底封裝技術(shù)。PHY為先進(jìn)封裝技術(shù)提供高達(dá)12 Tbps/mm的總帶寬效率，為標(biāo)準(zhǔn)封裝技術(shù)提供高達(dá)1.8 Tbps/mm的總帶寬效率，同時運行速度高達(dá)40Gbps/pin。有機襯底封裝技術(shù)雖然更為常見且比較實惠，但需要更多的布線層來支持IP實現(xiàn)更高速的布線。相反，先進(jìn)封裝技術(shù)可以改善布線密度，但也增加了封裝設(shè)計所面臨的挑戰(zhàn)。了解到這種復(fù)雜性，新思科技提供了用于中介層設(shè)計的3DIC Compiler平臺及UCIe-A IP參考設(shè)計。3DIC Compiler是統(tǒng)一的探索到簽核解決方案，其中包含用于自動布線和自定義中介層設(shè)計的工具和腳本。

40G UCIe IP實現(xiàn)了前向時鐘架構(gòu)，以簡化接收器架構(gòu)，從而降低功耗和延遲。其中使用了四倍速率架構(gòu)，對于32 Gbps/pin速度，PHY操作頻率限制為8 GHz；對于40 Gbps/pin速度，PHY操作頻率限制為10 GHz。此外還借助嵌入式低延遲FIFO來補償前向時鐘和本地時鐘之間以及不同通道之間的偏差不匹配。通用的100MHz參考時鐘用作PHY鎖相環(huán)（PLL）的輸入，可生成PHY和控制器所需的所有高頻時鐘，這樣邏輯電路就無需向PHY提供高頻時鐘。圖6為40G UCIe PHY架構(gòu)。

▲圖6 UCIe PHY架構(gòu)

UCIe未來的發(fā)展道路

3D封裝具有功耗和性能優(yōu)勢，正逐漸成為快速Multi-Die設(shè)計的優(yōu)選解決方案。

UCIe規(guī)范2.0正在促使3D封裝中的Die-to-Die連接實現(xiàn)標(biāo)準(zhǔn)化，與2D和2.5D技術(shù)相比，其帶寬更高且功耗更低。UCIe規(guī)范為3D封裝定義了以下特性：

簡約的PHY架構(gòu)，例如簡單的逆變器/驅(qū)動器

適合凸塊區(qū)域的電路和邏輯，這有助于實現(xiàn)較低的工作頻率和更簡單的電路

較小的凸塊間距，例如幾微米

預(yù)定義的Bump-PHY的Bump圖，可簡化互操作性

新思科技利用3DIO IP解決方案實現(xiàn)了3D封裝中的Die-to-Die連接。

3D封裝技術(shù)正蓬勃發(fā)展，未來幾年對更高數(shù)據(jù)速率的需求可能會越來越大。Die-to-Die接口也將持續(xù)演進(jìn)，以支持更高的速度和能效。

業(yè)界首款40G UCIe IP解決方案，包括控制器、PHY和驗證IP，提供更高算力，可滿足速度更高的基于UCIe的Multi-Die設(shè)計需求。PHY的簡化架構(gòu)簡化了IP集成，全面的監(jiān)控、測試和修復(fù)功能則改善了可靠性和芯片的健康狀況。新思科技走在技術(shù)發(fā)展的前沿，并將繼續(xù)部署先進(jìn)的IP來適應(yīng)千變?nèi)f化的市場需求。