構(gòu)建Gen5測試環(huán)境涉及的相關(guān)的產(chǎn)品和技術(shù)介紹

在研發(fā)實(shí)驗(yàn)室構(gòu)建針對PCIe Gen5 x4企業(yè)級NVMe SSD的測試環(huán)境，或者針對Gen5 x16接口的企業(yè)級GPU, DPU/SmartNIC，AI板卡，或加速卡的測試環(huán)境，需要綜合考慮這些產(chǎn)品在企業(yè)級數(shù)據(jù)中心或者Internet網(wǎng)數(shù)據(jù)中心的實(shí)際使用環(huán)境。

企業(yè)級SSD和各類板卡除了可能直連PCIe Gen5 CPU外，大多數(shù)都需要連接PCIe Gen5 switch或者Retimer卡，所以構(gòu)建測試環(huán)境的時候就必須要考慮這些治具。

下面我們簡要介紹一下構(gòu)建Gen5測試環(huán)境涉及的相關(guān)的產(chǎn)品和技術(shù)。

第一部分：PCIe Gen5 Switch卡

在目前市場上還幾乎買不到任何量產(chǎn)發(fā)布的PCIe Gen5 服務(wù)器和endpoint卡的情況下，SerialCables公司的PCIe Gen5 switch卡成為用戶搭建Gen5測試環(huán)境的唯一選擇。

該卡對于構(gòu)建PCIe Gen5測試環(huán)境具備兩重屬性：

1）對于測試RC端，例如CPU來講，它可以作為可靠的“EndPoint”，用來訓(xùn)練RC端的PCIe Gen5鏈路。

2）對于測試EP端，例如上述的SSD和各類板卡，它作為可靠的“RC”，用來訓(xùn)練EP端的PCIe Gen5鏈路。

下圖為SerialCables最新版本的Rev1.6的Gen5 switch卡圖片，目前國內(nèi)主流芯片公司基本都購買該卡進(jìn)行Gen5 CPU或者板卡/SSD盤的測試。

該Gen5 switch卡提供上行Gen5 x16金手指，下行分成兩部分：插槽和MCIO接口。

1.頂部提供PCIe Gen 5x16插槽，提供非常好的信號質(zhì)量，可以用來測試各種Gen5板卡，如GPU/DPU。

下圖是采用該P(yáng)CIe Gen5 x16 switch卡測試圖形卡的示意圖。

該Gen5 Switch卡的頂部插槽信號輸出的眼圖質(zhì)量如下圖所示。

相比較來講，目前不少客戶在x86 Gen5 CPU服務(wù)器量產(chǎn)之前采用將插卡插入工作站/臺式機(jī)的PCIe Gen5 x16插槽的方式進(jìn)行測試，可能碰到很多問題，除了CPU本身的問題外，主板信號質(zhì)量也是一個很重要的因素，下面的眼圖是在號稱業(yè)內(nèi)最好的工作站主板廠商提供的Intel Z690主板芯片組的PCIe Gen5 x16插槽（直連CPU）獲得的眼圖。

2.Gen5 Switch卡左邊提供4個Gen5 x4 MCIO接口。通過各種MCIO轉(zhuǎn)接U.2, U.3, EDSFF的Gen5轉(zhuǎn)接線纜可以連接測試各類常見接口的PCIe Gen5 NVMe SSD。當(dāng)然這4個端口是動態(tài)配置的，也就是說，如果用戶自己定制或者購買2*MCIO轉(zhuǎn)接1*x8插槽的轉(zhuǎn)接治具，或者4*MCIO轉(zhuǎn)接1*x16插槽，也可以用來分別測試Gen5 x8或者Gen5 x16的各種產(chǎn)品。

下圖展示了左側(cè)通過Gen5 MCIO/U.2 1x4線纜連接single port盤，以及通過Gen5 MCIO/U.2 2x2線纜連接dual port的圖片。頂部的插槽通過SerialCables Gen5 U.2/AIC轉(zhuǎn)接卡測試Gen5 U.2 single port盤。

目前SerialCables也推出了下行方向?yàn)?個QSFP-DD的Gen5 x16 switch卡， 主要是連接下行的Gen5 SSD擴(kuò)展測試盤柜使用，當(dāng)然也可以連接擴(kuò)展GPU等板卡的擴(kuò)展板。

綜上，SerialCables的PCIe Gen5卡板既可以插在主機(jī)PCIe Gen5 x16 插槽測試CPU的Gen5建鏈能力，也可以測試插在頂部的Gen5 x16 插槽的客戶的endpoint板卡，例如GPU, DPU, AI卡，加速卡等，或者左邊4個Gen5 x4 MCIO接口通過MCIO轉(zhuǎn)接U.2, U.3, EDSFF等線纜實(shí)現(xiàn)對于各類Gen5 x4 single port 盤和dual port SSD的測試。

Saniffer公司本周剛拍攝并且處理了Gen5 switch卡的演示視頻，展示了兩張Gen5 switch card對接協(xié)商成gen5 x16, 同時展示了switch card連接dual port SSD和single port ssd的端口以及熱插拔演示。演示環(huán)境參見下圖。

演示視頻包括下面幾個部分：

1.PCIe Gen5 x16 switch card實(shí)物介紹

2.實(shí)物連接主機(jī)、對接、連接dual port ssd和single port SSD

3.switch 卡內(nèi)置的管理MCU支持的CLI命令行介紹，具體命令列表參見下圖。

上述命令里面，對于測試SSD來講ssdrst可以用來發(fā)送300ms的PERST#讓待測SSD或者插卡強(qiáng)行復(fù)位，spread和clk配合可以用來測試盤的SRIS功能支持，iicwr和iicw分別用來針對SSD通過iic/smbus總線進(jìn)行讀取和寫入操作。Showport可以用來檢查上、下行的鏈路訓(xùn)練狀態(tài)是否符合預(yù)期。

另外，SerialCables 的Gen5 switch卡使用Broadcom PEX89000 Gen5交換芯片，年底即將量產(chǎn)發(fā)布的基于Broadcom B0版本芯片的switch卡內(nèi)置了SerialTek 的PCIe Gen5協(xié)議抓包功能，可以實(shí)現(xiàn)對于初始化階段碰到的各種PCIe 底層問題進(jìn)行抓包分析，具體介紹可以聯(lián)系Saniffer公司或者訪問www.saniffer.com官網(wǎng)下載的“PCIe Gen 4&5總線協(xié)議和NVMe SSD測試技術(shù)和工具白皮書”，參照2.8章節(jié)獲得更多信息。

第二部分：PCIe Gen5 Retimer卡

目前業(yè)界正在開發(fā)中的PCIe Gen5服務(wù)器出于成本考慮會使用Retimer卡，所以，對于Gen5 SSD或者各種板卡在實(shí)驗(yàn)室測試的時候也需要構(gòu)建這類測試環(huán)境進(jìn)行提前測試，主要是要測試信號以及兼容性問題等方面是否有問題，以便可以提前進(jìn)行問題修復(fù)。

注意：

1）Retimer處理到協(xié)議層，其原理是串接在PCIe Gen5鏈路中間，將從CPU過來的差分信號串并轉(zhuǎn)化后，進(jìn)入retimer然后重新生成這些信號再轉(zhuǎn)發(fā)出去到endpoint插卡或者PCIe背板，也就是說retimer通過這種方式實(shí)現(xiàn)了對于較弱的信號增強(qiáng)。

2）Retimer除了上下行分別連接CPU和endpoint板卡或者盤之外，有的場景出于PCIe endpoint擴(kuò)展的需要，也會在下行方向先連接PCIe Gen5 switch然后即可連接多個endpoint。我們使用SerialTek Gen5 x16協(xié)議分析儀抓取的Gen5 CPU -> Gen5 retimer 卡 -> Gen5 x16 switch以及Gen5 CPU-> Gen5 retimer 卡 -> Gen5 x16 400GE網(wǎng)卡的trace文件，對于PCIe Gen5協(xié)議底層Retimer和switch或者網(wǎng)卡加電PCIe初始化流程感興趣的朋友可以聯(lián)系我們索取該trace文件和解碼軟件。

上圖的Gen5 retimer是最常用的Retimer，比較適合用各類Gen5 x16板卡測試，金手指上行連接CPU，頂部插槽用來插入待測的Gen 5x16 板卡。

當(dāng)然，如果是Gen5 x4 SSD或者x8 EDSFF SSD，需要借助SerialCables 公司的Gen5 U.2/AIC轉(zhuǎn)接卡，或者E3.S/AIC，E1/AIC轉(zhuǎn)接卡實(shí)現(xiàn)插入頂部插槽的目標(biāo)。參見下圖。

當(dāng)然， SerialCable也計劃推出類似于上述第二種Gen5 switch卡的Retimer型號，提供2個QSFP-DD接口，用來將Gen5 CPU信號擴(kuò)展到Gen5 盤柜或者擴(kuò)展板使用。

第三部分：PCIe Gen5 各類轉(zhuǎn)接卡和延長線

受制于現(xiàn)實(shí)測試環(huán)境的限制，在研發(fā)、測試階段，經(jīng)常需要在各類接口之間互相轉(zhuǎn)接，或者將某些接口，例如Gen5 x16 CEM插槽，Gen5 x4 U.2等進(jìn)行延長，以便連接比較大的Gen5驗(yàn)證板，或者將EP板卡/SSD放入溫箱測試。在PCIe Gen5時代，這些轉(zhuǎn)接或者延長的需求變得問題重重。我們平時看到實(shí)驗(yàn)室碰到的大量問題都和采用了劣質(zhì)的轉(zhuǎn)接卡和延長線有關(guān)。對于Gen4或者Gen5信號質(zhì)量，國內(nèi)常用電商平臺買到的基本都不合格，這浪費(fèi)了研發(fā)、測試工程師大量的時間。

限于篇幅，我們本文僅介紹一下常用的Gen5 x16延長線的一些基本信息，其它各種接口的轉(zhuǎn)接卡和延長線，請直接聯(lián)系Saniffer或者到官方網(wǎng)站www.saniffer.com下載Saniffer PCIe Gen5 adapter, cable, switch and retimer cards quick guide_rev1.0文檔，下面是一個簡要目錄供參考。

1. GEN5 ADAPTERS 轉(zhuǎn)接卡

1.1 PCIe GEN5 U.2 ADAPTERS

1.2 PCIe GEN5 U.3 ADAPTERS

1.3 PCIe GEN5 EDSFF ADAPTERS

1.4 PCIe GEN5 OTHER ADAPTERS

2. GEN5 CABLES 轉(zhuǎn)接線和延長線

2.1 GEN5 MCIO CABLES

2.2 GEN5 EDSFF CABLES

2.3 GEN5 U.2 CABLES

2.4 GEN5 SlimSAS CABLES

2.5 GEN5 PCIE CEM CABLES

3. GEN5 SWITCH卡

4. GEN5 RETIMER卡

下面是開發(fā)各類PCIe Gen5 x16芯片和控制器經(jīng)常要用到的延長線，尤其是早期開發(fā)階段原型卡尺寸較大無法插入主機(jī)，那么這個時候必須采用Gen5延長線延長出來。

PCI-E X16 Gen 5 164P 延長電纜

小型 PCB 公連接器

卓越的信號完整性性能

阻抗：85+/-10% 歐姆

FEXT 和 NEXT 功率總和：40dB 高達(dá) 25GHz

符合 PCIe 至 CEM

堅固的機(jī)械結(jié)構(gòu)

彎曲支撐

提供靈活的版本

電纜長度：支持延長線長度0.4M, 0.5M, 0.7M, 1M

Gen5 延長電纜的典型性能

先進(jìn)的crosstalk串?dāng)_抑制技術(shù)支持 xtalk 的功率總和小于 40dB 到 25GHz

阻抗控制在 85ohm+/-7ohm，反射<-10dB 最高 20GHz

先進(jìn)的 Twinax 電纜和 PCB 設(shè)計技術(shù)支持 4.5dB/m 的 IL

在 16GHz 時最大損耗 6dB，以支持高達(dá) 1.0m/40 英寸的延伸范圍 Max

審核編輯：郭婷