如何簡化PCIe 6.0交換機的設計

本文翻譯轉載于：Cadence blog
作者：Deep Mehta

由于全球數(shù)據(jù)流量呈指數(shù)級增長，PCIe 6.0 交換機的市場需求也出現(xiàn)了激增。PCIe 6.0 交換機在高性能計算（HPC）系統(tǒng)（尤其是數(shù)據(jù)中心）中為需要大帶寬和超低延遲的應用提供了重要的數(shù)據(jù)傳輸支持。然而，確保這些交換機嚴格滿足性能、能效和成本等要求是一項艱巨的挑戰(zhàn)。盡管如此，全面的測試和驗證過程還是能夠降低這些交換機設計的復雜性。

傳統(tǒng)的驗證方法仍具有價值，如 PCIe 5.0 交換機采用數(shù)據(jù)完整性和虛擬通道仲裁測試。盡管如此，PCIe 6.0 要求采用更全面的驗證方法——比基本功能驗證更深入的高階驗證策略，其中包括生成用于識別潛在性能問題并確保交換機在實際場景中以最佳狀態(tài)運行的反向壓力流量。只有主動應對這些挑戰(zhàn)，才能設計出滿足高性能計算應用要求的低延遲、高帶寬交換機。

Flit 模式和非Flit 模式的互操作性

PCIe 6.0 新增的 Flit 模式對交換機提出了全新的驗證挑戰(zhàn)。如下圖所示，我們可以將驗證分為幾個關鍵領域來思考。

●共存驗證：交換機必須能夠有效處理通過不同端口的 Flit 模式（FM）和非 Flit 模式（NFM）的混合流量。這種驗證方法確保了交換機的性能不會因為流量模式的異構性而降低。

●事務層數(shù)據(jù)包（TLP）的數(shù)據(jù)頭轉換：NFM 和 FM 使用不同的數(shù)據(jù)頭格式。當入口端和出口端采用不同運行模式時，交換機就需要對不同格式進行轉換，驗證策略的重點是確保該轉換過程的正確性。

●重傳機制差異：FM 和 NFM 使用不同的重傳機制。驗證策略必須考慮這些差異，才能在重傳期間妥善處理傳輸錯誤并確保數(shù)據(jù)完整性。

●段的可見性和轉換：段信息僅可在 FM 鏈路中直接訪問，這使得 FM 和 NFM 事務層數(shù)據(jù)包（TLP）之間的路由變得更復雜，尤其是當入口端和出口端采用不同運行模式時。例如，交換機有時會報告 TLP 轉換出口被阻止的錯誤，因此必須根據(jù)轉換規(guī)則進行驗證。

設備 3 的能力寄存器具有一個“段捕獲”位；交換機在將一項 TLP 從 NFM 轉換為 FM 時，必須遵循段捕獲位的具體規(guī)則。

●棄用 NFM 中的 LN 位：PCIe 6.0 棄用了 NFM 中使用的 LN（輕量級通知）位。驗證策略必須針對棄用的 LN 位制定專門的轉換規(guī)則。

●14 位標簽支持和轉換：14 位標簽是 FM 獨有的。PCIe 規(guī)范規(guī)定了將請求從 FM 轉換為 NFM 的具體轉換規(guī)則，以解決標簽位數(shù)差異的問題。

●中毒機制轉換：如果在 FM TLP 轉換為 NFM TLP 的過程中應用了任一種中毒機制，則必須設置 NFM TLP 的錯誤中毒位（EP位）。相反，從 NFM 轉換到 FM 時，如果在 NFM TLP 中設置了 EP 位，則該 EP 位必須在轉換后的 FM TLP 中保留。驗證策略應確保交換機遵循這些中毒機制的轉換規(guī)則。

通過全面驗證這些互操作性，設計人員可確保 PCIe 6.0 交換機有效且穩(wěn)定地處理 FM 和 NFM 的混合流量。以下拓撲圖展示了交換機端口上混合模式流量（FM 和 NFM）的一個示例場景，其中包含一個上行端口和三個下行端口，分別與根復合體（RC）和各個端點（EP）連接。

應考慮的性能損失

雖然應用這些轉換規(guī)則和各種共享或專用信用管理能夠簡化交換機的設計，但在 Flit 模式下添加額外的無操作（NOP）流控單元或NOP TLP 可能增加性能損失，并額外增加非Flit 模式中的邏輯空閑（IDL）雙字節(jié)。這也是現(xiàn)在必須在交換機設計的驗證和驗收標準中進行性能測試的原因。

交換機驗證可以通過流量建模、延遲監(jiān)控和緩沖區(qū)分析來識別和糾正性能問題。

●流量建模：通過將大量 Flit 模式流量與非 Flit 模式流量互相轉換，開發(fā)模擬真實世界流量模式的測試場景。測試策略需要根據(jù)隨機因素評估，如不同的傳輸速度、鏈路寬度，以及生成的不同 TLP 類型的流量，確保所有交換機端口都采用了 Flit 模式和非 Flit 模式進行驗證。

●延遲監(jiān)控：監(jiān)控數(shù)據(jù)包在通過交換機時產(chǎn)生的延遲，并重點關注頻繁轉換模式的路徑，找出可能表明轉換過程效率低下的異常延遲峰值。

●緩沖區(qū)分析：分析在流量模擬過程中交換機內(nèi)部緩沖區(qū)的行為。必須識別出任何接近滿載或溢出的緩沖區(qū)場景，因為這種情況可能表明過多的轉換負載導致出現(xiàn)潛在的性能問題。換言之，交換機端口必須根據(jù)協(xié)議標準的規(guī)定對 TLP（包括“保留”TLP）進行緩沖和路由。

總 結?

Summary

PCIe 6.0 標準為 PCIe 協(xié)議的分層堆棧帶來了革命性的變化，其中最具顛覆性的創(chuàng)新是采用了“Flit”。根據(jù)標準的要求，交換機入口端會接收一個包含多目標 TLP 的 Flit 數(shù)據(jù)包，這些多目標 TLP 需要簡化路由邏輯，才能利用轉換邏輯將數(shù)據(jù)發(fā)送到相應的出口端（反之亦然）。在應用經(jīng) OHC 封裝的轉換邏輯時，不同的共享或專用信用管理和 TLP 重傳機制的交換機路由邏輯可能會增加性能損失，僅驗證數(shù)據(jù)集成測試無法識別出這種性能損失。必須對性能測試策略加以評估，才能確保對所有支持 Flit 模式和非 Flit 模式流量的交換機端口進行全面驗證。此外，性能測試還有助于識別在不同負載條件（即有效負載長度）下可能出現(xiàn)的潛在瓶頸或問題。

關于 Cadence

Cadence 是電子系統(tǒng)設計領域的關鍵領導者，擁有超過 30 年的計算軟件專業(yè)積累。基于公司的智能系統(tǒng)設計戰(zhàn)略，Cadence 致力于提供軟件、硬件和 IP 產(chǎn)品，助力電子設計概念成為現(xiàn)實。Cadence 的客戶遍布全球，皆為最具創(chuàng)新能力的企業(yè)，他們向超大規(guī)模計算、5G 通訊、汽車、移動設備、航空、消費電子、工業(yè)和醫(yī)療等最具活力的應用市場交付從芯片、電路板到完整系統(tǒng)的卓越電子產(chǎn)品。Cadence 已連續(xù)十年名列美國財富雜志評選的 100 家最適合工作的公司。