平衡高能物理界的性能和需求

高能物理社區(qū)利用 PICMG 的 MicroTCA.4 硬件標準在 DESY 等粒子加速器上進行定時和同步、數(shù)據(jù)采集和控制。但隨著這些研究中心實驗的推進，支持系統(tǒng)的性能必須不斷發(fā)展。MicroTCA 等標準如何支持前沿用例的需求并保持適用于更廣泛的市場？

位于漢堡的 DESY 研究中心擁有 PETRA 等圓形加速器和世界上最長的線性粒子加速器 2.1 英里 XFEL。這些系統(tǒng)用于研究量子粒子、薄膜化學反應、繪制 COVID-19 等病毒結構圖等物理實驗。

說支持這些加速器的電子設備很復雜是輕描淡寫的。例如，XFEL 每秒 10 次以 4.5 MHz 的重復頻率產(chǎn)生 2，700 個 X 射線脈沖（圖 1）。這意味著激光每秒發(fā)射 27，000 個脈沖，其亮度比傳統(tǒng) X 射線高出多個數(shù)量級。成像探測器從這些爆炸中捕獲 10 GBps 的數(shù)據(jù)，以支持測量小至 0.05 nm 的原子級波長并需要飛秒分辨率的實驗。

［圖 1. XFEL X 射線以 4.5 MHz 的重復頻率產(chǎn)生 2，700 個 X 射線脈沖，每秒 10 次。］

管理 XFEL、Karabo 的控制系統(tǒng)由 DESY 工程師內部開發(fā)。但 Karabo 靈敏的計時、測量和前端數(shù)據(jù)采集平臺背后的快速電子設備是一個開放的行業(yè)標準：MicroTCA.4 （μTCA.4）。

“XFEL 完全由 μTCA 控制——所有快速電子設備，”負責圍繞 μTCA 標準化 DESY 加速器控制系統(tǒng)的工程師 Kay Rehlich 說?！斑€有很多其他系統(tǒng)涉及較慢的東西，但快速動態(tài)光束的東西，如高精度定時、機器保護、診斷和射頻——所有這些都是在 μTCA 中完成的?！?/p>

有超過 35 μTCA.4 系統(tǒng)分布在 XFEL 數(shù)英里長的范圍內。μTCA 平臺最初設計為電信級解決方案，由于集成了可靠性功能，如遠程監(jiān)控和控制、自動故障檢測以及冗余冷卻和電源，因此可以 24/7 全天候運行一年或更長時間。

μTCA 機箱接受稱為 AdvancedMC （AMC） 的插卡，它支持一系列模塊化功能。在 DESY，AMC 托管用于數(shù)字化、同步和處理數(shù)據(jù)的 FPGA。然后數(shù)據(jù)通過背板的高速 PCIe 和以太網(wǎng)互連發(fā)送到系統(tǒng)外，以控制服務器和其他設備。

對于高能物理應用的更具體需求，.4 擴展還支持特殊的時鐘和觸發(fā)拓撲。在 XFEL 定時系統(tǒng)中，這提供了參考頻率來調整采樣率并確定性地分布 X 射線激光器的脈沖模式信息。

μTCA 基本規(guī)范中不存在的后轉換模塊 （RTM） 插入機箱背面的 AMC 對面，以支持物理應用的額外 I/O 要求（圖 3）。

［圖 3. MicroTCA.4 擴展規(guī)范添加了以物理為中心的功能，例如支持額外 I/O 的后轉換模塊 （RTM）。］

MicroTCA，滿足現(xiàn)代要求

盡管該系統(tǒng)非常復雜，但時間在流逝，XFEL 是在 10 多年前設計和實施的。這包括成像探測器，它每秒拍攝加速器的 27，000 個 X 射線脈沖。

“驅動數(shù)據(jù)最多的系統(tǒng)是大型 2D 圖像探測器，它們基本上拍攝 X 射線圖像，”負責歐洲 XFEL 加速器的電子和電氣工程組負責人 Patrick Gessler 博士說?！斑@些探測器一次只能拍攝 350 到 800 張圖像，但它們仍能產(chǎn)生大約 10 GBps 的數(shù)據(jù)。

“我們已經(jīng)無法可視化在 10 赫茲周期內生成的數(shù)百張圖像，”Gessler 解釋說?！艾F(xiàn)在新的 3D 技術即將面世。這自然意味著我們必須處理越來越多的數(shù)據(jù)。

“還有不同種類的檢測器，稱為 0D 檢測器，它們只是具有多個通道的 ADC 或數(shù)字化儀，”他繼續(xù)說道。“目前，我們擁有高達 10 GSps 的數(shù)字化儀系統(tǒng)，但實驗者希望超越這一點，并在很多很多通道上擁有更高的垂直分辨率?！?/p>

數(shù)據(jù)不會在 μTCA 機箱中收集，只是數(shù)字化并傳輸?shù)酵泄芊掌?，來自世界各地的科學家可以在那里對其進行分析。但是 μTCA 是端到端系統(tǒng)中的一個數(shù)據(jù)管道——當 DESY 安裝可能需要 TBps 傳輸速度的下一代探測器時，它可能會爆裂。

“我們在 μTCA 系統(tǒng)中使用 CPU 來控制 AMC，同時也從它們那里獲取數(shù)據(jù)。我們進行一些預處理，然后將其發(fā)送出去，如果是數(shù)據(jù)，通常通過 10 GbE 或 1 GbE 進入控制系統(tǒng)，”Gessler 繼續(xù)說道?！斑@意味著目前的瓶頸是 10 GbE，因為它是我們從 μTCA 板條箱中獲得的最高速度?！?/p>

當標準不是那么簡單時

μTCA 基本規(guī)范的 2.0 版目前支持 40GBASE-KR4，以通過背板提供峰值 40 Gbps 數(shù)據(jù)傳輸。但是 40GBASE-KR4 只是四個 10GBASE-KR 通道的集合，因此從端口密度的角度來看，它實際上并沒有提高帶寬。

這并不意味著沒有選擇。例如，英特爾今年早些時候終于在其第 11 代芯片組上發(fā)布了對 PCIe Gen 4 的支持，該芯片組在 16 條通道上提供高達 32 GBps 的數(shù)據(jù)傳輸。五年多來，25GBASE-T 通道已組合形成 100 GbE AdvancedTCA 系統(tǒng)，即 μTCA 的老大哥。在電氣背板技術方面，這些技術都不是最先進的：

PCIe Gen 5 規(guī)范于 2019 年完成

2014 年 IEEE 標準化 100 Gbps 銅跡線以太網(wǎng)

PAM4 信令現(xiàn)已在能夠以 56 Gbps 和 112 Gbps 數(shù)據(jù)速率傳輸 PCIe 或以太網(wǎng)信號的互連解決方案中商用。

根據(jù) Rehlich 的說法，DESY 及其合作伙伴目前正在運行模擬，并且“非常確定我們可以使用 4 個 25 Gbps 通道和 PCIe Gen 4 實現(xiàn) 100 GbE”。從表面上看，這將在不完全修改 μTCA 標準的情況下提供一定程度的帶寬緩解。但這只是表面。

“如果您想要更快的通信，無論是 PCI Express Gen 4 或 5 還是 100G 以太網(wǎng)，您都需要控制所有 μTCA 通信的板條箱中的開關，”Rehlich 解釋說。“這些將消耗比我們現(xiàn)在在定義的每個 AMC 插槽 80 W 中所能提供的更多的功率。”

研究中心的工程師正在考慮將 μTCA 系統(tǒng)總功耗增加一倍至 2 kW。這不僅可以實現(xiàn)網(wǎng)絡交換，還可以使用可用于執(zhí)行 AI 的高性能 FPGA 和 GPU 計算解決方案。

然而，這就是事情開始瓦解的地方。第一個問題是這些更高性能的計算和連接解決方案產(chǎn)生的串擾會對更敏感的車載電子設備產(chǎn)生負面影響。

“如果我們還想將它用于非常敏感的信號，我不確定μTCA 板條箱中有多少處理和超高速系統(tǒng)是有價值的，”Gessler 說。“我們在板條箱中直接安裝了數(shù)字化儀，可以接收敏感的低壓模擬信號。風險可能是，如果你將非常強大的計算系統(tǒng)與非常高的速度和許多非常敏感的信號結合在一個非常緊湊的機箱上，你最終可能會妥協(xié)其中一個，對嗎？”

所有這些都應該在同一個系統(tǒng)中嗎？更進一步，對于這個用例來說，標準甚至是正確的選擇嗎？

當標準成熟時：平衡市場需求

DESY 的情況是行業(yè)標準的少數(shù)缺點之一，即需要達成某種程度的共識。一般來說，推動行業(yè)標準達成共識的是市場。對接誰的市場？

μTCA 標準服務于具有較長生命周期要求的市場，例如工業(yè)控制、網(wǎng)絡基礎設施以及測試和測量。更長的部署周期意味著在給定的時間內準備升級的套接字更少，因此臨界質量需要更長的時間才能圍繞某些技術要求增長。

同時，與許多其他板級和系統(tǒng)級標準一樣，該標準的設計考慮了 x86 架構。如前所述，英特爾的第 11 代處理器是第一個支持 PCIe Gen 4 的處理器，這標志著英特爾服務器（第二代 Sandy Bridge）和臺式機（第三代 Ivy Bridge）芯片組上引入 PCIe Gen 3 已有十年。

盡管如此，所有這些應用程序和芯片組推進到當前最先進的技術（例如 PCIe Gen 5 和通過某種類型的背板實現(xiàn) 100+ GbE 速度）只是時間問題。如果像 μTCA 這樣的標準要繼續(xù)下去，像高能物理這樣的標準必須推動它達到這些性能水平。

Jan Marjonovic 是 DESY MicroTCA 技術實驗室的高級 FPGA 開發(fā)人員，該研究所的一個部門旨在“為 MicroTCA 尋找新的用例，并成為其他機構和公司的服務提供商”。Marjonovic 表示，從 DESY 的角度來看，目標是“擴大安裝基礎，擴大用戶群，然后向社區(qū)尋求幫助”。

雖然高能物理市場是最活躍的 μTCA 社區(qū)之一，但就出貨量而言，它是一個較小的市場。話雖如此，他們在粒子加速器、量子計算儀器、原子聚變和裂變設備等方面的總投資高達數(shù)十億美元，而使用像 μTCA 這樣的標準有助于保護這些投資。

也就是說，如果像 μTCA 這樣的標準可以繼續(xù)支持他們的需求。

“μTCA.4 一直是一個小眾產(chǎn)品，而且它仍將是一個小眾產(chǎn)品，”Marjonovic 說?！暗绻?DESY 是唯一使用 μTCA 的人，這將不是一個標準。至少有 20 或 30 家機構已經(jīng)在使用它，當你去車間時，那里有很多人。

“至少，有一個足夠大的市場來維持迎合物理市場的技術供應商。這已經(jīng)是第一個里程碑，”他繼續(xù)說道。“物理學界需要自己的標準，以便公司可以合作和共同建設。”

加速器可以加速標準嗎？

VadaTech、NAT Europe、Samtec 等 μTCA 技術供應商都積極參與了前面提到的全通道仿真，以確定 μTCA 系統(tǒng)中更高功率和更高速度互連的可行性。當然，運行測試和實施新的業(yè)務、工程和制造策略是兩件不同的事情。如果您正在等待市場趕上該技術，則尤其如此。當您處理旨在支持互操作性以及在一定程度上支持向后兼容性的標準時，情況更是如此。

DESY 工程師和物理界的其他成員了解這一點，并在維護它方面擁有既得利益。畢竟，Rehlich 指出，“選擇 μTCA 的原因之一是所有非常不同的子系統(tǒng)都可以使用相同的標準，從而簡化軟件開發(fā)。如果你有一個統(tǒng)一的、標準化的系統(tǒng)，那么你也可以比擁有一個異構系統(tǒng)更好地標準化你的軟件和固件?！?/p>

但是，當標準成熟，市場面臨平衡性能和需求時，如何以及何時向前發(fā)展是必須回答的問題。

“在最壞的情況下，我們會采取中間步驟，”Rehlich 說?！拔覀兛梢赃M行 4x 25 GbE 和 PCIe Gen 4，同時我們?yōu)楦碌?μTCA.4 規(guī)范制定所有定義并定義協(xié)議。今年我們可以解決這個問題。

“我們希望將其作為一個可行的標準，因此我們必須遵循技術正在做的事情以及這些天的 CPU。英特爾 CPU 提供 PCI Express Gen 4，因此板條箱應該能夠做到這一點，”他解釋道。“現(xiàn)在 FPGA 具有更高的功率和更高的性能，所以我認為必須遵循標準。

“現(xiàn)在不是制定全新標準的時候，”控制系統(tǒng)資深人士繼續(xù)說道?！爱斘覀冊诒嘲迳线M行光通信時，這是生成全新標準的好時機，但這種技術尚不可用。所以，我認為我們必須遵守我們必須確保的標準，以確保人們不會失去他們對技術的投資，他們購買的所有電子產(chǎn)品，當然還有知識?！?/p>

作者：Brandon Lewis，Chad Cox

審核編輯：郭婷