行業(yè)資訊 I 如何建立一個(gè)數(shù)據(jù)中心：全靠 SerDes和散熱

我們可能不需要建立一個(gè)數(shù)據(jù)中心，但很可能會(huì)參與設(shè)計(jì)用于數(shù)據(jù)中心的芯片；或者在關(guān)注數(shù)據(jù)中心的 IP；或者擔(dān)心先進(jìn)節(jié)點(diǎn)設(shè)計(jì)工具的某些方面，其中大部分會(huì)發(fā)生在數(shù)據(jù)中心。因此，很有必要簡(jiǎn)單了解現(xiàn)代數(shù)據(jù)中心的組成。

幾十年來(lái)，設(shè)計(jì)芯片的最大變化之一是從低速并行接口轉(zhuǎn)到高速串行接口。對(duì)于長(zhǎng)距離的廣域網(wǎng) (WAN)，我們一直使用串行接口，因?yàn)樵谌珖?guó)或全世界范圍內(nèi)鋪設(shè)大量電線是十分昂貴的。這些接口通常通過(guò)電信公司提供的 56kbps 或 64kbps 的線路運(yùn)行；或者如果預(yù)算充足，可以使用 1.5Mb/s 的 T1 線路。如今，長(zhǎng)途信令幾乎都是用光纖完成的，數(shù)據(jù)速率越來(lái)越高。有時(shí)是點(diǎn)對(duì)點(diǎn)傳輸，數(shù)據(jù)中心所有者擁有自己的光纖；或者可能只是通過(guò)一個(gè)互聯(lián)網(wǎng)網(wǎng)絡(luò)服務(wù)提供商的節(jié)點(diǎn)，訪問(wèn)公共網(wǎng)絡(luò)，或者搭上互聯(lián)網(wǎng)主干網(wǎng)絡(luò)，從 A 傳輸?shù)?B。

在 20 世紀(jì) 70 年代末，局域網(wǎng) (LAN) 開(kāi)始普及，使用以太網(wǎng)或各種環(huán)形技術(shù)（阿波羅飛船和劍橋大學(xué)都使用過(guò)令牌環(huán) (Token Ring)）。但電路板上的芯片使用了大量的引腳，有時(shí)為了降低成本而進(jìn)行多路復(fù)用。這些信號(hào)速度相對(duì)較慢。事實(shí)上，它們實(shí)在太慢了，以至于當(dāng)速度變快時(shí)，我們竟然需要擔(dān)心封裝引腳的電感。但是，即使發(fā)明了具有更多引腳的球柵陣列 (BGA)，引腳仍然不夠用，特別是當(dāng)總線從 16 位發(fā)展到 32 位，再到 64 位，甚至更寬時(shí)。解決辦法是在單個(gè)（或幾個(gè)）引腳上運(yùn)行每個(gè)數(shù)據(jù)流，這就是被稱(chēng)為 SerDes（串行器-解串器）的超快速串行接口。信號(hào)在芯片上是并行的，但串行器將作為一個(gè)串行比特流傳輸，在信號(hào)的另一端，解串器將進(jìn)行復(fù)雜的均衡，以恢復(fù)時(shí)鐘和數(shù)據(jù)，然后將其并行化。

從通信的角度來(lái)看，數(shù)據(jù)中心信號(hào)中最重要的兩項(xiàng)技術(shù)是 PCI Express (PCIe) 和以太網(wǎng)。還有 CXL (Compute eXpress Link)，以及 CCIX（發(fā)音同 "see six"），即用于 Xccelerators（加速器）的 Cache Coherent Interconnect，但由于這些都是基于 PCIe 作為底層物理傳輸技術(shù)，并不需要特別關(guān)注。

PCIe 和以太網(wǎng)都是串行通信技術(shù)。這兩種網(wǎng)絡(luò)技術(shù)在長(zhǎng)達(dá)數(shù)年的發(fā)展過(guò)程中都推出了各種版本。

我們現(xiàn)在處于 PCIe 5.0 時(shí)代，PCIe 6.0 預(yù)計(jì)將在今年年底前正式標(biāo)準(zhǔn)化，詳情請(qǐng)參見(jiàn)文章《行業(yè)洞察 I PCIe 發(fā)展史：PCIe 6.0 時(shí)代即將來(lái)臨》。目前的 5.0 版本和即將到來(lái)的 6.0 版本之間的最大變化是將 NZR 信號(hào)（每個(gè)時(shí)鐘周期一個(gè)比特）切換到 PAM4（每個(gè)時(shí)鐘周期兩個(gè)比特），這與 112G SerDes 中使用的技術(shù)相同。

以太網(wǎng)起源于 20 世紀(jì) 70 年代中期施樂(lè)公司帕洛阿爾托研究中心 (PARC)，最初的速率是 3Mb/s。第一個(gè)商業(yè)以太網(wǎng)標(biāo)準(zhǔn)達(dá)到 10Mb/s。我認(rèn)為人們?nèi)缃駥?shí)際使用的最慢的以太網(wǎng)是 10G（所以是 10Gb/s），但最快的是 400G，而 800G 未來(lái)可期。關(guān)于以太網(wǎng)的歷史，請(qǐng)閱讀文章《行業(yè)洞察 I 一文了解車(chē)載以太網(wǎng)及其設(shè)計(jì)》。

這兩種技術(shù)都使用多個(gè)串行信號(hào)，從芯片傳輸?shù)骄W(wǎng)絡(luò)。PCIe 可以在一個(gè) PCIe 插槽中使用 1、4、8 或 16 條通道。使用高速光纖的超過(guò) 100G 的高性能以太網(wǎng)需要多個(gè)串行信號(hào)。即將推出的PCIe 6.0和當(dāng)前及未來(lái)版本的 100+G 以太網(wǎng)都需要 112G SerDes 接口來(lái)連接硅片。224G 接口已有傳聞并正在開(kāi)發(fā)中，但還沒(méi)有上市。

在數(shù)據(jù)中心內(nèi)，信號(hào)越來(lái)越多地使用光學(xué)技術(shù)在服務(wù)器、路由器、附加存儲(chǔ)和其他“盒子”之間傳輸。在每個(gè)盒子里，信號(hào)在傳統(tǒng)的印刷電路板走線、連接器和電纜上傳輸。

散熱

數(shù)據(jù)中心的另一個(gè)重大挑戰(zhàn)是散熱。在一個(gè)數(shù)據(jù)中心的生命周期內(nèi)，運(yùn)營(yíng)開(kāi)支加起來(lái)就超過(guò)了購(gòu)買(mǎi)數(shù)據(jù)中心所需的資本開(kāi)支。運(yùn)營(yíng)開(kāi)支有兩個(gè)大頭：所有設(shè)備的電力開(kāi)支，以及所有為了讓熱量再次排出的空調(diào)的電力開(kāi)支。這需要對(duì)數(shù)據(jù)中心內(nèi)部的氣流進(jìn)行專(zhuān)門(mén)設(shè)計(jì)，但也需要盡可能降低芯片的功耗，以便它們不會(huì)產(chǎn)生多余的熱量，而且能通過(guò)風(fēng)扇、散熱器、散熱管——甚至有時(shí)要通過(guò)水冷進(jìn)行充分冷卻。

為此，Cadence 提供了專(zhuān)門(mén)用于電氣系統(tǒng)熱分析的工具——Celsius Thermal Solver。Celsius Thermal Solver是 Cadence推出的業(yè)內(nèi)首款用于完整電熱協(xié)同仿真系統(tǒng)分析的熱求解器，經(jīng)過(guò)生產(chǎn)驗(yàn)證，大規(guī)模并行架構(gòu)可在不犧牲精度的前提下，提供比傳統(tǒng)解決方案加快10倍的性能。基于此架構(gòu)，Celsius Thermal Solver能夠與Cadence IC、封裝和PCB設(shè)計(jì)實(shí)現(xiàn)平臺(tái)無(wú)縫集成，不僅使新的系統(tǒng)分析和設(shè)計(jì)預(yù)測(cè)成為可能，而且還幫助電子設(shè)計(jì)團(tuán)隊(duì)在設(shè)計(jì)早期發(fā)現(xiàn)并解決熱設(shè)計(jì)問(wèn)題，縮短電子系統(tǒng)的開(kāi)發(fā)迭代周期。