康普吳?。簩ふ覕祿行木W絡發(fā)展的確定性

摘要

2022年11月9日-10日，第十屆數據中心標準峰會在北京隆重召開，峰會以“匯聚雙碳科技 夯實數據之基”為主題，康普北亞區(qū)技術總監(jiān)吳健在本次峰會上以《尋找數據中心網絡發(fā)展的確定性》為題發(fā)表演講，現(xiàn)將精彩內容整理如下，供數據中心廣大從業(yè)者學習交流。

以下為演講實錄

今天的世界有很多的不確定性因素，“在不確定性中找到確定性”尤為重要。對于網絡來說，各種技術流派都在發(fā)展，迭代更新日新月異，我們總在思考如何在發(fā)展中找到確定性的因素。

高密度與節(jié)能

第一個確定性就是“高密度”。不同的從業(yè)者對高密度的理解可能不一樣，有人認為是配電的密度，也可能是制冷的密度，可能是空間密度，也可能是網絡接口的密度。對于網絡來說，“高密度”更多地體現(xiàn)著高速率和高性能。

以太網的發(fā)展

IEEE組織每年都會更新以太網發(fā)展的線路圖，我們已經走過了一個時代，那就就是10G到100G的時代；那么接下來，我們會進入一個新的時代，我們需要思考100G之后的時代是什么技術路線？100G之后的確定性是什么？100G之后發(fā)展的決定性因素又是什么？ 放眼200G、400G、800G、1.6T等各種前瞻性技術，100G之后最具有確定性和生命力的應該是400G?？v觀線路圖我們仍然能找到一個參數、一個因素、或一個確定性，那就是：四倍速迭代。有了25G單通道能力，于是就有了100G的網絡；有了100G的單通道，于是就有了400G的網絡；有了200G的應用，也很容易達到800G網絡；當400G成熟時，必然會成型 1.6T的網絡，這就是確定性。以太網已經不再延續(xù)過去1M，100M，1000M，10G這樣的10倍速迭代。

交換機的發(fā)展

從最近四代網絡交換機的技術發(fā)展來看，基本上印證了高密度的趨勢。隨著數據交換密度越來越高，芯片集成度也越來越高。例如25.6T交換機需要14納米的芯片支持，到51.2T需要7納米的技術。在網絡技術發(fā)展過程中，有一個非常重要的決定性因素，實現(xiàn)高效率地數據交換，必須不斷地基于單通道疊加復用，交換機內借助于電氣通道的復用，交換機外借助于光纖通道的堆疊，才能達到高速率。這就是搭建高速網絡架構地底層邏輯。 所以確定性因素是什么？要達到更高速的數據交換，必須要有更高速的單通道能力。通俗地說，服務器速率決定著網絡速率的迭代或疊加需求，而單通道速率則是由光電芯片決定的。光電轉換的通道速率，由芯片制成技術決定，進而最終形成高密度交換機的成果。

大家的個人經驗是，服務器作為計算單元與交換機路由器等網絡傳輸設備來比較，前者更耗能。隨著網絡速率的迭代，事實是否如此？我們來看一下數據分析，從2010年到2022年，這12年中帶寬增長了80倍；這是從交換機的升級過程來計算的，比如從640G交換容量發(fā)展到今天的51.2T交換容量，速率提高了80倍，能耗提升了22倍。這時我們看到一個好消息，也看到一個壞消息：好消息是密度提高，能效提高了，更節(jié)能了；壞消息是單一設備能耗的絕對值提升了，基礎設施面臨挑戰(zhàn)。

從能耗的細分組成來看，總能耗提升了22倍，而與光電器件相關的能耗卻提升了26倍之多；實驗數據顯示，隨著速率提高，耗能貢獻最大的不是CPU，不是GPU，而是光電轉換器件，是光通訊器件。所以通訊能耗增長速率遠遠大于計算處理器的能耗，意味著當網絡向高速邁進時，光通訊技術，以及光電芯片的技術發(fā)展決定著整個網絡的能耗。這就是我要給大家的一個提示：重視網絡設備的能耗。當然，這里的通訊是指廣義的通信，包含了IT設備內部的數據交換和IT設備外部的傳輸。

從長期的技術演進看，ASIC的耗能不再占據IT設備耗能的主導地位，此類現(xiàn)象只在IT界存在嗎？ 如果把人的大腦與數據社會的數據中心做類比，人腦是人體耗能最高的單一器官，大約耗掉人體20%的能量。這里面大概有800億到1000億個神經元，這些神經元主要負責計算，仿佛是信息社會的服務器，那么神經系統(tǒng)的組成部分中，那個部分是最耗能的呢？科學研究表明是軸突和樹突。軸突可以理解為單模光纖完成遠端連接，樹突可以理解為多模光纖完成近端連接，它們一起來完成人腦計算的溝通和通訊。實驗數據顯示神經元間的通訊耗能竟然是計算耗能的35倍， 我們的大量能量不是用在計算上，而是用在通訊上，用在溝通上，用在連接上！或許超出了各位的傳統(tǒng)認知。 正如數據中心作為一個高耗能的場地，其帶動和代表著信息社會這個“人體”的智慧程度，同時我們必須重視另一個趨勢：能量不僅僅用于計算上，而是更多地用在連接上。隨著高性能網絡的發(fā)展，未來數據中心網絡通訊的耗能有可能大幅度增加。這是對基礎設施的挑戰(zhàn)之一。

“高密度”是確定的，如果有了高密度的交換機，新的架構就可以拋棄很多低性能的交換機，被少量高密度高性能的交換機所取代，從而達到低延時，高可用性，節(jié)能，節(jié)省總成本的目的。這就是我提到的第一個確定性-高密度。

網絡架構的優(yōu)化

再來看第二個確定性，網絡架構的演進。很多年前，數據中心網路在“東西流量”大于“南北流量”的業(yè)務模型驅動下，從傳統(tǒng)三層架構在向（Leaf-Spine）扁平架構推演。而所謂Leaf-Spine是邏輯上的兩層架構，并非真正的兩層架構，因為在Leaf-Spine交換機互聯(lián)之下，通常會下掛一個TOR交換機。如果一組服務器群要連入到Leaf-Spine云中去，它至少跳轉了三級設備區(qū)域：由TOR交換機，到Leaf交換機，最后到Spine交換機。而此時，盡管大容量的交換效率提升了很多，東西流量的可靠性和一致性提升很多，但是依然沒有跳出三層交換的構架模型。過去，TOR交換機在數據中心中起到有效的服務器接入作用，在高性能高密度數據中心中完成收斂、轉發(fā)、匯聚等作用， 功不可沒。直到顛覆性的技術出現(xiàn)，該架構將面臨挑戰(zhàn)。

我們需要顛覆性的技術就是VSFF，便于中文表述，在這里我把它稱作“微雙工”。它是一種新型連接器，適用于高密度的連接，也是一種網絡收斂策略，借助于微雙工可以把高速接口分成兩個或四個低速接口，就是“一對二”或“一對四”的連接關系。四倍速率的確定性因素再次出現(xiàn)。同時，微雙工的出現(xiàn)，為“去除TOR”帶來了一個契機。 眾所周知，LC是一種非常普遍的雙工連接器，而微雙工比LC尺寸還要小，配合接口高密度的趨勢，更加微小靈活的連接器應運而生，目前國內外有很多連接器廠商正在提供自有專利的VSFF接口。如你所知，MPO也是一種高密度接口，那么為何還需要微雙工呢？這里還有一個驅動因素，那就是靈活性。用一根MPO-LC扇形分支纜，可以形成一對多的分支連接關系，比如MPO12分為6組LC雙工，但是在MPO側則是固定的，無法快速拆分與聚合。高密度和靈活性是IT技術發(fā)展的兩個必要因素和重要因素。

到了400G/800G時代，微雙工出現(xiàn)后，可以在Leaf/Spine網絡架構中去除TOR置頂交換機。隨著單通道100G的成熟，服務器接口速率可能提升到100G，這時TOR交換機夾在100G服務器和400Gleaf交換機之間，只會制約網絡速率和增加網絡延時，因此必須去除TOR這一層有源設備。如果不這樣優(yōu)化架構，TOR這種過去的“法寶” 將成為今后的桎梏，它帶來了更多的能耗、更多轉發(fā)跳轉和更大的延時。400G以后的網絡用物理層的收斂替代數據鏈路層的收斂，使得成本更低、能耗更低、密度更高、延時更低。

去除TOR置頂交換機，作為一個長期目標是確定的。這個確定性在布線系統(tǒng)的設計層面來看將帶來一個更有利的確定性姿態(tài)，那就是列中或列頭的布線模式將更有生命力和普適性。通過高速光纖系統(tǒng)來對服務器群的高速接口收斂接入Leaf/Spine矩陣中，讓網絡架構極簡，讓網絡極可靠。這是大勢所趨，這就是我今天提到的第二個確定性--提高物理層的收斂能力。

光纖的節(jié)能選擇

第三個確定性就是光纖的合理選擇。網絡系統(tǒng)的提速，其實和社會交通運輸路網的提速模型如出一轍。三個維度而已：1）提高車速；2）提高車的容量容積；3）提供更多的車道。 PAM4編解碼相當于“車”的容量定義；波特率相當于車輛的最高時速；光纖通道的并行使用，支持傳輸能力達到2倍、4倍、8倍、16倍的帶寬提升。車已確定，車速也確定，大幅度提高容量的方式只剩下一個：建立更多的通道。光纖系統(tǒng)可以建立更多的物理通道（光纖），也可以建立更多的邏輯通道（光波），從而有了單模和多模的選擇問題，以及微型連接器的選擇問題。 在企業(yè)數據中心中，單模和多模光纖系統(tǒng)誰占比更多呢？

各位是否可以從上圖找到一些確定性的因素？我們至少可以看到兩點：一，多模仍然占據主導地位；二，并行技術的增長趨勢更為明顯。也就是MPO形態(tài)的多模和單模預端接系統(tǒng)都會快速增長。多芯或多波長并行技術的發(fā)展，就是因為需要建立更多的通道，從而快速達到400G/800G的應用。

多模光纖已經在數據中心中被廣泛使用。多模有很多優(yōu)勢，例如成本更低、能耗更低、易于維護等等，所以多模仍然在高速數據中心有用武之地。盡管所有的連接任務單模系統(tǒng)都可以勝任，但是在數據中心里面，考慮到從IT側節(jié)能考慮，IT設備本身的節(jié)能會對整個機房的總體節(jié)能有非常大的貢獻，多模的收發(fā)器件和多模的光器件對節(jié)能貢獻非常顯著。要節(jié)能，多模必是首選。

要考慮節(jié)能，必須要重視多模。在應用標準里，無論400G還是800G，仍然保留著非常多的多模光纖選項。例如400GBAE-SR8， 400GBASE-SR4.2， 800GBASE-SR8等等。

到了800G時代多模是否會退出市場？事實上在800G的市場里，多模仍然在努力，比如800GBASE-VR8和800GBASE-SR8都是基于8發(fā)8收，借助MPO16的多模光纖技術線路。前者是50米的應用場景，后者是面向100米的應用場景。 單模光纖和多模光纖自從光通訊誕生以來就成為彼此成就的兄弟。在數據中心里，也是攜手前行。多模系統(tǒng)的優(yōu)勢是節(jié)能，成本低，缺點是距離太短；單模系統(tǒng)應用距離非常自由，但缺點是成本高，耗能太高，連接器要求進一步提高。 在兩套技術系統(tǒng)發(fā)展過程中，二者也在互相借鑒，互相學習。單模和多模是如何互相學習呢？ 第一，我們剛剛提到，提高“車”的容量，需要優(yōu)化編解碼方式，比如PAM-4比NRZ的信息容量高，但是PAM4對于插入損耗IL和回波損耗RL非常敏感，這就需要在網絡傳輸中盡量優(yōu)化回波損耗這一參數。在RL這方面單模過去做得非常不錯，這就是APC端面連接器的廣泛采用。

但是多模能否也在400G之后，向單模學習，進一步優(yōu)化傳輸能力，避免回波噪聲所帶來的影響？答案是確定的，多模在學習單模，我們創(chuàng)造一種APC斜面研磨面的多模系統(tǒng)來減少回波噪聲的影響，從而可以更好地支持信號完整性，達到更高的帶寬。

單模之所以在通訊行業(yè)做到長距離，高帶寬的應用，激光器和WDM波分復用技術功不可沒。那么多模是否可以學習借鑒單模的這種波分復用模式呢，答案是肯定的。光纖科學家們多年前就已經建立了短波分復用的標準SWDM，攜手OM5寬帶多模光纖，實現(xiàn)4倍帶寬，同時進一步延展應用距離。這就是OM5誕生的背景，從而使多模在數據中心領域有持久的生命力。OM5的核心問題不僅在于距離，也不僅在于850nm波長的表現(xiàn)，還在于850nm之外稍長波長的表現(xiàn)，并不是每個廠商的產品都能達到理想模式帶寬。

多模和單模都有自己的用武之地，尤其多模在節(jié)能方面的表現(xiàn)更好，這里面提到兩個400G應用在多模方面的標準：400GBASE-SR8和400GBASE-SR4.2，前者消耗更多的光纖，后者推薦配合OM5達到短波分復用的優(yōu)勢。 在單模應用方面，值得注意的是兩個標準：400G DR4和400G FR4; 其中400G DR4充分反映了單模也吸收了多模的優(yōu)勢，功率降低，距離縮短。所以數據中心行業(yè)特別看好400G DR4的發(fā)展，而且500米可以覆蓋數據中心內部絕大部場景的應用距離。400G DR4是一個好例子，敞開胸懷，吸收對方優(yōu)點，擁抱新技術，可以讓你的數據中心更節(jié)能。

不論是單模系統(tǒng)還是多模系統(tǒng)，要做出正確的選擇，必須從設備成本，布線成本和運維成本三個維度綜合分析。從400G的三款單模和多模網絡總成本看，上圖展示了全球頭部互聯(lián)網公司采用三種技術的成本對比，很明顯400G SR8作為多模的代表技術，具有做好的成本優(yōu)勢；對比于企業(yè)網數據中心采用三種技術的成本對比，趨勢沒有變，400G SR8地位也沒有變，依照FR4、DR4和SR8的次序逐步降低。多模的成本優(yōu)勢和節(jié)能優(yōu)勢是確定的。

以不變應萬變

尋找確定性。康普經過15年以上，與數據中心設計建設者和使用者的溝通，一直在聽取客戶的反饋，嘗試建立一套適應性更強，包容性更強，更易于維護的解決方案。什么樣的光纖方案能把所有的技術，所有的不確定性，融合到一個統(tǒng)一的平臺里呢？

比如把所有的MPO8/MPO12/MPO16/MPO24等技術融入進去，把所有的連接器技術融入進去，把智能化融入進去，綠色環(huán)保的理念融入進去，形成一個統(tǒng)一的解決方案。它就是PROPEL。PROPEL是驅動力的意思，驅動數據中心進入400G之后的新時代。

以太網速率的提高帶來了技術的多樣性和需求的多樣性。讓PROPEL滿足多樣性的需求，它有多種不同的模塊選擇，并在一個統(tǒng)一平臺里任意組合，滿足高密度，高性能，智能化，易于維護，易于升級的特性。

如果用一句話概括，今天所講的所有確定性因素，都是為了確定一個綠色節(jié)能數據中心的發(fā)展方向。高密度是為了綠色節(jié)能；去TOR架構是為了綠色節(jié)能；充分利用多模光纖是為了綠色節(jié)能；建立統(tǒng)一融合的平臺也是為了綠色節(jié)能。所以綠色節(jié)能就是我們確定的追求，謝謝各位！

審核編輯 ：李倩