一、數據中心網絡架構設計原則? ? ? ?網絡是數據中心的最重要組成部分,主要由大量的二層接入設備和少量的三層設備組成的網絡結構。以前,數據中心的網絡規(guī)模普遍不大,網絡通過數十臺設備簡單互連就可達到互聯互通的目的。而現在,數據中心對網絡的要求越來越高,為了滿足各種應用,網絡架構也需要及時調整,網絡架構經歷了多種多樣的變化。在一個數據中心建設過程中,網絡架構是重要部分,架構設計的好壞直接決定了數據中心數據轉發(fā)效率和可靠性。 本文來自“數據中心的網絡架構設計”,“華為負載分擔技術專題”。(1)可擴展性? ? ? ?為適應業(yè)務的發(fā)展、需求的變化、先進技術的應用,數據中心網絡必須具備足夠的可擴展來滿足發(fā)展的需要。如采用合理的模塊化設計,盡量采用端口密度高的網絡設備、盡量在網絡各層上具備三層路由功能,使得整個數據中心網絡具有極強的路由擴展能力。功能的可擴展性是數據中心網絡隨著發(fā)展提供增值業(yè)務的基礎。(2)可用性? ? ? ?包括網絡設備和網絡本身的冗余。關鍵設備均采用電信級全冗余設計,采用冗余網絡設計,每個層次均采用雙機方式,層次與層次之間采用全冗余連接。提供多種冗余技術,在不同層次可提供增值冗余設計。(3)靈活性? ? ? ?靈活的目的是實現可根據數據中心不同用戶的需求進行定制,網絡/設備能夠靈活提供各種常用網絡接口、能夠根據不同需求對網絡模塊進行合理搭配。(4)安全性? ? ? ?安全性是數據中心的用戶最為關注的問題,也是數據中心建設的關鍵,它包括物理空間的安全控制及網絡的安全控制。二、數據中心網絡組網設計(1)Fabric網絡? ? ? ?隨著云計算的發(fā)展,在數據中心網絡中服務器虛擬化技術得到廣泛應用,但服務器在遷移時,為了保證遷移時業(yè)務不中斷,就要求不僅虛擬機的IP地址不變,而且虛擬機的運行狀態(tài)也必須保持原狀(例如TCP會話狀態(tài)),所以虛擬機的動態(tài)遷移只能在同一個二層域中進行,而不能跨二層域遷移,這就要我的二層網絡足夠大。而傳統(tǒng)的二層技術,不論是通過縮小二層域的范圍和規(guī)模來控制廣播風暴的影響范圍或是阻塞掉冗余設備和鏈路來破環(huán),網絡中能夠容納的主機數量、收斂性能以及網絡資源的帶寬利用率對于數據中心網絡而言是遠遠不夠的。? ? ? ?M-LAG(Multichassis Link Aggregation Group)即跨設備鏈路聚合組,是一種實現跨設備鏈路聚合的機制,將一臺設備與另外兩臺設備進行跨設備鏈路聚合,從而把鏈路可靠性從單板級提高到了設備級。對二層來講,可將M-LAG理解為一種橫向虛擬化技術,將M-LAG的兩臺設備在邏輯上虛擬成一臺設備,形成一個統(tǒng)一的二層邏輯節(jié)點。M-LAG提供了一個沒有環(huán)路的二層拓撲同時實現冗余備份,不再需要繁瑣的生成樹協議配置,極大的簡化了組網及配置。這種設計相對傳統(tǒng)的xSTP破環(huán)保護,邏輯拓撲更加清晰、鏈路利用更加高效。
(2)Overlay網絡
? ? ? ?Overlay在網絡技術領域,指的是一種網絡架構上疊加的虛擬化技術模式,其大體框架是對基礎網絡不進行大規(guī)模修改的條件下,實現應用在網絡上的承載,并能與其它網絡業(yè)務分離,并且以基于IP的基礎網絡技術為主。其實這種模式是以對傳統(tǒng)技術的優(yōu)化而形成的。? ? ? ?針對前文提出的三大技術挑戰(zhàn),Overlay在很大程度上提供了全新的解決方式。①針對虛機遷移范圍受到網絡架構限制的解決方式? ? ? ?Overlay是一種封裝在IP報文之上的新的數據格式,因此,這種數據可以通過路由的方式在網絡中分發(fā),而路由網絡本身并無特殊網絡結構限制,具備良性大規(guī)模擴展能力,并且對設備本身無特殊要求,以高性能路由轉發(fā)為佳,且路由網絡本身具備很強的的故障自愈能力、負載均衡能力。②針對虛機規(guī)模受網絡規(guī)格限制的解決方式? ? ? ?虛擬機數據封裝在IP數據包中后,對網絡只表現為封裝后的的網絡參數,即隧道端點的地址,因此,對于承載網絡(特別是接入交換機),MAC地址規(guī)格需求極大降低,最低規(guī)格也就是幾十個(每個端口一臺物理服務器的隧道端點MAC)。③針對網絡隔離/分離能力限制的解決方式? ? ? ?針對VLAN數量4000以內的限制,在Overlay技術中引入了類似12比特VLAN ID的用戶標識,支持千萬級以上的用戶標識,并且在Overlay中沿襲了云計算“租戶”的概念,稱之為Tenant ID(租戶標識),用24或64比特表示。針對VLAN技術下網絡的TRUANK ALL(VLAN穿透所有設備)的問題,Overlay對網絡的VLAN配置無要求,可以避免網絡本身的無效流量帶寬浪費,同時Overlay的二層連通基于虛機業(yè)務需求創(chuàng)建,在云的環(huán)境中全局可控。(3)Spine+Leaf網絡? ? ? ?Spine+Leaf兩層設備的扁平化網絡架構來源于CLOS網絡,CLOS網絡以貝爾實驗室的研究人員Charles Clos命名,他在1952年提出了這個模型,作為克服電話網絡中使用的機電開關的性能和成本相關挑戰(zhàn)的一種方法。Clos用數學理論來證明,如果交換機按層次結構組織,在交換陣列(現在稱為結構)中實現非阻塞性能是可行的,主要是通過組網來形成非常大規(guī)模的網絡結構,本質是希望無阻塞。在此之前,要實現“無阻塞的架構”,只能采用NxN的Cross-bar方式。接入連接的數量仍然等于折疊后的三層CLOS網絡架構的Spine與Leaf之間的連接數,流量可以分布在所有可用的鏈接上,不用擔心過載問題。隨著更多的連接被接入到Leaf交換設備,我們的鏈路帶寬收斂比將增加,可以通過增加Spine和Leaf設備間的鏈路帶寬降低鏈路收斂比。Spine+Leaf網絡架構的另一個好處就是,它提供了更為可靠的組網連接,因為Spine層面與Leaf層面是全交叉連接,任一層中的單交換機故障都不會影響整個網絡結構。因此,任一層中的一個交換機的故障都不會使整個結構失效。(4)BGP EVPN? ? ? ?EVPN是基于BGP協議的技術,需要部署在網絡交換機上。這意味著網絡交換機需要作為VTEP節(jié)點,進行VXLAN封裝。服務器通過接口或VLAN接入網絡交換機。這些接口或VLAN會映射到對應的廣播域BD,同時BD也會綁定一個EVPN實例,通過EVPN實例間路由的傳遞實現VXLAN隧道的建立、MAC學習。通過BGP EVPN在兩個數據中心內部各建立一段VXLAN隧道,數據中心之間再建立一段VXLAN隧道,可以實現數據中心互聯。三、數據中心網絡的發(fā)展趨勢? ? ? ?數據的集中處理、存儲、傳輸、交換和管理無一不是在構建數字經濟的基礎設施。網絡技術驅動數據中心網絡從以“數據”為中心發(fā)展到了以“算力”為中心。相較傳統(tǒng)的數據中心網絡,現代大規(guī)模數據中心網絡在架構、技術上和運維都發(fā)生了巨大變革,主要表現在:(1)網絡帶寬加速發(fā)展,構建高性能網絡? ? ? ?網絡支撐業(yè)務的底層連接,將網絡設備上從管理平面、控制平面和數據平面進行分離,軟件定義網絡,用軟件集中管理設備簡化數據平面,讓網絡更智能,更簡單。用先進的網絡架構,實現在線和離線對業(yè)務網絡的互聯互通,靈活調度網絡流量滿足個性化業(yè)務需求,構建高帶寬、低時延高性能網絡才能滿足日新月異的互聯網業(yè)務要求。(2)高密度異構計算集群,大規(guī)模彈性擴展? ? ? ?數據中心網絡將從交換機網絡趨向以數據互聯I/O為中心的架構,通過技術和規(guī)模彈性給用戶提供低成本,高可靠的網絡資源。提供更加安全,穩(wěn)定的網絡基礎設施,根據業(yè)務需要彈性擴展,用更加簡單的方式降本提效是下一代數據中心網絡發(fā)展的指導原則。(3)降本提效,實現智能可視化運維? ? ? ?網絡成本的優(yōu)化,是很多互聯網業(yè)務發(fā)展必不可少的一環(huán)。相比傳統(tǒng)網絡架構,大規(guī)模數據中心網絡架構通過使用單芯片box設備進行構建數據中心網絡,降低能耗,解決能耗瓶頸,同時在電力、散熱、空間成本上進行降本提效。同時,隨著網絡規(guī)模不斷擴大,人工運維不再現實,自動化運維部署,軟件功能自動升級及故障自動告警,恢復等成為很多廠商設備建設數據中心努力的方向。
相關閱讀:
-
工業(yè)互聯網關鍵技術研究(2024)
-
全網最全網絡基礎思維導圖(38張)
-
存算一體算力網絡創(chuàng)新與發(fā)展
-
網絡安全等保基本要求
-
2024年網絡安全趨勢與預測
-
網絡專題:工業(yè)交換機(2024)
-
新一代存儲網絡RoCE及配套iNOF技術
-
開放云網絡高性能網關技術路線
-
云網絡網關技術現狀和趨勢
-
確定性算力網絡技術
-
無服務器邊緣計算網絡介紹
-
技術創(chuàng)新:算力網絡縱深發(fā)展(2023)
-
一文掌握網絡技術發(fā)展趨勢(2023)
-
中國網絡安全產業(yè)分析報告(2023年)
-
以網絡IO為中心的無服務器數據中心白皮書(2023)
-
數據中心網絡演進、趨勢與挑戰(zhàn)
-
如何計算并減少網絡中的光纖損耗?
- Arm架構升級,v9與v8版本有何差異?
- 從X86到ARM,跨越CPU架構鴻溝
-
ARM vs x86云數據庫性能深度測評與對比
-
從Arm v8到v9,服務器發(fā)展之路
-
ARM與x86:有何區(qū)別?
-
Arm增長突出,中國服務器市場占比達16%
-
分布式軟件:X86/ARM CPU混合部署
-
Arm競爭加劇,全球眾多巨頭涌入
-
ARM處理器架構和天梯圖解析
-
信創(chuàng)始于芯:Arm64體系結構編程與實踐
-
ARM v8處理器概述、架構、及技術介紹
-
飛騰系和鯤鵬系:國產Arm架構CPU服務器正在崛起
-
Fujitsu A64FX:繼承SPARC64架構的Arm超級處理器
-
收藏:從全球超算戰(zhàn)略看ARM指令架構在HPC領域的發(fā)展
-
眾多科技巨頭涌入ARM,國內研發(fā)進展及玩家詳解
-
亞馬遜最新Arm服務器芯片詳解
-
計算芯片變革:ARM取代x86成為趨勢
-
國內外AI芯片、算力綜合對比
-
華為算力編年史(2023)
-
AI算力研究框架(2023)
-
大模型訓練,英偉達Turing、Ampere和Hopper算力分析
-
AI大語言模型原理、演進及算力測算
-
大算力模型,HBM、Chiplet和CPO等技術打破技術瓶頸
- 走進芯時代:AI算力GPU行業(yè)深度報告
- 高性能計算:RoCE技術分析及應用
- 高性能計算:談談被忽視的國之重器
- 高性能計算:RoCE v2 vs. InfiniBand網絡該怎么選?
- 高性能網絡全面向RDMA進軍 ?
評論
查看更多