京東云與AI獨創(chuàng)分布式網絡負載均衡是如何做到的

為了緩解鐵路運輸壓力，確保旅客平安暢通出行，每年春運時節(jié)，全國各地的鐵道部門都會依據客流情況，在原有的列車基礎上安排新增臨時列車，與此同時，火車站的售票窗口也相繼增加，以應對客流高峰。

其實，這就是日常生活中所體現的“負載均衡”原理，根據客流的變化情況，動態(tài)調整列車數量和窗口功能，合理均衡客流，優(yōu)化出行流程。在軟件系統(tǒng)中也是一樣的道理，為了避免流量分攤不均，造成局部節(jié)點負載過大（如CPU吃緊等），所以需要一個總入口來承擔類似鐵道部門的“調度”角色。

負載均衡就是一個統(tǒng)一網絡入口的組件，它接收所有網絡請求，然后根據預設的規(guī)則，把請求轉達給某一臺單獨服務器去處理，并且能實現微服務的水平拓展，處理能力和參與服務的實例數目都能動態(tài)變化，可以保障處理速度。當某個實例發(fā)生故障時會被自動摘除，對訪問者不會產生影響，從而實現高可用性。

不同的負載均衡技術有不同的實現方式及優(yōu)勢。比如，京東云與AI自主研發(fā)的分布式網絡負載均衡（簡稱“DNLB”），通過將用戶的無狀態(tài)業(yè)務請求按照一定策略自主分發(fā)給多臺后端服務器，從而調整資源利用情況，消除由于單臺后端服務器故障對系統(tǒng)的影響，解決大并發(fā)流量壓力，來提高用戶服務系統(tǒng)可用性、擴展系統(tǒng)服務能力。

正如京東云與AI產品研發(fā)部產品總監(jiān)劉俊輝所言：“DNLB是一款基于京東云SDN技術的無狀態(tài)四層負載均衡，提供軟件定義的全可用區(qū)分布式負載均衡服務。相比于主要面向7層應用的ALB和具會話保持功能的NLB，DNLB不單獨占用計算資源，天然具有轉發(fā)性能無瓶頸、全可用區(qū)高可用、低時延、自動彈縮和長期免費的優(yōu)點，滿足客戶三高一低（高性能、高可用、高彈性和低時延）服務場景需求?！?/p>

SDN浸入式架構，實現網絡智能化管理

相比于其他負載均衡產品，京東云與AI的DNLB無負載均衡實體存在，不單獨占用計算資源，它的轉發(fā)性能完全依賴于京東云SDN架構，這就意味著它的轉發(fā)性能無瓶頸，能實現對數據中心網絡的智能化管理，充分利用網絡寬帶資源。

無專用節(jié)點，零成本運營

傳統(tǒng)的負載均衡為分擔用戶訪問的壓力，會將網站壓力分配給每一個節(jié)點，從而實現集群的橫向擴展。但當遇到擴容時，就需要不斷加入新的節(jié)點，從而造成用量隨著負載線性增加的局面，對于有狀態(tài)的服務來說，還需要啟用會話保持來保證把流量分發(fā)到固定的節(jié)點上去。京東云與AI 的DNLB是建立在SDN浸入式架構之中，不存在專用節(jié)點 ，系統(tǒng)吞吐量可以達到最大，性能也更高，對用戶來說也沒有任何成本投入。

全可用區(qū)高可用，保證用戶業(yè)務連續(xù)性

除了無瓶頸的高轉發(fā)性能，DNLB還具備全可用區(qū)高可用的優(yōu)勢，由于DNLB實例采用的是全可用區(qū)分布式部署架構，系統(tǒng)中每個可用區(qū)都能處理一部分的負載，如果某個可用區(qū)發(fā)生故障，那么其它的可用區(qū)可以迅速接替它來運行，對用戶不會產生任何影響。

保留源IP地址，客戶端操作簡便

同時，在DNLB中用戶源IP地址可直接透傳到后端服務器，也就是說后端服務器上看到的網絡包的源地址就是用戶的真實訪問地址，用戶不需要做其它任何操作，就可以直接獲取源端真實的IP信息。

解耦負載均衡與會話保持功能，幫助用戶實現靈活部署

DNLB將負載均衡功能與會話保持功能解耦，使每個模塊之間的關聯(lián)減少，保持獨立性，即便一個地方出錯，也不會影響全部，從而實現更高性能、更靈活的部署。

后端服務豐富，為用戶提供更多選擇

由于DNLB沿襲的是ALB的虛擬服務器組設計，所以后端服務可根據流量負載情況自動調整服務器個數，以實現合理利用資源，并支持云主機和容器作為后端服務實例，為用戶業(yè)務部署提供更多選擇。

成熟的應用實踐，為用戶提供高性能服務

拋開功能層面來講，DNLB還是一個在應用實踐上的“老司機”，已在京東云與AI內部多個產品（例如：RDS、MongoDB、Redis、ES等）的高可用架構中集成，其技術的成熟度可以確保用戶享受到最高性能的服務，是對性能、時延和業(yè)務橫向擴展有高要求，在四層負載均衡上的極佳選擇。

從當前的網絡應用上來看，專業(yè)的負載均衡技術，能給用戶帶來更大的價值和更高的效率，尤其是對于那些部署了微服務架構、數據中心容器的企業(yè)來說，使用DNLB能很好滿足無狀態(tài)業(yè)務的大并發(fā)流量和高可用性的分發(fā)需求。

比如說，像6.18、11.11這類電商大促活動時，Web 訪問量在短暫的數小時內可能比平常瞬間增加 10 倍以上，啟用DNLB對業(yè)務系統(tǒng)進行流量分發(fā)，隨著應用的彈性擴展，DNLB的轉發(fā)能力同步擴展，保障系統(tǒng)對外的服務能力，可以滿足業(yè)務波峰時資源調控的需求。

而如果這時選用的是傳統(tǒng)的硬件設備搭建集群，就會遇到硬件成本高昂，運維繁瑣等問題。對于業(yè)務流量峰值高，需構建低成本架構的場景而言，DNLB可以有效應對峰值流量，降低部署成本，使其擺脫硬件設備的運維工作，專注于產品功能的開發(fā)。

現如今，人工智能和實體經濟的深度融合，正在推動一個新的經濟時代的到來。京東云與AI的DNLB基于現有的網絡結構，面向高性能、大并發(fā)、低延時、無狀態(tài)的業(yè)務分發(fā)場景，提供了軟件定義的全可用區(qū)分布式負載均衡服務，加強了網絡數據處理能力，提高了網絡的靈活性和可用性。尤其像銀行、電商、醫(yī)療、交通、互聯(lián)網這些數據量大、計算量大、通信量大的企業(yè)，都成為分布式負載均衡發(fā)揮自身優(yōu)勢最主要的平臺。

京東云與AI作為京東集團強大商業(yè)能力的技術賦能出口，在商用以來3年多的時間里，推出及更新多達300+款產品與服務，實現100%云上訂單，呈飛躍式發(fā)展。在2019年，獲得公有云和私有云雙一級資質。在2019年6.18和11.11期間，實現了從容面對數百億訪問流量、每秒數百萬次的高并發(fā)請求，完全能夠勝任在高負載、高并發(fā)、高挑戰(zhàn)的網絡壓力下，保證業(yè)務系統(tǒng)平穩(wěn)運行，保證全天核心服務不降級、零重大事故。2019年IDC報告顯示，京東云中國公有云IaaS市場排名第九， YtY（同比）增速高達557%，行業(yè)最高，遠超74%的平均水平。

“我們堅持實場景驅動，堅持以客戶為中心，我們也正在從產品端出發(fā)，把人工智能、大數據、云計算、物聯(lián)網等技術融合在一起，為產業(yè)融合、科技創(chuàng)新，提供最堅實、最前沿、最可信賴的計算基礎設施和服務?！眲⒖≥x說。

責任編輯：ct