阿里云HBase推出普惠性高可用服務(wù)，獨(dú)家支持用戶的自建、混合云環(huán)境集群

HBase可以支持百TB數(shù)據(jù)規(guī)模、數(shù)百萬(wàn)QPS壓力下的毫秒響應(yīng)，適用于大數(shù)據(jù)背景下的風(fēng)控和推薦等在線場(chǎng)景。阿里云HBase服務(wù)了多家金融、廣告、媒體類業(yè)務(wù)中的風(fēng)控和推薦，持續(xù)的在高可用、低延遲、低成本方向上進(jìn)行優(yōu)化。目前單集群承諾可用性99.9%，SSD機(jī)型上可以做到請(qǐng)求毛刺99.5% < 50ms，以及新上線的表內(nèi)冷熱分離可以加速熱數(shù)據(jù)訪問(wèn)性能、減少冷數(shù)據(jù)存儲(chǔ)成本并且在API上對(duì)用戶透明。為了進(jìn)一步滿足客戶在可用性以及低延遲上的訴求，阿里云HBase將提供以主備架構(gòu)為平臺(tái)，以冗余、并發(fā)、隔離、降級(jí)等全方位服務(wù)為支撐的高可用解決方案，目標(biāo)提供99.99%可用性、99.9%請(qǐng)求小于50ms。目前高可用項(xiàng)目一期已經(jīng)完成，本文將介紹主備架構(gòu)以及一鍵切換能力。

HBase單集群可用性

一個(gè)HBase系統(tǒng)包含了Zookeeper、HDFS、HBase三個(gè)組件。其中Zookeeper在數(shù)據(jù)和計(jì)算上都進(jìn)行了冗余，且是一個(gè)可自愈系統(tǒng)，單節(jié)點(diǎn)故障可在秒級(jí)恢復(fù)。HBase對(duì)Zookeeper是輕依賴，一般不會(huì)出現(xiàn)大問(wèn)題。HDFS是一個(gè)Master-Slave模式的分布式文件系統(tǒng)，存在中心節(jié)點(diǎn)Namenode，Namenode支持以HA方式部署，單Namenode故障可秒級(jí)恢復(fù)，在兩個(gè)NN都宕機(jī)的情況下依然可以重啟自愈，但恢復(fù)時(shí)間取決于回放日志大小，在分鐘級(jí)別。數(shù)據(jù)多副本冗余，Datanode單節(jié)點(diǎn)宕機(jī)不中斷服務(wù)。HBase也是一個(gè)Master-Slave模式的分布式系統(tǒng)，其中HMaster不參與讀寫路徑，因此HMaster宕機(jī)不中斷服務(wù)，但長(zhǎng)期宕機(jī)會(huì)影響負(fù)載均衡、Failover等能力，HMaster支持HA方式部署。HBase還有一個(gè)單點(diǎn)是Meta服務(wù)，它隨機(jī)選擇一個(gè)RegionServer節(jié)點(diǎn)作為宿主，如果meta服務(wù)不可用則所有請(qǐng)求路由會(huì)失效，導(dǎo)致整體不可用。由于客戶端有路由緩存，meta服務(wù)停機(jī)不會(huì)立即造成不可用。HBase數(shù)據(jù)分片使用Range Partition的方式，每一個(gè)Region由一個(gè)RegionServer服務(wù)，即HBase的計(jì)算服務(wù)是0冗余，因此當(dāng)RegionServer故障時(shí)多個(gè)分片不可服務(wù)。HBase Failover機(jī)制可以自愈，單RegionServer宕機(jī)恢復(fù)時(shí)間在分鐘級(jí)，多個(gè)RegionServer宕機(jī)恢復(fù)時(shí)間在10分鐘~1小時(shí)時(shí)間不等。

單集群HBase高可用部署

組件角色高可用機(jī)制故障影響Zookeeper數(shù)據(jù)、計(jì)算冗余單點(diǎn)宕機(jī)秒級(jí)服務(wù)HDFSNamenode雙節(jié)點(diǎn)HA部署單點(diǎn)宕機(jī)秒級(jí)恢復(fù)，雙節(jié)點(diǎn)宕機(jī)恢復(fù)時(shí)間在分鐘級(jí)Datanode數(shù)據(jù)、計(jì)算冗余單點(diǎn)宕機(jī)不中斷服務(wù)HBaseHMaster雙節(jié)點(diǎn)HA部署不影響數(shù)據(jù)讀寫Meta服務(wù)單點(diǎn)，可自愈影響全局不可用Region單點(diǎn)，可自愈局部不可用，單點(diǎn)分鐘級(jí)恢復(fù)，多點(diǎn)恢復(fù)時(shí)間可達(dá)小時(shí)級(jí)別

內(nèi)核或運(yùn)行環(huán)境Bug造成HBase自愈不可控

case1 某金融公司自建HBase因ECS重啟導(dǎo)致WAL數(shù)據(jù)破壞，HBase Failover無(wú)法進(jìn)行，集群不可用無(wú)法自愈 case2 某視頻公司自建HBase集群Meta數(shù)據(jù)陷入不一致無(wú)法恢復(fù)，造成分區(qū)無(wú)法上線，部分表不可用無(wú)法自愈 case3 某媒體公司IO壓力較大經(jīng)常觸發(fā)空間泄漏Bug，導(dǎo)致空間不足集群宕機(jī)無(wú)法自愈 以上是真實(shí)的案例，Bug是不可避免的，未知Bug處理考驗(yàn)內(nèi)核團(tuán)隊(duì)的技術(shù)實(shí)力，需要具備外科手術(shù)的能力，但其處理時(shí)間是不可預(yù)期的。

云HBase主備高可用方案

故障恢復(fù)時(shí)間可預(yù)知的高可用系統(tǒng)，故障發(fā)生時(shí)可以在分鐘級(jí)別恢復(fù)讀寫能力。實(shí)現(xiàn)方案選擇經(jīng)典的主備模式，也支持主主模式。備集群部署在同城的不同機(jī)房?jī)?nèi)，在資源層面完全隔離，軟件可部署不同的版本，最大程度保持兩個(gè)集群的獨(dú)立性。從經(jīng)驗(yàn)數(shù)據(jù)出發(fā)，單機(jī)房故障恢復(fù)時(shí)間的上限為1個(gè)小時(shí)，在這1個(gè)小時(shí)內(nèi)另一個(gè)機(jī)房也發(fā)生故障的概率非常低，有兩種情況除外：第一種是城市級(jí)災(zāi)難，這個(gè)需要異地容災(zāi)方案；第二種是故障源于業(yè)務(wù)流量增長(zhǎng)，系統(tǒng)過(guò)載，此時(shí)的解決方案是限流或者擴(kuò)容。這兩種情況不在本文設(shè)計(jì)考慮之內(nèi)。系統(tǒng)提供一鍵切換能力，不需要客戶端重啟，每一個(gè)客戶端在收到切換信號(hào)時(shí)會(huì)自動(dòng)完成連接的切換，客戶端的切換是并發(fā)進(jìn)行的，所有客戶端可以在10秒內(nèi)完成切換。

高可用方案可以獨(dú)立提供給自建使用，支持自建和云HBase混合主備。如果你已經(jīng)擁有一個(gè)HBase集群，可以方便的彈出一個(gè)冗余備集群，備集群的建表和數(shù)據(jù)復(fù)制都是自動(dòng)完成。當(dāng)故障發(fā)生時(shí)，可以在控制臺(tái)切換流量到備庫(kù)，待主集群恢復(fù)后再把流量切回。云HBase高可用服務(wù)是一個(gè)獨(dú)立的服務(wù)，可以看做是基于HBase之上的一個(gè)中間件，支持混合云是我們的設(shè)計(jì)原則，云上同VPC下的自建HBase、EMR HBase、云HBase可以方便的進(jìn)行主備混合使用，對(duì)于IDC自建HBase或者它云上的HBase則需要用戶自行解決網(wǎng)絡(luò)聯(lián)通。

簡(jiǎn)單易用，HBase客戶端從普通模式轉(zhuǎn)化為高可用模式不需要修改代碼。云HBase會(huì)提供一個(gè)插件集成到HBase客戶端，并且為高可用提供一個(gè)新的Endpoint。這個(gè)Endpoint就是簡(jiǎn)單的 ip+port，用來(lái)替換單集群模式下的Zookeeper地址。用戶可以選擇核心表進(jìn)行高可用建設(shè)，非核心表依然保持單集群來(lái)降低成本。對(duì)于高可用的表，可以通過(guò)高可用客戶端進(jìn)行創(chuàng)建、修改和刪除，控制臺(tái)會(huì)保證主備集群元數(shù)據(jù)的一致性。目前我們支持0.96、0.98、1.x、2.x、云HBase增強(qiáng)版等多個(gè)版本。

0.961.x2.x云增強(qiáng)版0.96YESNONOYES1.xNOYESYESYES2.xNOYESYESYES云增強(qiáng)版YESYESYESYES

版本主備兼容性列表

控制臺(tái)提供一鍵切換不需要重啟客戶端，提供AliHBaseConnector作為原生HBase客戶端的一個(gè)插件，插件內(nèi)部會(huì)封裝主備切換邏輯?？蛻舳藛?dòng)時(shí)會(huì)從BDS獲取主備地址信息同時(shí)建立一個(gè)高可用的命令通道，控制臺(tái)發(fā)出的切換命令通過(guò)該通道到達(dá)客戶端，客戶端自動(dòng)的斷開(kāi)舊鏈接，打開(kāi)備庫(kù)鏈接并重試請(qǐng)求。

綜上所述，云HBase主備高可用架構(gòu)如下圖：

• 數(shù)據(jù)同步

云HBase并沒(méi)有采用開(kāi)源的Replication方案，主要的原因包括： HBase Replication抗熱點(diǎn)能力差，每臺(tái)機(jī)器只能處理自己的日志 HBase Replication Failover的設(shè)計(jì)存在缺陷，導(dǎo)致一旦RS宕機(jī)就會(huì)出現(xiàn)長(zhǎng)時(shí)間同步延遲 HBase Replication與內(nèi)核爭(zhēng)搶資源，無(wú)法獨(dú)立擴(kuò)容 HBase Replication的管理依賴表屬性配置，配置項(xiàng)很多，在混合云模式下很難維護(hù)

BDS Replication是一個(gè)獨(dú)立的數(shù)據(jù)復(fù)制服務(wù)，提供延遲百毫秒級(jí)別的雙向數(shù)據(jù)同步能力。BDS Replication可以獨(dú)立的擴(kuò)容縮容，它不需要磁盤，可以更好的管理成本。

• 主備一致性

云HBase主備采用的是異步復(fù)制，提供基于版本的最終一致性。寫入主庫(kù)的一行數(shù)據(jù)在同步到備庫(kù)時(shí)，會(huì)保持和主庫(kù)一致的版本號(hào)。云HBase高可用目前僅支持最終一致性切換，在切換時(shí)主備可能存在秒級(jí)的不一致。對(duì)于風(fēng)控、推薦、畫像類的應(yīng)用，最終一致性是滿足需求的。如果您使用了CheckAndPut、CheckAndDelete這樣的接口則會(huì)出現(xiàn)一致性問(wèn)題，此種情況請(qǐng)聯(lián)系云HBase提供技術(shù)咨詢。

• 配置服務(wù)

配置服務(wù)有兩個(gè)作用，存儲(chǔ)主備集群的地址信息和通知切換命令。高可用客戶端在啟動(dòng)時(shí)會(huì)訪問(wèn)該服務(wù)加載主備集群地址信息。通過(guò)控制臺(tái)執(zhí)行的切換命令也會(huì)由配置服務(wù)通知所有的客戶端。配置服務(wù)本身采用了冗余來(lái)保障存儲(chǔ)和消息的高可用。

• 監(jiān)控

高可用服務(wù)可以實(shí)時(shí)顯示主備集群的狀態(tài)。主、備角色在初始配置時(shí)確定不能更改，但狀態(tài)"active/standby"是可變化的，處于"active"狀態(tài)的集群是目前客戶端訪問(wèn)的集群。提供主備集群雙向同步鏈路的實(shí)時(shí)延遲展示，同時(shí)提供客戶端鏈接數(shù)量監(jiān)控，使得用戶可以準(zhǔn)確的判斷切換進(jìn)度。

云HBase高可用使用方式

如果您已經(jīng)使用了云HBase并且希望增加一個(gè)備庫(kù)，只需如下步驟 1 購(gòu)買一個(gè)BDS集群用于管理主備 2 購(gòu)買一個(gè)空的云HBase集群作為備庫(kù) 3 輸入主備兩個(gè)集群的實(shí)例ID創(chuàng)建高可用訪問(wèn)地址 4 開(kāi)始您的高可用之旅

如果您使用的是ECS自建集群或者EMR HBase，希望增加一個(gè)備庫(kù)，只需如下步驟

1 購(gòu)買一個(gè)BDS集群用于管理主備 2 購(gòu)買一個(gè)空的云HBase集群作為備庫(kù) 3 配置域名映射和安全組（會(huì)提供相關(guān)的服務(wù)一鍵解決） 4 輸入主備兩個(gè)集群的地址信息創(chuàng)建高可用訪問(wèn)地址 5 開(kāi)始您的高可用之旅

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。