八年技術(shù)加持，性能提升10倍，阿里云HBase 2.0首發(fā)商用

摘要：?早在2010年開始，阿里巴巴集團(tuán)開始研究并把HBase投入生產(chǎn)環(huán)境使用，從最初的淘寶歷史交易記錄，到螞蟻安全風(fēng)控?cái)?shù)據(jù)存儲(chǔ)，HBase在幾代阿里專家的不懈努力下，已經(jīng)表現(xiàn)得運(yùn)行更穩(wěn)定、性能更高效，內(nèi)部HBase集群超過萬臺(tái)的規(guī)模，單集群超過千臺(tái)，是集團(tuán)核心數(shù)據(jù)庫產(chǎn)品之一，也是國內(nèi)甚至國際上絕對(duì)的HBase大戶。

阿里云HBase 2.0成長手記，含著金湯匙出身

HBase本身是一個(gè)分布式存儲(chǔ)、數(shù)據(jù)庫引擎，可以支持千萬的QPS、PB級(jí)別的存儲(chǔ)，這些都已經(jīng)在生產(chǎn)環(huán)境驗(yàn)證，并且在阿里得以驗(yàn)證。

早在2010年開始，阿里巴巴集團(tuán)開始研究并把HBase投入生產(chǎn)環(huán)境使用，從最初的淘寶歷史交易記錄，到螞蟻安全風(fēng)控?cái)?shù)據(jù)存儲(chǔ)，HBase在幾代阿里專家的不懈努力下，已經(jīng)表現(xiàn)得運(yùn)行更穩(wěn)定、性能更高效，內(nèi)部HBase集群超過萬臺(tái)的規(guī)模，單集群超過千臺(tái)，是集團(tuán)核心數(shù)據(jù)庫產(chǎn)品之一，也是國內(nèi)甚至國際上絕對(duì)的HBase大戶。

為什么HBase會(huì)受到大客戶的青睞。首先在這個(gè)上云的時(shí)代，在云上，對(duì)于引擎最為核心的就是存儲(chǔ)計(jì)算分離，存儲(chǔ)可以按需計(jì)費(fèi)，起碼得彈性伸縮。計(jì)算則按節(jié)點(diǎn)存儲(chǔ)提供，完全按照QPS計(jì)費(fèi)，要么費(fèi)用高得嚇人，要么難以滿足更多的場(chǎng)景。

比如存儲(chǔ)10M，到底算一次QPS，還是多少次。 由于HBase天生就是存儲(chǔ)計(jì)算分離，天然比較適配云上的架構(gòu)，可以說到了云上，HBase更加具有優(yōu)勢(shì)。

所以國內(nèi)大型互聯(lián)網(wǎng)企業(yè)內(nèi)部都有大量的HBase集群，尤其阿里更甚。自2012年誕生第一位“東八區(qū)” HBase committer，到今天，阿里巴巴已經(jīng)擁有3個(gè)PMC，6個(gè)committer，是中國擁有最多HBase committer的公司，其中HBase內(nèi)核中超過200+重要的feature是阿里貢獻(xiàn)。除了擁有強(qiáng)大的內(nèi)核團(tuán)隊(duì)和內(nèi)核能力，HBase在內(nèi)部經(jīng)過雙十一等超級(jí)業(yè)務(wù)的千錘百煉，鍛煉出一系列的完善的產(chǎn)品形態(tài)和企業(yè)級(jí)能力。

潛心修煉八年，終成HBase2.0

基于阿里長達(dá)8年和超萬臺(tái)實(shí)踐經(jīng)驗(yàn)和技術(shù)積累的延伸，ApsaraDB for HBase在基于社區(qū)的HBase的基礎(chǔ)上，推出了云HBase服務(wù)。建立在阿里云龐大生態(tài)體系下，根據(jù)云環(huán)境生態(tài)和HBase存儲(chǔ)系統(tǒng)的特點(diǎn)，推出適合企業(yè)嚴(yán)苛要求的云HBase存儲(chǔ)系統(tǒng)。
HBase 2.0在性能，穩(wěn)定性上做了一系列內(nèi)核架構(gòu)級(jí)別優(yōu)化。這次阿里云基于社區(qū)HBase 2.0穩(wěn)定版本基礎(chǔ)上，進(jìn)行了進(jìn)一步一系列性能和穩(wěn)定性優(yōu)化和測(cè)試驗(yàn)證。

此次首發(fā)云HBase 2.0云服務(wù)，讓用戶可以第一時(shí)間體驗(yàn)到阿里技術(shù)加持的HBase 2.0新版本。

首先是針對(duì)企業(yè)不同的使用環(huán)境，不同的SLA訴求，云HBase一共提供3個(gè)版本，分別滿足開發(fā)環(huán)境，在線業(yè)務(wù)，以及金融級(jí)業(yè)務(wù)的訴求。單節(jié)點(diǎn)版本，低廉的價(jià)格用于開發(fā)測(cè)試場(chǎng)景，集群版本，99.9%可用，滿足企業(yè)在線業(yè)務(wù)訴求，支持最高5000萬的QPS和10P的數(shù)據(jù)。還有支持金融級(jí)高可用的雙活版本。所有版本都支持11個(gè)9的數(shù)據(jù)可靠性，無需擔(dān)心數(shù)據(jù)丟失。

除了完善的產(chǎn)品形態(tài)，針對(duì)企業(yè)應(yīng)用中成本、安全、穩(wěn)定性、易用性等諸多訴求，阿里云HBase提供了強(qiáng)大的能力，例如存儲(chǔ)計(jì)算分離，按需彈性能力； 數(shù)據(jù)備份恢復(fù)能力；數(shù)據(jù)冷熱分離和分級(jí)存儲(chǔ)能力；SQL接口和強(qiáng)大的二級(jí)索引和倒排索引能力；多層次安全能力等等。

細(xì)數(shù)ApsaraDB HBase典型場(chǎng)景
云HBase已經(jīng)通過阿里云的公共云、專有云及混合云的形態(tài)對(duì)外服務(wù)，用戶覆蓋社交、金融、車聯(lián)網(wǎng)、物流、零售、電商、共享出行等數(shù)十個(gè)行業(yè)，幫助用戶頂住千萬級(jí)QPS的業(yè)務(wù)壓力，以及PB級(jí)數(shù)據(jù)高效存儲(chǔ)和處理。

HBase2.0支持多region replicas服務(wù)，充分利用集群資源支持更高并發(fā)隨機(jī)讀。進(jìn)一步加強(qiáng)了HBase高并發(fā)多讀能力，因此非常適合車聯(lián)網(wǎng)等物聯(lián)網(wǎng)場(chǎng)景。

除了在物聯(lián)網(wǎng)場(chǎng)景的應(yīng)用，我們知道不少的頭條類、新聞?lì)惖牡男侣?、網(wǎng)頁、圖片存儲(chǔ)在HBase之中。HBase2.0支持中等對(duì)象存儲(chǔ)，兼容原生api讀寫訪問以及bulkload等，合適企業(yè)存儲(chǔ)一些附件文檔、圖片數(shù)據(jù)，而不需要企業(yè)另選其它對(duì)象存儲(chǔ)系統(tǒng)，大大簡化企業(yè)后臺(tái)數(shù)據(jù)架構(gòu)。在存儲(chǔ)上支持各類數(shù)據(jù)，包括日志、訂單、交易數(shù)據(jù)、消息等，在線實(shí)時(shí)寫入，實(shí)時(shí)查詢。

通過對(duì)讀寫全鏈路優(yōu)化，rpc改進(jìn)等，比隨機(jī)讀寫延時(shí)更低。同時(shí)滿足了金融級(jí)分控，推薦等核心場(chǎng)景的極致時(shí)延和穩(wěn)定性要求。

小結(jié)
歷經(jīng)近8年的技術(shù)沉淀，阿里巴巴大數(shù)據(jù)NoSQL數(shù)據(jù)庫處理技術(shù)的精華沉淀在HBase上，后者成功支撐了成功支撐了阿里經(jīng)濟(jì)體中最大的NoSQL業(yè)務(wù)體量，是阿里大數(shù)據(jù)處理技術(shù)的核心組成部分，當(dāng)前將這項(xiàng)技術(shù)應(yīng)用到廣大企業(yè)中，助力企業(yè)發(fā)現(xiàn)數(shù)據(jù)價(jià)值。