0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

HBase是什么 HBase八大應(yīng)用場(chǎng)景介紹

美信半導(dǎo)體 ? 來源:未知 ? 作者:工程師飛燕 ? 2018-11-11 11:05 ? 次閱讀

HBase概述

HBase是一個(gè)分布式存儲(chǔ)、數(shù)據(jù)庫引擎,可以支持千萬的QPS、PB級(jí)別的存儲(chǔ),這些都已經(jīng)在生產(chǎn)環(huán)境驗(yàn)證,并且在廣大的公司已經(jīng)驗(yàn)證。特別是阿里、小米、京東、滴滴內(nèi)部都有數(shù)千、上萬臺(tái)的HBase集群。選擇一個(gè)技術(shù)的首要條件是對(duì)齊大公司,大公司會(huì)投入大量的人力去維護(hù)、改進(jìn)、貢獻(xiàn)社區(qū)。

關(guān)于NewSQL與NoSQL的關(guān)系

技術(shù)總是不斷向前發(fā)展的,如今都在提NewSQL,其實(shí)NewSQL在筆者看來是NoSQL之上的一個(gè)封裝,一個(gè)子場(chǎng)景。NoSQL中的大表,典型就是提供了KV1V2……Vn,其中每個(gè)V可以是1b,也可以是100MB。可以說是一個(gè)元的存在,就類似于數(shù)字世界的01,可以任意組合。在以HBase為代表的NoSQL中,HBase可以組合出任意的場(chǎng)景,NewSQL可以是之上加了SQL層或者更近一層添加事務(wù)的子場(chǎng)景。

關(guān)于計(jì)算與存儲(chǔ)分離

在云上,對(duì)于引擎最為核心的就是存儲(chǔ)計(jì)算分離,存儲(chǔ)可以按需計(jì)費(fèi),起碼得彈性伸縮。計(jì)算則按節(jié)點(diǎn)存儲(chǔ)提供。如果完全按照QPS計(jì)費(fèi),要么費(fèi)用高得嚇人,要么難以滿足更多的場(chǎng)景,比如存儲(chǔ)10M,到底算一次QPS,還是多少次。 由于HBase天生就是存儲(chǔ)計(jì)算分離,天然比較適配云上的架構(gòu),可以說到了云上,HBase更加具有優(yōu)勢(shì)。

HBase場(chǎng)景

HBase可以說是一個(gè)數(shù)據(jù)庫,也可以說是一個(gè)存儲(chǔ)。擁有雙重屬性的HBase天生就具備廣闊的應(yīng)用場(chǎng)景。在最近的一些版本中,引入了OffHeap降低gc影響,優(yōu)化鏈路延遲,提供Replica等可以滿足在線的需求。引入MOB,可以存儲(chǔ)10M左右的對(duì)象,完全適應(yīng)了對(duì)象存儲(chǔ)。另外由于自身的并發(fā)能力、存儲(chǔ)能力,可以說是具有最為競(jìng)爭(zhēng)力的引擎。

對(duì)象存儲(chǔ):我們知道不少的頭條類、新聞?lì)惖牡男侣?、網(wǎng)頁、圖片存儲(chǔ)在HBase之中,一些病毒公司的病毒庫也是存儲(chǔ)在HBase之中。

時(shí)序數(shù)據(jù):HBase之上有OpenTSDB模塊,可以滿足時(shí)序類場(chǎng)景的需求。

推薦畫像:特別是用戶的畫像,是一個(gè)比較大的稀疏矩陣,螞蟻的風(fēng)控就是構(gòu)建在HBase之上。

時(shí)空數(shù)據(jù):主要是軌跡、氣象網(wǎng)格之類,滴滴打車的軌跡數(shù)據(jù)主要存在HBase之中,另外在技術(shù)所有大一點(diǎn)的數(shù)據(jù)量的車聯(lián)網(wǎng)企業(yè),數(shù)據(jù)都是存在HBase之中。

CubeDB OLAP:Kylin一個(gè)cube分析工具,底層的數(shù)據(jù)就是存儲(chǔ)在HBase之中,不少客戶自己基于離線計(jì)算構(gòu)建cube存儲(chǔ)在hbase之中,滿足在線報(bào)表查詢的需求。

消息/訂單:在電信領(lǐng)域、銀行領(lǐng)域,不少的訂單查詢底層的存儲(chǔ),另外不少通信、消息同步的應(yīng)用構(gòu)建在HBase之上。

Feeds流:典型的應(yīng)用就是xx朋友圈類似的應(yīng)用。

NewSQL:之上有Phoenix的插件,可以滿足二級(jí)索引、SQL的需求,對(duì)接傳統(tǒng)數(shù)據(jù)需要SQL非事務(wù)的需求。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • Hbase
    +關(guān)注

    關(guān)注

    0

    文章

    27

    瀏覽量

    11192
  • nosql
    +關(guān)注

    關(guān)注

    0

    文章

    39

    瀏覽量

    10005

原文標(biāo)題:技術(shù)直播 | 借助Maxim的模擬技術(shù)優(yōu)化設(shè)計(jì)

文章出處:【微信號(hào):Maxim_Integrated,微信公眾號(hào):美信半導(dǎo)體】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    再談全局網(wǎng)HBase八大應(yīng)用場(chǎng)景

    摘要: HBase可以說是一個(gè)數(shù)據(jù)庫,也可以說是一個(gè)存儲(chǔ)。擁有雙重屬性的HBase天生就具備廣闊的應(yīng)用場(chǎng)景。在2.0中,引入了OffHeap降低了延遲,可以滿足在線的需求。引入MOB,可以存儲(chǔ)10M
    發(fā)表于 04-11 11:14

    HBase性能優(yōu)化方法總結(jié)

    HBase是Hadoop生態(tài)系統(tǒng)中的一個(gè)組件,是一個(gè)分布式、面向列的開源數(shù)據(jù)庫,可以支持?jǐn)?shù)百萬列、超過10億行的數(shù)據(jù)存儲(chǔ),因此,對(duì)HBase性能提出了一定的要求,那么如何進(jìn)行HBase性能優(yōu)化呢
    發(fā)表于 04-20 17:16

    阿里HBase的數(shù)據(jù)管道設(shè)施實(shí)踐與演進(jìn)

    ,數(shù)據(jù)倉會(huì)產(chǎn)生報(bào)表,然后去訓(xùn)練路由算法。淘寶客服淘寶客服的一個(gè)退款應(yīng)用場(chǎng)景如上圖。這是一個(gè)逆向鏈接,把退款、糾紛、退款物流、退款費(fèi)用等實(shí)時(shí)的寫入到HBase里,HBase會(huì)實(shí)時(shí)的寫入queue里
    發(fā)表于 05-29 20:34

    HBase read replicas 功能介紹系列

    摘要: 主要介紹HBase 在讀可用性這塊做的read replica 功能的大概介紹,包括:基本使用,讀寫流程的大概鏈路,設(shè)計(jì)的折中等等。HBase read replicas1.概
    發(fā)表于 06-12 16:02

    兌吧:從自建HBase遷移到阿里云HBase實(shí)戰(zhàn)經(jīng)驗(yàn)

    維度和指標(biāo)的統(tǒng)計(jì)HBase在"推啊"使用場(chǎng)景HBase在推啊主要用于流式數(shù)據(jù)統(tǒng)計(jì),存儲(chǔ)用戶畫像的相關(guān)數(shù)據(jù),屬于實(shí)時(shí)統(tǒng)計(jì)模塊中主要存儲(chǔ)。實(shí)時(shí)統(tǒng)計(jì)時(shí),對(duì)用戶的行為數(shù)據(jù)根據(jù)不同維度不同指
    發(fā)表于 06-19 17:32

    關(guān)于Hbase的全面介紹

    Hbase原理與使用
    發(fā)表于 07-25 14:58

    HBase安裝與操作指南

    HBase初識(shí)、CentOS66中HBase安裝與HBase Shell簡(jiǎn)單使用
    發(fā)表于 09-20 14:51

    關(guān)于HBase的學(xué)習(xí)筆記

    初識(shí)HBase(一些HBase學(xué)習(xí)筆記)
    發(fā)表于 04-21 15:07

    基于HBase行鍵面向海量交通數(shù)據(jù)的HBase時(shí)空索引

    針對(duì)HBase無法直接建立時(shí)空索引所帶來的交通數(shù)據(jù)查詢性能問題,基于HBase行鍵設(shè)計(jì)了面向海量交通數(shù)據(jù)的HBase時(shí)空索引。首先利用Geohash降維方法將二維空間位置數(shù)據(jù)轉(zhuǎn)化為一維編碼,再與時(shí)間
    發(fā)表于 12-06 15:23 ?0次下載
    基于<b class='flag-5'>HBase</b>行鍵面向海量交通數(shù)據(jù)的<b class='flag-5'>HBase</b>時(shí)空索引

    hbase工作原理_hbase超詳細(xì)介紹

    HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng),利用HBase技術(shù)可在廉價(jià)PC Server上搭建大規(guī)模結(jié)構(gòu)化的存儲(chǔ)集群。hbase工作原理如下所述...
    發(fā)表于 12-27 14:17 ?1.8w次閱讀
    <b class='flag-5'>hbase</b>工作原理_<b class='flag-5'>hbase</b>超詳細(xì)<b class='flag-5'>介紹</b>

    hbase性能測(cè)試總結(jié)

    hbase的寫性能:集群吞吐量最大可以達(dá)到70000+ ops/sec,延遲在幾個(gè)毫秒左右。網(wǎng)絡(luò)帶寬是主要瓶頸,如果將千兆網(wǎng)卡換成萬兆網(wǎng)卡,吞吐量還可以繼續(xù)增加,甚至達(dá)到目前吞吐量的兩倍。hbase
    發(fā)表于 12-27 14:42 ?1w次閱讀
    <b class='flag-5'>hbase</b>性能測(cè)試總結(jié)

    hbase常用操作命令大全

    HBase是Google Bigtable的開源實(shí)現(xiàn),類似Google Bigtable利用GFS作為其文件存儲(chǔ)系統(tǒng),HBase利用Hadoop HDFS作為其文件存儲(chǔ)系統(tǒng);Google運(yùn)行
    發(fā)表于 12-27 15:10 ?2598次閱讀

    hbase分布式安裝部署過程

    先下載安裝包,再配置安裝路徑,后驗(yàn)證是否安裝成功。完成以上操作后啟動(dòng)HBase,啟動(dòng)順序:先啟動(dòng)Hadoop,再啟動(dòng)HBase,關(guān)閉順序:先關(guān)閉HBase,再關(guān)閉Hadoop。
    發(fā)表于 12-27 15:26 ?1578次閱讀
    <b class='flag-5'>hbase</b>分布式安裝部署過程

    Ali-HBase的SQL實(shí)踐與改進(jìn)

    其實(shí)在一定程度上提升了讀的性能?;?b class='flag-5'>HBase Native api的實(shí)現(xiàn)現(xiàn)在說的場(chǎng)景是經(jīng)過高度抽象的場(chǎng)景,實(shí)際的場(chǎng)景不可能這么簡(jiǎn)單,即使在簡(jiǎn)單的場(chǎng)
    發(fā)表于 08-03 12:11 ?226次閱讀

    Hbase的基礎(chǔ)性介紹與入門

    無論是 NoSQL,還是大數(shù)據(jù)領(lǐng)域,HBase 都是非常"炙熱"的一門數(shù)據(jù)庫。本文將對(duì) HBase 做一些基礎(chǔ)性的介紹,旨在入門。
    的頭像 發(fā)表于 03-15 17:21 ?1427次閱讀
    <b class='flag-5'>Hbase</b>的基礎(chǔ)性<b class='flag-5'>介紹</b>與入門