常見幾種大數(shù)據(jù)技術(shù)比較分析

1. Hadoop 的神話正在破滅

IBM leads BigInsights for Hadoop out behind barn. Shots heard

IBM has announced the retirement of the basic plan for its data analytics software platform， BigInsights for Hadoop.

The basic plan of the service will be retired in a month， on December 7 of this year.

“IBM把BigInsights for Hadoop牽到牧棚后面，只聽一聲槍響…”

這個(gè)是前不久英國(guó)知名媒體The Register對(duì)IBM 產(chǎn)品BigInsights產(chǎn)品下線的報(bào)道。

BigInsights 是IBM在Apache Hadoop上增加了不少IBM分析技術(shù)能力后形成的一個(gè)大數(shù)據(jù)分析產(chǎn)品。 在面臨近乎2年的前途未卜的窘境之后，IBM終于決定將其關(guān)閉。

無獨(dú)有偶，前不久Gartner的一篇文章也指出 “70%以上的Hadoop部署未能天線的業(yè)務(wù)價(jià)值…”

Hadoop大數(shù)據(jù)是怎么了呢？

我們從DBMS數(shù)據(jù)庫(kù)管理系統(tǒng)的角度，來剖析下常見產(chǎn)品的能力：RDBMS，MPP，Hadoop，NoSQL以及NewSQL。 這幾類產(chǎn)品對(duì)數(shù)據(jù)處理的能力各有什么樣的特點(diǎn)？

2. 常見幾種數(shù)據(jù)技術(shù)比較

我們首先試圖對(duì)大數(shù)據(jù)這個(gè)被第一濫用的名詞來統(tǒng)一一下概念。按照Gartner的說法，大數(shù)據(jù)具備以下幾個(gè)特征（3個(gè)V）：

Volume： 數(shù)據(jù)量夠大

Velocity： 數(shù)據(jù)訪問并發(fā)夠高，夠?qū)崟r(shí)

Variety： 數(shù)據(jù)的類型多

從另一方面講，大數(shù)據(jù)也是數(shù)據(jù)，對(duì)常規(guī)數(shù)據(jù)的管理離不開我們熟悉的ACID事務(wù)性來保證對(duì)數(shù)據(jù)操作時(shí)候的原子性，一致性，隔離性和持久性。有了這個(gè)幾個(gè)衡量標(biāo)準(zhǔn)以后，我們可以來對(duì)上述幾個(gè)產(chǎn)品列表比較一下。

在這里根據(jù)4個(gè)維度給幾種流行的數(shù)據(jù)庫(kù)管理技術(shù)打分，以5分制為例，5分即最高分，表明具備最佳能力。1分為最低分，表明相對(duì)而言能力最弱。其實(shí)最近已經(jīng)有類似于TiDB或者CockroachDB的NewSQL產(chǎn)品出現(xiàn)，但是數(shù)據(jù)庫(kù)軟件是最為復(fù)雜的軟件之一， 因?yàn)樗獫M足各種應(yīng)用的使用場(chǎng)景。如果歷史是面鏡子，那么最少還要3年左右這些NewSQL的表現(xiàn)才能被足夠的評(píng)測(cè)。所以這里我們暫時(shí)略過。

下面我們來解讀一下各種數(shù)據(jù)庫(kù)的得分原因。

3. 關(guān)系型數(shù)據(jù)庫(kù)

RDBMS全稱關(guān)系型數(shù)據(jù)庫(kù)（Relational Database Management System）是歷史最悠久的數(shù)據(jù)庫(kù)類型。關(guān)系型數(shù)據(jù)庫(kù)以O(shè)racle，SQLServer，MySQL，PostgreSQL等為代表，是我們最熟悉的數(shù)據(jù)庫(kù)。特點(diǎn)是：

1、單機(jī)架構(gòu)限制，處理數(shù)據(jù)量有限， 通常在小幾個(gè)TB以下（得分2）

2、受事務(wù)之累，并發(fā)不高，但是通常是毫秒級(jí)響應(yīng)（得分3）

3、嚴(yán)謹(jǐn)?shù)年P(guān)系模型，無法處理非結(jié)構(gòu)化數(shù)據(jù)（得分1）

4、事務(wù)性強(qiáng)，無與倫比（得分5）

4. MPP 數(shù)倉(cāng)

MPP，全稱Massive Parallel Processing數(shù)據(jù)庫(kù)，通常被用來實(shí)現(xiàn)企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)和ODS等需求。MPP的產(chǎn)生主要是用來解決關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)量管理能力的問題。MPP數(shù)據(jù)庫(kù)通過把數(shù)據(jù)進(jìn)行分區(qū)分片，并分布到各個(gè)橫向擴(kuò)展節(jié)點(diǎn)，并由調(diào)度節(jié)點(diǎn)進(jìn)行統(tǒng)一管理計(jì)算。每一次你執(zhí)行查詢的時(shí)候，該查詢會(huì)被分解為多個(gè)子查詢并交付給每一個(gè)計(jì)算節(jié)點(diǎn)去做并行的查詢。這個(gè)架構(gòu)可以通過增加節(jié)點(diǎn)的方式來擴(kuò)展容量。數(shù)據(jù)在MPP系統(tǒng)里是分片的（Sharded）， 每個(gè)節(jié)點(diǎn)會(huì)存取自己本地的一部分?jǐn)?shù)據(jù)。這個(gè)較之共享存儲(chǔ)（如Oracle RAC）方案來說又有不少性能上的優(yōu)勢(shì)。因此大部分MPP系統(tǒng)，如Teradata，Greenplum，Vertica等都采用了這種shared nothing及DAS 直掛存儲(chǔ)的架構(gòu)。一般來說MPP系統(tǒng)都具備完備且成熟的SQL優(yōu)化器，支持主流的SQL標(biāo)準(zhǔn)，包括地理分析，全文檢索以及數(shù)據(jù)挖掘功能。除了GP之外，幾乎所有的MPP系統(tǒng)都是閉源系統(tǒng)，并且一般都是和昂貴、復(fù)雜這些詞聯(lián)系在一起的。

MPP理論上是可以無限橫向擴(kuò)展的，但是實(shí)際上由于控制節(jié)點(diǎn)或協(xié)調(diào)節(jié)點(diǎn)的原因，往往很難超出一百左右的節(jié)點(diǎn)數(shù)量。所以VOLUME得分為4分而不是滿分。MPP系統(tǒng)上主要運(yùn)行的是分析型的應(yīng)用場(chǎng)景，并發(fā)數(shù)往往較低，是為多節(jié)點(diǎn)并行分析能力而不是高并發(fā)能力優(yōu)化的，因此VELOCITY上得分為2分。MPP大致也是基于關(guān)系模型的，對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理上和RDBMS基本一樣無能為力，因此得分為1。

5. Hadoop

下一個(gè)出場(chǎng)的是Hadoop，按時(shí)間順序來排的話。 Apache Hadoop是2007年發(fā)布的開源軟件。Hadoop是基于Google 公開的MapReduce和HDFS技術(shù)研發(fā)而成的。它的最偉大之處就是讓企業(yè)能夠以非常廉價(jià)的x86服務(wù)器把大量的數(shù)據(jù)管理起來。在那之前，機(jī)構(gòu)需要購(gòu)買機(jī)器昂貴的企業(yè)級(jí)存儲(chǔ)設(shè)備來管理海量數(shù)據(jù)。就從這一點(diǎn)上，Hadoop技術(shù)已經(jīng)為企業(yè)帶來了很大的價(jià)值。這個(gè)確實(shí)是Hadoop的強(qiáng)處所在。然而，Hadoop的弱點(diǎn)也是一籮筐：安全，數(shù)據(jù)管理，查詢速度，復(fù)雜等等。10年的發(fā)展，很多這些地方都已經(jīng)有了比較不錯(cuò)的解決，唯有這個(gè)數(shù)據(jù)查詢速度依然是很多Hadoop部署的痛中之痛。這個(gè)性能低下的原因，是和HDFS，Hadoop用來存儲(chǔ)文件的機(jī)制，HDFS，分不開的。HDFS不支持索引，舉個(gè)例子來說，你想要在詞典里找一個(gè)不認(rèn)識(shí)的生僻詞的發(fā)音和釋義，為了找到這個(gè)生僻詞，你可能需要翻遍整本詞典，因?yàn)槟銦o法使用拼音來檢索。在HDFS里面找內(nèi)容都是通過掃描（SCAN）的方式，也即是從頭讀到尾來找到你想要的數(shù)據(jù)?？梢韵胂筮@種操作的性能如何。

Hadoop的打分情況：

1、基于x86廉價(jià)服務(wù)器及低端存儲(chǔ)海量擴(kuò)展，輕松支持 TB/PB級(jí)數(shù)據(jù)量，VOLUME得分5分

2、HDFS文件存儲(chǔ)系統(tǒng)對(duì)所有格式的數(shù)據(jù)照單全收，在VARIETY上面也盡得高分5分。

3、性能方面Hadoop毫不客氣的占了倒數(shù)第一，但是并發(fā)接入能力還是okay，所以給2分

4、ACID事務(wù)性更是八桿子打不著，得1分。