Hadoop的Nuts和Bolts大數(shù)據(jù)分析

用于數(shù)據(jù)分析的開源Hadoop架構(gòu)的巨大增長是由其結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)量的增長所驅(qū)動的，并且很多權(quán)威組織也預(yù)測，未來Hadoop架構(gòu)還將繼續(xù)增長，并需要復(fù)雜的可訪問工具來從數(shù)據(jù)中提取業(yè)務(wù)和市場信息。

對于Hadoop來說，前景很樂觀——開源框架旨在促進巨大數(shù)據(jù)集的分布式處理。Hadoop對企業(yè)越來越具有吸引力，因為它既可以獲取大數(shù)據(jù)的好處，同時又避免了基礎(chǔ)架構(gòu)費用。

聯(lián)合市場研究部門最近的一份報告表明，Hadoop市場將實現(xiàn)從2013年到2020年的復(fù)合年增長率為58.2%，到2020年整個市場將達到502億美元，而2012年為15億美元。

大數(shù)據(jù)到底有多“大”？根據(jù)IBM的說法，每天都會產(chǎn)生2.5萬億字節(jié)的數(shù)據(jù)，世界上所有數(shù)據(jù)的90%都是在過去兩年中創(chuàng)建的。意識到這個巨大的信息商店的價值就需要數(shù)據(jù)分析工具，這些數(shù)據(jù)分析工具足夠復(fù)雜，價格便宜，而且對于各種規(guī)模的公司來說都很容易使用。

許多企業(yè)認(rèn)為其專有數(shù)據(jù)太重要，無法在其他場合存儲和處理。然而，云服務(wù)現(xiàn)在提供與內(nèi)部系統(tǒng)相同的安全性和可用性。通過訪問云中的數(shù)據(jù)庫，企業(yè)也意識到可承受和可擴展的云架構(gòu)的優(yōu)勢。

Morpheus數(shù)據(jù)庫即服務(wù)提供企業(yè)對其數(shù)據(jù)智能操作所需的安全性，高可用性和可擴展性。通過Morpheus使用100%的裸機SSD托管和性能最大化。該服務(wù)為Amazon Web Services和其他對等點以及云托管平臺提供超低延遲。

Hadoop的Nuts和Bolts大數(shù)據(jù)分析

Hadoop架構(gòu)將數(shù)據(jù)存儲和處理都分配到網(wǎng)絡(luò)上的所有節(jié)點。 通過將處理數(shù)據(jù)的小程序放置在具有更大數(shù)據(jù)集的節(jié)點中，不需要將數(shù)據(jù)流傳輸?shù)教幚砟K。Hadoop調(diào)度和資源管理框架執(zhí)行映射并減少集群環(huán)境中的階段步驟。

Hadoop分布式文件系統(tǒng)（HDFS）數(shù)據(jù)存儲層使用副本來克服節(jié)點故障，并針對順序讀取進行了優(yōu)化，以支持大規(guī)模并行處理。當(dāng)框架擴展到支持Amazon Web Services S3和其他云存儲文件系統(tǒng)時，Hadoop的市場真的要起飛了。

盡管由于設(shè)置和運行Hadoop集群的復(fù)雜性、框架的成本低和可擴展性等優(yōu)勢，在中小型企業(yè)中采用Hadoop仍然很難。新服務(wù)通過提供受管理并可以使用的Hadoop集群來消除復(fù)雜性：無需在集群節(jié)點上配置或安裝任何服務(wù)。

Netflix數(shù)據(jù)倉庫將Hadoop和Amazon S3結(jié)合在一起，實現(xiàn)無限可擴展性

Netflix針對其PB級數(shù)據(jù)倉庫，通過Hadoop分布式文件系統(tǒng)選擇亞馬遜的存儲服務(wù)（S3），以實現(xiàn)基于云服務(wù)的動態(tài)可擴展性和無限數(shù)據(jù)計算能力。Netflix從來自電視，計算機和移動設(shè)備的數(shù)十億個流媒體事件中收集數(shù)據(jù)。

以S3作為其數(shù)據(jù)倉庫，可以為具有數(shù)百個節(jié)點的Hadoop集群配置各種工作負(fù)載，所有這些都能夠訪問相同的數(shù)據(jù)。Netflix使用Amazon的彈性MapReduce分發(fā)Hadoop，并開發(fā)了自己的Hadoop平臺即服務(wù)，它稱之為Genie。Genie允許用戶從Hadoop，Pig，Hive和其他工具提交作業(yè)，而無需通過RESTful API來配置新的集群或安裝新的客戶端。

▲Netflix Hadoop-S3數(shù)據(jù)倉庫在廣泛分布的網(wǎng)絡(luò)中提供了無與倫比的數(shù)據(jù)和計算能力。

Wired的Marco Visibelli在2014年8月13日的文章中解釋說，結(jié)合Hadoop和云服務(wù)有顯著的潛力。Visibelli描述了公司如何利用Big Data進行預(yù)測，通過Amazon Web Services從小型項目擴展，并在小項目取得成功的同時進行擴展。例如，一家歐洲汽車制造商使用Hadoop將幾個供應(yīng)商數(shù)據(jù)庫結(jié)合到一個單一的15TB數(shù)據(jù)庫中，兩年內(nèi)節(jié)省了1600萬美元。

Hadoop為各種規(guī)模的組織打開了“大數(shù)據(jù)”大門。 利用Morpheus數(shù)據(jù)庫作為服務(wù)的云服務(wù)的可擴展性，安全性，可訪問性和可承受性的項目有更大的成功機會。