大數(shù)據(jù)系統(tǒng)包括哪些

目前，主流的大數(shù)據(jù)平臺包括：Hadoop、Spark。

Hadoop是分布式（根據(jù)網(wǎng)絡資料理解：分布式與集中式相對應，對于大量數(shù)據(jù)計算，集中于一臺計算機中計算需耗費較長時間，通過將計算分布于多個計算機，節(jié)約整體計算時間）系統(tǒng)基礎架構。Hadoop的兩個功能包括：數(shù)據(jù)存儲（HDFS）、數(shù)據(jù)處理（MapReduce）。

Spark是專為大規(guī)模數(shù)據(jù)處理而設計的快速通用計算引擎。Spark不提供文件管理系統(tǒng)，沒有數(shù)據(jù)存儲功能；Spark的數(shù)據(jù)計算基于內存實現(xiàn)，數(shù)據(jù)處理速度快。

一、HDFS（分布式文件存儲）

數(shù)據(jù)通過HDFS放置于一個Hadoop集群中，Hadoop集群通常由幾臺至上千臺的計算機組成。根據(jù)課程介紹理解，百度公司最大的Hadoop集群已超過4000臺計算機。

數(shù)據(jù)在存儲于HDFS前，被分割成若干數(shù)據(jù)塊，每個數(shù)據(jù)塊儲存于一臺計算機中。不同Hadoop版本所分割的數(shù)據(jù)塊大小不同，Hadoop1.0版本中數(shù)據(jù)塊大小為64MB，Hadoop2.0版本中數(shù)據(jù)塊大小為128MB。Hadoop也可以設置數(shù)據(jù)塊大?。ê瑐€人理解）。

圖片來源：學堂在線《大數(shù)據(jù)導論》

二、MapReduce（分布式數(shù)據(jù)處理架構）

MapReduce是分布式計算框架。開發(fā)人員在運用MapReduce處理數(shù)據(jù)時，MapReduce將指定某一Map函數(shù)，將一組鍵值對（根據(jù)網(wǎng)絡資料理解：鍵值對可以根據(jù)一個值獲得對應的一個值）映射成一組新的鍵值對，并指定并發(fā)的Reduce函數(shù)，保證所有Map函數(shù)映射的結果可以進行Reduce規(guī)約（根據(jù)網(wǎng)絡資料理解：通過某一連接動作將所有元素匯總為一個結果的過程）運算。

圖片來源：學堂在線《大數(shù)據(jù)導論》

在運用MapReduce框架編寫計算機程序時，開發(fā)人員只需考慮業(yè)務邏輯，不需考慮并行管理。

三、MapReduce的WordCount示例

WordCount是統(tǒng)計文件夾所有文本中某一詞出現(xiàn)的次數(shù)。

其中，WordCount的Map函數(shù)程序代碼如下：

Map(K, V){

For each word w in V

Collect(w,1);

}

WordCount的Map函數(shù)中的K代表文本中的詞，WordCount的Map函數(shù)的功能是將文本中的每個詞與1建立鍵值對，即每個詞對應一個“1”。

WordCount的Reduce函數(shù)程序代碼如下：

Reduce(K.V[]){

int count=0;

For each v in V

count+= v;

Collect(K,count);

}

WordCount的Reduce函數(shù)將經(jīng)過WordCount的Map函數(shù)處理的相同詞對應的“1”求和，得出某一詞的出現(xiàn)的次數(shù)。

該WordCount示例中，Map和Reduce函數(shù)的具體運行如圖一所示：

首先，所有數(shù)據(jù)被整理成單行數(shù)據(jù)，圖一流程圖中具有三個節(jié)點（個人理解：節(jié)點可被認為是計算機），圖一中的三行數(shù)據(jù)被分行輸入到三個節(jié)點中。

然后，Map函數(shù)運行，將每個詞與1建立鍵值對。

Map函數(shù)運行結束后，Shuffle過程運行，Shuffle過程是MapReduce內設過程，可將具有相同詞的鍵值對中的“1”集合至一個List（列表）中。如圖一所示，因為“Bear”一詞出現(xiàn)了兩次，所以經(jīng)過Shuffle過程后，“Bear”所對應的List為（1,1）。

最后，Reduce函數(shù)運行，將Shuffle過程所生成的List求和，完成對某一詞出現(xiàn)的次數(shù)統(tǒng)計。

圖一，圖片來源：學堂在線《大數(shù)據(jù)導論》

審核編輯：劉清