大數(shù)據(jù)操作系統(tǒng)轉(zhuǎn)型分析smack堆棧

　　從大數(shù)據(jù)到快速數(shù)據(jù)

　　除了能夠以批處理模式分析大型數(shù)據(jù)集之外，現(xiàn)代數(shù)據(jù)驅(qū)動型組織還需要盡快從所收集的數(shù)據(jù)中生成洞察，并最終采取行動。在這方面，傳統(tǒng)的Hadoop堆棧（HDFS作為存儲層，MapReduce或Tez作為處理框架，YARN作為集群資源管理器）缺乏嚴(yán)重性。為了減輕這種情況，業(yè)界已經(jīng)提出了諸如Lambda架構(gòu)（見《程序員》2016年11月“Lambda與Kappa計算架構(gòu)之我見”一文）等架構(gòu)。在Lambda架構(gòu)中，一個“慢”大數(shù)據(jù)處理框架（如Hadoop堆棧）與一個“快速”的流處理框架（如Apache Storm）組合在一起。由快速框架處理的數(shù)據(jù)或者與慢速處理框架周期性地重新集成，或者完全丟棄，并且由使用慢速處理框架處理的數(shù)據(jù)代替。當(dāng)然，這種Lambda型結(jié)構(gòu)并不是沒有問題，它會導(dǎo)致代碼重復(fù)和需要重新處理與集成數(shù)據(jù)。

　　SMACK堆棧

　　所謂的SMACK堆棧是一個在過去一年中變得流行的架構(gòu)。SMACK堆棧的各部分如下：

　　Spark作為一個通用、快速、內(nèi)存中的大數(shù)據(jù)處理引擎；

　　Mesos作為集群資源管理器；

　　Akka作為一個基于Scala的框架，允許我們開發(fā)容錯、分布式、并發(fā)應(yīng)用程序；

　　Cassandra作為一個分布式、高可用性存儲層；

　　Kafka作為分布式消息代理/日志。

　　首先我們將快速討論組成SMACK堆棧的部件，特別注意Cassandra，因為它與堆棧的其他部分不同，似乎沒有在國內(nèi)廣泛使用。

　　Apache Spark

　　Apache Spark已經(jīng)成為一種“大數(shù)據(jù)操作系統(tǒng)”。數(shù)據(jù)被加載并保存到簇存儲器中，并且可以被重復(fù)查詢。這使得Spark對機器學(xué)習(xí)算法特別有效。Spark為批處理、流式處理（以微批處理方式）、圖形分析和機器學(xué)習(xí)任務(wù)提供統(tǒng)一的接口。它用Scala編寫，并公開了Scala、Java、Python和R的API。此外，Spark能夠?qū)?shù)據(jù)執(zhí)行SQL查詢，更利于分析師們學(xué)習(xí)傳統(tǒng)的BI工具。

　　Apache Mesos

　　Apache Mesos是一個開源的集群管理器，由加州大學(xué)伯克利分校開發(fā)。它允許跨分布式應(yīng)用程序的高效資源隔離和共享。在Mesos中，這樣的分布式應(yīng)用程序被稱為框架。

　　Akka

　　Akka是構(gòu)建在JVM上運行的并發(fā)程序框架。強調(diào)一個基于actor的并發(fā)方法：actors被當(dāng)作原語，它們只通過消息而不涉及共享內(nèi)存進行通信。響應(yīng)消息，actors可以創(chuàng)建新的actors或發(fā)送其他消息。actor模型由Erlang編程語言編寫，更易普及。

　　Apache Cassandra

　　Cassandra最初是在Facebook開發(fā)的，后來成為一個Apache開源項目。它是一個分布式、面向列的NoSQL數(shù)據(jù)存儲，類似于Amazon的Dynamo和Google的BigTable。與其他NoSQL數(shù)據(jù)存儲相反，它不依賴于HDFS作為底層文件系統(tǒng)，具有無主控架構(gòu)，允許它具有幾乎線性的可擴展性，并且易于設(shè)置和維護。Cassandra的另一個優(yōu)勢是支持跨數(shù)據(jù)中心復(fù)制（XDCR）?？鐢?shù)據(jù)中心復(fù)制實際上有助于使用單獨的工作負(fù)載和分析集群。Cassandra的企業(yè)版可從DataStax （http://www.datastax.com）獲得。

　　根據(jù)固定分區(qū)鍵，數(shù)據(jù)在Cassandra集群的節(jié)點上分割。其架構(gòu)意味著它沒有單點故障。根據(jù)CAP定理，我們可以在每個表的基礎(chǔ)上對一致性和可用性進行微調(diào)。

　　Apache Kafka

　　在SMACK堆棧內(nèi)，Kafka負(fù)責(zé)事件傳輸。Kafka集群在SMACK堆棧中充當(dāng)消息主干，可以跨集群復(fù)制消息，并將其永久保存到磁盤以防止數(shù)據(jù)丟失。

　　在詳細(xì)了解SMACK堆棧的各部分如何協(xié)同工作之前，我們將快速討論Cassandra的數(shù)據(jù)模型及其在Cassandra上進行分析所面臨的挑戰(zhàn)。

　　Cassandra數(shù)據(jù)模型

　　與其他NoSQL數(shù)據(jù)存儲類似，基于Cassandra應(yīng)用程序的成功數(shù)據(jù)模型應(yīng)該遵循“存儲你查詢的內(nèi)容”模式。也就是說，與關(guān)系數(shù)據(jù)庫相反，在關(guān)系數(shù)據(jù)庫中，我們可以以標(biāo)準(zhǔn)化形式存儲數(shù)據(jù)。當(dāng)我們談?wù)揅assandra數(shù)據(jù)模型時，仍然使用術(shù)語table，但是Cassandra表的行為更像排序，分布式映射，然后是關(guān)系數(shù)據(jù)庫中的表。

　　Cassandra支持用于定義表與插入和查詢數(shù)據(jù)的SQL語言，稱為Cassandra Query Language（CQL）。

　　當(dāng)定義一個Cassandra表時，我們需要提供一個分區(qū)鍵，它確定數(shù)據(jù)在集群節(jié)點之間的分布方式，以及確定數(shù)據(jù)如何排序的聚簇列。當(dāng)使用CQL查詢時，我們只能查詢（使用WHERE子句）并根據(jù)聚簇列排序。

　　讓我們來看看Cassandra文檔中的一個示例，該文檔是音樂共享服務(wù)（如Spotify）中的播放列表建模：

　　在這個例子中，uuid（通用唯一ID，保證在多個機器之間是唯一的）id是分區(qū)鍵，song_order是聚類列，（id，song_order）需要在表的所有行中都是唯一的。此外，id決定了在哪個機器上存儲行，song_order決定了行在物理主機上的存儲順序。也可以在Cassandra中使用復(fù)合分區(qū)鍵，將它們放在（）中。

　　CQL查詢?nèi)缦滤荆?/p>

　　WHERE子句中出現(xiàn)的任何列都要求是主鍵的一部分，或者可以在其上定義索引。此外，分區(qū)鍵只能出現(xiàn)在相等（=）操作中。只有當(dāng)所選行的集合被作為連續(xù)塊存儲在主機上時，范圍查詢才是可行的。通過聚類SQL的類似列和LIMIT子句，CQL能夠支持排序，但不具備GROUP BY的類似功能。

　　根據(jù)特定列進行查詢，減少了對隨機磁盤訪問的需求，但也強烈限制了Cassandra作為分析數(shù)據(jù)庫的使用。“存儲你查詢的內(nèi)容”范例需要根據(jù)Cassandra數(shù)據(jù)庫上執(zhí)行的查詢進行仔細(xì)地數(shù)據(jù)建模，從而限制了支持新查詢的能力。為了對存儲在Cassandra中的數(shù)據(jù)執(zhí)行分析，應(yīng)該將數(shù)據(jù)加載到單獨的處理框架中，我們選擇Apache Spark框架。