hadoop與數(shù)據(jù)挖掘的關(guān)系_區(qū)別_哪個好

hadoop與數(shù)據(jù)挖掘的關(guān)系

大數(shù)據(jù)就是Hadoop嗎？當然不是，但是很多人一提到大數(shù)據(jù)就會立刻想到Hadoop?，F(xiàn)在數(shù)據(jù)科學家利用海量數(shù)據(jù)創(chuàng)建數(shù)據(jù)模型為企業(yè)帶來的利益是以前所不可想象的，但是數(shù)據(jù)的潛力已經(jīng)被完全挖掘出來了嗎，它滿足了人們的期待了嗎？今天小編就從Hadoop項目開始為你抽絲剝繭了解hadoop。大數(shù)據(jù)技術(shù)一旦進入超級計算時代，很快便可應用于普通企業(yè)，在遍地開花的過程中，它將改變許多行業(yè)業(yè)務經(jīng)營的模式。但是很多人對大數(shù)據(jù)存在誤解，下面就來縷一縷大數(shù)據(jù)與Hadoop之間的關(guān)系。

Hadoop是什么？

?
? ? ? ?Hadoop是一個對海量數(shù)據(jù)進行處理的分布式系統(tǒng)架構(gòu)，可以理解為Hadoop就是一個對大量的數(shù)據(jù)進行分析的工具，和其他組件搭配使用，來完成對大量數(shù)據(jù)的收集、存儲和計算。 下面就以hadoop教學實戰(zhàn)項目為例，為hadoop做一個詳細的解析：

項目說明：hadoop_storm_spark結(jié)合實驗的例子，模擬雙11，根據(jù)訂單詳細信息，匯總出總銷售量，各個地區(qū)銷售排行，以及后期的SQL分析，數(shù)據(jù)分析，數(shù)據(jù)挖掘等。

第一階段（storm實時報表）

- （1）用戶訂單入kafka隊列，

- （2）經(jīng)過storm，實時計算出總銷售量，和各個省份的的銷售量，

- （3）將計算結(jié)果保存到hbase數(shù)據(jù)庫中。

- 第二階段（離線報表）

- （1）用戶訂單入oracle數(shù)據(jù)庫，

- （2）通過sqoop把數(shù)據(jù)導入hadoop上。

- （3）使用mr和rdd對hadoop上的原始訂單做etl清洗

- （4）建立hive表和sparkSQL內(nèi)存表。為后期分析做基礎(chǔ)

- （5）使用HQL實現(xiàn)業(yè)務指標分析，和用戶畫像分析，將結(jié)果存在mysql中。

供web前臺使用

- 第三階段（大規(guī)模訂單即席查詢，和多維度查詢）

- （1）用戶訂單入oracle數(shù)據(jù)庫，

- （2）通過sqoop把數(shù)據(jù)導入hadoop上。

- （3）寫mr把hadoop的數(shù)據(jù)加載到hbase上

- （4）使用hbase java api實現(xiàn)訂單的即席查詢

- （5）solr綁定hbase，做多維度的條件查詢 - 第四階段（數(shù)據(jù)挖掘和圖計算） - （1）用戶訂單入oracle數(shù)據(jù)庫， - （2）通過sqoop把數(shù)據(jù)導入hadoop上。 - （3）使用mr和rdd對hadoop上的原始訂單做etl清洗 總的來說Hadoop適合應用于大數(shù)據(jù)存儲和大數(shù)據(jù)分析的應用，適合于服務器幾千臺到幾萬臺的集群運行，支持PB級的存儲容量。Hadoop典型應用有：搜索、日志處理、推薦系統(tǒng)、數(shù)據(jù)分析、視頻圖像分析、數(shù)據(jù)保存等。

關(guān)于大數(shù)據(jù)與Hadoop

Hadoop只是一個大數(shù)據(jù)的處理框架，是一門技術(shù)。學習門檻稍低，會JAVA，會Linux，了解JVM，知道同步，通信等一些計算機基礎(chǔ)知識 ，然后學起來基本不會有問題。

Hadoop其實就是一個分布式的文件系統(tǒng)，數(shù)據(jù)會分布到 N 臺服務器中，一旦需要處理數(shù)據(jù)，則 N 臺服務器共同進行處理，再把各個中間結(jié)果匯總成最后的結(jié)果。當然，這需要特別的算法，不能再使用傳統(tǒng)的算法了，這就要使用 MapReduce 框架了。我們?nèi)f能的淘寶就是使用了 hadoop 的，你想想上年雙十一那 一千億交易額，其中累積起來的數(shù)據(jù)可是很驚人的。

數(shù)據(jù)挖掘的范疇非常大，這個領(lǐng)域非常火，但也面臨著非常大的挑戰(zhàn)，與機器學習，人工智能密切相關(guān)，想學習這個，不但需要一定的基礎(chǔ)（比如數(shù)學功底），而且需要恒心，耐力。
?

關(guān)于大數(shù)據(jù)的三大誤解

對于大數(shù)據(jù)是什么以及大數(shù)據(jù)能干什么存在很多誤會。下面就是有關(guān)大數(shù)據(jù)的三個誤解：

1、關(guān)系數(shù)據(jù)庫無法大幅增容，因此不能被認為是大數(shù)據(jù)技術(shù)（不對）

2、無需考慮工作負載或具體使用情況，Hadoop或以此類推的任何MapReduce都是大數(shù)據(jù)的最佳選擇。（也不對）

3、圖解式管理系統(tǒng)時代已經(jīng)結(jié)束。圖解的發(fā)展只會成為大數(shù)據(jù)應用的攔路虎。（錯誤）

大數(shù)據(jù)走進歷史舞臺

適用于企業(yè)的大數(shù)據(jù)已經(jīng)出現(xiàn)，這在部分程度上要歸功于計算能耗的降低以及系統(tǒng)已具備執(zhí)行多重處理的能力這樣一個事實。而且隨著主存儲器成本的不斷下降，和過去相比，公司可以將更多的數(shù)據(jù)存到存儲器中。并且，將多臺計算機連到服務器集群也變得更容易了。這三個變化加在一起成就了大數(shù)據(jù)，IDC 數(shù)據(jù)庫管理分析師Carl Olofson如是說。

“我們不僅要把這些事情做好，還要能承受得起相應的開支”，他說。 “過去的某些超級計算機也具有執(zhí)行系統(tǒng)多重處理的能力，（這些系統(tǒng)緊密相連，形成了一個集群）但因為要使用專門的硬件，它的成本高達幾十萬美元甚至更多?！爆F(xiàn)在我們可以使用普通硬件完成相同的配置。正因為這樣，我們能更快更省得處理更多數(shù)據(jù)?！?/p>

大數(shù)據(jù)技術(shù)還沒有在有大型數(shù)據(jù)倉庫的公司中得到廣泛普及。IDC認為，想讓大數(shù)據(jù)技術(shù)得到認可，首先技術(shù)本身一定要足夠便宜，然后，必須滿足IBM稱之為3V標準中的2V，即：類型（variety），量（volume）和速度（velocity）。

種類要求指的是待存儲數(shù)據(jù)的類型分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。量是指存儲和分析的數(shù)據(jù)量可以很龐大。 “數(shù)據(jù)量不只是幾百TB，”

Olofson說： “要視具體情況而定，因為速度和時間的關(guān)系，有時幾百GB可能就算很多了。如果我現(xiàn)在一秒能完成過去要花一小時才能完成的300GB的數(shù)據(jù)分析，那結(jié)果將大為不同。大數(shù)據(jù)就是這樣一種技術(shù)，它可以滿足這三個要求中的至少兩個，并且普通企業(yè)也能夠部署。”