什么是大數(shù)據(jù)
大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息,而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換而言之,如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵,在于提高對數(shù)據(jù)的“加工能力”,通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。
隨著云時代的來臨,大數(shù)據(jù)(Big data)也吸引了越來越多的關(guān)注。分析師團隊認為,大數(shù)據(jù)(Big data)通常用來形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù),這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫用于分析時會花費過多時間和金錢。大數(shù)據(jù)分析常和云計算聯(lián)系到一起,因為實時的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。
大數(shù)據(jù)的意義
現(xiàn)在的社會是一個高速發(fā)展的社會,科技發(fā)達,信息流通,人們之間的交流越來越密切,生活也越來越方便,大數(shù)據(jù)就是這個高科技時代的產(chǎn)物。
阿里巴巴創(chuàng)辦人馬云來臺演講中就提到,未來的時代將不是IT時代,而是DT的時代,DT就是Data Technology數(shù)據(jù)科技,顯示大數(shù)據(jù)對于阿里巴巴集團來說舉足輕重。
有人把數(shù)據(jù)比喻為蘊藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似,大數(shù)據(jù)并不在“大”,而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。對于很多行業(yè)而言,如何利用這些大規(guī)模數(shù)據(jù)是贏得競爭的關(guān)鍵。
大數(shù)據(jù)的價值體現(xiàn)在以下幾個方面:
1)對大量消費者提供產(chǎn)品或服務的企業(yè)可以利用大數(shù)據(jù)進行精準營銷
2) 做小而美模式的中小微企業(yè)可以利用大數(shù)據(jù)做服務轉(zhuǎn)型
3) 面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)需要與時俱進充分利用大數(shù)據(jù)的價值
大數(shù)據(jù)就業(yè)方向
大數(shù)據(jù)主要有三個就業(yè)方向,大數(shù)據(jù)系統(tǒng)研發(fā)類人才、大數(shù)據(jù)應用開發(fā)類人才和大數(shù)據(jù)分析類人才。
在此三大方向中,各自的基礎崗位一般為大數(shù)據(jù)系統(tǒng)研發(fā)工程師、大數(shù)據(jù)應用開發(fā)工程師和數(shù)據(jù)分析師。又可分為以下十大職位:
一、ETL研發(fā)
ETL研發(fā),主要負責將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中,成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。
二、Hadoop開發(fā)
Hadoop的核心是HDFS和MapReduce.HDFS提供了海量數(shù)據(jù)的存儲,MapReduce提供了對數(shù)據(jù)的計算。隨著數(shù)據(jù)集規(guī)模不斷增大,而傳統(tǒng)BI的數(shù)據(jù)處理成本過高,企業(yè)對Hadoop及相關(guān)的廉價數(shù)據(jù)處理技術(shù)如Hive、HBase、MapReduce、Pig等的需求將持續(xù)增長。
三、可視化(前端展現(xiàn))工具開發(fā)
可視化開發(fā)就是在可視開發(fā)工具提供的圖形用戶界面上,通過操作界面元素,由可視開發(fā)工具自動生成應用軟件。還可輕松跨越多個資源和層次連接您的所有數(shù) 據(jù),經(jīng)過時間考驗,完全可擴展的,功能豐富全面的可視化組件庫為開發(fā)人員提供了功能完整并且簡單易用的組件集合,以用來構(gòu)建極其豐富的用戶界面。
四、信息架構(gòu)開發(fā)
大數(shù)據(jù)重新激發(fā)了主數(shù)據(jù)管理的熱潮。充分開發(fā)利用企業(yè)數(shù)據(jù)并支持決策需要非常專業(yè)的技能。信息架構(gòu)師必須了解如何定義和存檔關(guān)鍵元素,確保以最有效的方式進行數(shù)據(jù)管理和利用。信息架構(gòu)師的關(guān)鍵技能包括主數(shù)據(jù)管理、業(yè)務知識和數(shù)據(jù)建模等。
五、數(shù)據(jù)倉庫研究
數(shù)據(jù)倉庫的專家熟悉Teradata、Neteeza和Exadata等公司的大數(shù)據(jù)一體機。能夠在這些一體機上完成數(shù)據(jù)集成、管理和性能優(yōu)化等工作。
六、OLAP開發(fā)
OLAP在線聯(lián)機分析開發(fā)者,負責將數(shù)據(jù)從關(guān)系型或非關(guān)系型數(shù)據(jù)源中抽取出來建立模型,然后創(chuàng)建數(shù)據(jù)訪問的用戶界面,提供高性能的預定義查詢功能。
七、數(shù)據(jù)科學研究
數(shù)據(jù)科學家是分析師、藝術(shù)家的合體,需要具備多種交叉科學和商業(yè)技能。
八、數(shù)據(jù)預測(數(shù)據(jù)挖掘)分析
營銷部門經(jīng)常使用預測分析預測用戶行為或鎖定目標用戶。預測分析開發(fā)者有些場景看上有有些類似數(shù)據(jù)科學家,即在企業(yè)歷史數(shù)據(jù)的基礎上通過假設來測試閾值并預測未來的表現(xiàn)。
九、企業(yè)數(shù)據(jù)管理
企業(yè)要提高數(shù)據(jù)質(zhì)量必須考慮進行數(shù)據(jù)管理,并需要為此設立數(shù)據(jù)管家職位,這一職位的人員需要能夠利用各種技術(shù)工具匯集企業(yè)周圍的大量數(shù)據(jù),并將數(shù)據(jù)清洗 和規(guī)范化,將數(shù)據(jù)導入數(shù)據(jù)倉庫中,成為一個可用的版本。然后,通過報表和分析技術(shù),數(shù)據(jù)被切片、切塊,并交付給成千上萬的人。擔當數(shù)據(jù)管家的人,需要保證 市場數(shù)據(jù)的完整性,準確性,唯一性,真實性和不冗余。
十、數(shù)據(jù)安全研究
數(shù)據(jù)安全這一職位,主要負責企業(yè)內(nèi)部大型服務器、存儲、數(shù)據(jù)安全管理工作,并對網(wǎng)絡、信息安全項目進行規(guī)劃、設計和實施。數(shù)據(jù)安全研究員還需要具有較強的管理經(jīng)驗,具備運維管理方面的知識和能力,對企業(yè)傳統(tǒng)業(yè)務有較深刻的理解,才能確保企業(yè)數(shù)據(jù)安全做到一絲不漏。
大數(shù)據(jù)人才發(fā)展前景
1. 人才缺口
全球最頂尖管理咨詢公司麥肯錫(McKinsey)出具的一份詳細分析報告顯示,大數(shù)據(jù)或者數(shù)據(jù)工作者的崗位需求將激增,其中大數(shù)據(jù)科學家的缺口在14萬到19萬之間,對于懂得如何利用大數(shù)據(jù)做決策的分析師和經(jīng)理的崗位缺口則將達到150萬!
2. 就業(yè)薪水
根據(jù)調(diào)查,目前北京地區(qū)大數(shù)據(jù)人才的平均工資為13680,月薪在15K以上的占41.4%。月薪6k-10k的占52.1%。
責任編輯:tzh
-
互聯(lián)網(wǎng)
+關(guān)注
關(guān)注
54文章
11156瀏覽量
103323 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8890瀏覽量
137449
發(fā)布評論請先 登錄
相關(guān)推薦
評論