大數(shù)據(jù)的相關(guān)知識(shí)介紹（概念、意義、來(lái)源、應(yīng)用）

當(dāng)前，以大數(shù)據(jù)、互聯(lián)網(wǎng)、人工智能為代表的新一代信息技術(shù)正在蓬勃發(fā)展，對(duì)社會(huì)進(jìn)步、國(guó)家經(jīng)濟(jì)發(fā)展、人民生活產(chǎn)生了巨大而深遠(yuǎn)的影響。下面，我將從大數(shù)據(jù)的概念與意義、大數(shù)據(jù)的來(lái)源、大數(shù)據(jù)應(yīng)用場(chǎng)景這三個(gè)方面為大家介紹大數(shù)據(jù)相關(guān)方面的知識(shí)，使大家對(duì)大數(shù)據(jù)有一個(gè)基本的認(rèn)識(shí)與了解，以幫助大家更好地使用永洪一站式大數(shù)據(jù)分析平臺(tái)。

一、大數(shù)據(jù)的概念與意義

1、什么是大數(shù)據(jù)？

2011年5月，麥肯錫研究院發(fā)布公告——Big data: The next frontier for innovation, competition, and productivity，第一次給大數(shù)據(jù)做出了相對(duì)清晰的定義：“大數(shù)據(jù)是指其大小超出了常規(guī)數(shù)據(jù)庫(kù)工具獲取、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集。”

2015年8月31日，國(guó)務(wù)院《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》指出：“大數(shù)據(jù)是以容量大、類(lèi)型多、存取速度快、應(yīng)用價(jià)值高為主要特征的數(shù)據(jù)集合，正快速發(fā)展為對(duì)數(shù)量巨大、來(lái)源分散、格式多樣的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)和關(guān)聯(lián)分析，從中發(fā)現(xiàn)新知識(shí)、創(chuàng)造新價(jià)值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)。” 學(xué)術(shù)界和政府組織對(duì)“大數(shù)據(jù)”的定義各式各樣，但對(duì)大數(shù)據(jù)內(nèi)在特質(zhì)的認(rèn)識(shí)基本一致，即Volume（體量大）、Variety（種類(lèi)多）、Velocity（速度快）和Value（價(jià)值高）。

2、大數(shù)據(jù)能夠給我們帶來(lái)什么？

大數(shù)據(jù)是一個(gè)信息和知識(shí)的富礦，蘊(yùn)藏著無(wú)限的商機(jī)與巨大的收益。美國(guó)德克薩斯大學(xué)針對(duì)數(shù)據(jù)有效性的一項(xiàng)研究表明，企業(yè)通過(guò)提升自身數(shù)據(jù)的使用率和數(shù)據(jù)質(zhì)量，能夠顯著提高企業(yè)的經(jīng)營(yíng)表現(xiàn)。

如果企業(yè)數(shù)據(jù)使用率提升10%，零售、咨詢、航空等行業(yè)人均產(chǎn)出將分別提高49%、39%和21%。如果財(cái)富1000強(qiáng)中的中位數(shù)企業(yè)的數(shù)據(jù)使用率提高10%，那么每年能夠增加20億美元的營(yíng)業(yè)收入，人均產(chǎn)出將提升14%。而數(shù)據(jù)質(zhì)量的提升，對(duì)企業(yè)的影響將更為顯著。

如果企業(yè)數(shù)據(jù)質(zhì)量提升10%，那么公用事業(yè)、航空、電信、石化等行業(yè)的收益將會(huì)有明顯地增加，凈資產(chǎn)收益率提升幅度將會(huì)超過(guò)200%，財(cái)富1000強(qiáng)中位數(shù)企業(yè)凈資產(chǎn)收益率提升幅度約為76%。

二、大數(shù)據(jù)的來(lái)源

首先，我們先看一下最近幾年全球數(shù)據(jù)總量的變化情況：

2004年，全球數(shù)據(jù)總量是30EB；2005年達(dá)到了50EB；2006年達(dá)到了161EB；到2015年，達(dá)到了驚人的7900EB；到2020年，預(yù)計(jì)將達(dá)到35000EB。

如此海量的數(shù)據(jù)，它的產(chǎn)生源頭在哪里呢？我們可以從產(chǎn)生數(shù)據(jù)的主體、產(chǎn)生數(shù)據(jù)的行業(yè)、產(chǎn)生的數(shù)據(jù)類(lèi)型三個(gè)方面對(duì)大數(shù)據(jù)的來(lái)源進(jìn)行分類(lèi)。

?按照產(chǎn)生數(shù)據(jù)的主體進(jìn)行劃分，可以包括三個(gè)部分：

少量企業(yè)應(yīng)用產(chǎn)生的數(shù)據(jù)，如關(guān)系型數(shù)據(jù)庫(kù)中的數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)等；

規(guī)模龐大的人群產(chǎn)生的數(shù)據(jù)，如人們使用社交軟件、娛樂(lè)軟件、在線購(gòu)物平臺(tái)、企業(yè)軟件等產(chǎn)生的數(shù)據(jù)；

數(shù)量巨大的機(jī)器產(chǎn)生的數(shù)據(jù)，如應(yīng)用服務(wù)器日志、各類(lèi)傳感器數(shù)據(jù)、圖像和視頻監(jiān)控?cái)?shù)據(jù)、二維碼和條形碼（條碼）掃描數(shù)據(jù)等。

?按照產(chǎn)生數(shù)據(jù)的行業(yè)進(jìn)行劃分，可以包括五個(gè)部分：

一是以BAT為代表的互聯(lián)網(wǎng)公司產(chǎn)生的數(shù)據(jù)。以百度公司為例，百度公司數(shù)據(jù)總量超過(guò)了千PB級(jí)別，數(shù)據(jù)涵蓋中文網(wǎng)頁(yè)、百度推廣、百度日志、UGC等多個(gè)部分，并以70%以上的國(guó)內(nèi)搜索市場(chǎng)份額坐擁龐大的搜索數(shù)據(jù)；

二是電信、金融、保險(xiǎn)、電力、石化系統(tǒng)產(chǎn)生的數(shù)據(jù)。以電信行業(yè)為例，電信行業(yè)數(shù)據(jù)包括用戶上網(wǎng)記錄、通話、信息、地理位置等數(shù)據(jù)，運(yùn)營(yíng)商擁有的數(shù)據(jù)量將近百PB級(jí)別，年度用戶數(shù)據(jù)增長(zhǎng)超過(guò)10%；

三是公共安全、醫(yī)療、交通領(lǐng)域產(chǎn)生的數(shù)據(jù)。舉個(gè)簡(jiǎn)單的例子，一個(gè)大型城市一個(gè)月的交通卡口記錄數(shù)據(jù)量可以達(dá)到3億條；

四是氣象、地理、政務(wù)等領(lǐng)域產(chǎn)生的數(shù)據(jù)。以中國(guó)氣象局擁有的數(shù)據(jù)量為例，中國(guó)氣象局保存的數(shù)據(jù)量將近10PB，數(shù)據(jù)量每年約增長(zhǎng)數(shù)百TB；

五是制造業(yè)和其它傳統(tǒng)行業(yè)產(chǎn)生的數(shù)據(jù)。制造業(yè)和其它傳統(tǒng)行業(yè)產(chǎn)生的數(shù)據(jù)量也在劇增，但是還處于積累期，整體體量都不算大，多則達(dá)到PB級(jí)別，少則達(dá)到數(shù)十TB或數(shù)百TB級(jí)別。按照產(chǎn)生的數(shù)據(jù)類(lèi)型進(jìn)行劃分，可以分為結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)不僅數(shù)據(jù)量巨大，而且數(shù)據(jù)類(lèi)型也非常多。在海量的數(shù)據(jù)中，大約20%的數(shù)據(jù)量屬于結(jié)構(gòu)化數(shù)據(jù)，剩余80%屬于非結(jié)構(gòu)化數(shù)據(jù)。

三、大數(shù)據(jù)應(yīng)用場(chǎng)景

大數(shù)據(jù)的運(yùn)用給各行各業(yè)帶來(lái)的效益是顯著的。這里將從零售、金融兩個(gè)行業(yè)并結(jié)合永洪一站式大數(shù)據(jù)分析平臺(tái)，來(lái)向大家說(shuō)明大數(shù)據(jù)的應(yīng)用場(chǎng)景。

零售行業(yè)大數(shù)據(jù)應(yīng)用主要有兩個(gè)方面。一個(gè)方面是零售行業(yè)可以通過(guò)了解客戶的消費(fèi)喜好和消費(fèi)趨勢(shì)，以進(jìn)行商品的精準(zhǔn)營(yíng)銷(xiāo)，降低營(yíng)銷(xiāo)成本。

例如，記錄客戶的購(gòu)買(mǎi)習(xí)慣，將一些日常的必備生活用品，在客戶即將用完之前，通過(guò)精準(zhǔn)廣告的方式提醒客戶進(jìn)行購(gòu)買(mǎi)。

另一個(gè)方面是依據(jù)客戶購(gòu)買(mǎi)的產(chǎn)品，為客戶提供其它可能會(huì)購(gòu)買(mǎi)的產(chǎn)品，擴(kuò)大銷(xiāo)售額。例如，通過(guò)客戶購(gòu)買(mǎi)記錄，了解客戶對(duì)關(guān)聯(lián)產(chǎn)品的購(gòu)買(mǎi)喜好，將相關(guān)的產(chǎn)品與客戶購(gòu)買(mǎi)的產(chǎn)品放到一起進(jìn)行銷(xiāo)售，提高相關(guān)產(chǎn)品的銷(xiāo)售額。

除此之外，零售行業(yè)可以通過(guò)大數(shù)據(jù)掌握未來(lái)的消費(fèi)趨勢(shì)，以幫助熱銷(xiāo)商品的進(jìn)貨管理和過(guò)季商品的處理。

金融行業(yè)的大數(shù)據(jù)應(yīng)用場(chǎng)景較為廣泛。典型的應(yīng)用場(chǎng)景有銀行數(shù)據(jù)應(yīng)用場(chǎng)景、保險(xiǎn)數(shù)據(jù)應(yīng)用場(chǎng)景及證券數(shù)據(jù)應(yīng)用場(chǎng)景等。

首先，銀行的數(shù)據(jù)應(yīng)用場(chǎng)景比較豐富?；炯性谟脩艚?jīng)營(yíng)、風(fēng)險(xiǎn)控制、產(chǎn)品設(shè)計(jì)和決策支持等方面。例如，“利用銀行卡刷卡記錄，尋找財(cái)富管理人群”，中國(guó)約有120萬(wàn)人屬于高端財(cái)富人群，這些人群平均可支配的金融資產(chǎn)在1000萬(wàn)元以上，是所有銀行財(cái)富管理的重點(diǎn)發(fā)展人群。這些人群通常具有典型的高端消費(fèi)習(xí)慣，銀行可以參考POS機(jī)的消費(fèi)記錄定位這些高端財(cái)富管理人群，為其提供定制的財(cái)富管理方案，吸收其成為財(cái)富管理客戶，增加存款和理財(cái)產(chǎn)品銷(xiāo)售。

?

其次，保險(xiǎn)數(shù)據(jù)應(yīng)用場(chǎng)景一般是圍繞產(chǎn)品和客戶進(jìn)行的，典型的應(yīng)用場(chǎng)景有利用用戶行為數(shù)據(jù)來(lái)制定車(chē)險(xiǎn)價(jià)格，利用客戶外部行為數(shù)據(jù)來(lái)了解客戶需求，向目標(biāo)客戶推薦產(chǎn)品等。例如，依據(jù)個(gè)人信息數(shù)據(jù)、外部養(yǎng)車(chē)APP數(shù)據(jù)等為保險(xiǎn)公司找到車(chē)險(xiǎn)客戶。最后，證券行業(yè)擁有的數(shù)據(jù)類(lèi)型有個(gè)人屬性數(shù)據(jù)（含姓名、聯(lián)系方式、家庭地址等）、資產(chǎn)數(shù)據(jù)、交易數(shù)據(jù)、收益數(shù)據(jù)等，證券公司可以利用這些數(shù)據(jù)建立業(yè)務(wù)場(chǎng)景，篩選目標(biāo)客戶，為用戶提供合適的產(chǎn)品，提高單個(gè)客戶收入。

?

全球范圍內(nèi)，研究發(fā)展大數(shù)據(jù)技術(shù)、運(yùn)用大數(shù)據(jù)正在成為一種趨勢(shì)。永洪一站式大數(shù)據(jù)分析平臺(tái)具備數(shù)據(jù)應(yīng)用方案咨詢、數(shù)據(jù)治理、數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、數(shù)據(jù)可視化分析、數(shù)據(jù)深度應(yīng)用等的強(qiáng)大技術(shù)能力和服務(wù)保障能力，能夠幫助企業(yè)輕松構(gòu)建數(shù)據(jù)應(yīng)用，有效地挖掘數(shù)據(jù)中的價(jià)值，實(shí)現(xiàn)企業(yè)的信息化轉(zhuǎn)型、變革與發(fā)展。大數(shù)據(jù)時(shí)代浪潮下，永洪一站式大數(shù)據(jù)分析平臺(tái)將一路伴您同行。
? ? ? ?責(zé)任編輯:tzh