數(shù)據(jù)分析和數(shù)據(jù)挖掘的區(qū)別是什么？

0x00 前言

問題

數(shù)據(jù)分析和數(shù)據(jù)挖掘的區(qū)別是什么？是否只能選一個(gè)方向深耕？

話題整理者：橘子，本科學(xué)的是金融和商業(yè)分析，目前是數(shù)據(jù)和運(yùn)籌優(yōu)化方向研究生，定位有點(diǎn)迷茫，日常在業(yè)務(wù)和技術(shù)的邊緣反復(fù)橫跳，希望能和大家共同學(xué)習(xí)和進(jìn)步，一起用數(shù)據(jù)創(chuàng)造更多的價(jià)值。

問題描述

數(shù)據(jù)分析和數(shù)據(jù)挖掘是數(shù)據(jù)從業(yè)者非常關(guān)注的兩個(gè)崗位。這兩個(gè)崗位到底有哪些區(qū)別？常聽人說數(shù)據(jù)分析偏業(yè)務(wù)、偏前臺，而數(shù)據(jù)挖掘偏技術(shù)，偏后臺。所以要早點(diǎn)選定一個(gè)方向進(jìn)行深耕才行？

希望大家從這崗位設(shè)定的目的、高端人才的核心競爭力、技能樹、職業(yè)發(fā)展路徑和天花板、未來的趨勢等角度談一談這兩個(gè)崗位的區(qū)別。

0x01 討論內(nèi)容

討論1

我覺得偏業(yè)務(wù)方向的數(shù)據(jù)分析師最好，數(shù)據(jù)挖掘做出來的成果期望不會很高的，在職業(yè)晉升方面懂業(yè)務(wù)的優(yōu)勢更大。

討論2

其實(shí)都是大數(shù)據(jù)的分析工作，我們這邊數(shù)據(jù)分析偏運(yùn)營或者數(shù)據(jù)庫的搭建清洗和業(yè)務(wù)分析，挖掘偏向于數(shù)據(jù)倉儲 架構(gòu)，長期業(yè)務(wù)分析，不知道和各位老哥的理解有什么不一樣的。

討論3

廣義的數(shù)據(jù)分析本身就是包涵數(shù)據(jù)挖掘。

數(shù)據(jù)分析：注重分析過程，

數(shù)據(jù)挖掘：關(guān)注挖掘結(jié)果。

兩者目標(biāo)不一致，前者是基礎(chǔ)，后者是升華。

討論4

我以前以為數(shù)據(jù)分析只是業(yè)務(wù)excel sql boy，但是現(xiàn)在看在北京上海等地從事數(shù)分的，他們的工作也需要應(yīng)用數(shù)據(jù)挖掘里面的模型，也會涉及特征提取，機(jī)器學(xué)習(xí)的內(nèi)容；總之感覺從事數(shù)挖的偏技術(shù)更靠譜，數(shù)分這個(gè)崗位魚龍混雜 感覺現(xiàn)在培訓(xùn)班把數(shù)分炒火了啥崗位都往數(shù)分轉(zhuǎn)，但是這個(gè)崗位后面的深坑誰都說不準(zhǔn)。

0x02 居士的解答

首先整體說一下兩個(gè)崗位的現(xiàn)狀，在大部分公司里面，數(shù)據(jù)挖掘和數(shù)據(jù)分析并沒有特別明顯的差別，甚至很多公司壓根就沒有數(shù)據(jù)挖掘這個(gè)通道。一般大家討論數(shù)據(jù)挖掘和數(shù)據(jù)分析的區(qū)別的時(shí)候，更傾向于將數(shù)據(jù)挖掘定位為會用很多機(jī)器學(xué)習(xí)算法的崗位，數(shù)據(jù)分析定位為大部分時(shí)候都在寫sql和玩excel，最多了解一些統(tǒng)計(jì)學(xué)的崗位，因此很多小伙伴在聊這個(gè)問題的時(shí)候也會認(rèn)為：數(shù)據(jù)挖掘的技術(shù)含量更高，更有錢途。

然后，在各個(gè)廠子里面是怎么劃分?jǐn)?shù)據(jù)分析和數(shù)據(jù)挖掘呢，舉幾個(gè)例子給大家做參考：

廠A：數(shù)據(jù)挖掘和數(shù)據(jù)分析做同樣的事情，沒什么區(qū)別，寫Sql，開發(fā)報(bào)表，跑數(shù)據(jù)～

廠B：數(shù)據(jù)挖掘做推薦、廣告這類偏算法相關(guān)的崗位，數(shù)據(jù)分析做報(bào)表、數(shù)據(jù)周報(bào)、數(shù)據(jù)清洗的工作

廠C：沒有數(shù)據(jù)挖掘崗位，只有數(shù)據(jù)分析崗和算法工程師崗，算法工程師偏向于算法的工程實(shí)現(xiàn)，比如推薦算法和廣告算法的線上工程化。其他不管用不用得到機(jī)器學(xué)習(xí)算法，都是數(shù)據(jù)分析。

最后，居士從幾個(gè)角度分享一下對這個(gè)問題的理解：

從技能要求的角度

數(shù)據(jù)分析：一般這些技能就夠完成工作：Excel、Sql、Python。

數(shù)據(jù)挖掘：在數(shù)據(jù)分析的基礎(chǔ)上，可能會要求Java or C++這類語言來做線上工程化化的工作

從知識要求的角度

數(shù)據(jù)分析：統(tǒng)計(jì)學(xué)+少量的機(jī)器學(xué)習(xí)

數(shù)據(jù)分析：統(tǒng)計(jì)學(xué)+大量的機(jī)器學(xué)習(xí)

從實(shí)際工作的角度

再次說明一點(diǎn)，大部分公司的數(shù)據(jù)挖掘挖掘崗和數(shù)據(jù)分析崗可能沒什么區(qū)別，下面只是一種劃分方式。簡單來講，如果是理想一些的情況，數(shù)據(jù)挖掘是不需要做報(bào)表之類的工作的，然后會做更多線上工程化的工作。

數(shù)據(jù)分析：

初級：報(bào)表、提數(shù)、周報(bào)月報(bào)

中級：描述現(xiàn)象類數(shù)據(jù)分析報(bào)告

高級：解釋現(xiàn)象類、預(yù)測類數(shù)據(jù)分析報(bào)告

再高一些：上限很高

數(shù)據(jù)挖掘：

初級：數(shù)據(jù)分析報(bào)告 or 線上數(shù)據(jù)流的開發(fā)

中級：線上算法工程化

高級：感覺方向稍微有點(diǎn)廣，有的是深度學(xué)習(xí)領(lǐng)域做的很深，有的是廣告或者推薦方向做的很深。

0xFF 附一組統(tǒng)計(jì)數(shù)據(jù)對比

上面的內(nèi)容從道與術(shù)上分析了數(shù)據(jù)分析與數(shù)據(jù)挖掘的區(qū)別，現(xiàn)在我們通過近日北京地區(qū)兩個(gè)崗位的招聘信息統(tǒng)計(jì)做一個(gè)驗(yàn)證。

數(shù)據(jù)來源：國內(nèi)知名互聯(lián)網(wǎng)招聘網(wǎng)站，分別搜索北京地區(qū)“數(shù)據(jù)分析”、“數(shù)據(jù)挖掘”所得的招聘信息結(jié)果，得到數(shù)據(jù)分析與數(shù)據(jù)挖掘招聘信息各400+條。

崗位名稱

1

搜索“數(shù)據(jù)分析“相關(guān)崗位，絕大部分都是叫做“數(shù)據(jù)分析師”，38.16%直接叫做數(shù)據(jù)分析師，20%左右的“高級數(shù)據(jù)分析師”（或“資深數(shù)據(jù)分析師”、“數(shù)據(jù)分析專家“），其余還有大數(shù)據(jù)分析師、BI數(shù)據(jù)工程師、金融數(shù)據(jù)分析師等頭銜。

而搜索“數(shù)據(jù)挖掘”相關(guān)崗位，絕大部分是”算法工程師“，21.41%直接叫做算法工程師，其余絕大部分也都是各個(gè)領(lǐng)域的算法工程師，數(shù)量排名靠前的有：4.47%機(jī)器學(xué)習(xí)算法工程師，3.29%NLP算法工程師，2.82%深度學(xué)習(xí)算法工程師，以及圖像、推薦、計(jì)算機(jī)視覺等類別等?！睌?shù)據(jù)挖掘工程師“頭銜只占2.12%

公司規(guī)模

2

比較兩個(gè)崗位所在公司的公司規(guī)模，發(fā)現(xiàn)兩個(gè)崗位當(dāng)前在中型公司中的需求量無明顯差異，但在小型和大型公司中的需求有較大的差異。

數(shù)據(jù)分析崗當(dāng)前在大公司的招聘需求較大，有42.75%的招聘信息來自2000人以上的大型公司；只有約13%等招聘信息來自于50人以下的小公司。

而數(shù)據(jù)挖掘相關(guān)崗位相反，在招的崗位中，來自于2000人以上大型公司的只有26.12%，而來自50人以下小型公司的卻占了33%。

崗位技能要求

3

比較兩個(gè)崗位的技能要求，可以發(fā)現(xiàn)兩者所需的能力有比較大的區(qū)別：

數(shù)據(jù)分析相關(guān)崗位：業(yè)務(wù)、SQL、統(tǒng)計(jì)學(xué)、用戶理解、數(shù)學(xué)、R、溝通、行業(yè)、Python、數(shù)據(jù)處理、增長思維等；

數(shù)據(jù)挖掘相關(guān)崗位：算法、機(jī)器學(xué)習(xí)、推薦、計(jì)算機(jī)、數(shù)學(xué)、模型、自然語言、開發(fā)、技術(shù)、數(shù)據(jù)挖掘等。

學(xué)歷要求

4

85.51%的崗位對于數(shù)據(jù)分析的學(xué)歷要求是本科，而數(shù)據(jù)挖掘的相關(guān)崗位中，55.04%的崗位要求本科，近40%要求碩士學(xué)歷。數(shù)據(jù)挖掘比數(shù)據(jù)分析的學(xué)歷要求更高。

不同工作年限的薪資下限

5

最后我們來比較一下兩個(gè)崗位的薪資水平。為減少招聘信息中可能存在的薪資注水的影響，我們采用薪酬預(yù)估的下限進(jìn)行計(jì)算，并用中位數(shù)表示各個(gè)工作年限月薪的平均水平。

可以看出，隨著工作年限的積累，兩個(gè)崗位的薪資都穩(wěn)步提升，但數(shù)據(jù)挖掘相關(guān)崗位的薪酬普遍還是高于數(shù)據(jù)分析。

這個(gè)差距在不同年限也有區(qū)別，總體上數(shù)挖相關(guān)崗比數(shù)分薪酬高35%左右，但在應(yīng)屆畢業(yè)生和3-5年工作經(jīng)驗(yàn)兩個(gè)年限上拉開了56%的差距；在要求5-10年工作經(jīng)驗(yàn)資深員工的崗位上，兩崗薪資差距又明顯縮小，體現(xiàn)了高端人才的價(jià)值。

10年以上工作年限的由于樣本中缺乏數(shù)挖在這個(gè)年限下的招聘數(shù)據(jù)，暫時(shí)無法比較，但從數(shù)據(jù)分析最后一飛沖天的數(shù)據(jù)來看，數(shù)分崗位的上限真的很高。