程序員怎樣轉(zhuǎn)型大數(shù)據(jù)方向

最近，身邊幾個(gè)程序員朋友都在自學(xué)Spark、Hadoop等相關(guān)知識(shí)，仿佛不緊跟時(shí)代步伐，就會(huì)被隨時(shí)甩出半條街的節(jié)奏；而打開(kāi)知乎，諸如“怎樣進(jìn)行大數(shù)據(jù)的入門(mén)學(xué)習(xí)”“Java Web 程序員如何轉(zhuǎn)型大數(shù)據(jù)”之類(lèi)的話題也屢受關(guān)注。

大數(shù)據(jù)之愛(ài)絕非偶然

1、技術(shù)日漸成熟，應(yīng)用空間得以拓展

大數(shù)據(jù)技術(shù)，最早于1980年被首次提及，卻在近幾年才獲得突飛猛進(jìn)的發(fā)展。相較于幾十年前神經(jīng)網(wǎng)絡(luò)算法捉襟見(jiàn)肘的計(jì)算能力，如今處理器對(duì)大規(guī)模數(shù)據(jù)的高速處理能力無(wú)疑發(fā)揮了關(guān)鍵性的作用。借助于處理器的高性能，使我們短時(shí)間內(nèi)完成PB 級(jí)數(shù)據(jù)的機(jī)器學(xué)習(xí)和模型訓(xùn)練成為可能，由此為高度依賴(lài)深度學(xué)習(xí)的圖像、語(yǔ)音識(shí)別產(chǎn)品的快速迭代奠定基礎(chǔ)，大數(shù)據(jù)應(yīng)用空間得以拓展，也由此催生了提供相關(guān)產(chǎn)品與服務(wù)的技術(shù)公司。

2、重視數(shù)據(jù)資產(chǎn)，數(shù)據(jù)挖掘已成必然

現(xiàn)代信息技術(shù)使每日產(chǎn)生的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，企業(yè)發(fā)展再也無(wú)法回避對(duì)數(shù)據(jù)價(jià)值的挖掘與利用。電商平臺(tái)利用畫(huà)像做個(gè)性化推薦，互聯(lián)網(wǎng)金融公司利用高危識(shí)別技術(shù)管控金融風(fēng)險(xiǎn)，滴滴出行利用交易數(shù)據(jù)通過(guò)實(shí)時(shí)定價(jià)優(yōu)化利潤(rùn)……這些都是對(duì)大數(shù)據(jù)價(jià)值的發(fā)掘和利用。隨著數(shù)據(jù)資產(chǎn)意識(shí)的加強(qiáng)，數(shù)據(jù)挖掘也將獲得越來(lái)越多結(jié)合具體行業(yè)場(chǎng)景的重視。

3、技術(shù)催生業(yè)務(wù)新模式，蘊(yùn)含創(chuàng)業(yè)新契機(jī)

大數(shù)據(jù)產(chǎn)業(yè)鏈，催生出針對(duì)不同版塊提供產(chǎn)品和服務(wù)的業(yè)務(wù)組合新模式，無(wú)論是利用推薦算法做內(nèi)容服務(wù)的今日頭條，還是基于數(shù)據(jù)整合提供監(jiān)測(cè)服務(wù)的 TalkingData，或者是提供底層架構(gòu)支持的阿里云，無(wú)不是發(fā)覺(jué)了大數(shù)據(jù)產(chǎn)業(yè)鏈條所蘊(yùn)含的創(chuàng)業(yè)先機(jī)。

大數(shù)據(jù)創(chuàng)業(yè)，時(shí)至今日熱度不減，雖難出BAT那樣巨頭獨(dú)大的局面，其提供的相對(duì)公平的競(jìng)爭(zhēng)機(jī)會(huì)，依然在吸引著新的創(chuàng)業(yè)公司加入。

4、市場(chǎng)供不應(yīng)求，崗位挑戰(zhàn)空間大

翻看大數(shù)據(jù)相關(guān)招聘崗位，一方面是供不應(yīng)求的招聘局面，另一方面是騰訊、華為等大牌互聯(lián)網(wǎng)公司開(kāi)出的誘惑薪資，都讓普通崗位的程序員躍躍欲試。

再加上這些崗位相比于傳統(tǒng)的軟件工程，有更高的挑戰(zhàn)空間和更大的難度，自然引得更多人才進(jìn)入到這個(gè)領(lǐng)域。

大數(shù)據(jù)相關(guān)崗位有哪些？

1. 偏技術(shù)的“算法工程師”

利用算法手段，構(gòu)建機(jī)器學(xué)習(xí)模型，解決諸如“人臉識(shí)別”、“支付風(fēng)險(xiǎn)管控”等高難度問(wèn)題。它往往既需要工程師在具體問(wèn)題上有足夠的專(zhuān)注力，也需要對(duì)相關(guān)的算法有足夠深度的了解。

2. 偏業(yè)務(wù)的“數(shù)據(jù)挖掘工程師”

結(jié)合計(jì)算機(jī)知識(shí)，重點(diǎn)攻克復(fù)雜業(yè)務(wù)的算法化和模型化難題。與算法工程師的要求不同，它往往不需要工程師在算法上探索得足夠深入，卻對(duì)知識(shí)的廣度和技能的交叉度有較高的要求，還需要工程師具備相當(dāng)和快速的業(yè)務(wù)理解能力。當(dāng)然了，對(duì)數(shù)據(jù)的高敏感性也必不可少。

技術(shù) Leader 最想要什么樣的人？

1、最好，你是個(gè)獨(dú)當(dāng)一面的全才

基礎(chǔ)條件：扎實(shí)的計(jì)算機(jī)基礎(chǔ)、邏輯能力、英文等素質(zhì)

保障條件：聰明、學(xué)習(xí)能力強(qiáng)

加分條件：大規(guī)模集群開(kāi)發(fā)經(jīng)驗(yàn)；上層數(shù)據(jù)應(yīng)用優(yōu)化經(jīng)歷；熟悉聚類(lèi)、分類(lèi)、推薦、

NLP、神經(jīng)網(wǎng)絡(luò)等常見(jiàn)算法；會(huì)數(shù)據(jù)處理，還熟悉聚類(lèi)、分類(lèi)、推薦、NLP、神經(jīng)網(wǎng)絡(luò)等各種常見(jiàn)算法……

2、退而求其次，有配合團(tuán)隊(duì)的長(zhǎng)板優(yōu)勢(shì)

全才難得，退而求其次，針對(duì)不同崗位吸收具有不同特長(zhǎng)的人才，以追求團(tuán)隊(duì)整體配合的平衡，也不失為一個(gè)策略。

計(jì)算機(jī)視覺(jué)領(lǐng)域的大數(shù)據(jù)公司，往往需要自己的團(tuán)隊(duì)中同時(shí)具備如下特長(zhǎng)的成員。比如精通算法的人才：把圖像識(shí)別相關(guān)算法模型調(diào)整到極致；工程實(shí)力型人才：高性能實(shí)現(xiàn)訓(xùn)練好的算法模型，或者幫團(tuán)隊(duì)搭建一整套視頻圖像數(shù)據(jù)采集、標(biāo)注、機(jī)器學(xué)習(xí)、自動(dòng)化測(cè)試、產(chǎn)品實(shí)現(xiàn)的平臺(tái)。

即便同一算法工程團(tuán)隊(duì)內(nèi)部，成員的技能側(cè)重點(diǎn)也要合理搭配，以互為補(bǔ)充。比如，有人專(zhuān)注核心算法研究，就要有人擅長(zhǎng)業(yè)務(wù)分析，專(zhuān)注業(yè)務(wù)算法模型的實(shí)現(xiàn)。

因此，對(duì)于想轉(zhuǎn)型大數(shù)據(jù)的普通程序猿來(lái)說(shuō)，梳理清楚自己現(xiàn)有技能對(duì)于新團(tuán)隊(duì)的價(jià)值非常重要，這是促使新團(tuán)隊(duì)決定吸收自己的關(guān)鍵。比如，發(fā)揮硬件和底層系統(tǒng)工作經(jīng)歷在算法高速實(shí)現(xiàn)上的優(yōu)勢(shì)，一旦通過(guò)自身擅長(zhǎng)的技能切入新團(tuán)隊(duì)之后，就有了更多橫向發(fā)展的機(jī)會(huì)，幫助自己在大數(shù)據(jù)相關(guān)領(lǐng)域建立更強(qiáng)競(jìng)爭(zhēng)力。

3、相較當(dāng)前技能水平，扎實(shí)的基礎(chǔ)和成長(zhǎng)空間更被看重

當(dāng)前技能水平好比是術(shù)，而扎實(shí)的計(jì)算機(jī)基礎(chǔ)則處于道的層面，諸如Spark等工具性知識(shí)通過(guò)后期學(xué)習(xí)便能輕易掌握，而如果缺少了C++/Java基礎(chǔ)想進(jìn)步卻絕非易事。比如，如果算法、數(shù)據(jù)結(jié)構(gòu)比較強(qiáng)，編程語(yǔ)言上對(duì) C++ 理解較深入，在應(yīng)用層的學(xué)習(xí)上，就可能會(huì)比其他人快很多。

有人將程序猿能力抽象為一個(gè)金字塔模型，雖然對(duì)計(jì)算機(jī)語(yǔ)言的精通是每個(gè)工程師都注重的能力，但越基礎(chǔ)的素養(yǎng)越蘊(yùn)含了更多的發(fā)展?jié)摿?。相比單純苛?zé)當(dāng)前技能，能利用基礎(chǔ)素養(yǎng)勝任一部分基礎(chǔ)工作，然后通過(guò)1-2年鍛煉接受更復(fù)雜問(wèn)題的程序猿，反而更受企業(yè)青睞。

TalkingData 大數(shù)據(jù)招聘負(fù)責(zé)人曾直言道，相比于對(duì) Spark 了解更多的人，他們更愿意招收那些 Java 學(xué)得好的人。因?yàn)?Spark 的接口學(xué)習(xí)起來(lái)相對(duì)容易，但是要想精通 Java 是一件很難的事情。如果把 Java 或者 C++ 學(xué)透了，那么對(duì)計(jì)算機(jī)技術(shù)的認(rèn)識(shí)將很不一樣。

轉(zhuǎn)型大數(shù)據(jù)，要點(diǎn)歸納

1、重視基礎(chǔ)

2、發(fā)揮專(zhuān)長(zhǎng)

3、準(zhǔn)備充分

4、首選公司內(nèi)部轉(zhuǎn)崗