一位三年工作經(jīng)驗的工程師告訴你：如何成為一名大數(shù)據(jù)開發(fā)工程師

1.關(guān)于我

本人現(xiàn)在北京某大型互聯(lián)網(wǎng)公司高級數(shù)據(jù)開發(fā)工程師一枚，三年工作經(jīng)驗，一年多面試官經(jīng)驗。

2.為啥要寫這篇文章？

面試中經(jīng)常會遇到這種情況：之前專心寫web的Java碼農(nóng)突然轉(zhuǎn)型想做大數(shù)據(jù)了，然后寫幾個大數(shù)據(jù)的項目經(jīng)驗跑來面試，結(jié)果就是一問三不知，還有好多人只是搭了個Hadoop環(huán)境就說自己是搞大數(shù)據(jù)的，然后來面數(shù)據(jù)開發(fā)，結(jié)果肯定悲劇。一般情況下，面試失敗的我都會送走，然后針對不同的人給點建議。面試候選人一激動就要加微信，最后的結(jié)果就是人沒招來幾個，微信好友加了不少。這篇文章基本上就是一些經(jīng)驗的匯總。

3.正題

首先，我個人進(jìn)入大數(shù)據(jù)行業(yè)也純屬偶然，當(dāng)年實習(xí)的時候做的是純純的Java開發(fā)，后來正式畢業(yè)了以后找了份Java開發(fā)的工作，本以為和大多數(shù)Java猿一樣天天搞增刪改查了，但是巧的是搞好部門有個做大數(shù)據(jù)開發(fā)的離職了，數(shù)據(jù)開發(fā)缺人手，然后領(lǐng)導(dǎo)就讓我頂上了。剛開始什么Hadoop，HDFS也是各種不懂，只會寫hive，因為畢竟有SQL基礎(chǔ)嘛。再后來發(fā)現(xiàn)hive實現(xiàn)一些東西很麻煩，就開始學(xué)習(xí)spark。網(wǎng)上找的例子，從Wordcount入手，邊寫簡單的例子邊看《Hadoop權(quán)威指南這本書》，不到一周時間就上手寫了一個計算報表數(shù)據(jù)的作業(yè)。后來就不斷深入，過程之中覺得《Hadoop權(quán)威指南》這本書每一次讀都有不同的體會，前前后后應(yīng)該讀了有三四遍吧。
總體感受就是理解了分布式計算的模型，就知道如何寫mapreduce了。但是如何進(jìn)行作業(yè)優(yōu)化以及數(shù)據(jù)處理過程中遇到的問題如何解決就需要更深入的研究。
前面提到來面試的有應(yīng)屆生也有工作幾年的，針對不同的人給一些不同的建議。

3.1 對應(yīng)屆生

個人覺得應(yīng)屆生應(yīng)該打好基礎(chǔ)，大學(xué)本科一般都會開設(shè)數(shù)據(jù)結(jié)構(gòu)，算法基礎(chǔ)，操作系統(tǒng)，編譯原理，計算機網(wǎng)絡(luò)等課程。這些課程一定要好好學(xué)，基礎(chǔ)扎實了學(xué)其他東西問題都不大，而且好多大公司面試都會問這些東西。如果你準(zhǔn)備從事IT行業(yè)，這些東西對你會很有幫助。
至于學(xué)什么語言，我覺得對大數(shù)據(jù)行業(yè)來說，Java還是比較多。有時間有興趣的話可以學(xué)學(xué)scala，這個語言寫spark比較棒。
集群環(huán)境一定要搭起來。有條件的話可以搭一個小的分布式集群，沒條件的可以在自己電腦上裝個虛擬機然后搭一個偽分布式的集群。一來能幫助你充分認(rèn)識Hadoop，而來可以在上面做點實際的東西。你所有踩得坑都是你寶貴的財富。
然后就可以試著寫一些數(shù)據(jù)計算中常見的去重，排序，表關(guān)聯(lián)等操作。
對于我來說，面試應(yīng)屆生就問你的基礎(chǔ)，筆試大多是數(shù)據(jù)結(jié)構(gòu)和算法方面的，如果你基礎(chǔ)不錯而且有一定的大數(shù)據(jù)方面的經(jīng)驗，基本上都會過。

3.2 對有工作經(jīng)驗想轉(zhuǎn)行的

主要考察三個方面，一是基礎(chǔ)，二是學(xué)習(xí)能力，三是解決問題的能力。
基礎(chǔ)很好考察，給幾道筆試題做完基本上就知道什么水平了。
學(xué)習(xí)能力還是非常重要的，畢竟寫Javaweb和寫mapreduce還是不一樣的。大數(shù)據(jù)處理技術(shù)目前都有好多種，而且企業(yè)用的時候也不單單使用一種，再一個行業(yè)發(fā)展比較快，要時刻學(xué)習(xí)新的東西并用到實踐中。
解決問題的能力在什么時候都比較重要，數(shù)據(jù)開發(fā)中尤為重要，我們同常會遇到很多數(shù)據(jù)問題，比如說最后產(chǎn)生的報表數(shù)據(jù)對不上，一般來說一份最終的數(shù)據(jù)往往來源于很多原始數(shù)據(jù)，中間又經(jīng)過了n多處理。要求你對數(shù)據(jù)敏感，并能把握問題的本質(zhì)，追根溯源，在盡可能短的時間里解決問題。
基礎(chǔ)知識好加強，換工作前兩周復(fù)習(xí)一下就行。學(xué)習(xí)能力和解決問題的能力就要在平時的工作中多鍛煉。
社招的最低要求就上面三點，如果你平日還自學(xué)了一些大數(shù)據(jù)方面的東西，都是很好的加分項。
以上是個人的一些經(jīng)歷和見解，希望能幫到你。當(dāng)然也不完全正確，如果你認(rèn)為不妥可以評論開噴，哈哈。
最后祝各位看官都找到稱心如意的工作！