一位大數(shù)據(jù)工程師的成長(zhǎng)之路

工作七年，跨度比較大，每當(dāng)遇到困難的時(shí)候，我總是想起兩句話：

1、受人之托、忠人之事

2、不論處于何種艱難的境地，人始終擁有選擇自己態(tài)度的自由

希望同行和朋友們聽(tīng)完故事之后有所收獲，這篇文章就沒(méi)有耽誤大家的寶貴時(shí)間。

我的本科專(zhuān)業(yè)是電氣自動(dòng)化，畢業(yè)之后被分到一個(gè)火力發(fā)電廠工作，同學(xué)們當(dāng)時(shí)都覺(jué)得這個(gè)工作很不錯(cuò)，主要是因?yàn)楣ぷ鞣€(wěn)定輕松，待遇也還行。

我到了火力發(fā)電廠之后，看到的是大家基本上五班三倒制工作期間都在打牌，然后就是討論買(mǎi)房買(mǎi)車(chē)，看起來(lái)整個(gè)值班室沒(méi)有什么朝氣。

我一想，我人生還長(zhǎng)，總不能這樣打牌打一輩子，所以從火力發(fā)電廠辭職到了深圳。

剛到深圳的時(shí)候，什么技能也沒(méi)有，為了能夠生活好一點(diǎn)，我決定能學(xué)點(diǎn)什么。IT技術(shù)有個(gè)最大的好處就是，只要有個(gè)筆記本就有生產(chǎn)資料。我就買(mǎi)了一本C++primer自學(xué)C++。然后應(yīng)聘到一個(gè)做自動(dòng)化的公司做業(yè)務(wù)。

該自動(dòng)化公司的主要產(chǎn)品是運(yùn)動(dòng)控制卡，支持MFC二次開(kāi)發(fā)應(yīng)用程序，因?yàn)槲視?huì)解決一些軟件問(wèn)題，所以客戶(hù)較為歡迎我的控制卡，我也從此走上軟件開(kāi)發(fā)的道路。

因?yàn)槲冶究茖?zhuān)業(yè)是電氣自動(dòng)化，后來(lái)應(yīng)聘到一家電氣公司開(kāi)發(fā)二次設(shè)備的軟件。公司所在的行業(yè)是智能電網(wǎng)，需要經(jīng)常出差去國(guó)網(wǎng)和南網(wǎng)調(diào)試程序。我當(dāng)時(shí)主要負(fù)責(zé)的業(yè)務(wù)是研發(fā)一款設(shè)計(jì)電網(wǎng)的軟件，所以和設(shè)計(jì)院打交道比較多，因?yàn)楦鱾€(gè)地方的設(shè)計(jì)方法和標(biāo)準(zhǔn)都不一樣，所以該設(shè)計(jì)軟件的開(kāi)發(fā)遇到了很大的困難。

軟件最能夠解決的其實(shí)是標(biāo)準(zhǔn)化的問(wèn)題，也就是定義明確，邏輯清晰地問(wèn)題。我當(dāng)時(shí)發(fā)現(xiàn)其實(shí)設(shè)計(jì)院之所以購(gòu)買(mǎi)這款軟件，并不是因?yàn)檫@個(gè)軟件在設(shè)計(jì)電網(wǎng)的事情上能發(fā)揮多大的作用，而是和資質(zhì)的審批有關(guān)系。比如甲級(jí)設(shè)計(jì)院以50萬(wàn)一套的價(jià)格購(gòu)買(mǎi)軟件，然后以20萬(wàn)一套的價(jià)格賣(mài)個(gè)乙級(jí)設(shè)計(jì)院，乙級(jí)設(shè)計(jì)院再以10萬(wàn)一套賣(mài)給丙級(jí)設(shè)計(jì)院。

其實(shí)每一級(jí)設(shè)計(jì)院購(gòu)買(mǎi)軟件主要是為了得到審批，在這個(gè)軟件中有一個(gè)功能，叫做圖紙審批，本質(zhì)上是在生成的圖紙中插入一個(gè)驗(yàn)證碼，這個(gè)功能能夠判斷出來(lái)該驗(yàn)證碼是否是相應(yīng)的配套軟件生成的。我當(dāng)時(shí)有點(diǎn)失落，感覺(jué)我的技術(shù)在為社會(huì)做貢獻(xiàn)上沒(méi)有什么成就，反而成為了官僚啥的幫手。

這個(gè)時(shí)候整個(gè)工作狀態(tài)是很不積極的，此時(shí)看書(shū)也看不進(jìn)，學(xué)習(xí)什么都陷入了停滯。

上面寫(xiě)的第一句話起作用了：

1、受人之托、忠人之事

我受公司之托，客戶(hù)支托來(lái)開(kāi)發(fā)這個(gè)軟件，就要忠誠(chéng)于這個(gè)事情，要認(rèn)真把這個(gè)事情做好，才能贏得尊重。另外一個(gè)是，我要把遇到的困難不能當(dāng)成是我的一種負(fù)擔(dān)，而是一個(gè)責(zé)任和動(dòng)力。

為什么是動(dòng)力，因?yàn)檎怯羞@樣的問(wèn)題，所以這個(gè)地方才需要我，才需要我來(lái)解決，我就有相應(yīng)的價(jià)值。

有人說(shuō)你這個(gè)軟件是沒(méi)有價(jià)值的，這個(gè)時(shí)候就聯(lián)系到第二句話

2、不論處于何種艱難的境地，人始終擁有選擇自己態(tài)度的自由

如果把人生的意義理解為創(chuàng)造價(jià)值、體驗(yàn)價(jià)值、選擇態(tài)度，那么其實(shí)很多時(shí)候是沒(méi)法去創(chuàng)造價(jià)值的，但是我還有最后一條自由就是選擇我在這個(gè)事情當(dāng)中表現(xiàn)出來(lái)的態(tài)度。

包括在這很久之后，有很多同行和我說(shuō)，做技術(shù)沒(méi)有追求，沒(méi)有前途。

我是這么看待這個(gè)問(wèn)題的，很多人在說(shuō)沒(méi)有前途的時(shí)候，他做技術(shù)的靈魂就已經(jīng)死了，系統(tǒng)之神授予他的火焰就已經(jīng)熄滅了，因?yàn)樗谧黾夹g(shù)這個(gè)事情上沒(méi)有態(tài)度了。

所以即使該軟件推廣的過(guò)程中遇到很多困難，我還是堅(jiān)持下來(lái)直到版本穩(wěn)定。

這個(gè)時(shí)間已經(jīng)到了2014年年底，在此期間閱讀了很多技術(shù)書(shū)籍，做過(guò)的工作也包含很多內(nèi)容，包括MFC開(kāi)發(fā)、unix后臺(tái)開(kāi)發(fā)、oracle數(shù)據(jù)庫(kù)DBA等等，有些朋友覺(jué)得我還不錯(cuò)，我也經(jīng)常幫忙解決各樣的技術(shù)問(wèn)題，積累了一些經(jīng)驗(yàn)。

傳統(tǒng)的軟件開(kāi)發(fā)做得多了，感覺(jué)到千篇一律。尤其是當(dāng)時(shí)的公司系統(tǒng)主要難點(diǎn)并不在技術(shù)，而是業(yè)務(wù)很復(fù)雜也很專(zhuān)業(yè)。此時(shí)正直移動(dòng)互聯(lián)網(wǎng)興起，我希望能夠?qū)W到新的技術(shù)，就到另外一家公司給順豐做數(shù)據(jù)庫(kù)服務(wù)。

這之間以前電廠的同事問(wèn)我：“現(xiàn)在國(guó)家去產(chǎn)能，因?yàn)殡姀S污染嚴(yán)重，面臨裁員下崗，能不能出來(lái)找點(diǎn)事情做”。這個(gè)事情其實(shí)我是沒(méi)有預(yù)料到的，我也覺(jué)得電廠其實(shí)待遇什么都很不錯(cuò)，我就說(shuō)“你都在里面打了幾年牌了，外面的社會(huì)怕有點(diǎn)適應(yīng)不了”我這個(gè)時(shí)候感覺(jué)到的是：

我并非未卜先知這個(gè)行業(yè)發(fā)展趨勢(shì)而離開(kāi)電廠救了我，救我的是我不想留在電廠每天到晚這樣度過(guò)的態(tài)度。

順豐的數(shù)據(jù)量很大，也遇到了很多技術(shù)困難，印象中很深的是上線之前，垃圾桶里面很多紅牛的易拉罐。

我對(duì)技術(shù)充滿(mǎn)好奇，很想知道很多事情為什么，尤其是為什么會(huì)有這么一個(gè)東西，所以到一個(gè)地方學(xué)會(huì)一些本事，到的地方多了就把周?chē)臇|西多少學(xué)會(huì)了一些。

也是從2015年開(kāi)始，我對(duì)大數(shù)據(jù)技術(shù)很有興趣，想通過(guò)一些特別的方式解決類(lèi)似順豐這么大數(shù)據(jù)量的情況下，關(guān)系型數(shù)據(jù)庫(kù)不能解決的問(wèn)題。

我學(xué)習(xí)新技術(shù)有一些小的方法希望分享給大家：

1、世界上沒(méi)有孤立的東西，一個(gè)技術(shù)的發(fā)明肯定有他的源頭，比如在大數(shù)據(jù)技術(shù)中：

大數(shù)據(jù)有分布式文件系統(tǒng)HDFS，單機(jī)也有文件系統(tǒng)，大數(shù)據(jù)有數(shù)據(jù)庫(kù)，單機(jī)有數(shù)據(jù)庫(kù)，都是可以類(lèi)比的

2、學(xué)一項(xiàng)新技術(shù)可以找一些相關(guān)比較權(quán)威的資料，然后大概翻閱之后了解他們主要討論的是一些什么問(wèn)題，這些問(wèn)題定義如何，互相之間的關(guān)系如何。