一名爬蟲(chóng)工程師的苦與樂(lè)

苦

每當(dāng)數(shù)據(jù)檢查不通過(guò)時(shí)，就會(huì)有點(diǎn)揪心，怕是又出了什么亂子。最可恨的就是網(wǎng)站改版，每次改版，原先設(shè)計(jì)的系統(tǒng)基本全部廢掉，爬蟲(chóng)邏輯又得重新來(lái)。最近好幾個(gè)網(wǎng)站改版。。。

而且有些網(wǎng)站就喜歡在放假時(shí)和周五發(fā)版，沒(méi)辦法啊，背上電腦，改吧。

昨天某網(wǎng)站不知道咋的掛了，今天修到現(xiàn)在，還在測(cè)試中，我的周末啊。還要補(bǔ)上事故說(shuō)明，昨天某某數(shù)據(jù)沒(méi)了，計(jì)算的時(shí)候注意點(diǎn)。誰(shuí)能保證自己寫(xiě)的代碼沒(méi)BUG。。。

這是數(shù)據(jù)采集的苦，還有就是PM隨意加需求的痛。那個(gè)數(shù)據(jù)爬下來(lái)看看；這個(gè)這么簡(jiǎn)單，什么時(shí)候能上線；今天什么都沒(méi)改嘛？

好了，小吐槽下，自己還是要保持正能量，工作還是要做的。不過(guò)我覺(jué)得這是程序員的通病。

樂(lè)

可以接觸到各種各樣的反爬姿勢(shì)，相應(yīng)的可以學(xué)習(xí)到各種解決方法（大部分情況下，某些網(wǎng)站除外）。這點(diǎn)算是增加自己的經(jīng)驗(yàn)閱歷。

“與天奮斗，其樂(lè)無(wú)窮；與地奮斗，其樂(lè)無(wú)窮；與人奮斗，其樂(lè)無(wú)窮。

看成自己爬來(lái)的數(shù)據(jù)做成一個(gè)個(gè)產(chǎn)品。數(shù)據(jù)本身并沒(méi)有價(jià)值，有價(jià)值的是如何利用。大多數(shù)情況下原始數(shù)據(jù)沒(méi)法用，需要計(jì)算部門(mén)來(lái)處理，將其轉(zhuǎn)化為可用的結(jié)構(gòu)化數(shù)據(jù)，分析、挖掘、計(jì)算，最終產(chǎn)生價(jià)值。

還可以認(rèn)識(shí)各種大牛吧。我們公司大牛真的很多，和他們帶了一年多了，計(jì)算方面真的學(xué)到了不少。下周他們好像回成都校招，有興趣的可以了解下。

自己負(fù)責(zé)的項(xiàng)目有BUG當(dāng)然要及時(shí)去解決問(wèn)題，做好自己的事情，盡量減少事故，也算一種責(zé)任。