算法工程師的現(xiàn)狀分析：數(shù)據(jù)質(zhì)量差，著急死

編輯導(dǎo)語：算法工程師就是利用算法處理事物的人，輸入相應(yīng)的指令將會得到相應(yīng)的輸出；但是算法工程師的要求也非常高，在實(shí)體行業(yè)，他們還要會數(shù)據(jù)分析，才能在實(shí)體行業(yè)中計算出精準(zhǔn)需求；本文作者分析了算法工程師的現(xiàn)狀，我們一起來看一下。

“我們的算法工程師水平太差了，完全解決不了問題！”作為一個經(jīng)常和傳統(tǒng)企業(yè)打交道的乙方，這種抱怨我聽得太多了，類似慘痛畫面也見得太多了。今天我們系統(tǒng)說說。

模型厲害不厲害，厲害！你看阿爾法大狗子都把天才少年柯潔咬哭了，能不厲害嗎。

于是，很多企業(yè)咬牙跺腳，出高薪，聘請來自互聯(lián)網(wǎng)大廠的算法工程師、數(shù)據(jù)挖掘工程師、數(shù)據(jù)建模師，期望他能做出超厲害模型；“只要你能預(yù)測精準(zhǔn)了，那我肯定能如魚得水”是他們的口頭禪。

又剛好，一批2017年左右混入所謂互聯(lián)網(wǎng)大廠的算法工程師們，被裁員了，以為自己可以打著“前頭騰阿高級算法工程師”旗號收割一波傳統(tǒng)企業(yè)，從此烏雞變鳳凰，走上人生巔峰。

兩者一拍即合。悲劇就從這里開始……

一、不考慮業(yè)務(wù)，背鍋死

陣亡案例1：某傳統(tǒng)企業(yè)，想建立產(chǎn)品推薦模型，精準(zhǔn)匹配用戶需求；結(jié)果才半年，招來的算法就被炒了——炒人理由：推薦不精準(zhǔn)，反而干擾了正常銷售。

甲方市場部的頭頭還不屑的說：阿里的推薦算法也不咋樣啊。

仔細(xì)研究業(yè)務(wù)場景就發(fā)現(xiàn)：親，不是阿里有問題，是你這公司不是阿里呀！阿里是平臺方，在平臺上有無數(shù)商品等著推。

但具體到你這個企業(yè)，就會發(fā)現(xiàn)：

有的產(chǎn)品是安身立命的爆款，不推也好賣。

有的產(chǎn)品是業(yè)務(wù)的心頭肉，只要出一點(diǎn)問題，那就是千刀萬剮。

有的產(chǎn)品先天短腿，功能不行、定價不合理，根本干不過競品，推薦算法有毛用。

有些產(chǎn)品品質(zhì)還行，只是在內(nèi)部政治地位不高，拿不到資源，或者定價不合理，導(dǎo)致后天短腿。

上一任算法小哥哥，不考慮這些業(yè)務(wù)上明爭暗斗，就直接上模型了；所有產(chǎn)品一鍋燉了做推薦（還是用協(xié)同過濾，完全沒考慮企業(yè)的用戶粘性，用戶行為數(shù)據(jù)量問題）；結(jié)果，主打產(chǎn)品出現(xiàn)下滑情況，銷售部、市場部聯(lián)手，一起把鍋往他身上甩。

結(jié)局，不但被趕滾蛋，而且搞得聲名狼藉。

認(rèn)真分析了這些背景以后，一個優(yōu)化方案出爐（如下圖）：

先做好產(chǎn)品分析，選好后天短腿的小品類，找到背書的部門，這時候可以開干了；果然，第一波推廣馬上見效；于是甲方開開心心接手，自己回去優(yōu)化迭代去了。

二、不細(xì)化場景，麻煩死

陣亡案例2：某連鎖店，希望能建立模型，精準(zhǔn)預(yù)測每個店鋪的魚蛋、腸粉、飯團(tuán)、面包……具體到每一個SKU的銷量，這樣門店既不會因為積壓浪費(fèi)食材，又不會因為缺貨錯過銷售；結(jié)果七個建模的小哥折騰了半年也不夠精準(zhǔn)，離職了4個，剩下仨垂頭喪氣。

到底如何100%精準(zhǔn)呢！

認(rèn)真思考這個問題場景，就會覺得很搞笑：真有100%精準(zhǔn)預(yù)測魚蛋香腸的本事，這七個小哥還打個屁工啊，直接去炒期貨呀。

仔細(xì)研究以后發(fā)現(xiàn)：所謂的“缺貨錯過銷售”，根本就是一句話空話；因為沒有一個正式的缺貨登記系統(tǒng)（很多企業(yè)有，但這家沒有）；但是積壓導(dǎo)致的損耗率，卻是結(jié)結(jié)實(shí)實(shí)的高。

于是，一個優(yōu)化方案出爐（如下圖）：

這樣運(yùn)行了倆月，損耗率明顯下降，實(shí)實(shí)在在地看到了成本的減少；同時，雖然也有人抱怨：“誒呀，有些店缺貨了呀”。

可證據(jù)呢？證據(jù)呢？證據(jù)呢！沒有數(shù)據(jù)，空口白話，說了鬼信！于是順利扭轉(zhuǎn)局面；也不出意外地，甲方自己接手繼續(xù)優(yōu)化了（是滴，甲方就是不喜歡簽二期、三期，都以為自己能搞掂后邊的，當(dāng)然這是后話了，哈哈）。

三、不應(yīng)對變化，含冤死

陣亡案例3：某大型渠道商，希望能建立模型，精準(zhǔn)預(yù)測手機(jī)、平板銷量，避免積壓；先后換個5個做模型的，都不滿意！業(yè)務(wù)給的反饋是：預(yù)測不夠精準(zhǔn)，導(dǎo)致決策失誤。

仔細(xì)研究以后發(fā)現(xiàn)，問題根本不在預(yù)測上，而是業(yè)務(wù)方的反復(fù)橫跳。

考核模型效果，看的是總銷量，但總銷量分配給每個渠道負(fù)責(zé)人后，總有人跳出來要求加量、減量；而且常常看頭2周買的好，就拼命加，結(jié)果導(dǎo)致積壓；看頭2周差就都不想做，能甩就甩；最后整體數(shù)據(jù)偏差大，反而回頭怪算法預(yù)測的不準(zhǔn)。

知道這幫孫子的搞法，于是，一個優(yōu)化方案出爐。

優(yōu)化以后，效果立現(xiàn)：所謂的預(yù)測不準(zhǔn)，90%是因為業(yè)務(wù)方自己不靠譜的談判、預(yù)判、騷操作搞出來的；不但順利脫身，而且也幫前邊五個冤死鬼洗刷冤屈（如下圖）。

四、數(shù)據(jù)質(zhì)量差，著急死

陣亡案例4：某大型企業(yè)，想建立智能客服，高薪挖來一個小哥；結(jié)果來了才發(fā)現(xiàn)，不但原始數(shù)據(jù)混亂，因為客服培訓(xùn)做的太差，連最基礎(chǔ)的分類標(biāo)簽：咨詢、投訴、建議都是錯亂一堆；結(jié)果嘛，自然是干了半年沒成績，黯然滾蛋。

陣亡案例5：某大型企業(yè)，想建立“和抖音一樣的內(nèi)容推薦算法”，高薪挖來一小哥；結(jié)果來了才發(fā)現(xiàn)，內(nèi)部根本沒有內(nèi)容分類標(biāo)簽，用戶打的標(biāo)簽全是垃圾，90%都是空的……領(lǐng)導(dǎo)還說：“我都給了你那么多錢了，你咋不能干，為啥還要小妹來幫忙，你看人家抖音不都是算法工程師做的？？”

是滴，越是迷信算法模型的，反而越不重視數(shù)據(jù)建設(shè)，都是一臉：“你都有算法了，你還要數(shù)據(jù)干啥，數(shù)據(jù)不是初等低級的嗎？？？”

對了，應(yīng)該有同學(xué)注意到，這些完蛋的周期都是半年，為啥？是因為很多算法崗位，在互聯(lián)網(wǎng)公司就是吉祥物，為了能證明公司走在“人工智能大路上”，維持股價；所以在互聯(lián)網(wǎng)公司的考核是遠(yuǎn)沒有實(shí)體企業(yè)嚴(yán)格的；在實(shí)體企業(yè)半年不出業(yè)績，不滾蛋還怎樣。

五、問題的表面原因

以上場景，如果換一個2010年左右入行的數(shù)據(jù)挖掘工程師，完全不會存在。

因為那個年代的數(shù)據(jù)挖掘工程師大部分做的是電信、銀行的項目，對于數(shù)據(jù)分析方法掌握非常扎實(shí)，對于數(shù)據(jù)模型的生效場景非常謹(jǐn)慎；然而，一來，這些人不是輕易請的動的，二來，人家懂行。

1. 一看你這企業(yè)：
2. 領(lǐng)導(dǎo)期望過高；
3. 業(yè)務(wù)相互甩鍋；
4. 不懂基本原理；
5. 數(shù)據(jù)基礎(chǔ)太差；
6. 急于產(chǎn)出業(yè)績；
7. 缺少清晰目標(biāo)；
8. 人家根本就不會來！
9. 于是就有了開頭的畫面。

2017年開始的一波人工智能熱潮，吸引了大量新人涌入數(shù)據(jù)挖掘、算法領(lǐng)域；有相當(dāng)多的人根本沒有數(shù)據(jù)分析基礎(chǔ)，讀的是《西瓜書》+《統(tǒng)計學(xué)習(xí)方法》，做的是《泰坦尼克》《鳶尾花》《波士頓房價》，遇到問題就上模型，干就完了奧力給！

這種情況，自然是盲人騎瞎馬，夜半臨深池了。

六、問題的本質(zhì)原因

問題的本質(zhì)在于：數(shù)據(jù)建模，本質(zhì)上對抗的是低效率；是幫助人們解決運(yùn)算變量多過時，手工計算復(fù)雜，難以處理的問題。

這是一種計算方法，不是智慧高于常人的神秘力量，不是仙風(fēng)鶴骨的世外高人；數(shù)據(jù)建模應(yīng)用最好的領(lǐng)域，也不是診斷經(jīng)營問題，而是圖像識別、語音轉(zhuǎn)化這些相對客觀的領(lǐng)域。

而傳統(tǒng)企業(yè)面臨的問題，比如：

突發(fā)情況多：天氣預(yù)報有雨，于是備貨少了，結(jié)果突然沒下，貨不夠賣；

目標(biāo)不清晰：因為老板個人喜歡，所以上了某款商品，結(jié)果老板看走了眼；

業(yè)務(wù)能力差：預(yù)判不準(zhǔn)，情緒化，收了客戶、供應(yīng)商回扣，應(yīng)和老板態(tài)度想邀功。

這些亂七八糟的情況，更適合用數(shù)據(jù)分析方法來解決。

數(shù)據(jù)分析，本質(zhì)上對抗的是不確定性；是通過認(rèn)真的采集數(shù)據(jù)、梳理業(yè)務(wù)流程、診斷業(yè)務(wù)問題、進(jìn)行數(shù)據(jù)測試；把主觀臆斷關(guān)進(jìn)籠子里。把“我以為”換成“我確信”。

所以遭遇復(fù)雜的企業(yè)經(jīng)營問題，最好的做法是認(rèn)真做好數(shù)據(jù)采集、認(rèn)真建立分析模型、一點(diǎn)點(diǎn)積累分析經(jīng)驗；而不是指望一只阿爾法大狗子汪汪一叫就撥云見日迎春歸。

所以我們看到，只要把復(fù)雜場景梳理清楚，撇除亂七八糟的因素，模型是可以在一定程度上解決經(jīng)營問題的。

然而遺憾的是，從朋友圈文章，到管理層的內(nèi)心，到正在調(diào)參的小哥的鍵盤，所有聲音都是：

算法又打敗人類了！

算法比你自己更懂你自己！

算法實(shí)現(xiàn)了99%的超精準(zhǔn)預(yù)測！

所以這種悲劇還會繼續(xù)上演，而且隨著2020年大量企業(yè)加速數(shù)字化，會上演更多，更慘烈；我們拭目以待哦。

最后，有同學(xué)說：陳老師你舉的都是實(shí)體企業(yè)的例子，那互聯(lián)網(wǎng)企業(yè)就是一片凈土呀。

呵呵！別的不說，單說生鮮電商，疫情影響，大家都覺得生鮮電商有前途，于是一幫連飯都沒有煮過、娃都沒有生過的算法工程師們，正在努力研究“蔬菜精準(zhǔn)推薦”“買菜智能預(yù)測”算法呢。

是滴！還是用熟悉的協(xié)同過濾，還是用熟悉的關(guān)聯(lián)規(guī)則哦。