一名算法工程師的自述

作為在一家公司中從事算法，數(shù)據(jù)挖掘，機(jī)器學(xué)習(xí)的小伙伴們，似乎會(huì)有一些感覺(jué)，我現(xiàn)在做到的東西感覺(jué)好土啊，一點(diǎn)也不高大上，明明有那么多吊炸天的算法，為啥我們現(xiàn)在還要用這么土的方法呢？不行我要嘗試這些吊炸天的算法，而有的時(shí)候卻往往是吃力不討好。

就個(gè)人感覺(jué)而言，工業(yè)算法工程師其實(shí)是要求蠻高的一個(gè)崗位，雖然從業(yè)七年多了，但是是否已經(jīng)入門還真的不敢說(shuō)。因?yàn)樗婕暗念I(lǐng)域太多，經(jīng)典的已經(jīng)被反復(fù)證明有成熟套路的應(yīng)用場(chǎng)景就包括了，搜索效果優(yōu)化，個(gè)性化推薦，計(jì)算廣告，智能風(fēng)控等等。而每一個(gè)場(chǎng)景背后雖然有著比較共同的基礎(chǔ)算法理論支持，但真要把某一個(gè)領(lǐng)域做好，卻真的不是那么容易的事情。

拿推薦的場(chǎng)景舉例吧。

常見(jiàn)的推薦手法有幾種，那么拿基于標(biāo)簽畫像的方法來(lái)做個(gè)引子。

設(shè)計(jì)一套標(biāo)簽體系；對(duì)待推薦的目標(biāo)實(shí)體，通過(guò)運(yùn)營(yíng)打標(biāo)，用戶ugc打標(biāo)，實(shí)體本身附屬的文本內(nèi)容，圖像內(nèi)容進(jìn)行標(biāo)簽抽??；對(duì)用戶通過(guò)瀏覽、購(gòu)買、加購(gòu)物車，評(píng)論等行為將實(shí)體標(biāo)簽關(guān)聯(lián)到用戶身上。這樣，當(dāng)用戶有新的行為的時(shí)候，就可以通過(guò)標(biāo)簽和權(quán)重集合作為特征向量，計(jì)算消費(fèi)者和推薦實(shí)體的相似度，離線或?qū)崟r(shí)的生成推薦列表了。

這樣似乎沒(méi)有啥問(wèn)題，其實(shí)是有問(wèn)題的。

如果我們的應(yīng)用的展示位很豐富，推薦展示位只是其中一小部分，那么問(wèn)題可能還不會(huì)那么明顯。但是如果我們的應(yīng)用是高度依賴算法智能推薦的的話，那就好玩了，因?yàn)轳R太效應(yīng)，越推越窄，很快一些標(biāo)簽的權(quán)重就高的沒(méi)法看了。

這該怎么辦呢？

可以有一些不同的路子去嘗試，可以通過(guò)標(biāo)簽擴(kuò)展（其實(shí)效果不容易控制，粒度太粗）；或者引入其它的推薦算法作為推薦源（svd，itmbase，userbase，contentbase等等）。這個(gè)時(shí)候，就要想辦法去合理安排這些算法了。

后面會(huì)有越來(lái)越多的問(wèn)題接踵而來(lái)：哪些算法適合放在基礎(chǔ)層面去負(fù)責(zé)初試粒度的召回呢，哪些算法適合把各個(gè)基礎(chǔ)找回算法結(jié)果進(jìn)行精排序呢，用戶主動(dòng)搜索了一個(gè)東西我如何快速反饋到其它展示位的推薦結(jié)果中呢，我該如何設(shè)計(jì)日志打點(diǎn)，以方便后續(xù)的效果跟蹤呢，如何可以更自動(dòng)化的去測(cè)試不同的算法組合，算法參數(shù)而不應(yīng)總是人手動(dòng)abtest呢，如何能夠給運(yùn)營(yíng)以合理的干預(yù)權(quán)限以增加業(yè)務(wù)邏輯而又不會(huì)影響算法本身的效果呢，我如果請(qǐng)求失敗了有沒(méi)有降級(jí)方案呢，集群job似乎越跑越慢了是不是要單獨(dú)申請(qǐng)個(gè)queue防止其他人干擾我呢……

哈哈，想做好效果這些全都是要考慮到的事情啊，靠單純的一個(gè)算法，很難去最好一個(gè)場(chǎng)景。我更喜歡稱算法工程師為效果優(yōu)化工程師，因?yàn)樵谄髽I(yè)當(dāng)中，你第一核心要?jiǎng)?wù)不是把某個(gè)算法研究的特別透徹，而是要讓你的整套效果優(yōu)化的流程跑順，在此基礎(chǔ)上，用實(shí)際業(yè)務(wù)指標(biāo)去說(shuō)話。

回歸前面的算法同學(xué)們的苦惱，其實(shí)算法也是技術(shù)的一種，而技術(shù)的本質(zhì)，按科學(xué)技術(shù)哲學(xué)中的理論是：技術(shù)是一種解蔽的過(guò)程，解蔽嘛，就是實(shí)打?qū)嵉淖龀鰧?shí)際效果。所以經(jīng)過(guò)大家無(wú)數(shù)次實(shí)際使用并證明行之有效的方法就特別受歡迎，新奇的算法，注定是在回去效果達(dá)到一定瓶頸的時(shí)候去做突破而用的了。