計(jì)算機(jī)大牛最喜歡的機(jī)器學(xué)習(xí)算法你知道是那些嗎

機(jī)器學(xué)習(xí)算法那么多，一個(gè)問(wèn)題的解決往往可能有好多算法的選擇。

這些算法有什么特點(diǎn)呢？特定的場(chǎng)景需要選擇哪一算法呢？

我們?yōu)榇蠹曳g了Quora上大牛們最喜歡的機(jī)器學(xué)習(xí)算法，一起欣賞。

Carlos Guestrin，亞馬遜計(jì)算機(jī)科學(xué)機(jī)器學(xué)習(xí)教授，Dato公司ceo及創(chuàng)始人 （Dato原名GraphLab，大數(shù)據(jù)分析云服務(wù)平臺(tái)）

我并沒(méi)有最喜歡的機(jī)器學(xué)習(xí)算法，但有一些比較青睞的，比如：

最簡(jiǎn)潔的算法：感知器算法(Perceptron)。這種算法是Rosenblatt和他的同事們?cè)?0世紀(jì)50年代創(chuàng)造的。這個(gè)算法非常簡(jiǎn)單，但它是現(xiàn)在一些最成功的分類器的基礎(chǔ)，包括支持SVM和邏輯回歸，它們都使用了隨機(jī)梯度下降法。感知器算法的收斂性證明是我在ML中見過(guò)的最優(yōu)雅的數(shù)學(xué)過(guò)程之一。

最有用的算法: Boosting，特別是提升決策樹。這種方法比較直觀，可以結(jié)合許多簡(jiǎn)單模型來(lái)構(gòu)建高精度機(jī)器學(xué)習(xí)模型。Boosting是機(jī)器學(xué)習(xí)中最具實(shí)踐性的方法，在工業(yè)中得到了廣泛的引用，可以用它處理相當(dāng)廣泛的數(shù)據(jù)類型，在數(shù)據(jù)規(guī)模上也沒(méi)有太多限制。在實(shí)際過(guò)程中的提高樹的可伸縮性應(yīng)用上，我建議考慮XGBoost。Boosting的證明過(guò)程也是非常優(yōu)雅的。

卷土重來(lái)的算法：卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)。這種神經(jīng)網(wǎng)絡(luò)算法在20世紀(jì)80年代早期開始流行。從90年代后期到2000年代后期，大家對(duì)這種算法的興趣逐漸減弱，但在過(guò)去的5年里，這種算法出人意料的卷土重來(lái)。特別是，卷積神經(jīng)網(wǎng)絡(luò)建立了深度學(xué)習(xí)模型的核心，在計(jì)算機(jī)視覺(jué)和語(yǔ)音識(shí)別方面有巨大影響力。

最優(yōu)美的算法:動(dòng)態(tài)規(guī)劃（Dynamic programming）（比如維特比, forward-backward, 變量消除以及belief propagation算法）。

在計(jì)算機(jī)科學(xué)中動(dòng)態(tài)規(guī)劃是最優(yōu)雅的一種算法，是通過(guò)搜索一個(gè)指數(shù)型大的空間來(lái)找到可選的解決方案。這種方法在機(jī)器學(xué)習(xí)中已經(jīng)得到了各種應(yīng)用，特別是圖形模型，如隱馬爾可夫模型、貝葉斯網(wǎng)絡(luò)和馬爾可夫網(wǎng)絡(luò)。

無(wú)與倫比的基準(zhǔn)：鄰近算法。當(dāng)我們想顯示我們的曲線比別人好時(shí)，一個(gè)辦法就是引入一個(gè)基準(zhǔn)來(lái)證明自己的方法更加準(zhǔn)確。鄰近算法實(shí)現(xiàn)起來(lái)非常簡(jiǎn)單。我們總是覺(jué)得自己的算法可以輕易的超過(guò)鄰近算法，但實(shí)際上很難！如果我們有足夠的數(shù)據(jù)，鄰近算法非常有效果，在實(shí)踐中也是非常有用的。

Fran?ois Chollet，谷歌深度學(xué)習(xí)研究專家，Keras作者

矩陣分解——一個(gè)簡(jiǎn)單而美麗的降維方法，而降維是認(rèn)知的本質(zhì)。

矩陣分解在推薦系統(tǒng)得到了很大應(yīng)用。另一個(gè)應(yīng)用是分解特征的互信息對(duì)的矩陣，或更為常見的逐點(diǎn)互信息。我從2010年開始處理視頻數(shù)據(jù)的時(shí)候就開始用了。可用于特征提取、計(jì)算單詞嵌入、計(jì)算標(biāo)簽嵌入(我最近的論文的主題就是這個(gè))，等等。

在卷積中，矩陣分解是圖像、視頻的無(wú)監(jiān)督特征的優(yōu)秀的提取器。但有個(gè)問(wèn)題，它從根本上來(lái)說(shuō)是比較淺的算法。一旦監(jiān)督標(biāo)簽可用，深度神經(jīng)網(wǎng)絡(luò)將很快超越它。

Yann LeCun，F(xiàn)acebook人工智能研究院主管，紐約大學(xué)教授

Backprop，反向傳播算法。

Ian Goodfellow，谷歌大腦高級(jí)研究員

我喜歡dropout，在一個(gè)簡(jiǎn)單模型中構(gòu)建一個(gè)指數(shù)型的大集成是非常優(yōu)雅的。在近似集成預(yù)測(cè)結(jié)果時(shí)，權(quán)重除以2的技巧效果很好。我不太理解在深度非線性模型中其效果如此好的理論原因，但它的效果真的很好。

Claudia Perlich，Dstillery首席科學(xué)家，紐約大學(xué)客座教授

毫無(wú)疑問(wèn)，我最喜歡邏輯回歸，包括隨機(jī)梯度下降、特征散列以及懲罰。

在深度學(xué)習(xí)如此火爆的時(shí)代，我的這個(gè)回答肯定讓人費(fèi)解，來(lái)告訴你們?cè)颍?/p>

1995年到1998年，我使用神經(jīng)網(wǎng)絡(luò)；1998年到2002年，我一般使用基于方法的樹；從2002年以后，就開始慢慢使用邏輯回歸了，還包括線性回歸、分量回歸、泊松回歸等。2003年，我在Machine Learning上發(fā)表了一篇文章，使用 35個(gè)數(shù)據(jù)集（在那時(shí)這樣的數(shù)據(jù)量還是比較大的）上，對(duì)比基于方法的樹、基于邏輯回歸分別得到的結(jié)果。

簡(jiǎn)要結(jié)論——如果信號(hào)噪聲比較高，那么決策樹效果更好。但如果有非常雜亂的問(wèn)題，最好的模型的AUC小于0.8，那么邏輯回歸的效果總是比決策樹好。最終結(jié)果在意料之中，如果信號(hào)太弱，高方差模型就會(huì)失效。

所以這個(gè)試驗(yàn)說(shuō)明了什么？我需要處理的問(wèn)題類型是比較雜亂的，并且可預(yù)測(cè)性低。一般都是處于隨機(jī)確定性（象棋？？）的條件下，像所謂的股票市場(chǎng)。根據(jù)數(shù)據(jù)不同，不同問(wèn)題的可預(yù)測(cè)性也不同。這已經(jīng)不簡(jiǎn)單是算法問(wèn)題，而是對(duì)世界的概念表述。

我感興趣的大多數(shù)問(wèn)題非常類似于股市的某一個(gè)極端。深度學(xué)習(xí)在另一端效果非常好——比如判斷圖片中是否是一只貓。在不確定的問(wèn)題中，偏差權(quán)衡仍然經(jīng)常結(jié)束了更多的偏差，也就是，你希望得到一個(gè)簡(jiǎn)單的、非常受限的模型。這里就用到邏輯回歸了。我發(fā)現(xiàn)，添加復(fù)雜特征來(lái)加強(qiáng)簡(jiǎn)單線性模型，比限制一個(gè)強(qiáng)大的高方差模型更容易。而每一次我贏過(guò)的數(shù)據(jù)挖掘比賽，我都使用了線性模型。

除了性能比較好，線性模型還比較可靠、需要的控制更少，不過(guò)還要用隨機(jī)梯度下降法和懲罰。這些是很重要的，因?yàn)樵诠I(yè)上，我們根本不可能花3個(gè)月的時(shí)間來(lái)建立一個(gè)完美的模型。

最后，在線性模型上，我可以更好的理解一切如何運(yùn)行。

Alex Smola，卡內(nèi)基梅隆大學(xué)教授，1-Page首席科學(xué)家

可能大家都最喜歡感知器算法，由它發(fā)展出其他很多重要的算法，比如：

核函數(shù)方法（只是轉(zhuǎn)換預(yù)處理）

深度網(wǎng)絡(luò)（只是增加了更多的層）

隨機(jī)梯度下降法(只改變目標(biāo)函數(shù))

學(xué)習(xí)理論（保證了更新）

感知器算法如下：

假設(shè)一個(gè)線性函數(shù)f(x)=?w,x?+b，我們要估計(jì)向量w和常數(shù)b，當(dāng)?shù)玫椒诸?時(shí)，f為正數(shù)，得到分類?1時(shí)，f為負(fù)數(shù)。然后我們可以做如下步驟：

初始化w和b為零(或其他可能更好的值)；

繼續(xù)遍歷(x,y)，直到?jīng)]有錯(cuò)誤；

如果 yf(x)<0，那么更新 w+=yx，b+=y。

該算法是收斂的，所花時(shí)間長(zhǎng)短取決于問(wèn)題有多難，從技術(shù)上來(lái)講就是將正數(shù)和負(fù)數(shù)集合分開的困難程度。但是解決所有的錯(cuò)誤更重要。

Xavier Amatriain，前ML研究人員，目前在Quora帶領(lǐng)工程師

我喜歡簡(jiǎn)單而靈活的算法。如果一定要選一個(gè)，我最喜歡集成（Ensemble）算法，我個(gè)人認(rèn)為它是“大師級(jí)別”。無(wú)論我們從哪個(gè)算法開始，總可以用集成算法來(lái)提高它。集成算法獲得了Netflix獎(jiǎng)，經(jīng)常表現(xiàn)優(yōu)異，也相對(duì)容易理解、優(yōu)化和檢查。

但如果要選一個(gè)“超級(jí)算法”，我選另一個(gè)——邏輯回歸。邏輯回歸很簡(jiǎn)單，但很有效并且有彈性，可以用在很多地方，包括分類、排序。

Thorsten Joachims，康奈爾大學(xué)教授，主要研究人類行為的機(jī)器學(xué)習(xí)

我目前使用的學(xué)習(xí)算法并不是我最喜歡的，因?yàn)樗鼈兌加幸粋€(gè)缺陷。這些優(yōu)異又重要的機(jī)器學(xué)習(xí)算法中，都有個(gè)巨大的帕累托邊界。

事實(shí)上，基本的機(jī)器學(xué)習(xí)理論告訴我們，沒(méi)有一個(gè)單獨(dú)的機(jī)器學(xué)習(xí)算法可以很好的解決所有問(wèn)題。如果訓(xùn)練樣本相對(duì)比較少，又有非常高維的稀疏數(shù)據(jù)(例如按主題分類的文本)，可以使用一個(gè)正規(guī)化的線性模型，比如SVM或邏輯回歸。但如果有大量的訓(xùn)練樣本與低維的稠密數(shù)據(jù)(如語(yǔ)音識(shí)別、視覺(jué))，可以使用深度網(wǎng)絡(luò)。

Ricardo Vladimiro，Miniclip 游戲分析和數(shù)據(jù)科學(xué)負(fù)責(zé)人

注：Miniclip，瑞士在線游戲公司，2015年被騰訊控股。

隨機(jī)森林。學(xué)習(xí)隨機(jī)森林對(duì)我來(lái)說(shuō)是個(gè)非常享受的過(guò)程。最后的總體效果也很有意義。我覺(jué)得決策樹實(shí)在是很可愛(ài)。對(duì)特征進(jìn)行Bootstrap經(jīng)常會(huì)讓我驚嘆。這真的很神奇。我覺(jué)得我對(duì)于隨機(jī)森林已經(jīng)有感情了，因?yàn)槲以谌绱硕潭痰臅r(shí)間內(nèi)學(xué)到了很多東西。

Ps:我知道我對(duì)決策樹的看法有點(diǎn)極端。