“深度學習”成為正常操作，網絡架構的革命？

2013年才舉辦第一屆的ICLR（The International Conference on Learning Representations）發(fā)展迅猛，如今已成為是最重要的國際機器學習會議之一，甚至可以和ICML，NeurIPS和CVPR這些老牌著名會議相提并論。

2020年會議定于明年4月26日舉行，但是論文提交截止日期已經過去了。這次會議共提交了2585份論文，比2019年多了約1000份論文。

今年提交論文：

https://openreview.net/group?id=ICLR.cc/2020/Conference

按照這個速度估計，24年后，論文提交數(shù)量將達到10萬份。

我們分析了過去三年里ICLR所有提交的論文的摘要和關鍵詞，來看看哪些是新的風口，而哪些議題正在消逝。今年，28%的論文使用或聲稱使用了最新的算法，所以準備接受大量的機器學習知識撲面而來吧！

“深度學習”成為正常操作

在計算機視覺或自然語言處理中使用深度學習，如今就好像魚在水中生活一樣必要而且自然。深度學習徹底改變了機器學習，它現(xiàn)在幾乎存在于機器學習的所有領域，甚至那些不太起眼的地方，比如在時間序列分析或需求預測也可以看到它的身影。

可以說深度學習已經不再是一個前沿話題，而成了機器學習的正常操作。這也解釋了為什么在關鍵詞中提及深度學習的數(shù)量有所減少——從2018年的19%下降到了2020年的11%。

網絡架構的革命？

圖神經網絡（GNN，Graph Neural Networks）是這一年最熱門的話題之一。GNN是用于圖結構數(shù)據(jù)的深度學習架構。在醫(yī)學、社交網絡分類和動態(tài)交互對象行為建模等應用中，GNN展示了其巨大優(yōu)勢。關于GNN的論文數(shù)量的空前增長，從2018年的12篇發(fā)展到了2020年的111篇！

寂靜的GAN

GAN是近些年最流行的話題，但是這個被稱之為“近二十年來機器學習領域最酷的想法”似乎已經被利用殆盡。生成對抗網絡（GAN，Generative Adversarial Networks）能夠模擬任何數(shù)據(jù)分布，從而創(chuàng)造出令人印象深刻的全新人工圖像，但是GAN的火熱程度在下降。盡管最近由于deepfake等事件使得GAN一度在媒體報道中十分流行，但是從數(shù)據(jù)看它確實不如當年了。

讓機器來設計你的機器學習？

為你的神經網絡找到一個合適的架構實在是一件令人頭禿的事。但是，不要害怕：神經體系結構搜索（NAS，Neural Architecture Search）來幫你。NAS是一個可以自動構建網絡架構的方法。它已經被用于一些最新的算法中用于提升圖像分類、對象識別或模型分割的效果。關于NAS的論文從2018年的僅僅5篇增長到2020年的47篇。

強化學習表現(xiàn)穩(wěn)定

關于強化學習（RL，Reinforcement Learning）的論文占比基本保持不變。人們對這個話題的討論熱度不減——今年主要探討了強化學習在自動駕駛汽車、AlphaStar在《星際爭霸》上的成功以及機器人技術的進步上的應用。強化學習是機器學習的一個穩(wěn)定分支，而且原因足夠充分：人們相信RL會在未來大有可為。

關于強化學習的一篇干貨指南：

https://deepsense.ai/what-is-reinforcement-learning-the-complete-guide/

下一個風口在哪里？

以上只是機器學習發(fā)展趨勢的一個縮影。明年的風口會在哪里呢？這恐怕即使是最深度的神經網絡也難以預測。但是人們對于機器學習的熱情仍然是上漲的，這也倒逼著研究人員提出更具創(chuàng)造性的觀點。有鑒于此，我們認為未來會有更多創(chuàng)造性的想法涌現(xiàn)出來，即使機器學習的趨勢發(fā)生了180度的大轉彎，也不必感到驚訝。

更完整的近三年論文研究趨勢見下圖：