計算機(jī)科學(xué)家Jürgen直指Hinton不應(yīng)獲2019本田獎

LSTM 之父 Jürgen Schmidhuber 再次掀起爭論，這回他指向了深度學(xué)習(xí)之父、圖靈獎得主 Geoffrey Hinton。不過，這次他站出來質(zhì)疑的是 Hinton 的最新獎項——本田獎。

創(chuàng)立于 1980 年的本田獎旨在表彰「為引領(lǐng)生態(tài)技術(shù)領(lǐng)域的下一代新知識而做出貢獻(xiàn)的個人或團(tuán)體」。2019 年，Geoffrey Hinton 獲得本田獎，獲獎理由是「為將人工智能（AI）廣泛應(yīng)用于多個領(lǐng)域所做的先驅(qū)性研究以及實用化推進(jìn)」。

然而，昨日計算機(jī)科學(xué)家 Jürgen Schmidhuber 發(fā)文批判這一事件，認(rèn)為 Hinton 不應(yīng)該獲得該獎項。他表示「不要把發(fā)明者弄錯人了」，并直呼「獎項并不能改變事實」。

Jürgen Schmidhuber 在推特上表示：「不要弄錯新技術(shù)的發(fā)明者。至少在科學(xué)領(lǐng)域中，真相終將顯現(xiàn)。真相沒有顯現(xiàn)，只能說明時候未到。獎項無法改變事實。」

Jürgen：六大理由，Hinton 不應(yīng)該獲本田獎

Jürgen 首先承認(rèn)，Hinton 的確在人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)領(lǐng)域做出了突出的貢獻(xiàn)。但是，本田獎卻將 Hinton 未引用的其他研究者的基礎(chǔ)性發(fā)明歸功于他?？茖W(xué)不允許企業(yè) PR 來扭曲科研學(xué)術(shù)記錄。

有理有據(jù)！Jürgen 在正文中一一列舉了他認(rèn)為 Hinton 不應(yīng)獲得本田獎的 6 大理由。

理由 1：現(xiàn)代反向傳播不是 Hinton 發(fā)明的

本田獎在公告中表示：Hinton 發(fā)明了很多方法并由此推動了人工智能的更廣泛應(yīng)用，其中就包括奠定了人工智能深度學(xué)習(xí)方法基礎(chǔ)的反向傳播算法。

Jürgen 則認(rèn)為，現(xiàn)代反向傳播是由 Linnainmaa 在 1970 年首先提出來的，之后 Rumelhart、Hinton 和 Williams 才在 1985 年提出，并且 Hinton 只是第二作者。此外，Ivakhnenko 的深度前饋網(wǎng)絡(luò)（1965）早在 Hinton（1980 年代）之前就能夠?qū)W習(xí)內(nèi)部表征了，而且 Hinton 提出的網(wǎng)絡(luò)深度不如前者。

理由 2：Hinton 的無監(jiān)督預(yù)訓(xùn)練并沒有促成當(dāng)前的深度學(xué)習(xí)革命

本田獎在公告中表示：Hinton 在 2002 年發(fā)明了一種用于有限玻爾茲曼機(jī)的快速學(xué)習(xí)算法，使得它們無需任何標(biāo)注數(shù)據(jù)即可學(xué)習(xí)到單層分布式表征。這些方法使深度學(xué)習(xí)有了更好的性能表現(xiàn)，并促成了當(dāng)前的深度學(xué)習(xí)革命。

Jürgen 則表示，他早在 1991 年就提出了用于深度神經(jīng)網(wǎng)絡(luò)的無監(jiān)督預(yù)訓(xùn)練，而 Hinton 在 21 世紀(jì)初提出的類似無監(jiān)督預(yù)訓(xùn)練只是一種概念上的「舊方法重用」罷了。并且，這也與 2010 年之后出現(xiàn)的深度學(xué)習(xí)革命毫不相干。相反，深度學(xué)習(xí)革命的出現(xiàn)主要基于監(jiān)督學(xué)習(xí)，而 Jürgen 在 IDSIA 研究所的團(tuán)隊曾分別于 1991-95 和 2006-11 兩個階段開展了由無監(jiān)督預(yù)訓(xùn)練轉(zhuǎn)向純監(jiān)督學(xué)習(xí)的研究。

理由 3：Hinton 的多層神經(jīng)網(wǎng)絡(luò)并未極大地改善語音識別效果，CTC-LSTM 才有用

本田獎在公告中表示：2009 年，Hinton 和他的兩個學(xué)生提出使用多層神經(jīng)網(wǎng)絡(luò)在語音識別領(lǐng)域取得重大突破，由此極大地提升了語音識別的效果。

Jürgen 表示，首個表現(xiàn)良好的端到端神經(jīng)語音識別基于他所在 IDSIA 研究所提出的兩種方法，即 LSTM（20 世紀(jì) 90 年代-2005 年）和 CTC（2006 年）。但是，Hinton 等人在 2012 年仍然使用 20 世紀(jì)八九十年的老舊混合方法，其性能表現(xiàn)無法與革命性的 CTC-LSTM 同日而語。

理由 4：Hinton 并非最早將深度學(xué)習(xí)應(yīng)用于計算機(jī)視覺的人

本田獎在公告中表示：2012 年，Hinton 與他的兩名學(xué)生證明了深度學(xué)習(xí)在圖像目標(biāo)識別領(lǐng)域遠(yuǎn)遠(yuǎn)優(yōu)于當(dāng)時的 SOTA 方法，進(jìn)而促使計算機(jī)視覺領(lǐng)域出現(xiàn)革命性進(jìn)展。

自從 2011 年以來，深度學(xué)習(xí)在計算機(jī)視覺領(lǐng)域的統(tǒng)治地位不言而喻，據(jù)我們所知，這一地位的確立與 Hinton 學(xué)生 Alex Krizhevsky 在 2012 年提出的深度卷積神經(jīng)網(wǎng)絡(luò)模型 AlexNet 密不可分。

但 Jürgen 指出，他在 IDSIA 的團(tuán)隊比 Hinton 更早地將深度學(xué)習(xí)技術(shù)應(yīng)用于計算機(jī)視覺領(lǐng)域。

2010 年，IDSIA 團(tuán)隊提出，通過簡單的反向傳播，GPU 可用于訓(xùn)練深度標(biāo)準(zhǔn)有監(jiān)督神經(jīng)網(wǎng)絡(luò)模型，相比 CPU 實現(xiàn)了 50 倍的加速，打破了長期以來的 MNIST 基準(zhǔn)記錄。2011 年，IDSIA 團(tuán)隊將這種方法擴(kuò)展到了卷積神經(jīng)網(wǎng)絡(luò)（CNN）上，相比基于 CPU 的 CNN，基于 GPU 的 CNN 訓(xùn)練速度實現(xiàn)了 60 倍加速。

而后，IDSIA 團(tuán)隊創(chuàng)造了首個純粹基于 GPU 的深度 CNN，并在 2011 年到 2012 年期間的多項國際計算機(jī)視覺競賽中勝出，引起了業(yè)界的廣泛關(guān)注，指明了計算機(jī)視覺領(lǐng)域新的發(fā)展方向。

Jürgen 認(rèn)為，這一方向顯然并不是 Hinton 奠定的。

理由 5：Hinton 發(fā)明的「dropout」只是 Hanson 隨機(jī) delta 規(guī)則的變體

本田獎在公告中表示：Hinton 發(fā)明了廣泛使用的「dropout」方法，這種方法通過阻止特征檢測器（feature detector）出現(xiàn)復(fù)雜的互適應(yīng)，進(jìn)而減少神經(jīng)網(wǎng)絡(luò)中的過擬合。

Jürgen 則認(rèn)為，「dropout」方法實際上是 Hanson 于 1990 年提出的隨機(jī) delta 規(guī)則（stochastic delta rule）的變體，并且 Hinton 2012 年發(fā)表的論文《ImageNet Classification with Deep Convolutional Neural Networks》中并沒有引用 Hanson 的方法。

理由 6：Hinton 被過分地夸大了，現(xiàn)在大多數(shù)基于 AI 的服務(wù)都是基于自己的 DL 技術(shù)

本田獎在公告中表示：如果沒有 Hinton 所取得的一系列科研成果，世界上大多數(shù)基于人工智能的技術(shù)服務(wù)則無法實現(xiàn)，這一點毋庸置疑。

Jürgen 則認(rèn)為，2010 年代世界上大多數(shù)基于人工智能技術(shù)的服務(wù)，包括數(shù)十億臺設(shè)備上的語音識別、語言翻譯等功能，都是基于他們的深度學(xué)習(xí)技術(shù)，而不是 Hinton 的。

Hinton 一再重復(fù)自己對現(xiàn)有基礎(chǔ)技術(shù)的貢獻(xiàn)，但正如貓王埃爾維斯·普雷斯利所說：「真相就像太陽，你可以讓它暫時缺席, 卻不能讓它永遠(yuǎn)消失?！?/p>

Jürgen 對 Hinton 的批評也引發(fā)了 reddit 網(wǎng)友的熱烈討論。對于「如何判斷新發(fā)現(xiàn)/idea 的歸屬」以及 Jürgen 給出的每一條理由大家也發(fā)表了不同意見。

激烈的爭論又一次展開，有網(wǎng)友表示：

Jürgen 對「研究者功勞」的執(zhí)著

這不是 Jürgen 第一次就研究發(fā)現(xiàn)的功勞發(fā)表看法。

提到 Jürgen Schmidhuber，我們自然會想到關(guān)于「誰是 GAN 初創(chuàng)者」的那樁公案。

Jürgen 一直認(rèn)為 GAN 是其 PM 模型（1992）的變體，他與 Ian Goodfellow 從郵件到演講展開了多次公開交流。去年，Jürgen 還獨立發(fā)表了一篇綜述論文，再一次概覽了極小極大博弈，以及 PM 模型與 GAN 之間的強(qiáng)關(guān)聯(lián)。

時間追溯到 2015 年，《自然》雜志發(fā)表了一篇介紹人工神經(jīng)網(wǎng)絡(luò)（NN）的文章《Deep Learning》，它是深度學(xué)習(xí)的一篇標(biāo)志性文章，目前引用量已經(jīng)達(dá)到了 24621。這篇文章由 Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 三人合著，從當(dāng)下的卷積、循環(huán)和反向傳播算法等核心概念概覽了深度學(xué)習(xí)，并表示無監(jiān)督學(xué)習(xí)、深度學(xué)習(xí)結(jié)合強(qiáng)化學(xué)習(xí)等方向才是發(fā)展趨勢。

Schmidhuber 在當(dāng)年的一篇批判性文章中表示，作者在這篇文章中引用了很多自己的研究工作，而忽視了半個世紀(jì)以前開創(chuàng)領(lǐng)域的先驅(qū)者。

看來 Jürgen 對「劃分研究者的功勞」很是看重，這引起了一部分社區(qū)成員的認(rèn)同。2018 年圖靈獎頒發(fā)給三位人工智能先驅(qū) Bengio、Hinton 和 LeCun 后，就有不少人認(rèn)為Jürgen 也應(yīng)該獲此獎項。

但在關(guān)于這次批評的討論帖下面，我們也看到了這樣的言論：

Jürgen 應(yīng)當(dāng)和 Bengio、Hinton 和 LeCun 一樣獲得圖靈獎。但如果沒有這三位先驅(qū)的工作，我們還在用 sigmoid 激活函數(shù)和啟發(fā)式方法訓(xùn)練全連接神經(jīng)網(wǎng)絡(luò)，深陷于局部極小值的泥沼中呢。