ICML 2019評審結果來了！可謂是幾家歡喜幾家愁

今天，機器學習頂會ICML 2019提交論文的評審結果出爐，可謂是幾家歡喜幾家愁。但網(wǎng)友們將更多關注點聚焦在評審機制和評審內容上，對ICML的評審結果狠狠的嘲諷了一番。

ICML 2019評審結果來了！

今天，機器學習頂會ICML的論壇可謂是炸了鍋了——提交論文的作者們陸續(xù)收到了評審結果，可謂是幾家歡喜幾家愁。

根據(jù)網(wǎng)友提供的郵件截圖，ICML官方描述如下：

現(xiàn)在，您可以查看ICML 2019提交的論文評審結果了。我們已經(jīng)盡力保證每篇論文至少有3條評審結果，但是有一部分論文的評審結果可能少于3條。有一小部分論文可能會在未來一兩天內陸續(xù)收到額外的評審，請在接下來的兩天內查看更新情況。

但是很多作者們看到評審結果后，不禁跑到論壇上開始吐槽。Twitter網(wǎng)友Brandon Amos表示：

我ICML評審結果里的其中一條評論真的非常諷刺。審稿人用了幾句極其錯誤的句子拒絕了我的論文，說我定義了|.|運算符僅用于設置基數(shù)，但在另一處用于絕對值。

而后網(wǎng)友Shuyu Lin跟帖表示：

ICML評審質量令人放心：一位自稱對自己高度自信的評論者不知道如何計算自動編碼器的重構錯誤......一個前途光明的社區(qū)。

實力嘲諷？

當然，這種“熱鬧”話題怎么少得了Reddit用戶。

網(wǎng)友MoreDonuts回復說：

我的論文有4個強烈接受(strong accept)，評論者自稱是“高度自信”，并且被推薦諾貝爾物理學獎、計算機科學獎和和平獎。你認為它有機會進入嗎？

不。你至少需要一個“拒絕”。

該死，看來我該開始為NeurIPS修改論文了。

真可謂是滿滿的諷刺，足足的戲。

ICML 2019如何評審論文？

為何評審結果一出，便遭到了眾網(wǎng)友的諷刺？我們先來看下ICML 2019的論文評審機制：

雙盲評審

ICML 2019論文評議采用雙盲模式; 即審稿人不知道作者的身份，作者也不知道審稿人身份。請盡可能以第三人稱的方式引用自己之前的成果，請不要在提交的論文中添加致謝、以及公共github存儲庫鏈接。如果需要匿名引用，比如參考自己在其他地方正在評議中的成果，請將此成果作為補充材料上傳。匿名是強制性要求，明確或隱含地揭示作者身份的論文可能會被拒稿。審稿人可以通過外部資源來推斷出作者的身份，比如在網(wǎng)上發(fā)布的技術報告。這一點并不違反雙盲審稿政策。

關于補充材料

本屆ICML大會支持提交兩種補充材料 - 補充論文和代碼/數(shù)據(jù)，這些補充內容可用于提供額外證據(jù)支持。如果作者在論文中進行匿名引用，請務必上傳參考文獻，以便審稿人可以快速查看。請注意不要在補充材料中透露作者的身份。

關于代碼提交，我們希望作者能夠合理地以匿名形式提交代碼和所在機構。即刪除作者姓名和許可信息。ICML 2019允許通過匿名github存儲庫提交代碼。但是，這些代碼必須位于在提交截止日期后不可修改的目錄中。請在提交的zip文件中的獨立文本文件中輸入github鏈接。

請注意，提交的論文必須完全獨立。大會提倡審稿人查看作者提交的補充材料，但審稿人并沒有此義務，我們也不希望給審稿人帶來不必要的負擔。作者不得利用輔助材料來延長論文長度。如果作者認為該材料對評估論文至關重要，則需要將其包含在論文中。補充材料可以zip文件或pdf格式提交。

補充材料不公布、不存檔。如果要將其包含在論文的最終版本中，則必須將材料放在網(wǎng)站上，并在論文的最終版本中引用該網(wǎng)站。

審稿人匹配

為了找到適合作者提交論文的合適審稿人，我們將使用多倫多論文匹配系統(tǒng)（Toronto Paper Matching System）來進行協(xié)助篩選。

作為提交過程的一部分，作者需要允許使用“論文匹配服務”的許可，向ICML2019提交論文的作者應允許使用該服務。

關于一稿多投

提交與之前已發(fā)布或已接受的相同（或基本相似）的論文，或向其他會議同時提交相同論文是不合適的。此種行為違反了我們的一稿多投政策。

這個規(guī)則有幾個例外：

允許提交已提交給期刊、但尚未在該期刊上發(fā)表的論文的精簡版本。

作者有責任確保相關期刊允許向本會議同時提交相關論文。

下列情況下的論文允許提交：在未列入Proceeding的情況下，在會議或研討會上提交或待提交的論文（例如ICML或NeurIPS研討會），僅發(fā)表過摘要部分的論文。

曾作為技術報告提交的論文（或在arXiv中已提交的預印本）允許向本屆ICML提交。在這種情況下，我們建議作者不要引用該報告，以保持匿名性。

論文作者對審稿意見的回復

目前暫定3月9日到3月14日期間，作者可以查看評議意見，并發(fā)表回復內容。

作者的回復的目的是改變審稿人對論文的判斷，回復內容最長不超過5000個字符。論文的任何一位作者都可以輸入/編輯作者回復，回復內容可以進行編輯或還原，直到截止日期為止。

論文審稿是雙盲的。請勿在回復中包含可識別出作者/共同作者的任何信息。請勿在回復中包含任何網(wǎng)址。

作者在擬定回復內容時應該做好判斷。沒有必要對每個小問題或改進建議逐一回復。而應該將這些回復視作解決問題的好機會，比如針對審稿人對論文的某一點不確定、審稿人做出的錯誤假設、或者審稿人誤解了論文中的某一部分等問題進行解釋。我們建議在作者回復意見中保持禮貌和專業(yè)。

ICML 2018：接收率25%，兩篇最佳論文回顧

機器學習頂會ICML 2018于7月10日~15日在瑞典首都斯德哥爾摩舉辦，2018年ICML共收到2473篇投稿論文，比2017年的1676篇增加了47.6%。最終入選的論文一共621篇，接收率25%。

ICML 2018最佳論文獎有兩篇獲獎論文，第一篇的作者分別是來自 MIT 的 Anish Athalye 以及來自UC Berkely 的 Nicholas Carlini 和 David Wagner，另一篇的作者則全部來自UC Berkely。

最佳論文一：

Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

Anish Athalye (MIT), Nicholas Carlini (UCB), David Wagner(UCB)

論文地址：https://arxiv.org/pdf/1802.00420.pdf

GitHub：github.com/anishathalye/obfuscated-gradients

基于神經(jīng)網(wǎng)絡的分類器通常被用于圖像分類，它們的水平通常接近人類。但是，這些相似的神經(jīng)網(wǎng)絡特別容易受到對抗樣本和細微的干擾輸入的影響。下圖是一個典型的對抗樣本，對原圖增加一些肉眼看不見的擾動后，InceptionV3分類器把貓分類成了鱷梨醬。根據(jù)Szegedy等人2013年的研究顯示，這種“愚蠢的圖像”僅用梯度下降法就能合成，這類發(fā)現(xiàn)為物體檢測研究敲響了警鐘。

在這篇論文中，作者評估了ICLR 2018接受的9篇論文，并測試了它們面對對抗樣本的穩(wěn)健性。實驗結果證實，在8篇有關對抗樣本的防御機制的論文中，有7篇的防御機制都抵擋不住論文提出的新型攻擊技術，防御水平有限。

最佳論文二：

Delayed Impact of Fair Machine Learning

Lydia Liu, Sarah Dean, Esther Rolf, Max Simchowitz, Moritz Hardt (全員UCB)

論文地址：https://arxiv.org/pdf/1803.04383

博客：bair.berkeley.edu/blog/2018/05/17/delayed-impact/

機器學習的基礎理念之一是用訓練減少誤差，但這類系統(tǒng)通常會因為敏感特征（如種族和性別）產(chǎn)生歧視行為。其中的一個原因可能是數(shù)據(jù)中存在偏見，比如在貸款、招聘、刑事司法和廣告等應用領域中，機器學習系統(tǒng)會因為學習了存在于數(shù)據(jù)中的歷史偏見，對現(xiàn)實中的弱勢群體造成傷害，因而受到批評。

那么，你對于今年的評審結果，還算滿意嗎？