NIPS 2018又出事了：審稿信息泄露，雙盲評(píng)審失效！

NIPS 2018又出事了：審稿信息泄露，由于論文提交CMT系統(tǒng)的重大漏洞，審稿人可以判斷出單篇論文的姓名和機(jī)構(gòu)，讓雙盲評(píng)審失效！不僅如此，本屆NIPS毫無(wú)征兆地砍掉了一個(gè)歷史悠久的Workshop，加上此前初審結(jié)果怨聲載道，這屆NIPS，真讓人捏一把汗。

如果說(shuō)2017年的NIPS以一張注冊(cè)人數(shù)如火箭沖天般的表格創(chuàng)造了記錄，那么，2018年的NIPS則凸顯了當(dāng)前火熱不退、幾近高燒的人工智能/深度學(xué)習(xí)領(lǐng)域蟄伏的諸多問(wèn)題。

審稿信息泄露，雙盲評(píng)審失效！

8月7日，就在NIPS初審結(jié)果rebuttal進(jìn)行的過(guò)程當(dāng)中，有人發(fā)現(xiàn)NIPS 2018的審稿系統(tǒng)出現(xiàn)了嚴(yán)重的信息泄露，本就頗受詬病的評(píng)審過(guò)程，又一次出現(xiàn)問(wèn)題。

事情是這樣的，跟其他會(huì)議一樣，NIPS 2018也采用MS CMT3系統(tǒng)進(jìn)行論文的提交及審核。

作為這次會(huì)議的一位審稿人，sweichwald 發(fā)現(xiàn)該系統(tǒng)服務(wù)器中有一個(gè)嚴(yán)重的漏洞，讓“作者/機(jī)構(gòu)/公司”的雙盲性以及由此造成的評(píng)審公正和平等遭到破壞：

問(wèn)題發(fā)生在所有提交論文的列表是不是靜態(tài)的，而是根據(jù)審稿人的域名（也即姓名/機(jī)構(gòu)/公司）在不斷更新。

當(dāng)審稿人輸入域名沖突的信息時(shí)，CMT系統(tǒng)會(huì)自動(dòng)過(guò)濾掉有域名相沖突的論文；因此，審稿人通過(guò)輸入或者不輸入某個(gè)域名沖突，再根據(jù)CMT系統(tǒng)給出的兩個(gè)論文列表，就能明確哪些論文是屬于哪個(gè)域名，換句話說(shuō)，也就相當(dāng)于能夠知道哪些論文是屬于哪位作者或哪個(gè)單位的了。

sweichwald指出，盡管會(huì)議規(guī)定采用雙盲評(píng)審，但NIPS論文審稿平臺(tái)本身允許這樣主動(dòng)暴露論文提交人姓名和論文所屬機(jī)構(gòu)/公司的做法，而且還能匹配到特定的單篇論文，屬于重大過(guò)失（culpable negligence）。

當(dāng)系統(tǒng)存在這樣的漏洞時(shí)，很可能被人利用，讓雙盲評(píng)審機(jī)制失效。不僅如此，由于知道了論文的所屬機(jī)構(gòu)，某些審稿人很可能有意選擇特定單位的論文進(jìn)行評(píng)審，進(jìn)而導(dǎo)致評(píng)審結(jié)果出現(xiàn)偏差。

實(shí)際上，sweichwald是在偶然之下發(fā)現(xiàn)了CMT系統(tǒng)的這個(gè)漏洞：當(dāng)時(shí)，他因?yàn)橥浟?，不小心輸入了一個(gè)沖突的域名，結(jié)果發(fā)現(xiàn)返回得到的論文總數(shù)變少了。

于是，他對(duì)比了一下名單，找出兩份列表中不同的某篇論文，私底下向一位同事確認(rèn)，在沒(méi)有讓對(duì)方直接告訴他后者論文題目和摘要的情況下，通過(guò)兩人交換的信息，sweichwald完全肯定，他看到的論文就是他同事提交的那一篇。

在寫(xiě)給NIPS AC的郵件里，sweichwald表示根據(jù)審稿規(guī)定，他重新輸入了正確的域名，同時(shí)保證自己不會(huì)作為那篇論文的評(píng)審。

多人連續(xù)發(fā)現(xiàn)系統(tǒng)漏洞，好在修復(fù)比較及時(shí)

除了sweichwald以外，還有多位審稿人也發(fā)現(xiàn)并舉報(bào)了這個(gè)系統(tǒng)漏洞，但是卻沒(méi)有得到NIPS方面的回復(fù)。

需要指出，這個(gè)問(wèn)題與事先將論文上傳到arXiv等預(yù)印本網(wǎng)站或其他意外泄露身份的情況有著根本的不同：這是存在于整個(gè)論文提交和審稿底層系統(tǒng)的問(wèn)題，而且CMT3系統(tǒng)也被其他1000多個(gè)使用雙盲和單盲評(píng)審的學(xué)術(shù)會(huì)議使用，這就意味著其他會(huì)議的評(píng)審公正性很可能也遭到了破壞。

根據(jù)CMT官網(wǎng)，2016年，CMT系統(tǒng)已用于1000多個(gè)國(guó)際會(huì)議、研討會(huì)和各種其他項(xiàng)目的學(xué)術(shù)論文提交與審核，涉及上萬(wàn)篇論文和上千名審稿人。使用CMT的會(huì)議包括：

國(guó)際機(jī)器學(xué)習(xí)大會(huì)（ICML）

神經(jīng)信息處理系統(tǒng)進(jìn)展大會(huì)（NIPS）

國(guó)際人工智能和統(tǒng)計(jì)會(huì)議（AISTATS）

人工智能不確定性會(huì)議（UAI）

IEEE計(jì)算機(jī)視覺(jué)模式識(shí)別會(huì)議（CVPR）

國(guó)際計(jì)算機(jī)視覺(jué)會(huì)議（ICCV）

歐洲計(jì)算機(jī)視覺(jué)會(huì)議（ECCV）

亞洲計(jì)算機(jī)視覺(jué)會(huì)議（ACCV）

英國(guó)機(jī)器視覺(jué)會(huì)議（BMVC）

IEEE國(guó)際數(shù)據(jù)工程大會(huì)（ICDE）

ACM數(shù)據(jù)管理特別興趣小組（SIGMOD）

超大型數(shù)據(jù)庫(kù)國(guó)際會(huì)議（VLDB）

國(guó)際IEEE數(shù)據(jù)壓縮會(huì)議（DCC）

IEEE多媒體與博覽國(guó)際會(huì)議（ICME）

CMT最初是為ACM SIGKDD 1999開(kāi)發(fā)的。從那時(shí)起，CMT經(jīng)歷了幾次重大改進(jìn)和擴(kuò)展，迄今已在數(shù)千個(gè)會(huì)議中使用過(guò)。

5月29日，sweichwald 向NIPS 2018的領(lǐng)域主席和CMT系統(tǒng)管理員匯報(bào)這一系統(tǒng)漏洞。5月31日，NIPS會(huì)務(wù)組給出了回復(fù)，表示他們已經(jīng)注意到這個(gè)問(wèn)題，并建議前者在系統(tǒng)完全處理好之后，再將此事公布。

NIPS會(huì)務(wù)組的回復(fù)，表示已經(jīng)有多人提醒他們這一漏洞，會(huì)盡快修復(fù)系統(tǒng)，并讓sweichwald在事情解決前先不要聲張

8月2日，包括其他使用CMT的會(huì)議在內(nèi)系統(tǒng)全部得到修復(fù)。

現(xiàn)在，對(duì)于雙盲評(píng)審的會(huì)議，CMT系統(tǒng)讓任何人都不能更新他們的沖突域名，而審稿人在見(jiàn)到任何論文前，只有一次輸入域名的機(jī)會(huì)。

根據(jù)官方反饋，目前沒(méi)有發(fā)現(xiàn)其他CS/AI學(xué)術(shù)會(huì)議的審稿信息遭到泄露。

砍掉舉辦連續(xù)10年唯一的計(jì)算生物學(xué)Workshop

NIPS 2018的事件還沒(méi)說(shuō)完。

同樣在8月7日，有學(xué)者反映本屆NIPS無(wú)故砍掉了ML for Compbio（MLCB）workshop，這是一個(gè)有關(guān)機(jī)器學(xué)習(xí)領(lǐng)域中計(jì)算生物學(xué)的研討會(huì)，也是NIPS唯一有關(guān)計(jì)算生物學(xué)的研討會(huì)，已經(jīng)連續(xù)舉辦了10年，而且2017年的論文提交數(shù)量創(chuàng)下了歷史記錄。

計(jì)算生物學(xué)是生物學(xué)的一個(gè)分支。根據(jù)美國(guó)國(guó)家衛(wèi)生研究所（NIH）的定義，它是指開(kāi)發(fā)和應(yīng)用數(shù)據(jù)分析及理論的方法、數(shù)學(xué)建模和計(jì)算機(jī)仿真技術(shù)，用于生物學(xué)、行為學(xué)和社會(huì)群體系統(tǒng)的研究的一門(mén)學(xué)科。

計(jì)算生物學(xué)定義廣泛，是包括計(jì)算機(jī)科學(xué)，應(yīng)用數(shù)學(xué)，動(dòng)畫(huà)，統(tǒng)計(jì)學(xué)，生物化學(xué)，化學(xué)，生物物理學(xué)，分子生物學(xué)，遺傳學(xué)，基因組學(xué)，生態(tài)學(xué)，進(jìn)化，解剖學(xué)，神經(jīng)科學(xué)和科學(xué)可視化的基礎(chǔ)。

諷刺的是，當(dāng)向NIPS提交論文的時(shí)候，“Combio”仍然屬于子領(lǐng)域之一。

有人在Twitter上感嘆，究竟有多少學(xué)計(jì)算機(jī)的人知道計(jì)算生物學(xué)與“AI醫(yī)療”或“AI臨床應(yīng)用”是完全不同的概念？

如果說(shuō)領(lǐng)域日漸凋零也就算了，但正如前文所說(shuō)，2017年該workshop的論文提交數(shù)量創(chuàng)下了歷史記錄，當(dāng)時(shí)workshop參會(huì)還排起了長(zhǎng)隊(duì)，展示和討論一直很活躍。

由此，Twitter上出現(xiàn)了很多表示遺憾的聲音。

往好處想，這或許也是MLCB自己獨(dú)立出來(lái)，成為一個(gè)單獨(dú)學(xué)術(shù)會(huì)議的機(jī)會(huì)。

不然又該怎么辦呢？

新增非洲、拉丁美洲、同性戀和猶太人 AI Workshop

但是，這屆NIPS也不全是壞消息。

根據(jù)“機(jī)器學(xué)習(xí)包容性”這個(gè)賬號(hào)，本屆NIIPS變得更加包容和多樣——除了此前已有的女性機(jī)器學(xué)習(xí)workshop（WIML），還新增了非洲AI、拉丁美洲AI、同性戀AI 和猶太人AI 這幾個(gè)workshop。

NIPS將變得更加包容和多樣，這當(dāng)然是好事一樁。但同時(shí)也忍不住讓人去想，或許這就是計(jì)算生物學(xué)workshop被砍掉的原因？

畢竟場(chǎng)地只有那么大，而2017年的NIPS注冊(cè)人數(shù)已經(jīng)高達(dá)8500人。

在四川，8000多人因高溫?cái)D進(jìn)泳池。來(lái)源：四川在線

當(dāng)然，NIPS 2017上也有寂寞的身影，圖靈獎(jiǎng)得主、貝葉斯網(wǎng)絡(luò)之父Judea Pearl的演講聽(tīng)眾就寥寥無(wú)幾。

NIPS 2017圖靈獎(jiǎng)得主Judea Pearl落寞的身影。圖片來(lái)源：周志華

但是沒(méi)問(wèn)題，現(xiàn)在Judea Pearl也在Twitter等社交網(wǎng)絡(luò)上活躍起來(lái)，關(guān)注人數(shù)也漲到9100多，大家對(duì)因果學(xué)習(xí)/模型的熱情重新燃起，這次如果他再有講座，應(yīng)該也會(huì)座無(wú)虛席吧。