Lipton呼吁：趁還來(lái)得及，還學(xué)術(shù)會(huì)議一個(gè)本來(lái)的面貌吧！

CMU的Zachary Lipton認(rèn)為，NeurIPS、ICML等頂會(huì)正逐漸被行業(yè)侵蝕，變得不再像學(xué)術(shù)會(huì)議，而成了行業(yè)貿(mào)易展，長(zhǎng)此以往，會(huì)將不會(huì)！應(yīng)該立即采取行動(dòng)，鞏固會(huì)議學(xué)術(shù)性質(zhì)，如果非學(xué)者搶到票而學(xué)者卻無(wú)法參會(huì)，這種會(huì)議就該降級(jí)！

2018年的 NeurIPS 參會(huì)人數(shù)多少？

超過(guò) 8000？可喜可賀——才不是！

出去刷個(gè)牙回來(lái)就沒(méi)了票，研究人員想?yún)⒓訁⒓硬涣?，看熱鬧的外行人倒是擠來(lái)一堆。Poster Session 熙熙攘攘，但真正在談?wù)撐牡娜藚s沒(méi)有幾個(gè)。Expo 行業(yè)展廳花枝招攬，企業(yè)酒會(huì)觥籌交錯(cuò)……

是的，這就是現(xiàn)如今的人工智能頂會(huì)，以 NeurIPS、ICML 為代表，參會(huì)人數(shù)越來(lái)越多，看似氣氛越來(lái)越火，連贊助商捧著給錢(qián)都要搶名額。

與此同時(shí)，會(huì)議的學(xué)術(shù)味卻越來(lái)越淡，真心搞研究的人都不想來(lái)參會(huì)了。

CMU助理教授 Zachary C. Lipton 參加完今年 NeurIPS 后，寫(xiě)下了他的真實(shí)感受：學(xué)術(shù)會(huì)議究竟應(yīng)該是什么？不知不覺(jué)間，計(jì)算機(jī)科學(xué)領(lǐng)域的學(xué)術(shù)會(huì)議已被商業(yè)公司侵占；參會(huì)人數(shù)和提交論文的數(shù)量并不能說(shuō)明領(lǐng)域研究的真實(shí)發(fā)展情況，火熱的氣氛并不代表研究的突破。

把學(xué)術(shù)會(huì)議商業(yè)化容易，但反過(guò)來(lái)去很難。如果再不趕緊采取措施，遴選并發(fā)表業(yè)內(nèi)最新研究的會(huì)議將成為各大公司花樣挖人的場(chǎng)所，NeurIPS、ICML 等人工智能領(lǐng)域的學(xué)術(shù)頂會(huì)將變成 CES 般的行業(yè)貿(mào)易展。

作為研究者，Lipton 呼吁：趁還來(lái)得及，還學(xué)術(shù)會(huì)議一個(gè)本來(lái)的面貌吧！

Lipton 從“會(huì)議”的涵義講起，最終落腳到如何扭轉(zhuǎn)現(xiàn)狀，文章不短，但肯定說(shuō)出了很多研究人員的心聲。

你有沒(méi)有想過(guò)，“會(huì)議”究竟指什么？

“會(huì)議”是指什么？一般的定義對(duì)這個(gè)詞只提供了一個(gè)模糊的概述：“兩人或兩人以上開(kāi)會(huì)討論共同關(guān)心的問(wèn)題”(韋氏詞典a)；“通常是正式的意見(jiàn)交流”(韋氏詞典b)；“正式的討論會(huì)”(谷歌a)。

怎樣才是會(huì)議？所有地方的所有集會(huì)都是會(huì)議嗎？會(huì)議需要有多正式？會(huì)議的邊界必須達(dá)成一致嗎？需要指定名稱(chēng)嗎？什么算是討論？一次會(huì)議可以容納多少討論？什么是分會(huì)議?

NeurIPS 2018大會(huì)，一排屏幕讓人難以確定演講者到底站在哪里。來(lái)源見(jiàn)原文。

沒(méi)有上下文，這個(gè)詞就近乎空洞。然而，在專(zhuān)業(yè)領(lǐng)域，例如在計(jì)算機(jī)科學(xué)背景中，這個(gè)詞被賦予了精確的含義。谷歌還提供了一個(gè)更通俗的定義：

通常會(huì)持續(xù)幾天的正式會(huì)議，參會(huì)者是有共同興趣的人，尤其指由一個(gè)協(xié)會(huì)或組織定期舉辦的會(huì)議。

然而，這個(gè)定義也太模糊了，它同樣適用于公司會(huì)議、貿(mào)易展覽、研討會(huì)和出版會(huì)議。它既涵蓋國(guó)際機(jī)器學(xué)習(xí)會(huì)議ICML，也可以指動(dòng)漫展。

漫展

CS 學(xué)術(shù)會(huì)議變質(zhì)了

甚至在學(xué)術(shù)界，這個(gè)詞的含義也大相徑庭，不同領(lǐng)域的學(xué)者在說(shuō)“會(huì)議”的時(shí)候，經(jīng)常是相互無(wú)法理解的。比如，在醫(yī)學(xué)專(zhuān)業(yè)人士中，“會(huì)議”是交流和繼續(xù)教育的論壇。

作為一名生活在經(jīng)濟(jì)學(xué)家和商界人士中的計(jì)算機(jī)科學(xué)家，我發(fā)現(xiàn)，對(duì)我的同事們來(lái)說(shuō)，“會(huì)議”是傳播研究、交流、教學(xué)和招聘的論壇。在展示論文時(shí)，它們是要在拓展論文摘要的基礎(chǔ)上被審查的。它們確切地說(shuō)是計(jì)算機(jī)科學(xué)家所稱(chēng)的“研討會(huì)”(workshop)。

在更廣泛的計(jì)算機(jī)技術(shù)行業(yè)中，“會(huì)議”往往意味著“貿(mào)易展”(trade shows)。其中最著名的CES, Amazon re: Invent，Google I/O, O 'Reilly Strata等會(huì)議擁有龐大、廣泛、主動(dòng)參會(huì)的受眾。除注冊(cè)費(fèi)外，不設(shè)任何資格。它們是商業(yè)和業(yè)務(wù)拓展的專(zhuān)業(yè)聚會(huì)。雖然與會(huì)者和演講者宣揚(yáng)創(chuàng)新和顛覆，但處于中心位置的創(chuàng)新和顛覆是產(chǎn)品和商業(yè)模式，而不是人類(lèi)知識(shí)前沿的進(jìn)步。學(xué)者們可能會(huì)發(fā)言，但只是為了把研究講得淺顯。

在計(jì)算機(jī)科學(xué)中，會(huì)議的形式和安排與其他學(xué)術(shù)領(lǐng)域的會(huì)議相同。學(xué)者們與工業(yè)界的同行分享主題。然而，在計(jì)算機(jī)科學(xué)中，會(huì)議的假定意義又有了新的意義。頂級(jí)會(huì)議的主要功能是作為該領(lǐng)域的主要學(xué)術(shù)成果發(fā)表場(chǎng)所。

最重要的會(huì)議籌備包括在開(kāi)會(huì)前幾個(gè)月開(kāi)展同行評(píng)審過(guò)程 (NeurIPS的評(píng)審過(guò)程提前8個(gè)月)。主會(huì)實(shí)際上是唯一重要的，每次會(huì)議最受關(guān)注的是該年發(fā)表的論文的介紹和認(rèn)可。這些場(chǎng)所的存在是為了促進(jìn)知識(shí)進(jìn)步，其次才是專(zhuān)業(yè)發(fā)展，作為達(dá)到這一目的的一種手段。

學(xué)術(shù)界和技術(shù)界在會(huì)議的具體構(gòu)成上存在著巨大的分歧。但是，在計(jì)算機(jī)科學(xué)會(huì)議的實(shí)踐和組織中，我們很少需要問(wèn)——什么是CS會(huì)議？它的目的是什么？誰(shuí)應(yīng)該來(lái)參會(huì)？會(huì)上應(yīng)該進(jìn)行什么活動(dòng)？這些問(wèn)題一直都有既定的答案，因此從不需要回答。

誰(shuí)會(huì)來(lái)？那些總是來(lái)的人。他們?yōu)槭裁磥?lái)？為了來(lái)展示他們的最新作品，并觀看其他人展示他們的最新作品。應(yīng)該進(jìn)行哪些活動(dòng)？吃東西，聽(tīng)演講，吃東西，展示海報(bào)，吃東西……具體細(xì)節(jié)是由組織者決定的。有些會(huì)議有更好的食物。有些有更好的演講。但是，會(huì)議的本質(zhì)很少需要考慮。

由于一直以來(lái)不需要提出這樣的問(wèn)題，ML社區(qū)對(duì)最近的轉(zhuǎn)變感到驚訝。雖然我們繼續(xù)提供自由注冊(cè)，但參會(huì)人員的構(gòu)成和目的已經(jīng)發(fā)生了變化。隨著贊助攤位從2013年的特設(shè)折疊桌發(fā)展到展覽大廳里的大型裝置，我們只是租用了更大的房間，然后收取更高的贊助費(fèi)。

會(huì)議門(mén)票一年比一年更快售罄，我們不得不承認(rèn)，手慢就無(wú)法出席，甚至是核心研究團(tuán)體中的人 (被接收論文的作者除外) 也不會(huì)出席。

在計(jì)算機(jī)科學(xué)領(lǐng)域我們不習(xí)慣問(wèn)“什么是會(huì)議”，但我們突然發(fā)現(xiàn)這些會(huì)議發(fā)生了變化，卻不清楚是誰(shuí) (如果有人) 決定了這種變化。

短短幾年，NeurIPS畫(huà)風(fēng)突變

我開(kāi)始接觸NeurIPS是在2013年，當(dāng)時(shí)我是一年級(jí)博士生。那時(shí)會(huì)議已經(jīng)在迅速發(fā)展，我遇到的幾乎每一個(gè)人都在從事這一領(lǐng)域的學(xué)術(shù)工作。贊助商部分只有不到10張折疊式辦公桌，分別屬于亞馬遜、谷歌、微軟研究院、Facebook和Skytree。

這些公司似乎主要關(guān)注招聘研究實(shí)習(xí)生。扎克伯格好像出現(xiàn)在一場(chǎng)現(xiàn)場(chǎng)的私人活動(dòng)上，引來(lái)了人們圍觀。

主要會(huì)議的參會(huì)人數(shù)變化。(來(lái)源: AI Index報(bào)告)

兩年后，我參加了在蒙特利爾舉行的NeurIPS 2015會(huì)議，雖然會(huì)議規(guī)模有了很大的增長(zhǎng)，但絕大多數(shù)與會(huì)者仍然是活躍的研究人員。可以說(shuō)，增長(zhǎng)更多地歸功于規(guī)模，而非事件性質(zhì)的根本性轉(zhuǎn)變。

作為會(huì)議增長(zhǎng)的一個(gè)征兆，一半的聽(tīng)眾不得不在自助早餐室觀看大會(huì)特邀報(bào)告，而自助早餐室的面積增加了一倍，成為一個(gè)爆滿(mǎn)的觀看區(qū)。早期跡象不僅是規(guī)模增大，性質(zhì)也在發(fā)生變化，贊助商攤位早已成為大會(huì)的一大特點(diǎn)，而且非官方的聚會(huì)開(kāi)始主導(dǎo)會(huì)后的社交活動(dòng)。

隨著這一變化而來(lái)的是免費(fèi)飲料和無(wú)限享用的點(diǎn)心，但這也對(duì)會(huì)議作為一個(gè)純粹交流意見(jiàn)的場(chǎng)所的作用構(gòu)成了威脅。聚會(huì)已經(jīng)人為地劃分了社會(huì)結(jié)構(gòu)。如果沒(méi)有有意識(shí)地反對(duì)聚會(huì)文化，那么你在任何一個(gè)晚上看到的究竟是誰(shuí)，首先取決于誰(shuí)被邀請(qǐng)參加同一個(gè)聚會(huì)。那年，我在微軟研究實(shí)驗(yàn)室舉辦的一次聚會(huì)上遇到了一位未來(lái)的研究導(dǎo)師。我們一邊談話(huà)一邊走到另一個(gè)由DeepMind主持的論壇上，但由于我們只有一個(gè)人在DeepMind的邀請(qǐng)名單上，談話(huà)不得不中斷。

然而，在那個(gè)時(shí)候，所有想要參加的學(xué)者至少都可以注冊(cè)(只要資金允許)。

從“會(huì)議”到“馬戲團(tuán)”

第二年夏天，我的論文合著者David Kale邀請(qǐng)我在O'Reilly的Strata+Hadoop World大會(huì)上發(fā)表演講，這是一個(gè)大型的行業(yè)會(huì)議。雖然ML社區(qū)的成員可能已經(jīng)開(kāi)始抱怨NeurIPS變得越來(lái)越怪異，但在Strata這個(gè)會(huì)上，我看到了一個(gè)名副其實(shí)的馬戲團(tuán)。

聽(tīng)眾們的身份包括經(jīng)理、開(kāi)發(fā)人員、銷(xiāo)售人員、解決方案架構(gòu)師、營(yíng)銷(xiāo)人員和投資者。大多數(shù)談話(huà)都是些時(shí)髦的詞。大多數(shù)演講的技術(shù)深度還不如一份新聞稿。NeurIPS的贊助間里有大量的t恤和小禮物，看起來(lái)有些多余，但在Strata，這樣的東西占據(jù)了一整層樓。NeurIPS的贊助攤位雖然有些古怪。但在Strata，展覽室是會(huì)議的核心。公司的代表們?cè)谂菽芰洗罱ǖ恼故依飳ふ忆N(xiāo)售機(jī)會(huì)。霓虹燈和高分辨率顯示器是標(biāo)準(zhǔn)配置。

第一次，研究人員被拒絕參加學(xué)術(shù)頂會(huì)

僅僅兩年后，在NeurIPS 2017(加州長(zhǎng)灘)的前期，研究人員驚訝地發(fā)現(xiàn)，甚至在研討會(huì)論文的接收結(jié)果公布之前，注冊(cè)(越來(lái)越多地稱(chēng)為“門(mén)票”)就已經(jīng)售罄。雖然一些已被接受的研討會(huì)論文的作者最終獲得了額外的名額，但并非所有論文的作者都能參加。

也許是第一次，研究論文的作者(除第一作者外)被拒絕參加會(huì)議，而優(yōu)先考慮的是一大批非學(xué)術(shù)界人士——招聘人員、經(jīng)理、投資者、開(kāi)發(fā)人員和記者——僅僅因?yàn)樗麄儞屍狈磻?yīng)更快。

受這一荒謬現(xiàn)象的啟發(fā)，我在不久后寫(xiě)了一篇諷刺文章，宣稱(chēng)ICML甚至在征稿通知公布之前就已經(jīng)售罄。雖然歸類(lèi)為諷刺，但許多已經(jīng)習(xí)慣這個(gè)領(lǐng)域的怪異現(xiàn)象的讀者還是以為是真事。這篇文章被一些AI通訊(包括紐約大學(xué)官方的數(shù)據(jù)科學(xué)通訊)轉(zhuǎn)載并作為新聞傳播。一些ICML的組織者誠(chéng)懇地要求我撤掉這篇文章，他們擔(dān)心，盡管這篇文章帶有明顯的諷刺意味，但卻讓潛在的與會(huì)者感到痛苦。他們并不贊同我的觀點(diǎn)，即這就是諷刺作品的根本目的，促使讀者意識(shí)到現(xiàn)實(shí)已經(jīng)如此地走向荒謬。

今年，從12月3日到8日，有8000名研究人員注冊(cè)參加了2018年的NeurIPS大會(huì)。同樣，由于供不應(yīng)求，參會(huì)人經(jīng)過(guò)了審查。

供需不平衡很?chē)?yán)重，以至于會(huì)議門(mén)票在12分鐘內(nèi)售罄了。

也許這是第一次，大多數(shù)沒(méi)有(任何)會(huì)議論文、沒(méi)有第一作者研討會(huì)論文或在社區(qū)中沒(méi)有高級(jí)地位的研究人員不能參加這個(gè)會(huì)議。一些初級(jí)作者拼湊出了研討會(huì)提交的材料，不是為了學(xué)術(shù)興趣，而是為了獲得一張彩票，這張彩票可能有40-50%的概率成為一個(gè)注冊(cè)機(jī)會(huì)。然而，由于許多研究人員在觀望，25%的空座中有許多被旁觀者搶購(gòu)一空。

今年，我第一次發(fā)現(xiàn)在大廳里的研究人員比前一年要少。這可能是由于研究人員被拒絕入場(chǎng)，研究人員選擇不參加這次會(huì)議，以及參加會(huì)議的人數(shù)更多。許多受邀的演講，雖然還算吸引人，但卻相當(dāng)大眾化，因此應(yīng)該會(huì)在TED上很受歡迎。在我看來(lái)，這次會(huì)議的性質(zhì)明顯地偏離了研究。

雖然NeurIPS在包容性上邁進(jìn)了一大步——機(jī)器學(xué)習(xí)領(lǐng)域的女性和黑人依然是本次會(huì)議的亮點(diǎn)——但在傳統(tǒng)上沒(méi)有人需要擔(dān)心的維度上卻出現(xiàn)了巨大的缺陷。會(huì)議努力確保研究界本身的參與。隨著容量的限制和注冊(cè)量的增加，注冊(cè)變成了一個(gè)零和游戲。

參會(huì)人數(shù)多不代表研究做得好；學(xué)術(shù)會(huì)議該把學(xué)者聚在一起

那些死氣沉沉的報(bào)道，媒體的也好，圈內(nèi)人寫(xiě)的也罷，比如AI Index 2018，通過(guò)參會(huì)人數(shù)、提交論文數(shù)量、投資額等數(shù)據(jù)來(lái)粗略總結(jié)人工智能領(lǐng)域的發(fā)展。這些統(tǒng)計(jì)數(shù)據(jù)是很好，表明 AI 在發(fā)展，但其本身毫無(wú)意義。會(huì)議是什么，論文代表什么，AI 界同仁實(shí)際在做什么，都在抽取這些指標(biāo)的過(guò)程中丟失了，從這些指標(biāo)里完全看不出來(lái)研究的真實(shí)情況。

我們應(yīng)該把互聯(lián)網(wǎng)時(shí)代的新聞視為一個(gè)警示故事。隨著消費(fèi)者轉(zhuǎn)向單點(diǎn)消費(fèi)模式，我們突然之間就能跟蹤和觀察代表“成功”的量化指標(biāo)（比如點(diǎn)擊次數(shù)、印象數(shù)、粉絲數(shù)），新聞媒體的特征在迅速變化。

在追求這些短視數(shù)據(jù)指標(biāo)的過(guò)程中，我們喪失了對(duì)新聞報(bào)道本質(zhì)的理解。如今，單看衡量網(wǎng)絡(luò)內(nèi)容“成功”的關(guān)鍵指標(biāo)，分不出來(lái)其內(nèi)容是新聞還是色情，正如我們對(duì)人工智能領(lǐng)域發(fā)展和成功的衡量標(biāo)準(zhǔn)無(wú)法區(qū)分機(jī)器學(xué)習(xí)和行業(yè)貿(mào)易展一樣。

學(xué)術(shù)會(huì)議在突然之間就變成了貿(mào)易展覽會(huì)，這應(yīng)該引發(fā) AI 領(lǐng)域所有成員的警惕，并確保立即采取行動(dòng)，鞏固學(xué)術(shù)會(huì)議應(yīng)有的性質(zhì)——最重要的是將學(xué)界的人聚集在一起。

一個(gè)積極好學(xué)的博士生，不應(yīng)該因?yàn)橛型庑腥藚⒄苟痪苤T(mén)外。就連那些可以參會(huì)的人，如今學(xué)術(shù)會(huì)議的變味也讓他們中越來(lái)越多的研究人員不去參會(huì)，而是選擇將他們的時(shí)間分配給更小、更學(xué)術(shù)的小型論壇。

我們應(yīng)該組建一個(gè)最高級(jí)別的工作組來(lái)關(guān)注這一事件，并且設(shè)定一個(gè)獎(jiǎng)懲機(jī)制，當(dāng)論文的第二、第三、第四作者無(wú)法參加一個(gè)展示自己工作的專(zhuān)業(yè)會(huì)議，而成百上千的非學(xué)者卻搶得門(mén)票時(shí)，堅(jiān)決給這種會(huì)議降級(jí)。

再不采取措施就來(lái)不及了！

在 NeurIPS 和 ICML 被這股洶涌的洪流沖刷成行業(yè)貿(mào)易展的平灘之前，在本應(yīng)必須出席的 poster session 不可逆地轉(zhuǎn)變?yōu)樯缃粓?chǎng)所之前，我們只有非常有限的時(shí)間來(lái)采取措施，增強(qiáng)這些會(huì)議的學(xué)術(shù)性，將其還給學(xué)界，還原成研究者的聚會(huì)場(chǎng)所。

那么，我們現(xiàn)在可以做什么？這里有一些建議：

1、設(shè)定兩個(gè)月僅對(duì)學(xué)界開(kāi)放的注冊(cè)期限

在會(huì)議開(kāi)放注冊(cè)后的 2 個(gè)月，只允許學(xué)者注冊(cè)。這里的“學(xué)者”，可以是現(xiàn)在的學(xué)生和老師，也可以是過(guò)去論文的作者，這段時(shí)間應(yīng)該一直到持續(xù)到確定會(huì)上將舉辦哪些 workshop 為止。

2、決定 NeurIPS（哪些部分）對(duì)外公開(kāi)

今年的會(huì)議對(duì)媒體處理不當(dāng)：媒體被禁止參加 workshop，搞得好像 NeurIPS 是什么高端機(jī)密大會(huì)一樣，不是的！這是因?yàn)闀?huì)務(wù)組沒(méi)有意識(shí)到，今年的會(huì)議已經(jīng)成了一場(chǎng)公共活動(dòng)。

簡(jiǎn)而言之，會(huì)議的每個(gè)部分都必須是明確是面向公眾的還是僅面向?qū)W者的。向公眾開(kāi)放的部分也必須向記者開(kāi)放。如果我們對(duì)記者參會(huì)都不滿(mǎn)意，那為什么我們不介意跟公司高管坐在一起講論文呢？

3、縮小或者放低 Expo 展覽的規(guī)模

展示行業(yè)相關(guān)內(nèi)容的 Expo 大廳把人們對(duì)學(xué)術(shù)的大部分注意力都吸引過(guò)了。展廳里擺滿(mǎn)了免費(fèi)的小玩意，免費(fèi)的食物，舒適的座位，還有花費(fèi)數(shù)百萬(wàn)美元搭建的景觀。科學(xué)講座和 poster 沒(méi)辦法跟 CES 式的豪華展廳相競(jìng)爭(zhēng)，也不應(yīng)該跟這種展廳競(jìng)爭(zhēng)。

一個(gè)可行的方法或許是，在某些日子或特定時(shí)間關(guān)閉 Expo 展廳。相比之下，今年的 EMNLP 就要好得多。休息的時(shí)候，人們會(huì)在展會(huì)廳里聚一起談東談西，但大多數(shù)的學(xué)術(shù)講座他們（包括公司代表）都參加了。

4、改革贊助商活動(dòng)，向所有研究人員開(kāi)放：

公司想在會(huì)議上招賢納士的想法是完全合情合理的。在每天的會(huì)議結(jié)束后和 after hour 時(shí)間段公司想要做什么，也不是會(huì)務(wù)組能管得了的。但是，或許可以讓贊助商簽一份協(xié)議，改變他們的活動(dòng)內(nèi)容（可能需要共同努力），將所有的研究人員都納入進(jìn)來(lái)。

當(dāng)前的情況是，這些 party 上聚滿(mǎn)了有人脈的人（無(wú)論學(xué)科）、潛力股或好苗子（優(yōu)秀且有些名氣的博士生和初級(jí)研究員），還有知名的研究人員。

但是，最應(yīng)該從這些活動(dòng)中受益的人，最應(yīng)該通過(guò)這些活動(dòng)結(jié)識(shí)潛在雇主、顧問(wèn)和導(dǎo)師的年輕研究人員卻被排除在外。