博士總結(jié)整理的ICLR 2019參會(huì)Highlights筆記

ICLR 2019共收到1591篇論文，錄取率為31.7%。這篇55頁(yè)、由布朗大學(xué)博士四年級(jí)學(xué)生David Abel總結(jié)整理的ICLR 2019參會(huì)Highlights筆記，提煉了演講和會(huì)談亮點(diǎn)，通篇干貨！

作為今年上半年表現(xiàn)最為亮眼的人工智能頂會(huì)，ICLR 2019于5月6日至9日在美國(guó)新奧爾良舉行。本屆投稿比去年增長(zhǎng)了近60%，共收到1591篇，錄取率為31.7%。

與往年一樣，本次大會(huì)每天分上午下午兩場(chǎng)。每場(chǎng)形式基本一樣，先是邀請(qǐng)演講（invited talk），然后是討論，也就是被選為能夠進(jìn)行口頭發(fā)表（Oral）的論文、茶歇、海報(bào)展示（poster）。

邀請(qǐng)演講列表：

8個(gè)邀請(qǐng)演講主題：

Cynthia Dwork：算法公平性的進(jìn)展

Leon Bottou：Learning Representations Using Causal Invariance

Emily Shuckburgh：機(jī)器學(xué)習(xí)能否有助于地球健康的檢查

Ian Goodfellow：對(duì)抗機(jī)器學(xué)習(xí)

Pierre-Yves Oudeyer：發(fā)展自主學(xué)習(xí)：人工智能，認(rèn)知科學(xué)和教育技術(shù)

Zeynep Tufekci：雖然我們都擔(dān)心機(jī)器學(xué)習(xí)的失敗，但如果它成功了，潛伏著什么危險(xiǎn)？

Mirella Lapata：用神經(jīng)模型學(xué)習(xí)自然語言界面

Noah Goodman：在上下文中學(xué)習(xí)語言

Criteo AI Lab給出的ICLR 2019提交的研究課題熱度：

今天，人工智能領(lǐng)域最為重要的學(xué)術(shù)會(huì)議之一IJCAI也公布了最終論文接收結(jié)果。IJCAI 2019共收到有效提交論文4752篇，比去年多了近1300篇，接收850篇，接受率為17.9%，相比去年有所下降。主辦方感慨今年論文提交數(shù)量確實(shí)多：

論文收錄結(jié)果出爐后，被收錄的自然紛紛曬出自己的收錄通知；而另一邊，落選者也表達(dá)了自己的遺憾之情。

那么ICLR 2019會(huì)場(chǎng)都有誰上臺(tái)演講了？他們都講了什么？下面新智元為大家?guī)硪环?5頁(yè)的ICLR 2019會(huì)議的Highlights筆記，由布朗大學(xué)博士四年級(jí)學(xué)生David Abel總結(jié)整理，通篇干貨。

David個(gè)人主頁(yè)：

https://david-abel.github.io/

這份筆記共分為3個(gè)部分，首先簡(jiǎn)單介紹了大會(huì)的亮點(diǎn)；接著介紹了第一天的算法公平性演講和一些Workshop；后面主會(huì)部分提煉了部分演講和會(huì)談的亮點(diǎn)。

ICLR亮點(diǎn)：深度學(xué)習(xí)局限引爭(zhēng)論，元學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)最熱門

最近圍繞Rich Sutton的一篇《痛苦的教訓(xùn)》引發(fā)很多討論，也在本次會(huì)議上進(jìn)行了辯論。SPiRL研討會(huì)2的小組討論也有很多關(guān)于這個(gè)主題的見解，SPiRL研討會(huì)非常出色。演講者陣容，演講和小組都很特別。

比較熱門的話題有元學(xué)習(xí)，非常受歡迎，特別是meta RL；還有圖神經(jīng)網(wǎng)絡(luò)。

David表示筆記中涉及到的演講都是他最喜歡的，并特別提出了在RL中學(xué)習(xí)抽象/層次結(jié)構(gòu)的一些非常好的論文，包括Nachum等人的“Near-Optimal Representation Learning for Hierarchical Reinforcement Learning”；Levy等人的“Learning Multi-Level Hierarchies with Hindsight”；Koul等人的“Learning Finite State Representations of Recurrent Policy Networks”。

下面新智元為大家介紹其中部分Keynote內(nèi)容，文末負(fù)有完整筆記PDF文檔供大家下載。

主旨演講1：當(dāng)前算法公平性的進(jìn)展

算法公平性的議題早在9年前就被提出來了，今年是微軟杰出科學(xué)家Cynthia Dwork在這個(gè)領(lǐng)域持續(xù)研究的第八年。她觀察發(fā)現(xiàn)，算法對(duì)我們某些經(jīng)歷的控制越來越嚴(yán)重，比如我們網(wǎng)上觀看的廣告、申請(qǐng)貸款的資質(zhì)、選擇大學(xué)等等。如此一來，算法的公平性就顯得尤為重要，尤其是對(duì)算法越來越依賴的今天。

在Keynote中，Cynthia Dwork提出兩個(gè)觀點(diǎn)：

算方是不公平的，數(shù)據(jù)不具備代表性，標(biāo)簽會(huì)體現(xiàn)出偏見

算法能夠?qū)ξ覀兊纳钇鸬椒浅４蟮母淖?。舉例：

房屋按揭條款

拘留/釋放

藥物和健康

決定一個(gè)孩子是否被從家中送走

很多論文都提到被上述例子震驚到：沒想到算法對(duì)我們的影響如此之大。

接著Dwork給出了算法公平性需要滿足兩個(gè)定義，首先是群體公平性；其次是個(gè)體公平性。

什么是群體公平性呢？舉個(gè)例子，學(xué)生入學(xué)的資格應(yīng)該是平等的；或者，優(yōu)秀班級(jí)和差的班級(jí)應(yīng)該達(dá)成一種平衡。

個(gè)體公平性指的是在給定的分類任務(wù)方面，相似的人應(yīng)該得到類似的對(duì)待。

Dwork提出實(shí)現(xiàn)算法公平性的幾點(diǎn)嘗試，例如可以通過匯總從少數(shù)代表獲得的近似值來實(shí)現(xiàn)視差，彌合群體與個(gè)人公平性之間代溝等。

主旨演講2：利用機(jī)器學(xué)習(xí)對(duì)地球健康進(jìn)行檢查

氣候?qū)W家Emily Shuckburgh提到，地球上二氧化碳濃度增長(zhǎng)迅猛。

最近一項(xiàng)關(guān)于生物多樣性的研究表示，在接下來的幾十年中，將會(huì)有100萬種物種面臨滅絕的危險(xiǎn)。那么機(jī)器學(xué)習(xí)在地球健康檢查中，能夠起到哪些作用呢？

Emily Shuckburgh指出，我們現(xiàn)在迫切需要了解有關(guān)氣候風(fēng)險(xiǎn)的可操作信息，以及從自然災(zāi)害（例如洪水、干旱等）、生物多樣性變化導(dǎo)致的影響、生物鏈和自然世界（例如珊瑚礁，森林，北極海冰，永久凍土等）中發(fā)現(xiàn)潛在的風(fēng)險(xiǎn)和結(jié)果。

目前在地球氣候變化方面，我們有大量可用數(shù)據(jù)，包括來自衛(wèi)星、水下探測(cè)機(jī)器人設(shè)備、探測(cè)器網(wǎng)絡(luò)、電腦的模擬環(huán)境以及眾包。這些數(shù)據(jù)的數(shù)量，遠(yuǎn)遠(yuǎn)超出了我們?nèi)祟惖奶幚砟芰Α?/p>

Emily Shuckburgh認(rèn)為機(jī)器學(xué)習(xí)可以在從3個(gè)方面提供行星健康檢查，分別是：對(duì)行星進(jìn)行監(jiān)控、找出癥結(jié)并進(jìn)行治療。

主旨演講3：利用AI研究?jī)和瘜W(xué)習(xí)行為

法國(guó)國(guó)家信息與自動(dòng)化研究所（Inria）的AI研究員Pierre-Yves Oudeyer提到，孩子是非凡的學(xué)習(xí)者！不需要工程師監(jiān)督他們，手動(dòng)調(diào)整他們的學(xué)習(xí)算法和環(huán)境的每個(gè)方面。

兒童行為的研究，可以為以下3個(gè)領(lǐng)域提供指導(dǎo)：

認(rèn)知科學(xué)：理解人類發(fā)展和學(xué)習(xí)

機(jī)器人：終身和自主學(xué)習(xí)的新理論

在教育技術(shù)中的應(yīng)用

Oudeyer舉了3個(gè)例子：

在機(jī)器人中設(shè)計(jì)運(yùn)動(dòng)和感知原始物的形態(tài)學(xué)，身體生長(zhǎng)和成熟的研究

考慮語言習(xí)得，例如孩子們可以很快學(xué)會(huì)新語言

內(nèi)在動(dòng)機(jī)，游戲和好奇心

主旨演講4：機(jī)器學(xué)習(xí)威脅論

科技社會(huì)學(xué)家Zeynep Tufekci提到科學(xué)是一把雙刃劍，比如很多人從小想當(dāng)物理學(xué)家，結(jié)果許多物理學(xué)家遇到了核武器的問題，科學(xué)領(lǐng)域進(jìn)步面臨大規(guī)模道德問題。

最近在歐洲核子研究中心，700人擔(dān)心如何分配諾貝爾獎(jiǎng)；與此同時(shí)在計(jì)算機(jī)科學(xué)領(lǐng)域，我們擔(dān)心我們的工具會(huì)對(duì)社會(huì)、安全、勞動(dòng)力、氣候、社會(huì)基礎(chǔ)設(shè)施等的影響。

Tufekci提到，我們是這個(gè)世界的一部分，我們開發(fā)出來的工具也是，而這些工具也不一定會(huì)按照我們希望的方式被使用，它可以向善也可以為惡。我們需要擔(dān)心的是：如果機(jī)器學(xué)習(xí)有效，我們?cè)撛趺崔k？我們給了這個(gè)世界什么？