谷歌大腦高級研究科學(xué)家：機(jī)器學(xué)習(xí)六年讀博經(jīng)歷中的經(jīng)驗(yàn)與教訓(xùn)

機(jī)器學(xué)習(xí)讀博是什么體驗(yàn)？期間遇到的挫折與挑戰(zhàn)又要如何應(yīng)對？ 在ML領(lǐng)域小有名氣的青年科學(xué)家Maithra Raghu總結(jié)了自己在六年讀博經(jīng)歷中所汲取的經(jīng)驗(yàn)與教訓(xùn)，希望能夠?qū)φ?將要攻讀機(jī)器學(xué)習(xí)博士學(xué)位的學(xué)生有所幫助。 Maithra Raghu于2020年從康奈爾大學(xué)畢業(yè)，獲得CS博士學(xué)位。在Maithra讀博的六年里，機(jī)器學(xué)習(xí)領(lǐng)域的研究參與人員越來越多（2014年NeurIPS的投稿者大約是兩千人，2020年已達(dá)到兩萬人），而Maithra本人也在機(jī)器學(xué)習(xí)領(lǐng)域取得了重大進(jìn)步。 Maithra曾在2019年當(dāng)選“福布斯30位30歲以下科學(xué)精英排行榜”，2018年被評為“MIT EECS Rising Stars”，主要研究領(lǐng)域?yàn)?a href="http://www.wenjunhu.com/v/tag/448/" target="_blank">深度學(xué)習(xí)與醫(yī)療的結(jié)合。目前，Maithra Raghu在谷歌大腦擔(dān)任高級研究科學(xué)家。 個(gè)人主頁：https://maithraraghu.com/

1

讀博前的期望

對于許多選擇讀博（尤其是本科畢業(yè)后直接讀博）的人來說，博士生涯并不能被稱得上愉快，但Maithra認(rèn)為，博士學(xué)習(xí)就像一段“旅行”。一般來說，完成ML博士學(xué)習(xí)需要5到6年，在這個(gè)學(xué)習(xí)過程中，你不僅可以學(xué)習(xí)到ML領(lǐng)域的研究技巧與知識，還可以根據(jù)自己的興趣決定你所想要研究的問題，探索ML不同子領(lǐng)域的魅力，更能接收到學(xué)術(shù)界/產(chǎn)業(yè)界/政策/非營利組織的不同研究成果等。

不斷變化的個(gè)人喜好將影響你在讀博期間決定從事的研究工作，甚至影響你之后所選擇的博士后職業(yè)道路。不過，尤其是在博士學(xué)習(xí)剛開始時(shí)，個(gè)人研究興趣如何演變是很難預(yù)測的。就Maithra個(gè)人而言，在剛開始讀博時(shí)，她認(rèn)為自己是要進(jìn)入工業(yè)界的，讀博期間又考慮從事學(xué)術(shù)研究，讀博后期卻又堅(jiān)決地拒絕了學(xué)術(shù)界的offer，決定留在工業(yè)界做研究。因此，她認(rèn)為，讀博可以一步一步來，最重要的是充分利用讀博期間的學(xué)習(xí)/研究/社交經(jīng)驗(yàn)，而不是實(shí)現(xiàn)某項(xiàng)預(yù)期目標(biāo)。目標(biāo)也許會變，但沒必要糾結(jié)，免得給自己帶來不必要的壓力。

2

讀博期間的普遍挑戰(zhàn)

攻讀博士學(xué)位（尤其是ML博士）能夠?yàn)閭€(gè)人帶來巨大的收獲，使你有機(jī)會為基礎(chǔ)科學(xué)理解與重大的技術(shù)應(yīng)用做出貢獻(xiàn)。但是，讀博所需的時(shí)長，以及讀博期間的各種不確定性，使讀博充滿挑戰(zhàn)。Maithra的讀博生涯也是坎坷不斷，常常感到孤獨(dú)、受挫，或因?yàn)榧庇谇蟪啥炎约簤嚎?。這些現(xiàn)象在讀博群體中十分常見。作為過來人，Maithra分享了自己的一些經(jīng)驗(yàn)與策略：

研究陷入僵局時(shí)讀博時(shí)的一個(gè)普遍挑戰(zhàn)是：某個(gè)項(xiàng)目或研究過程受阻，陷入僵局，無法繼續(xù)進(jìn)行下去。 如果你很努力地推進(jìn)某個(gè)項(xiàng)目，但沒有取得任何進(jìn)展，那么你可以嘗試：

資料整理：搜集所有實(shí)驗(yàn)結(jié)果、數(shù)學(xué)方法、隨手記錄研究動機(jī)的筆記等等，并花點(diǎn)時(shí)間將這些信息匯集起來，嘗試寫一篇文章。這個(gè)過程可以幫助你了解目前研究所處的位置，以及當(dāng)下研究狀態(tài)與研究目標(biāo)的差距在哪里。

中心點(diǎn)：如果是項(xiàng)目的某個(gè)部分無法正常運(yùn)作，那么是否可以重新確定研究問題（也許是從相關(guān)工作中汲取靈感），以使研究更容易進(jìn)行呢？

建立聯(lián)系：當(dāng)前項(xiàng)目所關(guān)注的領(lǐng)域與其他研究領(lǐng)域之間是否存在聯(lián)系？可以在這個(gè)研究項(xiàng)目中探索這種聯(lián)系嗎？這既可以幫助推進(jìn)研究，也可以使項(xiàng)目與其他領(lǐng)域產(chǎn)生更廣泛的聯(lián)系。

獲得論文反饋：從研究同行、合作者和朋友那里獲得關(guān)于項(xiàng)目論文的反饋也可能會有所幫助。他們也許能夠提供新的觀點(diǎn)或改進(jìn)建議。

參加Workshop：把論文提交到Workshop也有用。這個(gè)方法也能幫助整合所有研究結(jié)果，并獲得有用的反饋。（Maithra提到，她從機(jī)器學(xué)習(xí)會議上的workshop中獲得了許多收益，因?yàn)樗梢杂懻?獲取有關(guān)當(dāng)前方向的反饋，并見到同一領(lǐng)域的其他研究人員。）

及時(shí)止損：有時(shí)候，一個(gè)項(xiàng)目在剛開始時(shí)前景很好，但很難正常運(yùn)行，項(xiàng)目本身對重新建立框架，或與其他領(lǐng)域建立聯(lián)系都具有挑戰(zhàn)性。在這張情況下，最好的方法也許是迅速中止項(xiàng)目，轉(zhuǎn)到其他研究。如果之前的項(xiàng)目已經(jīng)取得部分成果，可以針對這些成果撰文并進(jìn)行分享，取得合作者的同意與最終反饋，將論文發(fā)表為arXiv預(yù)引文或Workshop論文。

如果你不是被某個(gè)特定的項(xiàng)目困擾，而是對研究過程感到不知所措，那么可能是因?yàn)槟阌X得研究成熟度，尤其是自己的研究水平，很難衡量。在讀博中途，Maithra開始從事醫(yī)療應(yīng)用的研究，但在了解這個(gè)領(lǐng)域與撰寫論文上的進(jìn)展都很慢。為此，她感到很迷茫、沮喪。后來，她重新讀了一遍她在博士初始階段所完成的文章，發(fā)現(xiàn)她對論文結(jié)果的深度與背景的了解與之前的情況截然不同。

衡量研究成熟度的幾個(gè)關(guān)鍵指標(biāo)，如了解研究結(jié)果背后更廣泛的背景，在不同領(lǐng)域之間建立聯(lián)系，迅速定位你所研究的子領(lǐng)域的重要成果等等，并無法迅速轉(zhuǎn)化為有形的產(chǎn)出（如形成更多論文）。但是，這些指標(biāo)對成為具有豐富研究視野的獨(dú)立研究人員至關(guān)重要，這也是博士生涯的主要研究目標(biāo)。而且，如果你一直閱讀論文，了解你的研究領(lǐng)域并親自決定你的研究方向，包括教學(xué)/指導(dǎo)學(xué)生等，那么你是很有可能在這些方面取得重要進(jìn)步的。

與時(shí)俱進(jìn)感到費(fèi)力時(shí)

機(jī)器學(xué)習(xí)是一個(gè)充滿活力、節(jié)奏快的領(lǐng)域，很容易被大量新論文、新預(yù)印論文、新博客文章、新實(shí)現(xiàn)、新框架等等淹沒。 如何掌握機(jī)器學(xué)習(xí)領(lǐng)域的最新動態(tài)呢？Maithra的策略如下：

1、掌握能夠快速查找相關(guān)論文的參考鏈接：比如訂閱arXiv上的stat.ML cs.LG郵件列表，arXiv-sanity，推特，或者是reddit / MachineLearning，paperswithcode和 Semantic Scholar/ Google Scholar等。

2、做一個(gè)論文閱讀清單：列出你所發(fā)現(xiàn)的有趣的、但暫時(shí)沒有時(shí)間閱讀的論文，等有時(shí)間再回去閱讀。

3、制定一個(gè)論文閱讀策略：如果一篇論文與你正在積極研究的方向非常接近，那就詳細(xì)閱讀；如果相關(guān)度不大，那就讀一下摘要，截取幾張重要的照片。

4、偶爾讀一下其他領(lǐng)域的論文（可能一年一次），看看其他領(lǐng)域正在研究的內(nèi)容。 還有兩個(gè)比較有幫助的點(diǎn)是記住：（1）每個(gè)人都會對論文發(fā)表的概率感到著急；（2）許多論文也許都是基于一個(gè)相同的基本思想，只要掌握這一個(gè)思想，就能跟上整個(gè)領(lǐng)域的發(fā)展。

感到孤獨(dú)時(shí)讀博期間的另一個(gè)共同挑戰(zhàn)是與孤獨(dú)作斗爭。Maithra談到，在攻讀博士學(xué)位的前幾年，有些項(xiàng)目要求她將精力集中在非常狹窄的某些問題上，這些問題也非常耗費(fèi)精力，并且看起來似乎永遠(yuǎn)也完成不了。在這些時(shí)期，你會感到與其他研究人員和領(lǐng)域完全割裂。 廣泛而言，這種情況在博士早期比較常見，因?yàn)槟菚r(shí)你正開始學(xué)習(xí)如何從頭到尾進(jìn)行一個(gè)研究項(xiàng)目，但與此同時(shí)，你與其他研究人員/領(lǐng)域的聯(lián)系卻很少。與研究領(lǐng)域/社交群體保持聯(lián)系，可以確保你不會感到被孤立。

你可以：（1）與高年級的學(xué)生/博士后建立合作；（2）從導(dǎo)師/實(shí)驗(yàn)室/其他同僚等方面獲得你所取得的工作進(jìn)步的反饋；（3）積極參與其他社交圈，無論是參會，指導(dǎo)學(xué)生還是組織workshop等。

3

3個(gè)有用技能

在討論了讀博期間面臨的一些常見挑戰(zhàn)以及解決這些挑戰(zhàn)的方法后，下文將介紹一些有利于取得研究進(jìn)展的注意事項(xiàng)。 Maithra發(fā)現(xiàn)，在讀博期間，個(gè)人身上的三個(gè)技能非常有用：主動性、專注力和毅力。 與本科學(xué)習(xí)相比，Maithra發(fā)現(xiàn)，讀博期間的一個(gè)明顯不同點(diǎn)是博士生需要采取主動行動。所謂主動，可以是閱讀重要的相關(guān)論文，對不同方法的可行性進(jìn)行快速的初步研究，與進(jìn)行相關(guān)研究的同行交談 ，還可以是參加會議，并成為會議的積極活躍分子。由于博士學(xué)位的完成時(shí)間不確定，所以論文的生產(chǎn)力在很大程度上是取決于你學(xué)習(xí)和進(jìn)行研究的主動性。

此外，Maithra認(rèn)為，在開始新的研究方向時(shí)，專注力非常重要，能夠幫助你精讀相關(guān)工作，提取關(guān)鍵信息，從最初的有限探索中快速學(xué)習(xí)，并確定項(xiàng)目的主要研究方向。 另一方面，毅力也很重要：一篇論文在提交前、提交后，或者回復(fù)同行評審、論文被拒時(shí)，通常都需要進(jìn)行大量的編輯/資料添加。大量的論文編輯工作，尤其是在為二次提交做準(zhǔn)備、同時(shí)又進(jìn)行新的研究項(xiàng)目時(shí)，你很難有修改與編輯的動力。但同行評審過程的靈活性，又往往意味著論文值得你堅(jiān)持修改與寫作。

4

記錄文獻(xiàn)閱讀和研究思路

Maithra在整個(gè)讀博期間，一直更新著兩個(gè)文檔。一個(gè)是第一年開始更新，另一個(gè)是第三年開始更新。 第一個(gè)記錄了她閱讀過的論文，每次Maithra閱讀了新論文后，都會將其添加到文檔中，并簡要寫下自己的收獲，該文檔篇幅已經(jīng)超過50頁。另一個(gè)文檔則跟蹤研究思路，每當(dāng)她有一個(gè)新想法時(shí)，都會記下來。Maithra認(rèn)為，這有助于了解研究方向并突出關(guān)鍵主題。

5

社區(qū)的重要性

Maithra花了不少時(shí)間才意識到社區(qū)的重要性，從根本上說，研究是一項(xiàng)社區(qū)活動。做學(xué)術(shù)研究通常要解決異常困難的問題，研究的進(jìn)步取決于你和他人的互相學(xué)習(xí)，這是探索研究方向時(shí)要牢記的關(guān)鍵因素。

Maithra認(rèn)為，我們應(yīng)該注意以下幾個(gè)問題：社區(qū)關(guān)注的研究主題是什么，為什么？存在哪些盲區(qū)？有能自然提出的研究課題嗎？花時(shí)間與社區(qū)中的同行討論這些問題，對于提出符合趨勢的研究問題至關(guān)重要。 而且，如果確定了該領(lǐng)域的新研究方向，則圍繞該方向建立社區(qū)通常會很有用。要實(shí)現(xiàn)這一點(diǎn)，可以發(fā)起協(xié)作，發(fā)布關(guān)鍵的開放性問題，并組織研討會。 Maithra分享道，博士生涯剛開始，她就對了解現(xiàn)代深度學(xué)習(xí)系統(tǒng)所展現(xiàn)的關(guān)鍵經(jīng)驗(yàn)現(xiàn)象感興趣。但是，在這個(gè)主題上開展工作非常困難。 這個(gè)領(lǐng)域正在迅速發(fā)展，使任何類型的研究分析都充滿了不確定性，并且極大地增加了圍繞該主題建立新社區(qū)的挑戰(zhàn)。 因此，Maithra的第一篇深度學(xué)習(xí)分析論文十分難產(chǎn)，極大考驗(yàn)了她的毅力。但是在這之后，她感受到的是更加強(qiáng)烈的研究興趣。 6

發(fā)展研究視野

前面提到，在剛開始攻讀博士學(xué)位時(shí)，最好步步為營，專注于經(jīng)驗(yàn)，而不是特定的目標(biāo)。但從研究成熟度的角度來看，攻讀博士學(xué)位其實(shí)需要一個(gè)特定的目標(biāo)：成為具有豐富的（清晰的）研究視野的獨(dú)立研究人員。 在當(dāng)前的機(jī)器學(xué)習(xí)研究社區(qū)中，隨著大量論文的涌現(xiàn)，人們很容易感到需要不斷發(fā)表新論文的壓力。 但是，盡管論文寫作是一項(xiàng)重要技能，Maithra認(rèn)為研究成熟度的關(guān)鍵標(biāo)準(zhǔn)，是能夠?qū)λ陬I(lǐng)域有淵博的知識和基于知識之上的深刻觀點(diǎn)，這些觀點(diǎn)有助于通過研究視野（與主題相關(guān)的總體觀點(diǎn)）來確定關(guān)鍵的研究問題。擁有廣闊、完整的研究視野會極大地激發(fā)人們的研究積極性。

那么如何發(fā)展研究視野呢？Maithra認(rèn)為，首先，如果沒有幾年的研究經(jīng)驗(yàn)就很難形成完整的研究視野。 在博士的頭幾年里，Maithra埋頭閱讀論文和聽大牛的演講，并為無法提出有趣的研究問題而感到沮喪。之后的幾年里，她閱讀過的論文、從事過的項(xiàng)目、參加過的研討會大大提高了這方面的能力。當(dāng)然，這是永無止境的過程。 更具體來說，它始于探索，Maithra的前幾個(gè)項(xiàng)目為她提供了不同的曝光機(jī)會，并幫助她理解了自己感興趣的主題。

之后，她研究一些自然提出的后續(xù)項(xiàng)目，并引發(fā)了有關(guān)應(yīng)用程序/部署的一些相關(guān)問題。在研究具體項(xiàng)目的過程中，會不斷提出新的問題，并持續(xù)加深自己對研究主題的理解，同時(shí)有可能引出新的研究課題。當(dāng)然，不要忘記請教導(dǎo)師，導(dǎo)師在你的研究主題上已經(jīng)有了很廣闊的研究視野。 最后，Maithra強(qiáng)調(diào)，多年的經(jīng)驗(yàn)確實(shí)產(chǎn)生了復(fù)合效應(yīng)。之后從事研究項(xiàng)目時(shí)，提煉論文中的主要觀點(diǎn)會更加容易，并能啟發(fā)下一個(gè)研究課題，這些研究方向最終合并形成一個(gè)更廣闊的視野。

總結(jié)

總而言之，攻讀博士學(xué)位也許是一段非常有意義的經(jīng)歷。不妨將讀博視為一段旅程，有起有落，個(gè)人研究發(fā)現(xiàn)和研究觀點(diǎn)在不斷演變。希望這篇文章對旅途中跋涉的其他人有所幫助！

原文鏈接：https://maithraraghu.com/blog/2020/Reflections_on_my_Machine_Learning_PhD_Journey/

責(zé)任編輯：xj

原文標(biāo)題：谷歌大腦高級研究科學(xué)家：我的六年機(jī)器學(xué)習(xí)博士生涯總結(jié)

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。