薩頓科普了強(qiáng)化學(xué)習(xí)、深度強(qiáng)化學(xué)習(xí)，并談到了這項(xiàng)技術(shù)的潛力和發(fā)展方向

地處加拿大埃德蒙頓的阿爾伯塔大學(xué)（UAlberta）可謂是強(qiáng)化學(xué)習(xí)重鎮(zhèn)，這項(xiàng)技術(shù)的締造者之一薩頓（Rich Sutton）在這里任教。

△薩頓

薩頓常被稱(chēng)為“強(qiáng)化學(xué)習(xí)之父”，他對(duì)強(qiáng)化學(xué)習(xí)的重要貢獻(xiàn)包括時(shí)序差分學(xué)習(xí)和策略梯度方法。

如果你研究過(guò)強(qiáng)化學(xué)習(xí)，可能對(duì)他和巴爾托（Andrew Barto）合著的一本書(shū)很熟悉：《強(qiáng)化學(xué)習(xí)導(dǎo)論》（Reinforcement Learning, an introduction）。這本書(shū)被引用了2.5萬(wàn)多次，如今，第二版即將出版，全書(shū)草稿也已經(jīng)在網(wǎng)上公開(kāi)。

△Reinforcement Learning, an introduction草稿http://incompleteideas.net/book/bookdraft2017nov5.pdf

巴爾托是薩頓的博士論文導(dǎo)師，薩頓的博士論文《強(qiáng)化學(xué)習(xí)的時(shí)間學(xué)分分配》（Temporal Credit Assignment in Reinforcement Learning）中，引入了一種評(píng)價(jià)器結(jié)構(gòu)和“時(shí)間信用分配”。他們把“顯而易見(jiàn)”的強(qiáng)化學(xué)習(xí)理念，變成了一個(gè)以數(shù)學(xué)為基礎(chǔ)的可行理論。

薩頓獲得了斯坦福大學(xué)心理學(xué)學(xué)士學(xué)位(1978年)和碩士學(xué)位(1980)，以及馬薩諸塞大學(xué)安姆斯特分校計(jì)算機(jī)博士學(xué)位(1984)。

從1985年到1994年，Sutton擔(dān)任GTE實(shí)驗(yàn)室的首席技術(shù)員。之后，他在麻省大學(xué)安姆斯特分校做了3年的高級(jí)研究員，然后又到AT&T香農(nóng)實(shí)驗(yàn)室做了5年的首席技術(shù)員。2003年以來(lái)，他一直在阿爾伯塔大學(xué)計(jì)算機(jī)系擔(dān)任教授兼iCORE主席，領(lǐng)強(qiáng)化學(xué)習(xí)和人工智能實(shí)驗(yàn)室。

2003年以來(lái)，薩頓在阿爾伯塔大學(xué)計(jì)算機(jī)系任教授、iCORE主席，領(lǐng)導(dǎo)著強(qiáng)化學(xué)習(xí)和人工智能實(shí)驗(yàn)室。今年6月，DeepMind在埃德蒙頓和阿爾伯塔大學(xué)聯(lián)合設(shè)立首個(gè)海外研究院，薩頓也是這個(gè)研究院的領(lǐng)導(dǎo)者之一。

最近，機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)社區(qū)KDnuggets董事長(zhǎng)，數(shù)據(jù)科學(xué)會(huì)議KDD和ACM SIGKDD的聯(lián)合發(fā)起者Gregory Piatetsky專(zhuān)訪了薩頓。

薩頓在專(zhuān)訪中（再次）科普了強(qiáng)化學(xué)習(xí)、深度強(qiáng)化學(xué)習(xí)，并談到了這項(xiàng)技術(shù)的潛力，以及接下來(lái)的發(fā)展方向：預(yù)測(cè)學(xué)習(xí)。

量子位將專(zhuān)訪內(nèi)容搬運(yùn)如下：

△典型的強(qiáng)化學(xué)習(xí)過(guò)程

我在上世紀(jì)80年代遇到了Rich Sutton，我和他當(dāng)時(shí)都剛開(kāi)始在波士頓地區(qū)的GTE實(shí)驗(yàn)室讀博士。我研究智能數(shù)據(jù)庫(kù)，他在強(qiáng)化學(xué)習(xí)部門(mén)，但是我們?cè)贕TE實(shí)驗(yàn)室的項(xiàng)目還遠(yuǎn)沒(méi)有實(shí)際應(yīng)用。我們經(jīng)常下象棋，我們倆在這方面勢(shì)均力敵，但在機(jī)器學(xué)習(xí)方面，Rich遠(yuǎn)遠(yuǎn)領(lǐng)先于我。

Q：強(qiáng)化學(xué)習(xí)的主要思想是什么？它與監(jiān)督學(xué)習(xí)有何不同？

薩頓：在與世界的正?；?dòng)過(guò)程中，強(qiáng)化學(xué)習(xí)會(huì)通過(guò)試錯(cuò)法利用獎(jiǎng)勵(lì)來(lái)學(xué)習(xí)。因此，它跟自然學(xué)習(xí)過(guò)程非常相似，而與監(jiān)督學(xué)習(xí)不同。

在監(jiān)督學(xué)習(xí)中，學(xué)習(xí)只發(fā)生在一個(gè)特殊的訓(xùn)練階段，這個(gè)階段中會(huì)出現(xiàn)一個(gè)正常情況下不會(huì)出現(xiàn)的監(jiān)督或教學(xué)信號(hào)。

例如，語(yǔ)音識(shí)別目前通過(guò)監(jiān)督學(xué)習(xí)來(lái)完成，需要使用大量的語(yǔ)音數(shù)據(jù)集和正確的文本內(nèi)容。這些文本內(nèi)容就是一種監(jiān)督信號(hào)，等系統(tǒng)開(kāi)始工作、輸入了新的語(yǔ)音時(shí)，就沒(méi)有這個(gè)監(jiān)督信號(hào)了。

而AI打游戲，通常就是通過(guò)強(qiáng)化學(xué)習(xí)來(lái)實(shí)現(xiàn)的，需要利用游戲的結(jié)果作為獎(jiǎng)勵(lì)。即使你玩了一個(gè)新游戲，也會(huì)看到自己是贏是輸，并且可以用強(qiáng)化學(xué)習(xí)算法來(lái)提高你的游戲技術(shù)。

監(jiān)督式游戲?qū)W習(xí)方法則需要借助一些“正確”的動(dòng)作來(lái)實(shí)現(xiàn)，這些動(dòng)作可以來(lái)自人類(lèi)專(zhuān)家。這很方便，但在正常的游戲中是不可用的，而且會(huì)導(dǎo)致學(xué)習(xí)系統(tǒng)的技能局限在人類(lèi)專(zhuān)家的技能范疇內(nèi)。在強(qiáng)化學(xué)習(xí)中，你可以用較少的訓(xùn)練信息，這樣做的優(yōu)勢(shì)是信息更充足，而且不受監(jiān)督者的技能限制。

Q：你跟Andrew Barto合著的經(jīng)典著作《強(qiáng)化學(xué)習(xí)導(dǎo)論》的第二版很快就要出版，具體什么時(shí)候？第二版的主要修訂了哪些內(nèi)容？你能跟我們講講新章節(jié)里關(guān)于強(qiáng)化學(xué)習(xí)與心理學(xué)之間有趣聯(lián)系嗎（第14章）？還有跟神經(jīng)科學(xué)之間的有趣聯(lián)系（第15章）？

薩頓：第二版的完整草稿目前已經(jīng)可以在richsutton.com上看到。Andy Barto和我正在定稿：驗(yàn)證所有的參考文獻(xiàn)，諸如此類(lèi)。印刷版將于明年初發(fā)行。

從第一版發(fā)行以來(lái)的20年里，強(qiáng)化學(xué)習(xí)領(lǐng)域發(fā)生了很多事情。其中最重要的或許是強(qiáng)化學(xué)習(xí)思想對(duì)神經(jīng)科學(xué)的巨大影響，現(xiàn)在，大腦獎(jiǎng)勵(lì)系統(tǒng)的標(biāo)準(zhǔn)理論是，它們是一種時(shí)間差異學(xué)習(xí)的實(shí)例（這是強(qiáng)化學(xué)習(xí)的基本學(xué)習(xí)方法之一）。

特別地，現(xiàn)在的理論認(rèn)為，神經(jīng)遞質(zhì)多巴胺的主要作用是攜帶時(shí)間差異誤差，也稱(chēng)為獎(jiǎng)勵(lì)預(yù)測(cè)誤差。這是一個(gè)巨大的發(fā)展，有許多來(lái)源、影響和測(cè)試，我們只能在書(shū)中進(jìn)行概括。15和14章中介紹的這項(xiàng)發(fā)展和其他的發(fā)展概括了它們?cè)谛睦韺W(xué)中的重要前提。

總的來(lái)說(shuō)，第二版比第一版多了三分之二內(nèi)容。函數(shù)逼近的內(nèi)容從一章擴(kuò)充到五章。還有關(guān)于心理學(xué)和神經(jīng)科學(xué)的兩個(gè)新章節(jié)。在強(qiáng)化學(xué)習(xí)的前沿也有一個(gè)新章節(jié)，有一節(jié)專(zhuān)門(mén)介紹它的社會(huì)影響。所有的東西都在這本書(shū)中不斷更新和擴(kuò)展。例如，新的應(yīng)用程序章節(jié)涵蓋了Atari游戲和AlphaGo Zero。

Q：什么是深度強(qiáng)化學(xué)習(xí)？它與強(qiáng)化學(xué)習(xí)有何不同?

薩頓：深度強(qiáng)化學(xué)習(xí)是深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的結(jié)合。這兩種學(xué)習(xí)方式在很大程度上是正交問(wèn)題，二者結(jié)合得很好。

簡(jiǎn)而言之，強(qiáng)化學(xué)習(xí)需要通過(guò)數(shù)據(jù)逼近函數(shù)的方法來(lái)部署其所有的組件——值函數(shù)、策略、世界模型、狀態(tài)更新——而深度學(xué)習(xí)是最近開(kāi)發(fā)的函數(shù)逼近器中最新、最成功一個(gè)。

我們的教科書(shū)主要介紹線性函數(shù)逼近器，并給出一般情況下的方程。我們?cè)趹?yīng)用一章和一節(jié)中介紹了神經(jīng)網(wǎng)絡(luò)，但要充分了解深度強(qiáng)化學(xué)習(xí)，就必須用Goodfellow、Bengio、和Courville的《深度學(xué)習(xí)》來(lái)補(bǔ)充我們的書(shū)。

Q：強(qiáng)化學(xué)習(xí)在游戲中取得了巨大的成功，例如AlphaGo Zero。你預(yù)計(jì)強(qiáng)化學(xué)習(xí)還將在哪些方面有優(yōu)異表現(xiàn)？

薩頓：當(dāng)然，我相信，從某種意義上講，強(qiáng)化學(xué)習(xí)是人工智能的未來(lái)。有人認(rèn)為，智能系統(tǒng)必須能夠在不接受持續(xù)監(jiān)督的情況下自主學(xué)習(xí)，而強(qiáng)化學(xué)習(xí)正是其中的最佳代表。一個(gè)AI必須能夠自己判斷對(duì)錯(cuò)，只有這樣才能擴(kuò)展到大量的知識(shí)和一般技能。

Q：Yann LeCun評(píng)論說(shuō)，AlphaGo Zero的成功很難推廣到其他領(lǐng)域，因?yàn)樗刻於纪鏀?shù)百萬(wàn)局游戲，但是你不能在現(xiàn)實(shí)世界里跑得更快。強(qiáng)化學(xué)習(xí)在哪些方面目前還沒(méi)有成功(例如，當(dāng)反饋稀疏時(shí))？如何能夠解決？

薩頓：Yann應(yīng)該會(huì)認(rèn)同這個(gè)觀點(diǎn)：關(guān)鍵是要從普通的無(wú)監(jiān)督數(shù)據(jù)中學(xué)習(xí)。我和Yann也都會(huì)認(rèn)同這樣一個(gè)觀點(diǎn)：在短期內(nèi)，這將通過(guò)專(zhuān)注于“預(yù)測(cè)學(xué)習(xí)”來(lái)實(shí)現(xiàn)。

預(yù)測(cè)學(xué)習(xí)可能很快就會(huì)成為一個(gè)流行詞。它的意思是預(yù)測(cè)將要發(fā)生的事情，然后根據(jù)實(shí)際情況進(jìn)行學(xué)習(xí)。因?yàn)槟銖陌l(fā)生的事情中學(xué)習(xí)，沒(méi)有一個(gè)監(jiān)督員告訴你應(yīng)該預(yù)測(cè)什么。但因?yàn)槟阃ㄟ^(guò)等待發(fā)現(xiàn)了結(jié)果，你就有了一個(gè)監(jiān)督信號(hào)。預(yù)測(cè)學(xué)習(xí)是無(wú)監(jiān)督的監(jiān)督式學(xué)習(xí)。預(yù)測(cè)學(xué)習(xí)可能會(huì)在應(yīng)用中取得重大進(jìn)展。

唯一的問(wèn)題是，你希望把預(yù)測(cè)學(xué)習(xí)看成是監(jiān)督學(xué)習(xí)還是強(qiáng)化學(xué)習(xí)的產(chǎn)物？強(qiáng)化學(xué)習(xí)的學(xué)生知道強(qiáng)化學(xué)習(xí)有一個(gè)主要的子問(wèn)題，稱(chēng)為“預(yù)測(cè)問(wèn)題”，如何有效地解決這個(gè)問(wèn)題正是大部分算法工作的重點(diǎn)。事實(shí)上，第一篇討論時(shí)間差異學(xué)習(xí)的論文題目是《學(xué)會(huì)用時(shí)間差異的方法來(lái)預(yù)測(cè)》。

Q：20世紀(jì)80年代，當(dāng)研究強(qiáng)化學(xué)習(xí)時(shí)，你認(rèn)為它會(huì)取得這樣的成功嗎?

薩頓：20世紀(jì)80年代，強(qiáng)化學(xué)習(xí)根本沒(méi)有流行。它本質(zhì)上并不是一個(gè)科學(xué)或工程的概念。但卻是一個(gè)顯而易見(jiàn)的想法。對(duì)心理學(xué)家來(lái)說(shuō)很明顯，對(duì)普通人來(lái)說(shuō)也很明顯。所以我認(rèn)為，這顯然是一件值得研究的事情，最終會(huì)得到認(rèn)可。

Q：強(qiáng)化學(xué)習(xí)的下一個(gè)研究方向是什么？你現(xiàn)在在做什么?

薩頓：除了預(yù)測(cè)學(xué)習(xí)之外，我想說(shuō)的是，當(dāng)我們有用訓(xùn)練過(guò)的世界模型來(lái)做規(guī)劃的系統(tǒng)時(shí)，下一個(gè)重大進(jìn)步就會(huì)到來(lái)。

我們目前擁有優(yōu)秀的規(guī)劃算法，但只有當(dāng)有模型提供給它們時(shí)才行，就像所有游戲系統(tǒng)中所看到的那樣，模型是由游戲規(guī)則（和自我對(duì)局）提供的。但我們?cè)诂F(xiàn)實(shí)世界中并沒(méi)有跟游戲規(guī)則類(lèi)似的東西。我們需要物理定律，沒(méi)錯(cuò)，但我們也需要知道很多其他的事情，從如何走路和觀察到別人如何回應(yīng)我們所做的事情。

我們?cè)诘诎苏碌腄yna系統(tǒng)中描述了一個(gè)完整的規(guī)劃和學(xué)習(xí)系統(tǒng)，但卻局限為幾種方式。第17章闡述了可能克服這種局限的方法。我將從那里入手。

Q：強(qiáng)化學(xué)習(xí)可能是通用人工智能(AGI)發(fā)展的核心。你的觀點(diǎn)是什么——在可預(yù)見(jiàn)的未來(lái)，研究人員會(huì)開(kāi)發(fā)AGI嗎？如過(guò)會(huì)，這將會(huì)對(duì)人類(lèi)產(chǎn)生巨大的好處，還是像埃隆·馬斯克(Elon Musk)警告的那樣，會(huì)對(duì)人類(lèi)構(gòu)成威脅？

薩頓：我認(rèn)為人工智能是試圖通過(guò)制造與人類(lèi)思想類(lèi)似的東西來(lái)理解人類(lèi)的思想。正如費(fèi)曼所說(shuō)，“我無(wú)法創(chuàng)造的東西，我就不理解它”。在我看來(lái)，會(huì)發(fā)生的重大事件是我們即將第一次真正理解意識(shí)。這種認(rèn)識(shí)本身將產(chǎn)生巨大的影響。

這將是我們這個(gè)時(shí)代最偉大的科學(xué)成就，其實(shí)任何時(shí)候都是如此。它也將是有史以來(lái)人文學(xué)科最偉大的成就——深刻地理解我們自己。如果這樣來(lái)看待，那就不會(huì)把它看成是一件壞事。雖然是挑戰(zhàn)，但并不是壞事。我們將揭示哪些東西是真實(shí)的。那些不想讓它成為現(xiàn)實(shí)的人會(huì)把我們的工作看成是壞事，就像科學(xué)拋棄了靈魂的概念一樣，那些珍視這些想法的人認(rèn)為是壞的。

毫無(wú)疑問(wèn)，當(dāng)我們更深入地了解大腦如何運(yùn)作時(shí)，我們今天所珍視的一些觀點(diǎn)也會(huì)面臨同樣的挑戰(zhàn)。

Q：當(dāng)你遠(yuǎn)離電腦和智能手機(jī)的時(shí)候，你喜歡做什么？你最近讀過(guò)什么書(shū)？你喜歡什么書(shū)？

薩頓：我是自然的愛(ài)好者，也喜歡哲學(xué)、經(jīng)濟(jì)學(xué)和科學(xué)的思辨思想。我最近讀了尼爾·斯蒂芬森的《Seveneves》、尤瓦爾·赫拉利的《人類(lèi)簡(jiǎn)史》，以及G.愛(ài)德華·格里芬的《美聯(lián)儲(chǔ)傳》。