深度強(qiáng)化學(xué)習(xí)是什么？有什么優(yōu)點(diǎn)？

深度強(qiáng)化學(xué)習(xí)（DRL）是人工智能研究領(lǐng)域的一個(gè)令人興奮的領(lǐng)域，具有潛在的問(wèn)題領(lǐng)域的適用性。有些人認(rèn)為DRL是人工智能的一種途徑，因?yàn)樗ㄟ^(guò)探索和接收來(lái)自環(huán)境的反饋來(lái)反映人類的學(xué)習(xí)。最近DRL代理的成功打敗了人類的視頻游戲玩家，廣為人知的圍棋大師被人工智能AlphaGo擊敗，以及在模擬中學(xué)習(xí)行走的兩足球員的演示，都讓人們對(duì)這個(gè)領(lǐng)域產(chǎn)生了普遍的熱情。

與監(jiān)督機(jī)器學(xué)習(xí)不同，在強(qiáng)化學(xué)習(xí)中，研究人員通過(guò)讓一個(gè)代理與環(huán)境交互來(lái)訓(xùn)練模型。當(dāng)代理的行為產(chǎn)生期望的結(jié)果時(shí)，它得到正反饋。例如，代理人獲得一個(gè)點(diǎn)數(shù)或贏得一場(chǎng)比賽的獎(jiǎng)勵(lì)。簡(jiǎn)單地說(shuō)，研究人員加強(qiáng)了代理人的良好行為。

將DRL應(yīng)用于非平凡問(wèn)題的關(guān)鍵挑戰(zhàn)之一是構(gòu)建一個(gè)獎(jiǎng)勵(lì)功能，它鼓勵(lì)人們期望的行為而不會(huì)產(chǎn)生不良的副作用。當(dāng)你犯錯(cuò)時(shí)，會(huì)發(fā)生各種各樣的壞事，包括欺騙行為。（想想獎(jiǎng)勵(lì)一個(gè)機(jī)器人服務(wù)員，在一些視覺(jué)上測(cè)量房間的清潔程度，只是教機(jī)器人打掃家具下面的污垢。）

值得注意的是，深度強(qiáng)化學(xué)習(xí)——“deep”指的是底層模型是一個(gè)深層的神經(jīng)網(wǎng)絡(luò)——仍然是一個(gè)相對(duì)較新的領(lǐng)域，強(qiáng)化學(xué)習(xí)從20世紀(jì)70年代或更早的時(shí)候就開(kāi)始了，這取決于你如何計(jì)算。正如Andrej Karpathy在他2016年的博客文章中所指出的，關(guān)鍵的DRL研究，如AlphaGo論文和Atari Deep Q－Learning paper都是基于已經(jīng)存在了一段時(shí)間的算法，但是用深度學(xué)習(xí)代替了其他方法來(lái)近似函數(shù)。他們對(duì)深度學(xué)習(xí)的使用，當(dāng)然是在過(guò)去20多年里我們看到的廉價(jià)計(jì)算能力的爆發(fā)。

DRL的承諾，以及谷歌在2014年以5億美元收購(gòu)DeepMind的承諾，影響了一些希望利用這項(xiàng)技術(shù)的初創(chuàng)公司。本周，我采訪了Bonsai的創(chuàng)始人Mark Hammondfor。該公司提供了一個(gè)開(kāi)發(fā)平臺(tái)，用于將深度強(qiáng)化學(xué)習(xí)應(yīng)用于各種工業(yè)用例。我還與加州大學(xué)伯克利分校的Pieter Abbeelon討論了這個(gè)話題。從那以后，他創(chuàng)立了“實(shí)體智能”公司，這是一家依然隱秘的初創(chuàng)公司，打算將VR和DRL應(yīng)用于機(jī)器人技術(shù)。

由楊致遠(yuǎn)（Jerry Yang）、彼得？蒂爾（Peter Thiel）、肖恩？帕克（Sean Parker）以及其他知名投資者支持的Osaro，也希望在工業(yè)領(lǐng)域應(yīng)用DRL。與此同時(shí)，人工智能正在尋找最佳的傳統(tǒng)對(duì)沖基金，并將其應(yīng)用于算法交易，而DeepVu正在應(yīng)對(duì)管理復(fù)雜企業(yè)供應(yīng)鏈的挑戰(zhàn)。

由于對(duì)DRL的興趣增加，我們也看到了新的開(kāi)源工具包和用于培訓(xùn)DRL代理的環(huán)境。這些框架中的大多數(shù)本質(zhì)上都是專用的仿真工具或接口。這些是目前AI中比較流行的工具：

OpenAI Gym

OpenAI gym是一個(gè)流行的開(kāi)發(fā)和比較增強(qiáng)學(xué)習(xí)模型的工具箱。它的模擬器界面支持多種環(huán)境，包括經(jīng)典的Atari游戲，以及像MuJoCo和darpa資助的Gazebo這樣的機(jī)器人和物理模擬器。和其他DRL工具包一樣，它提供了api來(lái)反饋意見(jiàn)和回報(bào)給代理。

DeepMind Lab

DeepMind Labis是一個(gè)基于Quake III第一人稱射擊游戲的3D學(xué)習(xí)環(huán)境，為學(xué)習(xí)代理提供導(dǎo)航和解謎任務(wù)。DeepMind最近添加了dmlab30，一個(gè)新級(jí)別的集合，并介紹了它的newImpaladistributed agent培訓(xùn)體系結(jié)構(gòu)。

Psychlab

另一個(gè)DeepMind工具包，今年早些時(shí)候開(kāi)放源代碼，心理實(shí)驗(yàn)室擴(kuò)展DeepMind實(shí)驗(yàn)室，以支持認(rèn)知心理學(xué)實(shí)驗(yàn)，如搜索特定目標(biāo)的一系列項(xiàng)目或檢測(cè)一系列項(xiàng)目中的變化。然后，研究人員可以比較人類和人工智能在這些任務(wù)上的表現(xiàn)。

House3D

加州大學(xué)伯克利分校和Facebook人工智能研究人員之間的合作，在45000個(gè)模擬室內(nèi)場(chǎng)景中模擬室內(nèi)場(chǎng)景和家具布局。本文介紹的主要任務(wù)是“概念驅(qū)動(dòng)的導(dǎo)航”，比如訓(xùn)練一個(gè)代理導(dǎo)航到一所房子的房間，只提供一個(gè)高級(jí)的描述符，比如“餐廳”。

Unity Machine Learning Agents

在AI和MLDanny Lange副總裁的領(lǐng)導(dǎo)下，游戲引擎開(kāi)發(fā)者Unity正在努力將尖端的人工智能技術(shù)融入其平臺(tái)。Unity Machine Learning Agents，于2017年9月發(fā)布，是一個(gè)開(kāi)源Unity插件，可以在平臺(tái)上運(yùn)行游戲和模擬，作為訓(xùn)練智能代理的環(huán)境。

Ray

雖然這里列出的其他工具集中于DRL培訓(xùn)環(huán)境，但Ray更關(guān)注DRL的基礎(chǔ)結(jié)構(gòu)。Ray是在Berkeley RISELab開(kāi)發(fā)的byIon Stoicaand他的團(tuán)隊(duì)，它是高效運(yùn)行集群和大型多核機(jī)器上的Python代碼的框架，具體目標(biāo)是為增強(qiáng)學(xué)習(xí)提供一個(gè)低延遲的分布式執(zhí)行框架。

所有這些工具和平臺(tái)的出現(xiàn)將使DRL更易于開(kāi)發(fā)人員和研究人員使用。但是，他們需要所有的幫助，因?yàn)樯疃葟?qiáng)化學(xué)習(xí)在實(shí)踐中是很有挑戰(zhàn)性的。谷歌工程師亞歷克斯·伊爾潘最近發(fā)表了一篇頗具煽動(dòng)性的文章，題為“深度強(qiáng)化學(xué)習(xí)還不起作用”。Irpan引用了DRL所需要的大量數(shù)據(jù)，事實(shí)上，DRL的大多數(shù)方法都沒(méi)有利用之前關(guān)于系統(tǒng)和環(huán)境的知識(shí)，以及前面提到的困難，在其他問(wèn)題中也有一個(gè)有效的獎(jiǎng)勵(lì)功能。

我希望在未來(lái)的一段時(shí)間內(nèi)，從研究和應(yīng)用的角度來(lái)看，深度強(qiáng)化學(xué)習(xí)將繼續(xù)成為人工智能領(lǐng)域的熱門話題。它在處理復(fù)雜、多面和順序的決策問(wèn)題方面表現(xiàn)出了極大的希望，這使得它不僅對(duì)工業(yè)系統(tǒng)和游戲有用，而且對(duì)市場(chǎng)、廣告、金融、教育、甚至數(shù)據(jù)科學(xué)本身也有很大的用處。