多智體深度強(qiáng)化學(xué)習(xí)研究中首次將概率遞歸推理引入AI的學(xué)習(xí)過程

受人類遞歸推理思維啟發(fā)，UCL汪軍教授組在多智體深度強(qiáng)化學(xué)習(xí)研究中首次將概率遞歸推理引入AI的學(xué)習(xí)過程，讓智能體在決策前預(yù)測其他智能體的反應(yīng)對自身的影響。這項(xiàng)工作提升了AI群體思考深度，也為MARL研究提供了全新的思路。

開始之前，先來做個(gè)游戲。

假設(shè)你跟其他正在看這篇文章的讀者一起玩一個(gè)游戲，從0到100當(dāng)中猜出一個(gè)數(shù)，最后最接近所有人猜的數(shù)字平均值的2/3的那個(gè)人獲勝，那么作為一個(gè)個(gè)體，你會說幾？

這個(gè)游戲來自著名的博弈論游戲“猜平均數(shù)的三分之二”(guess 2/3 of the average-game)，嚴(yán)格來說，人類玩家之間并沒有一個(gè)必勝的策略。但是，通過不斷思考對手可能的決策，這個(gè)游戲的眾多答案中就會出現(xiàn)一個(gè)唯一的納什均衡，也就是0。

猜平均數(shù)的三分之二

0到100的平均值是50， 如果每個(gè)個(gè)體完全不考慮對手的數(shù)字而是隨機(jī)選擇一個(gè)數(shù)字，那么猜的數(shù)字的均值就是50.

這時(shí)候有人就可以想了，假設(shè)其他人都是無腦瞎猜，那么要獲勝，自己就需要多想一步，說出50的三分之二——也就是“50*2/3=33”。

假設(shè)其他人都說“33”，又會有人想，要獲勝，自己就需要再多想一步，說出33的2/3——“22”。

這個(gè)過程不斷重復(fù)下去，最終，就會得到0。實(shí)際上，0也是這個(gè)問題的納什均衡。

但注意，這是在所有人都完全極度理性的情況下，現(xiàn)實(shí)生活中，沒有人是絕對理性的，所以并不會出現(xiàn)所有人都猜到0的情況，一般群體能收斂到“22-33”之間已經(jīng)很不錯(cuò)了。

更重要的是，這個(gè)游戲充分說明了預(yù)測其他人猜的數(shù)字對自己將要給出的結(jié)果的影響——即使是完全理性的玩家，在這樣的游戲中也不應(yīng)該猜“0”，除非能夠確認(rèn)：1）其他玩家也都是理性的，2）每個(gè)玩家都知道其他玩家是理性的。

只要上述兩點(diǎn)沒有同時(shí)成立，也即存在非理性玩家的情況下，要獲勝至少應(yīng)該猜大于0的數(shù)字?，F(xiàn)實(shí)生活中，大多數(shù)情況下人類的決策都會有非理性的因素。為了對真實(shí)的決策過程更好的建模，那么考慮非理性的因素對于多智能體AI的研究來說就是至關(guān)重要了。

1981年，Alain Ledoux在他的法國雜志《游戲與策略》(Jeux et Stratégie)中提出了“猜平均數(shù)的三分之二”這個(gè)游戲，結(jié)果分布如下圖。

1981年2898位讀者參與“猜平均數(shù)2/3”的結(jié)果分布，來源：維基百科

這個(gè)游戲也可以用來反映群體的“思維深度”，最終數(shù)字越小，說明群體的思考層數(shù)(回?cái)?shù))越多。

實(shí)驗(yàn)心理學(xué)領(lǐng)域詳細(xì)研究了不同職業(yè)不同人的思維深度，厲害的國際象棋大師能夠預(yù)測未來7個(gè)來回甚至更遠(yuǎn)的情況，然后根據(jù)預(yù)測，返回來決定眼下在哪里落子。事實(shí)上，人類作為一個(gè)整體平均的思維深度是1.5– 2。

絕大多數(shù)的人都會在做事前對自己行為的結(jié)果進(jìn)行某種程度上的預(yù)估，具體說，人會先預(yù)測自己的行為可能對他人影響，然后再進(jìn)一步預(yù)測受了影響的他人將如何反過來影響自己，這是一個(gè)遞歸的過程。

認(rèn)知心理學(xué)認(rèn)為，遞歸推理(recursive reasoning)也即推測他人認(rèn)為自己在想什么，是人類固有的一種思維模式，在社交生活中對人類行為決策起到重要作用。放在猜數(shù)字游戲里，就是“我猜你猜我在想什么”。

人類社交中的遞歸推理過程。圖片來源：Gl?scher Lab

UCL首次將遞歸推理引入多智體深度強(qiáng)化學(xué)習(xí)

在傳統(tǒng)的多智體學(xué)習(xí)過程當(dāng)中，有研究者在對其他智能體建模(也即“對手建?！? opponent modeling)時(shí)使用了遞歸推理，但由于算法復(fù)雜和計(jì)算力所限，目前還尚未有人在多智體深度強(qiáng)化學(xué)習(xí)(Multi-Agent Deep Reinforcement Learning)的對手建模中使用遞歸推理。

在被深度學(xué)習(xí)頂會ICLR 2019高分接收的一篇最新論文中，UCL汪軍教授組首次將遞歸推理的思維模式引入多智體深度強(qiáng)化學(xué)習(xí)。

具體說，他們提出了一個(gè)遞歸概率推理框架Probabilistic Recursive Reasoning, 簡稱PR2，讓每個(gè)智能體在決策時(shí)考慮其他智能體將如何回應(yīng)自己接下來的行動(dòng)，然后做出最優(yōu)的決策。

k 階遞歸推理圖模型。a代表思考深度，隱式的對手建模用函數(shù)ρ-i逼近。0階模型認(rèn)為對手完全隨機(jī)。上圖灰色區(qū)域表示智能體 i 的遞歸推理思考過程。想得更深一級的智能體返回得出當(dāng)前輪次的最優(yōu)結(jié)果。每一級計(jì)算都包含上一級的計(jì)算，比如2階包含1階。來源：https://arxiv.org/abs/1901.09216

基于PR2框架，研究人員提出了分別對應(yīng)連續(xù)和離散動(dòng)作空間的PR2-Q 和 PR2-Actor-Critic算法。有趣的是，這些算法是天生的分布式算法，不需要Centralized Value Function。多次實(shí)驗(yàn)結(jié)果表明，PR2有效提升了多智體強(qiáng)化學(xué)習(xí)中單個(gè)智能體的學(xué)習(xí)效率。

“我們在MARL智能體的遞歸推理中，使用了概率圖模型建模，最后得到了一個(gè)soft learning的結(jié)果，”參與這項(xiàng)工作的UCL計(jì)算機(jī)學(xué)院博士生Yaodong Yang告訴新智元：“巧妙的是，這和單智能體的最大熵強(qiáng)化學(xué)習(xí)有相通之處?！?/p>

研究人員希望這項(xiàng)工作為MARL的對手建模帶來一個(gè)全新的角度。論文的第一作者、UCL計(jì)算機(jī)學(xué)院的博士生溫穎在接受新智元采訪時(shí)表示：“在PR2的基礎(chǔ)上，針對更深層的遞歸推理，我們設(shè)計(jì)了一個(gè)特殊的trick，能保證訓(xùn)練時(shí)每一步更深層的推理都比上一次迭代要好，同時(shí)不是無限制地計(jì)算下去，那樣的話計(jì)算資源的消耗太大?！?/p>

研究負(fù)責(zé)人UCL汪軍教授說：“ICLR的工作主要是考慮了1階遞歸思考，也就是考慮別人會怎么想自己，接下來，我們將繼續(xù)研究多智體強(qiáng)化學(xué)習(xí)中AI的遞歸推理，在ICML 2019的投稿中，我們將其推廣到 n 階遞歸思考的過程，從而讓多智能體AI在更加有效有意義的納什均衡，相關(guān)理論將在機(jī)器人、自動(dòng)駕駛汽車等應(yīng)用中都有重要意義。”