淺析深度學(xué)習(xí)的多體問題解決方案

　　在深度學(xué)習(xí)的過程中，我們有可能會(huì)碰到一個(gè)多體的問題，他帶第十什么又會(huì)帶來什么影響，我們?cè)撊绾谓鉀Q這個(gè)問題呢？下面我們就一起來分析分析一下。

　　「多體問題」（又叫 N 體問題）是看似簡(jiǎn)單，實(shí)際上在當(dāng)今數(shù)學(xué)中極難攻克的問題。多體問題是指多個(gè)相互作用的實(shí)體。在物理學(xué)中，任何三體問題都沒有一個(gè)封閉的形式或解析解（見：https://en.wikipedia.org/wiki/Three-body_problem）。像這樣簡(jiǎn)單的問題反映了我們分析工具的局限性。這并不意味著它是不可解的，它只意味著我們必須訴諸于近似和數(shù)值技術(shù)來進(jìn)行計(jì)算?？梢杂米銐蚓_的數(shù)值計(jì)算分析太陽、月球和地球之間的三體問題以幫助宇航員登陸月球。

　　在深度學(xué)習(xí)領(lǐng)域，我們也有一個(gè)新興的 N 體問題。許多更先進(jìn)的系統(tǒng)現(xiàn)在正在處理多代理系統(tǒng)的問題。每個(gè)代理都可能有與全局目標(biāo)合作或競(jìng)爭(zhēng)的目標(biāo)（即目標(biāo)函數(shù)）。在多代理深度學(xué)習(xí)系統(tǒng)中，甚至在模塊化的深度學(xué)習(xí)系統(tǒng)中，研究人員需要設(shè)計(jì)可擴(kuò)展的合作方法。

　　Johannes Kepler 大學(xué)、DeepMind、OpenAI 和 Facebook 最近紛紛發(fā)表論文探討了這個(gè)問題的各個(gè)方面。

　　在 Johannes Kepler 大學(xué)的團(tuán)隊(duì)，包括 Sepp Hochreiter（LSTM 的提出者）已提出利用模擬庫侖力（即電磁力大小與反向距離的平方成比例）作為一種訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)（GAN）的替代目標(biāo)函數(shù)。

　　找到兩個(gè)對(duì)抗網(wǎng)絡(luò)之間的平衡狀態(tài)是一個(gè)熱門的研究課題。在深度學(xué)習(xí)中解決二體問題相當(dāng)困難。研究發(fā)現(xiàn)，使用這種方法可以防止「模式崩潰」的不良情況。此外，設(shè)置確保收斂到一個(gè)最佳的解決方案，而且只有一個(gè)恰好也是全局的局部極小值。Wasserstein 目標(biāo)函數(shù)（又名 Earth Mover Distance）可能是一個(gè)更好的解決方案，這在幾個(gè)月前極其熱門。這個(gè)團(tuán)隊(duì)已經(jīng)把他們的創(chuàng)造命名為「庫侖 GAN」。

　　微軟 Maluuba 發(fā)表了一篇論文介紹了一個(gè)人工智能玩吃豆人游戲的系統(tǒng)，它的水平已經(jīng)超過了人類。研究人員挑戰(zhàn)的吃豆人游戲跟此類游戲最初的版本類似，人物在收集小球和水果的同時(shí)避免怪物。論文的題目是「強(qiáng)化學(xué)習(xí)的混合式獎(jiǎng)勵(lì)架構(gòu)」。本文介紹了不同于典型的強(qiáng)化結(jié)構(gòu)的強(qiáng)化學(xué)習(xí)（RL）的實(shí)現(xiàn)（即 HRA）：

　　這篇文章令人驚訝的是所使用的目標(biāo)函數(shù)的數(shù)量。本文描述了使用 1800 值函數(shù)作為其解決方案的一部分，也就是說，每個(gè)小球、每個(gè)水果和每個(gè)怪物都使用了代理。微軟的研究表明使用數(shù)以千計(jì)的微型代理將問題分解成子問題并實(shí)際解決它是有效的！在這個(gè)模型中，代理之間的耦合顯然是隱式的。

　　DeepMind 解了具有共享內(nèi)存的多代理程序的問題。在論文《Distral： Robust Multitask Reinforcement Learning》中，研究人員通過「思想融合」靈感的代理協(xié)調(diào)方法來解決一個(gè)共同的問題。為此，研究人員采用了一種封裝每個(gè)代理的方法。然而，它們?cè)试S一些信息通過代理的封裝邊界，希望狹窄的通道更具伸縮性和魯棒性。

　　我們提出了多任務(wù)聯(lián)合訓(xùn)練的新方法，我們稱之為 distral（提取和遷移學(xué)習(xí)）。我們不建議在不同的網(wǎng)絡(luò)之間共享參數(shù)，而是共享一個(gè)「提取」的策略，以捕獲跨任務(wù)的共同行為。每個(gè)網(wǎng)絡(luò)都被訓(xùn)練用來解決自己的任務(wù)，同時(shí)受限于近似共享的策略，而共享策略通過提取訓(xùn)練成為所有任務(wù)策略的中心。

　　其結(jié)果引出了更快，更穩(wěn)定的學(xué)習(xí)，從而驗(yàn)證了狹窄通道的方法。在這些多代理（N 體問題）開放性問題是這種耦合的本質(zhì)。DeepMind 的論文表明了更低的耦合相對(duì)于原生的緊耦合的方法的有效性（即權(quán)重共享）。

　　OpenAI 最近發(fā)表了在他們的系統(tǒng)中訓(xùn)練模型匹配其他代理的多系統(tǒng)的有趣的論文。論文題目為《Learning with Opponent-Learning Awareness》。該論文表明，「以牙還牙」戰(zhàn)略的出現(xiàn)源自賦予多代理系統(tǒng)社會(huì)意識(shí)能力。盡管結(jié)果具有彈性問題，但它確實(shí)是一種非常令人著迷的方法，因?yàn)樗鉀Q了人工智能的一個(gè)關(guān)鍵維度。

　　總而言之，許多領(lǐng)先的深度學(xué)習(xí)研究機(jī)構(gòu)正在積極探索模塊化深度學(xué)習(xí)。這些團(tuán)體正在探索由不同的對(duì)象函數(shù)組成的多代理系統(tǒng)，所有這些都用于合作解決單一的全局目標(biāo)函數(shù)的。仍然有許多問題需要解決，但顯然，這種做法確實(shí)非常有希望取得進(jìn)展。去年，我發(fā)現(xiàn)博弈論的變化對(duì)未來進(jìn)步極具指導(dǎo)意義。在今年，我們將看到更多探索多代理系統(tǒng)的松散耦合嘗試。