谷歌DeepMind設(shè)置強(qiáng)迫機(jī)制使AI實(shí)現(xiàn)利益最大化

最近谷歌DeepMind提出了一種新的強(qiáng)化學(xué)習(xí)技術(shù)，這種技術(shù)以一種全新方式來(lái)模擬人類行為。它可能會(huì)比之前發(fā)布的人工智能決策系統(tǒng)更強(qiáng)大，這對(duì)希望通過(guò)自動(dòng)化提高生產(chǎn)率的企業(yè)來(lái)說(shuō)可能是個(gè)福音。

如何解決多方零和博弈中的合作困境？

DeepMind用強(qiáng)化學(xué)習(xí)使AI實(shí)現(xiàn)利益最大化。這是一種基于對(duì)等契約機(jī)制的經(jīng)濟(jì)競(jìng)爭(zhēng)模型，該模型允許在多方博弈中結(jié)盟。這篇論文其中一位作者表示，這種結(jié)盟有單打獨(dú)斗不具有的特殊優(yōu)勢(shì)。

長(zhǎng)期以來(lái)，零和游戲以其豐富的策略選擇空間和清晰的策略評(píng)估方式指導(dǎo)著人工智能研究。更重要的是這種競(jìng)爭(zhēng)廣泛存在于生物界、市場(chǎng)經(jīng)濟(jì)甚至是AlphaZero中。

DeepMind科學(xué)家首先尋求數(shù)學(xué)定義形成聯(lián)盟的挑戰(zhàn)，關(guān)注聯(lián)盟形成多玩家零和游戲——也就是說(shuō)，數(shù)學(xué)表示的情況下，每個(gè)參與者的收益或損失的效用是完全平衡的損失或收益的其他參與者的效用。

什么是多方零和博弈？

DeepMind將之定義為每個(gè)玩家的收益或損失完全由其余玩家的損失或收益提供。在一個(gè)對(duì)稱多方零和博弈中，每個(gè)玩家的行為模式都是一樣的，這往往會(huì)產(chǎn)生社會(huì)困境。（一個(gè)極簡(jiǎn)例子是“囚徒困境”）

零和博弈引入了合作后事情變得很復(fù)雜。緊急情況下，團(tuán)隊(duì)必須內(nèi)部協(xié)調(diào)才能有效地在游戲中競(jìng)爭(zhēng)。合作形成的過(guò)程本身就是一個(gè)社會(huì)困境——從直覺(jué)上看，玩家應(yīng)該合作來(lái)?yè)魯∑渌?，但合作團(tuán)隊(duì)內(nèi)部要求個(gè)體為更廣泛的利益做出妥協(xié)，但這種犧牲未必和他們的自身利益一致。此外，決定加入或離開(kāi)哪個(gè)團(tuán)隊(duì)以及團(tuán)隊(duì)策略都是重要問(wèn)題。

DeepMind嘗試了一種“禮物游戲”，在游戲中，AI扮演的玩家從一堆標(biāo)記著自己代表色的數(shù)字籌碼開(kāi)始。在每個(gè)玩家的回合中，他們必須拿出自己對(duì)應(yīng)顏色的籌碼并將其贈(zèng)送給另一名玩家，或?qū)⑵錀壷?。全部玩家都失去自己?duì)應(yīng)顏色的數(shù)字籌碼時(shí)游戲結(jié)束，此時(shí)擁有最多顏色籌碼的玩家獲勝，贏家平分價(jià)值為“1”的籌碼，其他玩家平分價(jià)值為“0”的籌碼。

研究發(fā)現(xiàn)，玩家往往表現(xiàn)得很自私，他們囤積籌碼以至于出現(xiàn)了三方平局。但事實(shí)上，如果兩名玩家交換籌碼，回報(bào)會(huì)更好。DeepMind將這種過(guò)程闡述為：盡管合作能帶來(lái)更好的結(jié)果，但人人都想從欺騙行為中獲利，也就是說(shuō)服對(duì)方交換然后食言。

這也就是說(shuō)，如果有一種機(jī)制能維護(hù)合作行為存在，那強(qiáng)化學(xué)習(xí)可以適應(yīng)這種博弈。這種機(jī)制就是合同——在游戲中，每個(gè)玩家必須提交一份報(bào)價(jià)，首先選擇合作伙伴，然后為該合作伙伴提出行動(dòng)建議，最后玩家承諾采取的行動(dòng)。如果兩個(gè)玩家提供了相同的契約，那么這些契約就具有了約束力，也就是說(shuō)環(huán)境強(qiáng)制執(zhí)行了所承諾的操作。

這種強(qiáng)制性機(jī)制是合作形成的基礎(chǔ)。

這種模型能讓我們?cè)诟鼜V闊的應(yīng)用環(huán)境中思考契約的作用。一個(gè)沒(méi)有強(qiáng)制實(shí)施機(jī)制的契約系統(tǒng)如果可以在多方動(dòng)態(tài)博弈中持續(xù)運(yùn)行將最終產(chǎn)生一個(gè)有價(jià)值的反饋回路，這將使得AI的應(yīng)用走向社會(huì)學(xué)和經(jīng)濟(jì)學(xué)。