AI棋牌應(yīng)用的現(xiàn)實意義

AI在棋牌類游戲的應(yīng)用，將促進(jìn)博弈決策的研究，以棋牌類AI應(yīng)用為基礎(chǔ)的相關(guān)AI博弈工具，在經(jīng)濟金融領(lǐng)域的風(fēng)險預(yù)測、軍事領(lǐng)域的戰(zhàn)局預(yù)測等方向有著廣泛的應(yīng)用前景。

半個多世紀(jì)以來，棋牌類游戲一直是人工智能（AI）發(fā)展創(chuàng)新的舞臺。利用AI在被視作智力游戲的棋牌中打敗人類，也一直是AI研究所追求的目標(biāo)。從1997年IBM的超級電腦“深藍(lán)”擊敗國際象棋世界冠軍卡斯帕羅夫，到2016年谷歌開發(fā)的AI機器人AlphaGo戰(zhàn)勝圍棋世界冠軍李世石，AI在棋牌類比賽中屢獲突破。2019年7月，卡耐基梅隆大學(xué)與Facebook公司共同開發(fā)的AI機器人“Pluribus”，在無限制德州撲克6人對決比賽中戰(zhàn)勝5名專家級人類玩家，AI在德州撲克戰(zhàn)場再下一城。

Pluribus概況

Pluribus與人類的比賽分為兩種模式：1個AI與5個人類玩家和5個AI與1個人類玩家，Pluribus在這兩種模式中都取得了勝利。而為了戰(zhàn)勝人類，Pluribus在策略、算法和能耗上進(jìn)行了多次優(yōu)化。

Pluribus研發(fā)的核心策略是運用改進(jìn)版本的蒙特卡洛遺憾最小化算法（Monte Carlo Counter factual Regret Minimization，MCCFR），通過自我博弈的方式學(xué)習(xí)。Pluribus首先隨機地選擇玩法，通過蠻力計算得到收斂的結(jié)果，并對這些行動擬合概率分布，使得其實力在不斷自我博弈中逐步變強。在整個學(xué)習(xí)過程中，AI機器人和自己進(jìn)行對戰(zhàn)，不使用任何人類游戲數(shù)據(jù)作為輸入。

算法上，為了解決6名玩家的額外復(fù)雜性，Pluribus整合了新的在線搜索算法，使AI能夠在游戲中向前預(yù)測并決定下一步該做什么，這種機制被稱為搜索功能。以往的棋牌類算法的每一步?jīng)Q策都需要計算到游戲結(jié)束，而在線搜索算法只需搜索前面的幾步即可。此外，Pluribus還利用了速度更快的新型self-play非完美信息游戲算法?；谏鲜鰞煞N算法，使得憑借極少的處理能力和內(nèi)存來訓(xùn)練Pluribus成為可能。

能耗上，研究人員使用一個64核的服務(wù)器，利用不大于512GB的內(nèi)存，在8天時間里完成了Pluribus的自我博弈訓(xùn)練，其成本大約為150美元，同其他自我對弈的AI研究相比，成本極低。而且算法上的進(jìn)步，讓研究人員可憑借較少的資源消耗實現(xiàn)極大的性能提升。

撲克AI和其他棋牌類AI的對比

撲克AI與棋類AI的基本原理相同，都采用蒙特卡洛搜索樹算法作為基本算法，不依賴人類所提供的策略，在不斷迭代的過程中實現(xiàn)自我學(xué)習(xí)。不同的是，棋類游戲中的棋子都展現(xiàn)在棋盤上，結(jié)果種類有限，所有的結(jié)果都是可推算的，這種情況被稱為“完美信息博弈”；牌類游戲中無法知道對手的底牌，含有隱藏信息，結(jié)果可能是多樣的，導(dǎo)致其計算難度和計算量大大增加，被稱為“不完美信息博弈”。

棋類AI

棋類游戲包括西洋雙陸棋、國際象棋、圍棋等，比賽中所有的信息和決策公開，并且游戲?qū)τ谕婕襾碚f只有贏或輸兩種可能的結(jié)果，從某種意義上說，這使得訓(xùn)練AI變得更容易。棋類在理論上可通過計算機模擬出每一種可能的情況，從而進(jìn)行完美信息動態(tài)博弈。這類完美信息博弈中AI機器人往往使用實時搜索。例如，當(dāng)模型在決定下一步該如何走時，國際象棋AI通常會考慮以后的一些移動步驟，直到算法的前瞻到達(dá)深度上限。而圍棋的棋盤變化可能性比可觀測宇宙范圍的原子總數(shù)還多，因此圍棋AI主要通過深度學(xué)習(xí)技術(shù)訓(xùn)練用于判斷結(jié)果輸贏概率的價值網(wǎng)絡(luò)，來增強AI對弈能力。

麻將AI

麻將AI的策略需要更多地增加得點的期望值，盡量增大和大牌的可能性，同時盡量避免對手的大牌點炮，這一打牌策略顯然是有最優(yōu)解的。為了有更大的可能性和大牌，AI需要通過手牌和棄牌池里的牌，計算進(jìn)張（摸到有效牌）和鳴牌（吃、碰、杠）使手牌有進(jìn)展的概率，進(jìn)而計算和牌得分的期望值。目前最強的麻將AI機器人是日本東京大學(xué)開發(fā)的“暴打”。

撲克AI

以德州撲克為例，由于在游戲中，玩家無法獲取已發(fā)生事件的全部信息（如對手的底牌等），因此這個游戲?qū)儆凇安煌昝佬畔ⅰ保↖mperfect Information）類游戲。德州撲克一直是人工智能領(lǐng)域最難以攻克的重大問題之一，因為和棋類游戲不同，撲克AI必須推理隱藏的信息，并慎重平衡自己策略。同時，相比棋類比賽，在撲克游戲中需要使用Bluff（嚇唬）等更多游戲策略。

在Pluribus之前，AI機器人曾在兩個參與者的完美信息零和博弈中取得了多次引人注目的成功，但大多數(shù)真實世界中的策略交互都涉及隱藏信息，且并非兩個參與者的零和博弈。Pluribus的成功表明，在復(fù)雜的多參與者場景中，基于自我博弈和搜索算法的AI能夠獲得很好的效果。

AI棋牌應(yīng)用的現(xiàn)實意義

Pluribus提出了在大型狀態(tài)空間、隱藏信息中有效地解決博弈論推理挑戰(zhàn)的方法，所開發(fā)出的技術(shù)很大程度上獨立于撲克領(lǐng)域，可用于大量不完美信息博弈。Pluribus處理的諸多問題，與真實世界中的通用問題相對應(yīng)，“不知道對手的牌”對應(yīng)現(xiàn)實中的“不完整信息”，“下注策略和由此帶來的結(jié)果”對應(yīng)現(xiàn)實中的“風(fēng)險管理”，“確認(rèn)對手的模式，并進(jìn)行利用”對應(yīng)現(xiàn)實中的“智能體建?！?，“Bluffing(撲克中的恐嚇技巧)”對應(yīng)現(xiàn)實中的“欺騙”，“處理對手欺騙的牌”對應(yīng)現(xiàn)實中的“不可靠信息”。

事實上，棋牌類游戲的本質(zhì)是競爭和對抗，由游戲規(guī)則定義其目標(biāo)（評價標(biāo)準(zhǔn)），玩家使用各種策略達(dá)成目標(biāo)，其中涉及數(shù)量可觀的博弈過程。AI在棋牌類游戲的應(yīng)用，將促進(jìn)博弈決策的研究。以棋牌類AI應(yīng)用為基礎(chǔ)的相關(guān)AI博弈工具，在經(jīng)濟金融領(lǐng)域的風(fēng)險預(yù)測、軍事領(lǐng)域的戰(zhàn)局預(yù)測等方向有著廣泛的應(yīng)用前景。

在經(jīng)濟金融領(lǐng)域，不論對經(jīng)濟發(fā)展的總體趨勢預(yù)測，還是銀行、保險、股市等細(xì)分行業(yè)的風(fēng)險模型建立，都需要依靠大量“不完美信息”來決策。AI博弈工具可通過處理不完美信息來獲得最佳決策。政府可利用AI博弈工具對社會行業(yè)的未來趨勢進(jìn)行預(yù)測，判斷供需關(guān)系，合理有序引導(dǎo)行業(yè)健康發(fā)展。銀行、保險公司可利用AI工具判斷短期行業(yè)走勢，高效評估企業(yè)風(fēng)險，以決定是否達(dá)成交易。

在軍事領(lǐng)域，具有自主學(xué)習(xí)功能的AI博弈工具與兵棋推演相結(jié)合，將爆發(fā)出極強的戰(zhàn)斗力，幫助軍隊獲取制勝先機。從上個世紀(jì)70年代初開始，美國陸軍就按照“全自動兵棋”概念建立起“地面作戰(zhàn)模擬系統(tǒng)”。20世紀(jì)90年代初，美軍在海灣戰(zhàn)爭爆發(fā)前就使用兵棋游戲?qū)φ麄€戰(zhàn)爭進(jìn)行了推演，而戰(zhàn)爭的過程幾乎和美軍事前的推演如出一轍。隨著技術(shù)的進(jìn)步，算法不斷成熟使得算力需求進(jìn)一步降低，同時計算技術(shù)朝著系統(tǒng)微型化和處理高速化方向發(fā)展，具備超強自主學(xué)習(xí)和計算能力的AI系統(tǒng)與作戰(zhàn)模擬系統(tǒng)相結(jié)合，將提升對戰(zhàn)局的預(yù)測和把控。未來，AI系統(tǒng)將有希望直接與戰(zhàn)場指揮系統(tǒng)對接，其快速戰(zhàn)局推演能力、高效制定作戰(zhàn)方案的能力，將主導(dǎo)戰(zhàn)爭的勝負(fù)走向。