繼圍棋、Dota和星際爭霸后,AI進軍體育游戲了!近日,谷歌AI發(fā)布足球游戲強化學習訓練環(huán)境“足球引擎”,智能體經(jīng)過由易到難的強化學習自我比賽訓練,成功完成跑動配合、防守反擊、二過一、門前搶點得分等高級行為。足球游戲“虐電”要成為歷史了嗎?
強化學習(RL)的目標是培養(yǎng)能夠與環(huán)境互動并解決復雜任務的智能體,開發(fā)出機器人技術(shù)的更多實際應用。近年來,讓智能體玩游戲,如標志性的Atari主機游戲、圍棋游戲,專業(yè)視頻游戲等,如Dota 2或《星際爭霸2》,推動了這一領(lǐng)域的快速發(fā)展。所有這些游戲都提供了極具挑戰(zhàn)性的訓練環(huán)境,可以以安全、可重復的方式快速測試新的算法和理念。
對于強化學習來說,足球類游戲尤其具有挑戰(zhàn)性,因為智能體需要在短期內(nèi)學會控制、學習陌生概念(比如傳球),并在高水平的不同戰(zhàn)略之間實現(xiàn)自然平衡。
為此,Google AI 發(fā)布了一個新的強化學習環(huán)境Google Research Football Environment,智能體的目標是掌握世界上最受歡迎的體育項目——足球。該環(huán)境以流行的足球視頻游戲為模型,提供基于真實的3D足球模擬,由智能體控制球隊中的一個或所有球員,學習如何傳球,并設法突破對方的防守取得進球。這個環(huán)境由幾個關(guān)鍵部分組成:高度優(yōu)化的游戲引擎、一系列嚴格的基準,以及由易變難的強化學習場景。為了便于研究,我們在Github上發(fā)布了基礎開源代碼的測試版。
強化學習“足球引擎”:真實模擬足球場上常見場景事件
該強化學習環(huán)境的核心是一種先進的足球游戲模擬,稱為“足球引擎”,它基于一個足球游戲版本經(jīng)大量修改而成。根據(jù)兩支對方球隊的輸入動作,模擬了足球比賽中的常見事件和場景,包括進球、犯規(guī)、角球和點球、越位等?!白闱蛞妗辈捎酶叨葍?yōu)化的C++代碼編寫,可以在現(xiàn)有的計算機上運行,無論是否依賴GPU渲染都可以運行。在單CPU六核計算機上的運行速度可以達到每天約2500萬步。
“足球引擎”是一種先進的足球游戲環(huán)境模擬,支持所有主要的足球比賽規(guī)則,如開球(左上),進球(右上),犯規(guī),出牌(左下),角球和點球(右下)和越位。
此外,該引擎還具備了針對強化學習的更多功能。首先,引擎可以從不同的狀態(tài)表示中學習,包括玩家位置之類的語義信息,也可以從原始像素進行學習。其次,為了研究隨機性對游戲的影響,可以在隨機模式(默認設置即為隨機模式)下運行,在該模式下,環(huán)境和對手AI動作中都存在隨機性,而在確定模式中不存在隨機性。第三,開箱即用,與廣泛使用的OpenAI Gym API 兼容。研究人員可以通過使用鍵盤或游戲手柄與智能體對戰(zhàn),來獲得對游戲的感覺。
訓練基準:由易到難,進球和帶球近門都有獎勵
通過基準測試,研究人員為基于足球引擎的強化學習研究設立了一系列基準問題,其目標是針對固定的基于規(guī)則的對手進行“標準”的足球游戲,這些對手是為此而手工設計的。我們提供三個版本的基準:簡單、普通和困難,實力由弱到強。
作為參考,本研究提供了兩種最先進的強化學習算法的基準測試結(jié)果:DQN和IMPALA,它們既可以在一臺機器上的多個進程中運行,也可以在多臺機器上同時運行。我們針對兩種獎勵設置進行了研究,第一種設置提供的唯一獎勵是取得進球。第二種設置為智能體將球移動至球門附近提供額外的獎勵。
研究結(jié)果表明,簡單模式下的基準測試似乎更適用于單機版算法的研究,困難模式的基準即使對于大規(guī)模分布式強化學習算法而言也具有很大的挑戰(zhàn)性?;诃h(huán)境的性質(zhì)和基準測試的難度,我們期望這些測試和環(huán)境可用于研究當前的科學難題,例如樣本有效的強化學習、稀疏獎勵,或基于模型的強化學習等。
不同基線的不同難度級別的智能體的測試結(jié)果。對于簡單模式基準測試的對手,DQN智能體訓練2000萬步即可戰(zhàn)勝,而要戰(zhàn)勝中等和困難模式的對手需要使用大規(guī)模分布式算法,如IMPALA,需要訓練2億步。
未來方向:從自訓練到適應對手
為了完成完整的足球策略訓練,研究人員還提供了“足球?qū)W院”,提供各種測試難度的多個場景。研究人員可以探索新的研究思路,測試更高級的概念,并為課程學習研究思路提供基礎。
智能體可以從由易到難的場景中學習?!白闱?qū)W院”場景示例包括,智能體必須學習如何在球員之間快速傳接球,并學習如何進行防守反擊。研究人員可以使用簡單的API,進一步自定義場景并訓練智能體解決更多問題。
由上至下:(1)一個成功的進攻策略,迎球跑動,面對門將射門得分。(2)策動并完成一次漂亮的反擊。(3)應對前場2打1的簡單方式。(4)角球后門前搶點得分。
此次提出的足球游戲智能體訓練基準遵循的是標準的強化學習設置,由智能體與固定的對手競爭,競爭對手被視為環(huán)境的一部分。而實際上,足球是一個雙方的游戲,是兩個不同的球隊之間的競爭,一方必須要適應對方的行動和戰(zhàn)略。我們?yōu)檠芯窟@種環(huán)境提供了獨特的機會,一旦我們完成了自游戲的測試,就可以進一步研究更多更有趣的測試環(huán)境。
-
谷歌
+關(guān)注
關(guān)注
27文章
6169瀏覽量
105439 -
AI
+關(guān)注
關(guān)注
87文章
30947瀏覽量
269216 -
強化學習
+關(guān)注
關(guān)注
4文章
266瀏覽量
11262
原文標題:FIFA變身AI主場:谷歌推出強化學習“足球引擎”完爆人類玩家
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論