0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

谷歌AI發(fā)布足球游戲強化學習訓練環(huán)境“足球引擎”

DPVg_AI_era ? 來源:lq ? 2019-06-15 10:33 ? 次閱讀

繼圍棋、Dota和星際爭霸后,AI進軍體育游戲了!近日,谷歌AI發(fā)布足球游戲強化學習訓練環(huán)境“足球引擎”,智能體經(jīng)過由易到難的強化學習自我比賽訓練,成功完成跑動配合、防守反擊、二過一、門前搶點得分等高級行為。足球游戲“虐電”要成為歷史了嗎?

強化學習(RL)的目標是培養(yǎng)能夠與環(huán)境互動并解決復雜任務的智能體,開發(fā)出機器人技術(shù)的更多實際應用。近年來,讓智能體玩游戲,如標志性的Atari主機游戲、圍棋游戲,專業(yè)視頻游戲等,如Dota 2或《星際爭霸2》,推動了這一領(lǐng)域的快速發(fā)展。所有這些游戲都提供了極具挑戰(zhàn)性的訓練環(huán)境,可以以安全、可重復的方式快速測試新的算法和理念。

對于強化學習來說,足球類游戲尤其具有挑戰(zhàn)性,因為智能體需要在短期內(nèi)學會控制、學習陌生概念(比如傳球),并在高水平的不同戰(zhàn)略之間實現(xiàn)自然平衡。

為此,Google AI 發(fā)布了一個新的強化學習環(huán)境Google Research Football Environment,智能體的目標是掌握世界上最受歡迎的體育項目——足球。該環(huán)境以流行的足球視頻游戲為模型,提供基于真實的3D足球模擬,由智能體控制球隊中的一個或所有球員,學習如何傳球,并設法突破對方的防守取得進球。這個環(huán)境由幾個關(guān)鍵部分組成:高度優(yōu)化的游戲引擎、一系列嚴格的基準,以及由易變難的強化學習場景。為了便于研究,我們在Github上發(fā)布了基礎開源代碼的測試版。

強化學習“足球引擎”:真實模擬足球場上常見場景事件

該強化學習環(huán)境的核心是一種先進的足球游戲模擬,稱為“足球引擎”,它基于一個足球游戲版本經(jīng)大量修改而成。根據(jù)兩支對方球隊的輸入動作,模擬了足球比賽中的常見事件和場景,包括進球、犯規(guī)、角球和點球、越位等?!白闱蛞妗辈捎酶叨葍?yōu)化的C++代碼編寫,可以在現(xiàn)有的計算機上運行,無論是否依賴GPU渲染都可以運行。在單CPU六核計算機上的運行速度可以達到每天約2500萬步。

“足球引擎”是一種先進的足球游戲環(huán)境模擬,支持所有主要的足球比賽規(guī)則,如開球(左上),進球(右上),犯規(guī),出牌(左下),角球和點球(右下)和越位。

此外,該引擎還具備了針對強化學習的更多功能。首先,引擎可以從不同的狀態(tài)表示中學習,包括玩家位置之類的語義信息,也可以從原始像素進行學習。其次,為了研究隨機性對游戲的影響,可以在隨機模式(默認設置即為隨機模式)下運行,在該模式下,環(huán)境和對手AI動作中都存在隨機性,而在確定模式中不存在隨機性。第三,開箱即用,與廣泛使用的OpenAI Gym API 兼容。研究人員可以通過使用鍵盤或游戲手柄與智能體對戰(zhàn),來獲得對游戲的感覺。

訓練基準:由易到難,進球和帶球近門都有獎勵

通過基準測試,研究人員為基于足球引擎的強化學習研究設立了一系列基準問題,其目標是針對固定的基于規(guī)則的對手進行“標準”的足球游戲,這些對手是為此而手工設計的。我們提供三個版本的基準:簡單、普通和困難,實力由弱到強。

作為參考,本研究提供了兩種最先進的強化學習算法的基準測試結(jié)果:DQN和IMPALA,它們既可以在一臺機器上的多個進程中運行,也可以在多臺機器上同時運行。我們針對兩種獎勵設置進行了研究,第一種設置提供的唯一獎勵是取得進球。第二種設置為智能體將球移動至球門附近提供額外的獎勵。

研究結(jié)果表明,簡單模式下的基準測試似乎更適用于單機版算法的研究,困難模式的基準即使對于大規(guī)模分布式強化學習算法而言也具有很大的挑戰(zhàn)性?;诃h(huán)境的性質(zhì)和基準測試的難度,我們期望這些測試和環(huán)境可用于研究當前的科學難題,例如樣本有效的強化學習、稀疏獎勵,或基于模型的強化學習等。

不同基線的不同難度級別的智能體的測試結(jié)果。對于簡單模式基準測試的對手,DQN智能體訓練2000萬步即可戰(zhàn)勝,而要戰(zhàn)勝中等和困難模式的對手需要使用大規(guī)模分布式算法,如IMPALA,需要訓練2億步。

未來方向:從自訓練到適應對手

為了完成完整的足球策略訓練,研究人員還提供了“足球?qū)W院”,提供各種測試難度的多個場景。研究人員可以探索新的研究思路,測試更高級的概念,并為課程學習研究思路提供基礎。

智能體可以從由易到難的場景中學習?!白闱?qū)W院”場景示例包括,智能體必須學習如何在球員之間快速傳接球,并學習如何進行防守反擊。研究人員可以使用簡單的API,進一步自定義場景并訓練智能體解決更多問題。

由上至下:(1)一個成功的進攻策略,迎球跑動,面對門將射門得分。(2)策動并完成一次漂亮的反擊。(3)應對前場2打1的簡單方式。(4)角球后門前搶點得分。

此次提出的足球游戲智能體訓練基準遵循的是標準的強化學習設置,由智能體與固定的對手競爭,競爭對手被視為環(huán)境的一部分。而實際上,足球是一個雙方的游戲,是兩個不同的球隊之間的競爭,一方必須要適應對方的行動和戰(zhàn)略。我們?yōu)檠芯窟@種環(huán)境提供了獨特的機會,一旦我們完成了自游戲的測試,就可以進一步研究更多更有趣的測試環(huán)境。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 谷歌
    +關(guān)注

    關(guān)注

    27

    文章

    6169

    瀏覽量

    105439
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    30947

    瀏覽量

    269216
  • 強化學習
    +關(guān)注

    關(guān)注

    4

    文章

    266

    瀏覽量

    11262

原文標題:FIFA變身AI主場:谷歌推出強化學習“足球引擎”完爆人類玩家

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    索尼智能科技賦能足球競賽新視角

    細數(shù)近年來變革足球賽事的科技判罰手段,從門線技術(shù)到VAR再到半自動越位技術(shù),背后都離不開科技革新力量。
    的頭像 發(fā)表于 12-29 15:54 ?300次閱讀

    螞蟻集團收購邊塞科技,吳翼出任強化學習實驗室首席科學家

    近日,專注于模型賽道的初創(chuàng)企業(yè)邊塞科技宣布被螞蟻集團收購。據(jù)悉,此次交易完成后,邊塞科技將保持獨立運營,而原投資人已全部退出。 與此同時,螞蟻集團近期宣布成立強化學習實驗室,旨在推動大模型強化學習
    的頭像 發(fā)表于 11-22 11:14 ?590次閱讀

    如何使用 PyTorch 進行強化學習

    強化學習(Reinforcement Learning, RL)是一種機器學習方法,它通過與環(huán)境的交互來學習如何做出決策,以最大化累積獎勵。PyTorch 是一個流行的開源機器
    的頭像 發(fā)表于 11-05 17:34 ?305次閱讀

    谷歌AlphaChip強化學習工具發(fā)布,聯(lián)發(fā)科天璣芯片率先采用

    近日,谷歌在芯片設計領(lǐng)域取得了重要突破,詳細介紹了其用于芯片設計布局的強化學習方法,并將該模型命名為“AlphaChip”。據(jù)悉,AlphaChip有望顯著加速芯片布局規(guī)劃的設計流程,并幫助芯片在性能、功耗和面積方面實現(xiàn)更優(yōu)表現(xiàn)。
    的頭像 發(fā)表于 09-30 16:16 ?429次閱讀

    AI引擎機器學習陣列指南

    AMD Versal AI Core 系列和 Versal AI Edge 系列旨在憑借 AI 引擎機器學習 ( ML ) 架構(gòu)來提供突破性
    的頭像 發(fā)表于 09-18 09:16 ?408次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>引擎</b>機器<b class='flag-5'>學習</b>陣列指南

    谷歌發(fā)布革命性AI游戲引擎GameNGen

    谷歌近期震撼推出全球首款完全由人工智能驅(qū)動的游戲引擎——GameNGen,這一創(chuàng)新技術(shù)標志著游戲開發(fā)領(lǐng)域的新紀元。GameNGen憑借其強大的計算能力,能夠在單個TPU上實現(xiàn)每秒20幀
    的頭像 發(fā)表于 08-29 18:07 ?892次閱讀

    谷歌研究人員推出革命性首個AI驅(qū)動游戲引擎

    在科技日新月異的今天,人工智能(AI)正以前所未有的速度滲透到我們生活的每一個角落,從自動駕駛汽車到智能家居,無一不彰顯著其巨大的潛力和無限可能。而最近,谷歌研究團隊的一項突破性成果更是將AI的邊界
    的頭像 發(fā)表于 08-29 17:21 ?538次閱讀

    蘋果AI模型訓練新動向:攜手谷歌,未選英偉達

    近日,蘋果公司發(fā)布的最新研究報告揭示了其在人工智能領(lǐng)域的又一重要戰(zhàn)略選擇——采用谷歌設計的芯片來訓練AI模型,而非行業(yè)巨頭英偉達的產(chǎn)品。這一決定在業(yè)界引起了廣泛關(guān)注,尤其是在當前英偉
    的頭像 發(fā)表于 08-01 18:11 ?929次閱讀

    蘋果承認使用谷歌芯片來訓練AI

    蘋果公司最近在一篇技術(shù)論文中披露,其先進的人工智能系統(tǒng)Apple Intelligence背后的兩個關(guān)鍵AI模型,是在谷歌設計的云端芯片上完成預訓練的。這一消息標志著在尖端AI
    的頭像 發(fā)表于 07-30 17:03 ?737次閱讀

    谷歌借助Gemini AI系統(tǒng)深化對機器人的訓練

    7月12日,國際科技界傳來新動態(tài),谷歌正借助其先進的Gemini AI系統(tǒng),深化對旗下機器人的訓練,旨在顯著提升它們的導航能力和任務執(zhí)行能力。DeepMind機器人團隊最新發(fā)布的研究論
    的頭像 發(fā)表于 07-12 16:29 ?640次閱讀

    智能傳感器改變歐洲杯,讓現(xiàn)代足球更智能

    最近什么最火,話題最熱 那肯定是歐洲杯?。?歐洲杯如火如荼的進行著,這段時間各位小主們是不是都開始作息顛倒,為自己支持的球隊吶喊助威呢! 小編我也是一個十足的足球愛好者,心中也有著一個足球夢, 黑馬
    的頭像 發(fā)表于 07-12 09:45 ?1932次閱讀
    智能傳感器改變歐洲杯,讓現(xiàn)代<b class='flag-5'>足球</b>更智能

    晶科能源與曼城足球俱樂部達成全球合作伙伴關(guān)系

    ? ? ? 全球領(lǐng)先的光伏及儲能系統(tǒng)供應商——晶科能源宣布與曼城足球俱樂部達成為期數(shù)年的全球合作伙伴關(guān)系。 晶科能源將通過此次合作進一步擴大其品牌在全球范圍的影響力。同時,曼城足球俱樂部也將在
    的頭像 發(fā)表于 06-12 16:35 ?604次閱讀

    通過強化學習策略進行特征選擇

    更快更好地學習。我們的想法是找到最優(yōu)數(shù)量的特征和最有意義的特征。在本文中,我們將介紹并實現(xiàn)一種新的通過強化學習策略的特征選擇。我們先討論強化學習,尤其是馬爾可夫決策
    的頭像 發(fā)表于 06-05 08:27 ?357次閱讀
    通過<b class='flag-5'>強化學習</b>策略進行特征選擇

    體育與TDK:使足球運動越來越狂熱的VAR系統(tǒng)和傳感器技術(shù)

    足球是一項受歡迎的運動,在世界范圍內(nèi)擁有著非常多的運動員和觀眾。由FIFA (國際足球聯(lián)合會) 主辦的世界杯每4年舉辦一次,是全球32支球隊 (2026年48支球隊) 聚集在一起,角逐足球冠軍的大賽。
    的頭像 發(fā)表于 03-27 14:19 ?816次閱讀
    體育與TDK:使<b class='flag-5'>足球</b>運動越來越狂熱的VAR系統(tǒng)和傳感器技術(shù)

    谷歌模型訓練軟件有哪些功能和作用

    谷歌模型訓練軟件主要是指ELECTRA,這是一種新的預訓練方法,源自谷歌AI。ELECTRA不僅擁有BERT的優(yōu)勢,而且在效率上更勝一籌。
    的頭像 發(fā)表于 02-29 17:37 ?795次閱讀