深度強化學習平臺為玩家?guī)硇碌娜斯ぶ悄荏w驗

得益于索尼 AI 、索尼互動娛樂（ SIE ）以及 GT Sport 的開發(fā)者 Polyphony Digital Inc 。的最新合作， Gran Turismo （ GT ） Sport 的競爭對手正面臨一個新的、 AI 超級強大的競爭者。

被稱為 Gran Turismo Sophy （ GT Sophy ）的自主人工智能賽車代理最近擊敗了 GT 運動領域的世界最佳車手。發(fā)表在 Nature， 上的 工作 介紹了一種新的深度強化學習平臺，用于創(chuàng)建 GT Sophy ，并可能為全球玩家?guī)硇碌娜斯ぶ悄荏w驗。

索尼集團公司董事長、總裁兼首席執(zhí)行官吉田健一郎在一份 發(fā)布。 的聲明中說：“索尼的目的是‘通過創(chuàng)造力和技術的力量，讓世界充滿情感’，而大圖里斯莫·索菲就是這一點的完美體現(xiàn)。”

“我們?yōu)橛螒蛲婕掖蛟炝艘豢钣螒?AI ，這是索尼作為一家創(chuàng)意娛樂公司的獨特之處。它標志著 AI 發(fā)展的重大飛躍，同時也為全球 GT 粉絲提供了增強的體驗?！?/p>

Smart gaming

人工智能對游戲來說并不新鮮。 2017 年，來自 DeepMind 的 Alpha Zero 項目在學會玩和征服國際象棋、日本象棋和使用深度強化學習（ deep RL ）圍棋時成為新聞

作為機器學習的一種補償， deep RL 在基本術語中使用計算 RL 代理通過試錯來做出決策，以解決問題。在算法中引入深度學習后，智能體從非常大的數(shù)據(jù)集做出決策，并決定有效地實現(xiàn)其目標的行動。

Alpha Zero 程序使用了一種算法，一個未經(jīng)訓練的神經(jīng)網(wǎng)絡對自己進行了數(shù)百萬次游戲，并根據(jù)其結果調(diào)整游戲。

然而，賽車人工智能對來自不同汽車、賽道、駕駛員、天氣和對手的無數(shù)變量提出了更復雜的推理需求。作為最逼真的駕駛模擬器之一， GT Sport 使用真實的賽車和賽道尺寸，通過考慮空氣阻力和輪胎摩擦等因素再現(xiàn)比賽環(huán)境。

強化良好行為

該團隊創(chuàng)建了一個能夠適應實時因素的賽車代理，并使用新開發(fā)的 deep RL 算法對 GT Sophy 進行了賽車控制、賽車戰(zhàn)術和賽車禮儀三項具體技能的培訓。根據(jù) project’s website ，該算法使用最新的強化學習技術，根據(jù)賽車經(jīng)紀人的行為對其進行獎勵或懲罰。

研究人員在研究報告中寫道：“使用 deep RL 開發(fā)賽車代理的優(yōu)點之一是，工程師無需編程如何以及何時執(zhí)行贏得比賽所需的技能，只要它暴露在正確的條件下，代理通過反復試驗學會做正確的事?！?。

該團隊定制了一個基于網(wǎng)絡的分布式異步部署和培訓（ DART ）平臺，使用 SIE 的全球云基礎設施研究人員在 PlayStation 4 控制臺上培訓 GT Sophy ，然后使用 DART 收集培訓數(shù)據(jù)并評估代理的版本。

使用這個系統(tǒng)，研究人員指定一個實驗，自動運行，并在網(wǎng)絡瀏覽器中查看數(shù)據(jù)。每個實驗都在一個計算節(jié)點上使用一個培訓師，該培訓師使用 cuDNN 加速的 TensorFlow 深度學習框架和 NVIDIA V100 GPU 或 NVIDIA A100 GPU 的一半，再加上大約 8 個 CPU 和 55 個 記憶的碎片。

據(jù) project’s website 報道，“該系統(tǒng)允許索尼人工智能的研究團隊無縫地同時運行數(shù)百個實驗，同時探索將 GT Sophy 提升到下一個水平的技術?！?。

增壓燃氣輪機

在 2021 ，世界上最好的 GT 賽車手中有四人在兩個單獨的比賽中與 GT Suffy 競爭。這些比賽包括三個賽馬場、四名 GT Sophy 經(jīng)紀人和賽車。在首次亮相時， GT Sophy 在計時賽中表現(xiàn)出色，但在同一賽道上挑戰(zhàn)賽車手時表現(xiàn)不佳。

該隊在第一場比賽結果的基礎上進行了改進，升級了訓練體系，增加了網(wǎng)絡規(guī)模，調(diào)整了特征和獎勵，增強了對手。

這一結果造就了一名賽車經(jīng)紀人，他可以在急轉(zhuǎn)彎處超越一名人類駕駛員，處理擁擠的起跑，在滑流中進行彈弓傳球，并執(zhí)行防守動作。經(jīng)紀人這樣做的同時，也遵守了人類駕駛員理解和實踐的微妙的體育道德考慮。在計時賽和 FIA 認證的格蘭賽車錦標賽系列賽中，它也擊敗了頂尖的人力車手。

據(jù)報道， GT Sophy 在短短幾個小時內(nèi)就學會了繞道而行。在大約兩天的時間里，它可以擊敗大約 95% 的人類玩家。給它 10 到 12 天，大約 45 ， 00 個駕駛小時， GT Sophy 就等于或超過了世界頂級車手。

憑借其賽車實力， GT Sophy 的目標是讓 GT 運動更有趣、更具競爭力和教育性。一些與 GT Sophy 競爭的專家報告說，他們學習了轉(zhuǎn)彎和駕駛技術的新方法。

研究人員還發(fā)現(xiàn)， deep RL 有可能改善協(xié)作機器人、無人機或自動駕駛車輛等系統(tǒng)的實際應用。

關于作者

Michelle Horton 是 NVIDIA 的高級開發(fā)人員通信經(jīng)理，擁有通信經(jīng)理和科學作家的背景。她在 NVIDIA 為開發(fā)者博客撰文，重點介紹了開發(fā)者使用 NVIDIA 技術的多種方式。

審核編輯：郭婷