如何測試強(qiáng)化學(xué)習(xí)智能體適應(yīng)性

強(qiáng)化學(xué)習(xí)（RL）能通過獎(jiǎng)勵(lì)或懲罰使智能體實(shí)現(xiàn)目標(biāo)，并將它們學(xué)習(xí)到的經(jīng)驗(yàn)轉(zhuǎn)移到新環(huán)境中。但強(qiáng)化學(xué)習(xí)存在眾所周知的缺陷：由于數(shù)據(jù)科學(xué)家在它們接受訓(xùn)練的環(huán)境中對這個(gè)系統(tǒng)進(jìn)行基準(zhǔn)測試，所以產(chǎn)生了過擬合，即訓(xùn)練數(shù)據(jù)擬合程度過當(dāng)?shù)那闆r。非營利性人工智能研究公司OpenAI正在通過人工智能訓(xùn)練環(huán)境（CoinRun）來解決這個(gè)問題，該環(huán)境為智能體將其經(jīng)驗(yàn)轉(zhuǎn)移到不熟悉的場景的能力提供了一項(xiàng)衡量指標(biāo)，它本質(zhì)上就像一個(gè)擁有敵人、目標(biāo)和不同難度關(guān)卡等完備信息的經(jīng)典平臺(tái)游戲。

OpenAI表示CoinRun在復(fù)雜性方面取得了理想的平衡效果，其訓(xùn)練環(huán)境比《刺猬索尼克》等傳統(tǒng)游戲平臺(tái)簡單得多，但它仍然對最先進(jìn)的算法提出了一個(gè)有價(jià)值的泛化問題。CoinRun的訓(xùn)練級(jí)別是程序生成的，可為智能體提供大量易于量化的訓(xùn)練數(shù)據(jù)。

正如OpenAI所解釋的那樣，之前在強(qiáng)化學(xué)習(xí)環(huán)境中所做的工作主要集中在程序生成的迷宮、像一般電子游戲AI框架這樣的社區(qū)項(xiàng)目以及像《刺猬索尼克》這樣的游戲上，通過在不同等級(jí)上的訓(xùn)練和測試智能體來衡量泛化效果。相比之下，CoinRun在每個(gè)等級(jí)訓(xùn)練結(jié)束時(shí)都會(huì)為智能體提供一個(gè)獎(jiǎng)勵(lì)。

在傳統(tǒng)的訓(xùn)練中，AI智能體必須應(yīng)對碰撞以后會(huì)導(dǎo)致死亡的固定或者移動(dòng)的障礙。當(dāng)收集完硬幣，或者走1000步之后，訓(xùn)練就結(jié)束了。

似乎這還不夠，所以O(shè)penAI開發(fā)了兩個(gè)額外的環(huán)境來探索過擬合的問題：CoinRun-Platforms和RandomMazes。CoinRun-Platforms包括隨機(jī)分散在平臺(tái)上的幾個(gè)硬幣，促使智能體積極探索關(guān)卡并時(shí)不時(shí)做一些回溯。RandomMazes是一個(gè)簡單的迷宮導(dǎo)航任務(wù)。

為了驗(yàn)證CoinRun、CoinRun-Platforms和RandomMazes，OpenAI培訓(xùn)了9個(gè)智能體，每個(gè)智能體具有不同數(shù)量的訓(xùn)練等級(jí)。前8個(gè)接受了100到16000個(gè)等級(jí)的訓(xùn)練，最后一個(gè)接受了不受限制的等級(jí)訓(xùn)練——實(shí)際上大約是200萬個(gè)——這樣它就不會(huì)兩次看到相同的等級(jí)。

智能體在4000訓(xùn)練等級(jí)處出現(xiàn)了過擬合，甚至在16000的訓(xùn)練等級(jí)處也是這樣。表現(xiàn)最佳的智能體竟然是那些受到無限制水平訓(xùn)練的。在CoinRun-Platforms和RandomMazes中，智能體在所有情況下都過擬合了。

OpenAI稱，使用程序生成的CoinRun環(huán)境可以精確地量化這種過擬合，可以更好地評(píng)估關(guān)鍵架構(gòu)和算法決策。OpenAI相信從這種環(huán)境中汲取的經(jīng)驗(yàn)教訓(xùn)將適用于更復(fù)雜的環(huán)境，也希望利用這一基準(zhǔn)，以及其他類似的基準(zhǔn)來迭代開發(fā)更通用的智能體。