Q學(xué)習(xí)角色值法在機(jī)器人足球比賽中的應(yīng)用

提出了基于Q學(xué)習(xí)的角色值方法，避免了在比賽中由于機(jī)器人之間的頻繁角色轉(zhuǎn)換而造成的系統(tǒng)效率損失及系統(tǒng)不穩(wěn)定。該方法完善了多智能體系統(tǒng)的整體調(diào)整方法，有效地解決了在實(shí)際系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)過(guò)程中遇到的問(wèn)題。經(jīng)FIRA仿真比賽檢驗(yàn)，該方法是有效的，降低了機(jī)器人丟球、漏球、不作為的可能性，彌補(bǔ)了按區(qū)域分配固定角色的不足，有較好的實(shí)用性。
關(guān) 鍵 詞 多智能體系統(tǒng); 強(qiáng)化學(xué)習(xí); 機(jī)器人; 角色值

Multi-Agent System(MAS)是由自主的Agent通過(guò)協(xié)作完成某些任務(wù)或達(dá)到某些目標(biāo)的計(jì)算系統(tǒng)，它通過(guò)競(jìng)爭(zhēng)或磋商等手段協(xié)調(diào)解決各Agent成員目標(biāo)和行為之間的矛盾和沖突[1]。足球機(jī)器人是一個(gè)典型的多Agent系統(tǒng)，各個(gè)機(jī)器人之間協(xié)作的好壞是決定比賽勝負(fù)的關(guān)鍵之一。
在機(jī)器人足球比賽過(guò)程中，由于兩隊(duì)的激烈爭(zhēng)奪，球和雙方隊(duì)員的位置在不斷變化。如果對(duì)球隊(duì)中的每個(gè)隊(duì)員安排固定的角色和固定的攻防區(qū)域，比賽中常會(huì)出現(xiàn)隊(duì)員“不作為”的現(xiàn)象[2]。如某個(gè)隊(duì)員在自己區(qū)域帶球，一旦跨出指定區(qū)域，它不會(huì)“越權(quán)”，結(jié)果是丟下球不管；另一方面，即使球在它的附近，但還未進(jìn)入它的區(qū)域，該隊(duì)員也不會(huì)去搶球，往往會(huì)錯(cuò)失良機(jī)。此外，對(duì)于5VS5、11VSl1類型的比賽，由于是多個(gè)隊(duì)員排兵布陣，除了要考慮對(duì)對(duì)方隊(duì)員的避碰外，還必須考慮本隊(duì)隊(duì)員之間的避障；而且各個(gè)機(jī)器人的“體力”消耗不同(如RoboCup)中有體力模型，實(shí)物機(jī)器人存在電量消耗)，不宜讓某個(gè)機(jī)器人始終擔(dān)當(dāng)一個(gè)固定不變的角色。