提出了基于Q學習的角色值方法，避免了在比賽中由于機器人之間的頻繁角色轉(zhuǎn)換而造成的系統(tǒng)效率損失及系統(tǒng)不穩(wěn)定。該方法完善了多智能體系統(tǒng)的整體調(diào)整方法，有效地解決了在實際系統(tǒng)設(shè)計和實現(xiàn)過程中遇到的問題。經(jīng)FIRA仿真比賽檢驗，該方法是有效的，降低了機器人丟球、漏球、不作為的可能性，彌補了按區(qū)域分配固定角色的不足，有較好的實用性。
關(guān) 鍵 詞 多智能體系統(tǒng); 強化學習; 機器人; 角色值

Multi-Agent System(MAS)是由自主的Agent通過協(xié)作完成某些任務(wù)或達到某些目標的計算系統(tǒng)，它通過競爭或磋商等手段協(xié)調(diào)解決各Agent成員目標和行為之間的矛盾和沖突[1]。足球機器人是一個典型的多Agent系統(tǒng)，各個機器人之間協(xié)作的好壞是決定比賽勝負的關(guān)鍵之一。
在機器人足球比賽過程中，由于兩隊的激烈爭奪，球和雙方隊員的位置在不斷變化。如果對球隊中的每個隊員安排固定的角色和固定的攻防區(qū)域，比賽中常會出現(xiàn)隊員“不作為”的現(xiàn)象[2]。如某個隊員在自己區(qū)域帶球，一旦跨出指定區(qū)域，它不會“越權(quán)”，結(jié)果是丟下球不管；另一方面，即使球在它的附近，但還未進入它的區(qū)域，該隊員也不會去搶球，往往會錯失良機。此外，對于5VS5、11VSl1類型的比賽，由于是多個隊員排兵布陣，除了要考慮對對方隊員的避碰外，還必須考慮本隊隊員之間的避障；而且各個機器人的“體力”消耗不同(如RoboCup)中有體力模型，實物機器人存在電量消耗)，不宜讓某個機器人始終擔當一個固定不變的角色。