本文主要是介绍【数据应用案例】openFive dota5v5战胜人类,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
@案例来源:@AI科技大本营 @AI科技评论 @论智
@案例地址:https://mp.weixin.qq.com/s/exvP4FucUfeOONsUkyTz7w;https://mp.weixin.qq.com/s/-llCCnFkDypVNiEh4yjNMg;https://www.jqr.com/article/000306
0. 背景:美国时间8月5日,open AI的5v5dotaAI “Open Five”2比1战胜了由主播、前职业选手组成的人类战队。
1. 目标:训练能在5v5比赛中打赢高水平人类选手的AI
2. 难点:
1)强化学习能学习到“带来高反馈”的模式,但是游戏中影响胜利的因素很多,视野、团战、技能冷却中、分路、兵线等,人类也难以定义哪些因素对最终胜利起到决定性因素,为模型制定反馈规则较为复杂
2)仅仅以最终胜负作为反馈的话,会带来反馈稀疏的问题
3)5v5游戏中需要团队配合,包括核心辅助的角色划分,前中后期的资源分配等
4)视野有限:必须在有限信息中进行决策
5)高维、连续的观察空间和动作空间
6)短期收益与长期收益的矛盾:打钱可以提高短期收益,但是队友推塔时自己还在打钱会降低推塔成功率,从而影响长期收益
3. 基本框架
1)为每个英雄单独训练一个网络,网络为一个单层的、1024-unit 的 LSTM
2)观察空间:通过dota的bot api获取实时的游戏信息,将世界视为 20000 个数字的列表
3)动作空间:动作、动作在单元格网络中的X或Y坐标等,共8个值的列表
4)训练:
a. 使用“Rapid”通用 RL 训练系统,训练系统分为 rollout workers,运行游戏副本,智能体(agent),用来收集经验,优化器节点(optimizer nodes)执行跨 GPU 组的同步梯度下降。每次训练还包括分别对训练机器人以及样本机器人进行评估的组件,以及监视软件,比如 TensorBoard,Sentry 以及 Grafana。
b. 使用128,000个preemptible CPU,256个P100 GPU。一天的训练量相当于人类不间断玩了180年游戏
c. 为了避免“策略崩溃”,智能体在训练的时候,80% 的游戏都是自我对抗, 另外 20% 则是与过去的自己进行对抗
d. 为了强制探索动作空间,在训练中对智能体的血量、移速、初始等级随机化,强迫其进行探索
4. trick
1)增加表现行为(总财产、补刀数、击杀数、助攻数、死亡数)作为反馈指标
2)引入人类对英雄的定位信息(如核心、辅助等):鼓励AI将表现指标“达到”人类的平均水平,而不是越大越好。如冰女是辅助英雄,补刀数低,助攻数高,当AI表现越接近人类在相同时间的平均值时,获得的奖励越高
3)团队精神:设置一个“团队精神”超参数,平衡AI个体收益和团队收益之间的奖励权重
4)探索与攻击肉山:在Open Five刚发布的时候,AI是不会主动去打肉山。但是在本次比赛中,AI频繁探索肉山视野(避免对手打肉山),并有了打肉山的行为。训练技巧是在训练中给肉山随机血量,那么AI探索肉山并遇见肉山随机到低血量的时候,很容易低成本获得高奖励,从而鼓励AI开始关注肜
5)眼:训练AI买眼与插眼控制视野太过复杂(眼在游戏中是有限的稀缺资源,插眼需要对游戏未来数分钟局势的判断,同时插眼需要付出较高的时间成本和生命危险,因此计算插眼路线也十分困难),所以目前直接通过脚本的形式写入AI,让AI有眼的时候就买。眼会占格子,当AI格子满的时候,就会插眼(所以比赛中AI的眼位比较奇特)
这篇关于【数据应用案例】openFive dota5v5战胜人类的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!