时间：2022-12-16 09:57:01
夏乙问耕发自凹非寺
量子出品|公众号QbitAI
GG。
随着人类喊出这两个字，一切都结束了。
由OpenAI开发的人工智能战队，首次在5v5的Dota2公开赛黑团对战中，击败了人类玩家战队。
这真是一个里程碑式的事件。
能够进行该组合战的AI被称为OpenAI Five，是OpenAI的最新研究开发成果。
据说OpenAI Five完全学会了自己对战Dota2，每天的对战量相当于人类的180年。 惊人的硬件消耗也应该有256个GPU和12.8万个CPU。
人类再次全面沦陷了吗？ 很明显，Dota2团战AI要打败人类，一点也不简单。
我们分为三个部分，带来最完整的解析。
第OpenAI Five节有多强？ 第二部分：现在去TI打职业战队有戏吗？ 第三部分： AI一天，人类的180年开始。
Dota2团战AI有多强？ 也许真的出乎了你的意料。 让我详细说明一下。
团战不虚
团战要综合使用技能、装备、位移，使对敌英雄伤害最大化，同时避免失去己方英雄。
我来看实战。
这是AI保护高地的战斗。 当时人类队伍的装备和等级需要更高。 而且5名人类玩家全部集结在一路，打算强制拆除塔。
双方接触时，AI只有一位23级英雄应战，人类队的24级巫妖( Lich )首先发难，打出“阿托斯之棒”，当场决定AI方面的23级巫妖。
之后，AI巫妖向自己释放了“EUL的神圣魔杖”，这个技能可以让自己卷入龙卷风，暂时处于无敌状态。 通过这一招，AI的意图是留住人类团队，为队友争取时间。
随后，AI巫妖继续将人类团队拖入高地，引爆了人类玩家的自信心。 其他AI英雄开始从后方包围人类队伍。
绕到后方的AI冰人( Crystal Maiden )率先向人类团队引向后方的火枪) Sniper“亮出匕首”，接着用“禁止冰封”冻结狙击手，用“黑皇杖”，最后用施法“极寒区域”进行冰
AI冰人放出的“极寒领域”和AI毒龙( Viper )放出的“幽冥剧毒”，只能驱散人类团队。 然后，AI火枪可以从安全的距离展开远程攻击。
在高伤害和群控的攻击下，人类的火枪和冰女想要撤退，但只能被杀了。 之后，在没有视野的情况下，AI冰女使用了“冰霜新星”，杀死了人类巫妖。
此后，AI冰人没有放弃，而是闪现了人类最后的英雄死灵法师( Necrophos )的追击。 然而，在冻结了对手之后，AI冰人已经没有技能了，不得不放弃追击。
最终这场团战，AI对人类玩家进行了每人2人4人的殴打，而且成功保护了家园。
诡计多端
赢不了的时候，人类英雄会逃进森林试图避开，但是没有用。 即使AI英雄失去了视野，也会追上森林，寻找，然后杀死。
看到AI的残血，人类玩家想要追击。 其他AI英雄正在过来抓人，千万要小心。 人类玩家不仅不能接收头部，还会失去生命。
要特别强调的是，AI还学会了“秦贼先擒王”，无论使用怎样的重大手段，都能确保杀死最高等级的敌人英雄。
然后，AI英雄会做出自我牺牲，将人类玩家从高地引诱出来，让队伍的其他成员能够推塔成功。
总之，OpenAI Five可以分组，也可以gank，足智多谋，诡计多端。
事实上，据官方称，目前OpenAI Five通过选择攻击目标达到了专业水平，但补充士兵的能力还不够。
给TI打职业选手有戏吗？ 在回答这个问题之前，首先要弄清一个事实。 现在OpenAI Five赢的对手不是人类的顶级高手。
双方的对战大约在两个月前开始了。 目前，OpenAI Five已经与5支人类团队对战过：
1、最强大的OpenAI员工团队： MMR赛点2500
2、最强观众队伍： MMR 4000-6000
3、Valve员工队伍： MMR 2500-4000
4、业余团队： MMR 4200，有团队训练
5、半专业团队： MMR 5500，有团队培训
4月23日，OpenAI Five首次打破了脚本基线版本。 5月15日，与第一队成为1:1。 6月6日，在与第1、2、3队的对战中，均取得了胜利。
你可以看到OpenAI Five一直在进步。 这位AI与第4、第5队进行了非正式比赛，虽然没能赢，但是在前3场比赛中赢了2场。
与人类玩家相比，OpenAI Five平均每分钟可操作150-170次，平均反应时间为80毫秒，明显快于人类。
但是，这些并不是决定5v5胜利的重要因素。
OpenAI还总结了OpenAI Five的几个特点：
常常牺牲自己的优势之路(夜饭军团之路，天辉军团之下之路)，压制敌人的优势之路，迫使战斗向对方更难防御的一方转移。 比赛初期到中期的转换比对手快。 方法： (1)多次成功的gank人类玩家)2)在对手集结前，组队推塔。 也有非主流的做法。 比如前期把钱和经验让给辅助英雄。 OpenAI Five的优先顺序，可以更快地使其伤害值上升，赢得组合战等。 但是，这么厉害的队伍，当然也不是可以和业余的人玩的。
据OpenAI报道，他们打算8月去DotA 2顶级赛事TI，寻找顶级职业球队PK，7月末进行对战球队的直播。
当然，所有英雄OpenAI Five暂时无法与职业选手对局，双方都只能在有限的英雄中选择。
那时，究竟有多少这位“有限的英雄”，现在还不清楚，这也说明了一个重要的问题。 目前，OpenAI Five的能力还不足以玩人类版的DotA 2。
那么，AI现在玩的DotA 2与真人版相比是如何简化的呢？
OpenAI在博客的最后列举了AI版DotA的限制：
双方的英雄阵容是固定的。 死灵法师、火枪、毒龙、冰女、巫妖(他们的学名是瘟疫法师、矮人狙击手、冥界亚龙、水晶室女、巫妖) )。 不插入眼睛； 没有肉堆； 没有隐藏的装备； 没有召唤单位也没有幻像； 圣剑、瓶、补刀斧、飞鞋、经验书、凝魂泪； 有5个无敌的信使(鸡)，但不能用于搜查和防御； 没有扫描。 这意味着什么？
有了这些限制，AI打的DotA比真人版简化了很多，表明这个AI也有还没有掌握的技能。
例如英雄的选择和阵容的组合。 双方只有5个固定的英雄，不需要掌握英雄之间的合作和抑制，游戏也少了很多变化。
AI现在也不知道视野的控制。 由于AI版本没有隐身装备、插眼操作和扫描，双方只能在游戏原本设定的视野中对战，无需凭借自身能力改变视野，也无需侦查。
在游戏中如果不考虑信使，AI控制的单位只有五个。 也就是说，不能出现召唤单位或幻影。
另外，如果没有游戏野区最强大的怪物肉山，也没有通过打肉山得到的复活盾。 在职业比赛中，通过复活护盾获得的当场最大状态的复活能力，可以说是卷土重来的利器。
让人类职业选手做这样的DotA也没有任何好处； 如果让现在的OpenAI Five来玩人版DotA的话，那些没有学习过英雄选择、制造视野、偷鸡等技能，装备也没怎么学的队伍也会不知所措吧。
不过，OpenAI也说了，这些限制大部分都是游戏中还没有整合的部分，所以插件和肉山这样的职业比赛中的重要因素会尽快添加。
AI一日，不可否认，虽然人类的180年还有各种各样的限制，但AI的进步还快得可怕。
根据OpenAI的说明，该AI通过自我对战来提高，从随机参数开始，既不采用人类玩家的方法进行引导，也不采用人类玩家的方法进行检索。
他们特别表示，在训练1v1模型时，专门为卡兵这一操作设置了报酬。 虽然OpenAI Five模式没有这个报酬，但是这个新模式自己记住了卡片兵。
AI每天的训练量相当于玩180年游戏。 真勤奋练习，人类选手一生的训练量也不及半天。
这些每天训练了180年的选手，到底是什么怪物？
他们的脸是这样的：
请不要惊讶于结构图。 简单地说，每个选手，也就是每个智能体，都是一个单层的LSTM (长短时记忆网络)，有1024个单元，通过Valve的Bot API观察当前的游戏状态，自己的英雄接下来选择哪个操作，释放到XY坐标系的哪个点
智能体能观察到的信息与人类基本相同，包括位置、血量、攻击力、护甲、持有物品、能力等自身、队友、敌人的情况。 虽然可能有点不同，但代理人比人类更清楚地记得过去12帧的血液量、攻击和被攻击的情况等历史信息。
这些信息对代理来说是包含20000值的列表，判断后发出的行动指令是8个值的列表。
运动员训练使用的是增强型近端策略优化( PPO )方法，这也是OpenAI目前默认的强化学习训练方法。 这些代理的目标是未来报酬的指数衰减和。
AI选手们在训练中饭量惊人，搬运它们需要256枚P100 GPU和12.8万个CPU内核。
比较上面的5v5版本和1v1版本，令人高兴的结果是，OpenAI Five所需的CPU和GPU计算能力与去年击败Dendi的1v1版本相比，没有达到5倍。
五个特工经过训练，如何合作呢？ 不能让我们人类互相喊黑吗？
答案是，他们之间没有这样的人能理解的沟通渠道，而是由一个“团队精神”的超参数统一控制着。 该超参数的范围在0到1之间，决定了运动员对自己的报酬函数和队友平均报酬函数感兴趣程度的分配。
AI剩下的时间还有很多OpenAI说，他们打算7月28日和顶级选手对战，他们剩下的时间还有一个月。 8月，他们又将与顶级的人类专业选手在TI决一胜负。 如果说这场竞争在AI的末尾，那么AI还剩两个月的时间。
如果能按照“人的一天，AI界的180年”算法，加入肉山、眼神等关键因素后，给AI留出半个月的时间与自己对战，那就可以说在那个世界上修炼了“几千年”。
这场对战还开设了直播，等待与人类观众见面。
送门7月28日大战直播：
https://www.twitch.tv/openai
OpenAI博客详细信息，包括AI在各种场合观察到的情况和可采取行动的交互图解：
3359 blog.open ai.com/open ai-five /
LSTM体系结构概述：
3359 D4 mucfpksywv.cloudfront.net/research-covers/open ai-five/network-architecture.pdf
PPO :
https://arxiv.org/abs/1707.06347
结束了
实习录用
量子正在招募市场运营实习生，计划执行AI明星公司的CEO、高管等参加的在线/在线活动，有机会与AI行业的大牛直接交流。 丰富的实习经验等着你解锁~
工作地点在北京中关村。 简历欢迎访问quxin@qbitai.com
具体来说，请在QbitAI (量子公众号)的对话界面上回复“实习生”3个字。
量子比特QbitAI 头条号合同作者
跟踪' ' AI技术和产品新动态
