据外媒报道，Open—Ended Learning Team在 Deepmind 的 Blog 上发表了一篇关于训练一个无需与人类交互数据就能玩不同游戏的 AI 智能体的文章。

一般来说，需要先给智能体提供一部分新游戏的数据，再让它自我进行游戏训练，从而在该游戏中取得更好的成绩但目前的智能体，如果不从头开始学习，它就无法完成新游戏或新任务团队的目的是省略前面的步骤，创造出的智能体能直接在新游戏中自我探索，并在复杂的游戏环境中取得好成绩

AI agents

团队希望该文章能提供给其他研究人员另一条新思路，以创造更具适应性，普遍能力更强的 AI 智能体同时，他们邀请感兴趣的人士一同加入研究

一，专门为训练 AI 造了个游戏场地

当 AI 智能体在训练游戏时，缺乏数据是导致强化学习 效果不佳的主要原因这就意味着如果想让智能体可以完成所有任务，就需要让它把每一款游戏都训练了，否则它们在遇到新游戏的时候就只能干瞪眼

团队创建了一个 3D 游戏环境，称之为XLand，该环境能够容纳多位玩家共同游戏这种环境使得团队能够制定新的学习算法，而这种算法能动态地控制一个智能体进行游戏训练

Xland

因为 XLand 可以通过编程指定，所以该游戏空间能够以自动和算法的方式生成数据同时，XLand 中的任务涉及多个玩家，其他玩家的行为会加大 AI 智能体所面临的挑战这些复杂的非线性交互为训练提供了理想的数据源，因为有时训练环境中的微小变化可能会给智能体带来不一样的挑战

二，任务难度要刚刚好

团队研究的核心是深度强化学习在神经网络中的作用团队使用的神经网络结构提供了一种关注智能体内部循环状态的机制，通过预测智能体所玩游戏的子目标来帮助引导智能体的注意力团队发现这个目标关注智能体 有学习了一般能力的政策的能力

预测智能体的子目标

团队还预测任务训练的难度会影响智能体的总体能力因此，他们使用动态任务生成对智能体的训练任务分配进行更改，并不断优化，生成的每个任务既不是太难也不是太容易，而是刚好适合训练在这之后，他们使用基于群体的训练 来调整动态任务的生成参数，以提高智能体的总体能力最后，团队将多个训练运行串联在一起，这样每一代智能体都可以从上一代智能体中启动

三，智能体有启发式行为。

团队在对智能体进行了五代训练后，发现其学习能力和性能都在持续提升在 XLand 的 4，000 个世界中玩过大约 700，000 个游戏后，最后一代的每个智能体都经历了 2000 亿次训练步骤，得到了 340 万个任务的结果

目前，团队的智能体已经能够顺利完成每次程序生成的测试任务，而且测试数据显示，智能体的能力有了整体的提高。

除此之外，团队还发现智能体表现出一般的启发式行为，如实验，该行为出现在于许多任务中，而不是专门针对单个任务的行为团队有观察到智能体在游戏中使用不同的工具，包括利用障碍物来遮挡自己，利用物品创建坡道伴随着训练的进展，智能体还偶尔会出现与其他玩家合作的行为，但目前团队还不能确认这是否是有意识的行为

结语:自学让 AI 更智能

Open—Ended Learning Team 正在训练一个新的智能体，它不需要从头开始训练数据，就能适应新的游戏这个智能体将比仅使用强化学习方法的智能体更加智能

大量的数据训练一直以来是人工智能发展绕不开的难题，此次如果能大量减少训练数据，并使其获得跨领域的自主学习能力，那么人工智能的能力将能得到进一步的提升。