最近，在NeuRIPS会议上举行的MineRL 2021 DiaMond CoMpetITion圆满结束。网易互娱AI Lab的Athena AI凭借出色的挖钻技能，在以《我的世界》为背景的比赛中获得了IntRo赛道的冠军和ReSeaRch赛道的亚军。
这是人工智能首次在《我的世界》中成功挖掘到钻石。
本次比赛由CMU、OpenAI、DeepMind、Microsoft Research等机构联合主办，属于强化学习领域最具盛誉的赛事之一。自2019年起，每年在机器学习及计算神经科学的顶级学术会议NeuRIPS上进行，今年是该赛事的第三届。
近年来，比赛吸引了包括腾讯AI Lab、华为诺亚方舟、启元、清华大学、北京大学、中科院、香港中文大学、南洋理工大学、斯坦福大学和美国西北大学等众多工业界与学术界的研究人员参与。
今年赛事同样吸引了近60支来自海内外的队伍，超过400名研究人员同场竞技。
MineRL比赛分为IntRo和ReSeaRch两个赛道。与ReSeaRch赛道强调高效利用玩家数据，限制训练数据表现和规模不同，IntRo赛道更贴近实际游戏AI开发场景，要求参赛者根据游戏特性设计特定算法，以最大化AI的表现。
比赛要求参赛者在《我的世界》生存模式中，训练出一款能够从零开始收集资源、制作工具，最终挖掘到钻石的智能体。
该任务的主要挑战包括：
1. 巨大的动作空间和状态空间：
《我的世界》是一个3D开放世界游戏，智能体只能依靠经过压缩处理的游戏画面和背包中部分物品数量信息来感知环境。可执行的动作包括移动、攻击、视角调整、工具制作、装备切换、物品放置等，动作空间极为广阔。
2. 复杂的工具链：
游戏中庞大的资源系统和物品合成体系使得即使是为了获取钻石，智能体也必须学习按顺序收集并制作多种必要资源和物品。
例如，为了在挖到钻石前制作出铁镐，智能体必须在探险深入地下时，先做好木棍、收集至少三块铁矿和一些燃料，并在熔炉旁烧制出铁锭。
3. 长期规划能力：
在MineRL环境中，智能体最多可以与环境进行18000次交互，这要求其具备长期规划能力。
例如，智能体需要在游戏开始时，根据出生点周围环境决定是否在收集完附近木质资源后直接向地下探索矿物，或者花时间离开出生地寻找更多木材，以避免下矿后可能面临没有木头制作工具的窘境。
4. 数据集有限且不完美：
主办方提供的AI学习数据仅有约200场人类玩家的数据，规模有限，且并非所有场次中的玩家都成功获得钻石。
在此次比赛中，面对其他队伍更倾向于利用玩家数据集并采用分层训练方法的情况下，网易互娱AI Lab选择了独辟蹊径，采用端到端的纯强化学习方案，成功训练出了能够从零开始获取钻石的Athena AI。
Athena AI通过合理约束有效动作，达成了对状态搜索空间的剪枝，从而使得AI在不使用分层策略的前提下，也能高效探索和学习。
Athena AI的实现方案表明，即使在多任务且任务间有复杂依赖关系的游戏场景中，单一的端到端模型也能达到甚至超越精细设计的分层训练效果。
在最终的IntRo赛道中，来自网易互娱AI Lab的团队WinORGohome以645.55分夺得冠军，在100场游戏中成功挖到钻石的场次达21场，分数超越第二名近50%。
值得一提的是，网易互娱AI Lab研发的Athena AI已在多款网易互娱旗下游戏中得到应用。
成立于2017年的网易互娱AI Lab提供的人工智能服务涵盖计算机视觉、自然语言处理、语音信号处理以及游戏AI等多个领域。
目前，相关技术已应用于《梦幻西游》、《哈利波特：魔法觉醒》、《阴阳师》、《大话西游》、《荒野行动》、《明日之后》等多款热门游戏。
