手游小助理
游戏咨询
微信号:JCCEE001
长按识别二维码或复制微信号搜索添加
鱼羊 Alex 发自 凹非寺
量子位 | 公众号 QbitAI
又一个AI老大难问题,被DeepMind攻克了:
一只名叫DreamerV3的AI,在啥也不知道的情况下被丢进《我的世界》(MineCraft)里,摸爬滚打17天,还真就学会了如何从0开始挖钻石。
要知道,之前为了攻克这个问题,CMU、微软、DeepMind和OpenAI还联手在NeurIPS上拉了个比赛,叫MineRL。
结果搞了三四年,AI们也没能在不参考人类经验的情况下,完成挖钻石任务。
此前表现最好的VPT选手,为了达成这一成就,可是狂看了70000+小时《我的世界》游戏视频,并且用上了720个V100……
这不DeepMind的最新结果一出,研究人员都开心坏了。
MineRL的发起人之一、前OpenAI研究科学家William Guss就第一时间跑来发表贺电:
4年了,“钻石挑战”终于被攻克了!
今年刚拿到了NeurIPS杰出数据集和基准论文奖的MineDojo作者、英伟达AI科学家范麟熙则表示:
AI玩转MineCraft背后,有个莫拉维克悖论:一些任务对于人类而言很困难(比如围棋),但对AI来说很简单。但像MineCraft这样人类高玩无数的游戏,情况却相反。
DreamerV3能在没有任何人工数据辅助的情况下收集钻石,这让我感到非常兴奋。
所以,这个0基础挖钻石任务,到底有啥难点?
首先,在《我的世界》里,初始世界是完全随机生成的。
即使是人类玩家,想要快速挖到钻石,也得有相当丰富的经验。比如,知道怎么推算钻石的位置、掌握一些挖掘窍门(如鱼骨挖矿法)等。
排除掉经验的因素,对于AI来说,这个挖钻石的过程也挺复杂,至少得要7个步骤。
第一步,玩家在空手进入《我的世界》中时,需要先撸树来获取木块:
第二步,得用木块用来合成工作台:
第三步,在工作台上合成木镐,用来挖圆石:
第四步,获得圆石之后,需要合成一个石镐,用来快速挖铁矿:
第五步,为了将铁矿合成铁锭,还需要做一个熔炉来烧铁:
第六步,合成铁镐,用来挖钻石:
第七步,寻找钻石,然后用铁镐挖出钻石:
p.s. 有玩家测试过,在AI知道钻石等各种资源坐标的情况下(开外挂),也需要2-3分钟才能搞定。
这也就意味着,AI必须在有限时间里,做出大量决策。
那么既然不能参考人类高手的经验,自然就需要强化学习(Reinforcement Learning)出马。
具体而言,DeepMind的研究人员提出了一种基于世界模型的通用算法。
在整体架构上,DreamerV3由3个神经网络组成:世界模型、评委(critic)和演员(actor)。
世界模型要做的,是把环境输入编码为离散的表征,并通过预测来指导下一步要执行的操作。
而评委和演员则会根据抽象出来的表征进行学习。其中,评委网络会输出一个标量值来代表行动价值,从而帮助演员网络选择最优的行动。
这里面的一个核心点在于,DeepMind的研究人员希望DreamerV3不仅仅能处理同类型的问题,还可以用固定超参数,掌握跨领域任务。
因此,研究人员需要系统地解决世界模型、评委和演员等各个组件中信号大小不同,以及稳定平衡目标的问题。
研究人员发现:
以前的世界模型,需要根据复杂3D环境的视觉输入,对表征损失进行不同的缩放,在训练过程中还得调整不少超参数,但这里面其实有许多没必要的细节。
而如果把自由比特(free bits)和KL平衡(KL balancing)结合起来,就可以在不调整超参数的情况下让DreamerV3在不同领域中学习。
KL平衡是上一代DreamerV2中提出的一项新技术。能够使预测向表征移动的速度比表征向预测移动的速度更快,带来更精确的预测。
自由比特避免了简单环境下的过度拟合。
DreamerV3的三大块都用上了固定超参数,具体如下:
也就是说,DreamerV3如今成了世界上第一个纯靠自己摸索,就能在《我的世界》里速挖钻石的AI。
并且DreamerV3的本事可不只是玩MC。
在另外7项基准测试中,DreamerV3都取得了成功,并且在BSuite、Crafter上达到了SOTA。
值得一提的是,在这些任务中,训练智能体所用到的GPU资源都仅为1块V100。研究人员表示,这意味着有更多的实验室能跑得动这一模型。
另外,在需要时空推理的三维空间中,DreamerV3也能快速进行学习。
在DeepMind为强化学习专门打造的3D平台DMLab上,DreamerV3在任务中使用的交互次数仅为IMPALA的1/130。
目前,DreamerV3的代码是coming soon的状态。
感兴趣的小伙伴可以蹲一波~
参考链接:
[1]https://danijar.com/project/dreamerv3/
[2]https://twitter.com/DeepMind/status/1613159943040811010
— 完 —
量子位 QbitAI · 头条号签约
关注我们,第一时间获知前沿科技动态
手游招托,要求嘴严、充值0.1折、开局满VIP!!!
进入微信搜索微信号:JCCEE001(点击复制微信号)
我的世界时空跳跃成就达成的方法是什么?时空跳跃成就解锁条件
我的世界时空跳跃成就达成的方法是什么?在《我的世界》这款游戏中,有一个备受瞩目的成就奖杯——时空跳跃。或许有些玩家对于如何获得这一成就感到困惑,下面,我将为大家详细解析《我的世界》时空跳跃成就的解锁方法,让我们
2024-04-05我的世界建造炼油机的方法是什么?炼油机效果探秘
我的世界建造炼油机的方法是什么?在《我的世界》这款游戏中,炼油机的制作对于许多玩家来说可能仍是一个谜团。然而,无需担忧,接下来,我将为大家详细解析炼油机的制作方法,让你轻松掌握这一技巧。《我的世界》炼油机制作深度
2024-04-05我的世界怎么制作自动播种机?自动播种机合成攻略
我的世界怎么制作自动播种机?在《我的世界》这款游戏中,自动播种机的合成与运用是许多玩家追求高效农业的关键步骤。下面,我将为大家详细解析自动播种机的合成方法,帮助那些对此尚不清晰的玩家深入了解其构造与运作原理。
2024-04-05我的世界水果店怎么合成?水果店合成配方大全
我的世界水果店怎么合成?在《我的世界》中,创造与合成总是充满无限可能。若你渴望打造一座别具一格的水果店,那么请紧随我的步伐,一同探索其合成的奥秘。《我的世界》水果店合成配方大全 改建教程:首先,我们要对房屋进行一
2024-04-05我的世界草有什么作用?草用途介绍
我的世界草有什么作用?在《我的世界》这款游戏中,草作为一种重要的植物资源,具有多种用途和获取方式。下面,我们将对游戏中的草植物作物进行详细介绍,帮助大家更好地了解它们的用途和获取方法。《我的世界》草植物作物深度
2024-04-05我的世界下界砖块是做什么的?下界砖块作用详解
我的世界下界砖块是做什么的?在《我的世界》这款游戏中,下界砖块作为一种自然生成的材料,其用途广泛且重要。今天,我们将深入探索下界砖块的奥秘,带您领略其独特魅力。《我的世界》下界砖块详解 下界砖块下界砖块,作为下界
2024-04-05我的世界泥巴作用什么?泥巴功能详解
我的世界泥巴作用什么?在《我的世界》这款游戏中,泥巴作为一种自然生成的材料,拥有着诸多用途。不少玩家都对其用途感到好奇,今天,我们就来深入解析一下《我的世界》中泥巴的妙用。《我的世界》泥巴功能详解 泥巴作为游戏
2024-04-05我的世界梯子怎么获得?有什么用
我的世界梯子怎么获得?在《我的世界》这款游戏中,梯子作为一种重要的装置,其用途广泛而实用。然而,对于部分玩家而言,梯子的具体作用可能尚不明朗。今日,便让我们一同深入探讨《我的世界》中梯子的作用与效果。《我的世界》
2024-04-05我的世界鳕鱼获得方法是什么?鳕鱼合成攻略
我的世界鳕鱼获得方法是什么?在《我的世界》这款游戏中,鳕鱼的合成与获取方式常常令玩家感到困惑。为了让大家更清晰地了解这一过程,下面将详细介绍鳕鱼的合成与获取方法。《我的世界》鳕鱼合成与获取攻略 一、生鳕鱼生
2024-04-05我的世界x名侦探柯南联动内容是什么?联动活动玩法介绍
我的世界x名侦探柯南联动内容是什么?万众瞩目的《我的世界》与《名侦探柯南》联动盛宴即将震撼开启,你是否已经迫不及待想要一探究竟了呢?此次联动不仅内容丰富,更将带你走进一个充满神秘与刺激的世界。接下来,就让我们一
2024-04-05手游小助理
游戏咨询
微信号:JCCEE001
长按识别二维码或复制微信号搜索添加
成功复制微信号
前往微信搜索添加...