OpenAI最新研究：AI模型看看视频，就学会了玩《我的世界》

《我的世界》里，玩家不一定都是人类，现在 AI 也会玩了。

来源：机器之心

《我的世界》是全球知名度最高的开放世界游戏。小朋友只需观看十分钟的教学视频，就能学会在游戏中寻找稀有的钻石，但这却是 AI 此前无法企及的高度。

今天 OpenAI 的研究团队宣布他们开发了一种能玩《我的世界》的智能体，其中使用《我的世界》游戏大量未标记视频数据集训练神经网络，仅使用少量标记数据。

微调之后，OpenAI 训练的模型还可以学习制作挖矿工具，熟练的人类玩家在 20 分钟内可以完成这个任务（24000 次操作）。OpenAI 的模型使用按键和鼠标移动控制人机界面，这使得该模型非常通用，这向通用计算机使用智能体迈出了一步。


论文地址：http://cdn.openai.com/vpt/Paper.pdf

我们先来看下效果，模型建造一个简陋的木制避难所：


制作石镐


在村庄里搜寻


VPT 方法

互联网包含大量可供我们学习的公开视频，例如游戏玩家演示游戏玩法，《我的世界》玩家建造一个错综复杂的房子。然而这些视频只提供了事情发生的记录，而不是确切的实现方式，即没有说明鼠标移动和按键的确切顺序。

相比于 OpenAI 的大型语言模型，要在视频游戏等更通用领域构建大型基础模型（foundation model），缺乏动作标签带来了新的挑战。

为了利用互联网上可用的大量未标记视频数据，该研究提出了一种新颖但简单的半监督模仿学习方法：视频预训练（VPT）。

该研究首先从游戏商家那里收集了一个小型数据集，其中不仅记录了玩游戏的视频，还记录了玩家采取的行动，即按键和鼠标的移动。利用这些数据，该研究训练了一个逆动力学模型 (IDM)，以预测视频中每个步骤所采取的动作。重要的是，IDM 可以使用过去和未来的信息来猜测每一步动作。与仅给定过去视频帧预测动作的行为克隆任务相比，这种任务要容易得多，需要的数据也要少得多。然后该研究使用经过训练的 IDM 来标记更大的在线视频数据集，并通过行为克隆来学习行动。

下图为 VPT 方法概览：


VPT 零样本结果

该研究选择《我的世界》这个游戏中验证了所提方法，因为它 (1) 是世界上最流行的视频游戏之一，拥有大量可免费获得的视频数据，并且 (2) 是开放式的，可以提供各种各样的行为动作，类似于现实世界的应用程序（如计算机使用）。与之前的工作在《我的世界》中使用简化动作空间不同，OpenAI 的新模型使用更普遍适用、难度也更大的原生人机界面：鼠标和键盘使用 20Hz 帧率。

该研究的行为克隆模型（VPT 基础模型）使用 70000 小时的 IDM 标记在线视频进行训练，在《我的世界 》中完成了强化学习几乎不可能实现的任务。新模型学会了砍树收集原木，将原木制作成木板，然后将木板制作成箱子；这个行为序列对于《我的世界》高级玩家在约 50 秒内执行 1000 个连续的游戏动作。

《我的世界》制作箱子过程中每一步所需的动作数目和时间

零样本模型制作箱子的过程

此外，该模型还可以执行人类在游戏中经常执行的其他复杂技能，例如游泳、狩猎动物、食用食物以及一些《我的世界》专用技能。

游泳

狩猎

标签：
  1. 上一篇：新赛季排位现状曝光!玩家看完直呼太真实!
  2. 下一篇：当Hello Kitty们开始玩“第五人格”

最新文章

  1. 低压铸造是什么（低压铸造是什么材质）2024-05-04
  2. 史丹利百得苏州电动工具有限公司（史丹利百得苏州电动工具有限公司到底怎么样能不能去）2024-05-04
  3. 李溪芮最瘦体重多少斤（李溪芮多大身高体重多少）2024-05-04
  4. 2024年第一季度“发展之星”“服务之星”教师风采2024-05-04
  5. 通知 | 五一劳动节期间图书馆开放安排2024-05-04
  6. 从零开始的异世界生活第二季什么时候出（从零开始的异世界生活第二季什么时候更）2024-05-04
  7. 风景在路上作文600（风景在路上作文600字记叙文）2024-05-04
  8. 妇产科普 | 卵巢囊肿可怕么？2024-05-04
AItists
人工智能学家 微信号：AItists 扫描二维码关注公众号
优质自媒体

小编推荐

  1. 1 发财树叶子蔫了怎么办（发财树叶子发黄干枯怎么处理）

    大家好，小丽今天来为大家解答发财树叶子蔫了怎么办以下问题，发财树叶子发黄干枯怎么处理很多人还不知道，现在让我们一起来看看吧！1、一、

  2. 2 癌症体质的人，通常有4个“特性”，希望你一个也没有

    千 百 万 环 保 超 市 会 员 共 同 关 注 ！癌症，这个字眼总能让人心生惧怕，它如同沉寂潜行的死神，或者在任何人群中默默显现。然而，癌症并

  3. 3 乔布莱恩特总冠军（我想看乔布莱恩特）

    大家好，小美今天来为大家解答乔布莱恩特总冠军以下问题，我想看乔布莱恩特很多人还不知道，现在让我们一起来看看吧！1、迈克汤普森以状元的

  4. 4 夫君们笑一个男主（夫君们,笑一个）

    大家好，小伟今天来为大家解答夫君们笑一个男主以下问题，夫君们,笑一个很多人还不知道，现在让我们一起来看看吧！1、封城九宫主岚颜，从小心

  5. 5 可怜绣户侯门女独卧青灯古佛旁（可怜绣户侯门女独卧青灯古佛旁写的是谁）

    大家好，小美今天来为大家解答可怜绣户侯门女独卧青灯古佛旁以下问题，可怜绣户侯门女独卧青灯古佛旁写的是谁很多人还不知道，现在让我们一

  6. 6 人有三急是指哪三急呀（人有三急的三急指的是哪三急）

    大家好，小美今天来为大家解答人有三急是指哪三急呀以下问题，人有三急的三急指的是哪三急很多人还不知道，现在让我们一起来看看吧！1、通常

  7. 7 小学部｜综合实践活动、劳动、地方课程教研｜深耕细研不负春，“研”途花开溢芳菲——三学科本学期第二次联合研训

    深耕细研不负春“研”途花开溢芳菲三学科本学期第二次结合研训春之美，在于生机与勃发；教之美，在于钻研与提拔。4月18日上午，滨江区小学综

  8. 8 亚洲最帅男明星是谁（亚洲十大最帅男星）

    大家好，小美今天来为大家解答亚洲最帅男明星是谁以下问题，亚洲十大最帅男星很多人还不知道，现在让我们一起来看看吧！1、肖战能够成为亚洲

Copyright 2024 优质自媒体，让大家了解更多图文资讯！