Odyssey 正在将其世界模型 Odyssey-3 公开提供。据该公司称,它能实时生成可交互的世界,并在物理基准测试中取得最高分。

总部位于加州的 AI 公司 Odyssey 已推出其世界模型Odyssey-3 的公开研究预览版。用户可以根据文本提示生成可交互环境,并实时探索。该模型模拟物理过程,并预测环境会如何根据具体动作发生变化。开发者可以申请 API 访问权限。

创始人 Oliver Cameron 和 Jeff Hawke首次揭晓该模型是在 9 月 15 日,重点面向机器人、自动驾驶和视频游戏。现在的新变化是公开访问、更多技术细节以及基准测试结果。

你现在就可以尝试的可交互 AI 世界

这个免费在线演示运行在 Odyssey-3 Flash 上。该模型根据文本描述生成可交互环境。用户可以在第一人称和第三人称视角之间切换,在生成的世界中移动、触发事件,并观察模型实时响应。

Odyssey-3 基于一种自回归扩散 transformer 构建,它会根据之前的帧和用户动作持续生成新的视频帧。据 Odyssey 称,该模型在训练期间从视觉观察中学习物理关系和因果关系。

训练数据包括带有事件描述的互联网视频、与相应键盘和鼠标输入配对的视频游戏画面,以及模拟的物理交互。一种额外的训练技术减少了所需的计算步骤数量,使实时生成成为可能。

根据官方基准测试提交,基础版 Odyssey-3 模型有 140 亿参数,并以 832 × 480 像素生成视频。Odyssey-3 Pro 支持 1280 × 720 像素。

物理基准测试的说法附带一些限定条件

更强大的 Odyssey-3 Pro 在来自Physics-IQ Verified 的视频到视频基准测试中得分 66.1 分据该公司称。该测试评估流体力学、光学、固体力学、磁学和热力学等领域的物理行为。模型必须续写真实世界实验的视频,其输出会与实际结果进行比较。

不过,66.1 分的最高分有一个很大的前提。它来自单次测试运行,其中一种选择方法为每个任务从八个生成的视频中挑选一个。基准测试规则要求任何记录声明都必须进行四次测试运行并报告标准差。所报告的记录不符合这一标准。如果不使用该选择方法,Odyssey-3 Pro 在四次运行中的平均得分为 63.37 分。这两个结果都出现在官方排行榜上,但都是由 Odyssey 自己提交的。

截图来自 Odyseey

在WorldMark 基准测试中,Odyssey-3 根据其自己的评估在四个类别中的三个排名第一:第一人称风格化(77.2)、第三人称真实(79.0)和第三人称风格化(76.3)。在第一人称真实类别中,它以 80.6 分排名第三。WorldMark 测试模型遵循控制指令的程度、生成图像的质量,以及模拟世界是否能随时间保持一致性。

一个用于机器人、无人机和 GTA V 的模型

Odyssey 希望将同一个世界模型用于不同任务,从移动机械臂到导航无人机再到控制游戏角色。对于每个应用,该模型都会与一个专门的控制器配对,将其预测转化为具体命令。

据该公司称,在测试中,一个基于 Odyssey-3 构建的 AI 控制了多个机械臂。几十小时的演示数据就足以完成训练。这些机器人还能在抓取失败后自行恢复,即使这些情况并不属于训练数据的一部分。

对于人形机器人,Odyssey 正在与瑞士机器人公司Flexion合作。据说 Flexion 基于 Odyssey-3 构建的控制器比对比模型表现更可靠,即使条件发生变化也是如此。

Odyssey 还构建了一个基于模拟飞行数据训练的无人机控制器。据该公司称,在虚拟室内环境中,该无人机可以躲避障碍,并按命令飞向特定目标。

Odyssey-3 也能玩电子游戏。该公司展示了一个 AI 自主玩 GTA V,驾驶车辆并与敌人战斗。一个仅用约两小时 GTA 画面训练的手柄控制器,还能在没有任何额外训练的情况下将技能迁移到 Red Dead Redemption 2,让角色骑马移动。

Odyssey 还计划用其世界模型来训练 AI 智能体。在一个演示中,一个 AI 智能体收到用自然语言描述的任务,并尝试在 Odyssey-3 生成的环境中通过自身行动完成任务。目标是让智能体从自身行动的结果中学习,这可能是一种全新的 AI 训练范式。

目前公开研究预览提供交互式环境生成,机器人和自主系统还需要进一步的工作。

构建世界模型的竞赛

Odyssey 由 Oliver Cameron 和 Jeff Hawke 于 2023 年创立。2026 年 6 月,该公司融资 3.1 亿美元投资方包括 Amazon 和 AMD Ventures。

世界模型旨在让 AI 系统理解空间和物理关系。Google DeepMind 正在用类似的方法推进,Genie 3用于生成交互式世界。World Labs,这家由李飞飞创立的初创公司,正在开发类似的技术。AMD 在 9 月下旬宣布计划以约 82 亿美元收购 World Labs。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

立即订阅