原题：Reka AI's omni-model Rho-1 handles text, images, video, and robot control in a single model
Reka AI 发布 Rho-1 研究预览版，这是一个 190 亿参数的全能模型，在单一神经网络内处理并生成文本、图像、视频和机器人控制动作。与多数将任务分发给专用模型的系统不同，Rho-1 把所有模态作为 token 放在同一个共享上下文窗口中，无需工具调用或外部模型。模型可实时生成连续视频，并即时响应新指令而无需重启。预测摄像头图像的同一套权重也驱动机器人运动。为绕开机器人训练数据稀缺的问题，Reka AI 构建了一个逆动力学模型，从普通互联网视频中提取控制信号。Rho-1 在 320 块 H100 GPU 上训练了约三个月。
推荐理由190 亿参数单模型打通文本、视频与机器人控制，且用互联网视频替代稀缺机器人数据，做具身智能的团队可直接参考其训练思路。
Reka AI 发布了 Rho-1 的研究预览版。这个 190 亿参数的全能模型在单个神经网络中处理和生成文本、图像、视频以及机器人控制动作。与大多数将任务路由到专用模型的 AI 系统不同，Rho-1 将所有模态作为 token 在同一个共享上下文窗口中运行，无需工具调用或外部模型。该模型实时生成连续视频，并能即时响应新指令而无需重启。
预测相机图像的同一套权重也驱动机器人的运动。为了绕开稀缺的机器人训练数据，Reka AI 构建了一个逆动力学模型，从普通的互联网视频中提取控制信号。Rho-1 在 320 块 H100 GPU 上训练了约三个月。
Reka AI 对多模态 AI 并不陌生。2024 年 4 月，该公司发布了Reka Core，这是一个多模态语言模型，在基准测试中与 GPT-4、Claude 3 和 Gemini Ultra 竞争。此次发布契合了AI 研究中迈向所谓世界模型的更广泛趋势。
本文内容转载自 The Decoder，由 AI（deepseek-chat）翻译整理，版权归原作者所有。
阅读原文 ↗ https://the-decoder.com/reka-ais-omni-model-rho-1-handles-text-images-video-and-robot-control-in-a-single-modelThe Decoder · 10/06 02:26 · 已取全文
标题与摘要由 AI（deepseek-chat）改写，可能有误，以原文为准。