仅靠更多数据并不能让智能手机智能体变得更好。在数据量相同的情况下,最关键的是智能体在多少个不同的应用上进行训练。

AI 智能体能够自主操作应用的智能体主要通过实践来学习,但它们所需的数据大多被大公司锁住。因此,开源模型处于落后状态,南京大学、AI 公司商汤科技以及其他几所大学的研究人员写道。

OpenMobile-2是他们缩小这一差距的尝试。他们发布了两个智能体模型,分别基于Qwen3.5,90 亿和Qwen3.6,270 亿参数,同时发布了完整的训练环境、数据和复现一切所需的说明。作者表示,他们的模型在当前的智能手机智能体中排名接近前列。

为什么重建 110 个应用胜过在真实应用上训练

在真实应用上训练很痛苦,因为登录、真实购买以及无法重置状态使这个过程既昂贵又难以重复。因此,研究人员重建了 35 个主要在中国流行的应用,包括淘宝、京东、滴滴和美团,以及 Slack 和 Google Drive 等全球使用的服务。结合现有的模拟环境和在 Android 模拟器中运行的应用,这个练习场覆盖了 110 多个应用。

Left: an overview of more than 110 apps split into 63 simulator apps and 62 emulator apps by category. Right: a comparison between GUI-only interaction using swipe, click, and type actions versus a hybrid approach that adds app-native tools like list_order() and search_item() on a shared app state.
在混合模式下,智能体将常规的屏幕操作与应用直接作为工具暴露出来的功能相结合。| 图片:Yan 等

人工审核人员将重建的应用与原始应用进行对比,并不断改进,直到工作流程和界面匹配。订单、预算和旅行计划在会话之间保持,数据可以通过剪贴板在应用之间传递。每个模拟环境都会自动重置到初始状态,而智能体只能看到截图,无法访问应用内部数据,模拟了人们实际使用它们的方式。

基于这一设置,团队生成了约 11,600 个示例工作流程和 2,000 多个带有自动成功检查的练习任务。Google 的 Gemini 3.1 Pro作为生成这些示例的教师模型,这意味着 OpenMobile-2 实际上是在从一个闭源系统中学习。

Diagram showing five steps for rebuilding an app: tracing a user flow, encoding it as a JSON spec, building around a shared app state, replaying and checking expected behavior, and delivering a reusable app with replay checks.
对于每个重建的应用,研究人员预先定义哪个操作会改变哪个状态,然后自动验证结果。| 图片:Yan 等

真机性能提升最大

两个模型在既有基准测试上都有明显提升。在 AndroidWorld 上,较大模型从 67.1 分跃升至 79.9 分,较小模型则从 54.3 分升至 74 分。前代 OpenMobile-1 在同一测试中得分为 64.7。在难度更高的 MobileWorld 基准测试中(涵盖跨多个应用的较长任务),较大模型从 35.9 分提升至 50.4 分。

Five bar charts comparing OpenMobile-9B and OpenMobile-27B against Qwen3.5-9B, Qwen3.6-27B, GUI-Owl-1.5-32B, UI-Venus-1.5, MAI-UI-32B, and Gemini-3.1-Pro across AndroidWorld, MobileWorld, MobileGym, MobileGym++ Hybrid, and SPA-Bench.
OpenMobile-2-27B 在 AndroidWorld 上达到 79.9 分,在真实设备上的 SPA-Bench 中仅次于 Gemini 3.1 Pro。| 图片:Yan 等

最大的跃升出现在真实 Android 设备上,较大模型在 SPA-Bench 上从 31.9 分攀升至 59.6 分。研究人员表示,这是开源模型中的最佳成绩。

在这里,训练环境的多样性比单纯的数据量更重要。研究人员保持数据量不变,仅增加智能体练习所涉及的应用数量,结果在未见过的应用上的成功率从 60.7% 提升至 67.5%。在相同的数据预算下,应用多样性胜过从少数几个应用中增加额外样本。

Left: a line chart showing AndroidWorld success rates as training data is drawn from 15 to 53 apps. Right: a comparison of success rate and average step count with and without app-native tools for GUI-Owl, Qwen3.5-9B, and Qwen3.6-27B.
训练期间更多的应用多样性可提升在未见应用上的表现。经过混合训练后,模型更频繁地使用工具完成任务,且所需步骤更少。| 图片:Yan 等

强化学习叠加其上仅带来有限收益,主要体现在与训练设置相似的环境中。在 AndroidWorld 上,较大模型在之后实际上得分略有下降,为 79.9 分而非 80.8 分。

直接命令让智能体跳过菜单迷宫

该研究的一个实验性部分超越了点击和滑动。超过 50 个模拟应用提供诸如“加入购物车”之类的直接命令,使智能体可以跳过菜单导航,并且智能体会根据可用情况在两种方式之间自由切换。

不过,仅靠这一点帮助不大,因为如果没有针对性训练,模型往往会忽略这些捷径。一旦经过相关训练,智能体就能很好地使用它们,多完成最多 10.3 个百分点的任务,同时所需步骤减少约 5 步。研究人员表示,这种能力也能迁移到模型训练期间从未接触过的工具上。

在后期的强化学习阶段,只要一次运行包含至少一条直接命令,工具使用就会获得一个奖励系数,不过奖励仍然取决于任务是否真正完成。当智能体谎报成功时,就会受到惩罚。这些接口目前只存在于模拟应用中,研究人员自己也称这种方法为实验性的。

部分结果来自团队构建的一个自定义基准测试,包含 215 个任务,其中近一半跨多个应用。任务完成情况不是由语言模型评判,而是由一个程序在每次运行前后对比应用存储的数据来判定。作者还检查了训练任务与测试任务之间的重叠,只发现了轻微的相似性。

Microsoft Research 此前已经将API 智能体归类为更可靠,而 GUI 智能体更灵活,这是 2025 年的一项研究得出的结论,并指出移动应用是外部接口不存在的典型场景。Oppo 则在其开放智能体上采取了不同的路线X-OmniClaw,它运行在真实设备上,通过深度链接在淘宝或美团等应用中重放此前展示过的路径,而不是再次点击菜单。在闭源模型中,Google 已将智能手机控制直接内置到Gemini 3.5 Flash中。

没有炒作的 AI 资讯——由人类精选

订阅 THE DECODER,即可享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

立即订阅