标题和作者

本文标题为《别光给Agent加Tool了，它根本选不明白！复旦×通义提出全新CUA训练范式》，作者为Jay（量子位），由复旦大学与通义实验室MobileAgent团队共同完成。文章主要探讨了计算机使用智能体在同时处理图形用户界面操作和工具调用时面临的路径选择难题，并介绍了一种名为ToolCUA的新型训练范式，旨在解决智能体在混合动作空间中出现的工具滥用或滥用不足的问题。

摘要

本文提出了一种面向计算机使用智能体的全新训练范式ToolCUA，旨在解决智能体在混合GUI和Tool动作空间中无法做出正确路径选择的问题。此前的研究表明，单纯给强模型增加工具往往会导致准确率下降，因为模型无法在GUI和Tool之间做出决策，要么过度依赖GUI导致效率低下，要么盲目调用工具导致失败。本文通过两阶段训练法解决这一问题：第一阶段利用多模态大语言模型合成交错GUI-Tool轨迹数据，并使用基于工具的引导式微调；第二阶段在真实环境中使用在线智能体强化学习，并结合专门设计的“工具高效路径奖励”来优化轨迹选择。实验结果显示，ToolCUA-8B在OSWorld-MCP基准测试中达到了46.85%的准确率，超过了Claude-4-Sonnet等模型，并大幅降低了任务完成步数。

在此部分，需要特别解释几个核心术语。CUA 指的是 Computer Use Agent，即计算机使用智能体，是指能够通过模拟用户操作计算机屏幕来完成任务的AI模型。Hybrid action space 指的是混合动作空间，即智能体可以同时执行GUI操作（如点击、输入）和Tool调用（如API接口）的复杂环境。OSWorld-MCP 是一个基准测试集，专门用于评估模型在包含GUI和150多种工具的真实混合动作空间中的执行能力。MLLM 是 Multimodal Large Language Model 的缩写，即多模态大语言模型，它不仅能处理文本，还能理解图像（如屏幕截图），在本研究中用于合成训练数据。

主要主题和概念

主题一：混合动作空间与路径选择

• What：问题在于智能体需要在图形用户界面操作和工具调用之间做决策。GUI操作泛化性强，理论上能操作任何界面元素，但步骤长、容易累积误差；工具调用（如API）更高效、精确，但依赖工具覆盖和上下文条件。
• Why：如果模型缺乏路径选择能力，会出现“工具滥用不足”，即明明有高效工具却只用GUI，导致任务繁琐且易错；或者出现“工具滥用”，即在不该调用工具的时候频繁调用，反而降低成功率。
• How：ToolCUA通过两阶段训练，第一阶段先让模型通过合成数据学习在局部切换点上的选择，第二阶段通过在线强化学习在长程任务中学习全局路径的高效性。

在此部分，需要解释 GUI (Graphical User Interface，图形用户界面) 和 Tool (工具/API，指结构化的程序接口)。GUI是人与计算机交互的图形化方式，而Tool则是针对特定功能（如处理表格、文件操作）的高效指令集。理解这两个概念的区别对于理解为什么需要“路径选择”至关重要。

主题二：交错GUI-Tool轨迹缩放管道

• What：这是一种数据合成方法，用于解决混合动作空间训练数据稀缺的问题。它利用现有的GUI-only数据，将其转化为包含GUI和Tool混合操作的训练轨迹。
• Why：真实世界中高质量的混合GUI-Tool轨迹非常稀缺，且GUI-only数据无法教会模型何时使用工具替代冗长操作。
• How：系统首先利用多模态大语言模型从GUI轨迹中提取可调用的工具，构建合成工具库；然后生成功能等价的工具轨迹，并通过“下一帧锚定”验证其效果；最后随机采样将部分GUI操作替换为工具调用，形成多种交错的轨迹数据。

在此部分，需要解释 MLLM (Multimodal Large Language Model，多模态大语言模型) 和 Grounding (锚定/对应)。MLLM是指既能看图又能看懂文字的模型。Grounding在此处指的是将工具的执行结果与GUI界面的视觉状态对应起来，确保工具“点击”后界面的变化是正确的。

主题三：工具高效路径奖励

• What：这是一种用于在线强化学习的奖励机制，旨在优化智能体的轨迹选择。
• Why：仅靠任务成功率的奖励不足以教会模型“何时工具是合适的”以及“路径是否足够短”，模型容易陷入局部最优或盲目调用工具。
• How：设计了两个奖励项。Rtool 奖励在适宜任务中使用工具、在不适宜任务中避免使用工具的行为；Rlength 奖励比组内平均更短的成功路径，从而鼓励模型发现用高层工具替代冗长GUI操作的高效路径。

在此部分，需要解释 Online Agentic RL (Online Agentic Reinforcement Learning，在线智能体强化学习)。这是一种在真实环境中不断尝试、根据环境反馈调整策略的训练方法，与传统的离线模拟训练不同，它能学习到更真实的交互体验。

重要引文

论点一：混合动作空间中的路径困惑导致性能下降

• 论据：当给强模型（如Qwen3VL-8B或Claude-4-Sonnet）直接添加工具时，其任务成功率反而下降了。例如Qwen3VL-8B准确率从29.0%降至28.2%，Qwen3VL-235B从41.1%降至38.1%，Claude-4-Sonnet从47.7%降至43.5%。
• 论证：这证明了单纯增加工具并不等于性能提升，核心难点在于模型缺乏在GUI和Tool之间进行“最优路径选择”的能力，导致出现工具滥用或滥用不足。

论点二：交错数据对在线强化学习的重要性

• 论据：如果在第一阶段去掉了交错GUI-Tool轨迹数据的合成与微调，仅依靠在线强化学习，模型的工具调用率（TIR）会长期维持在极低水平，接近0。
• 论证：这表明模型无法仅通过环境反馈学会稳定的工具调用行为，必须先通过离线的交错监督数据获得工具知识和切换先验，这是后续Online Agentic RL成功的基础。

论点三：混合训练优于纯GUI训练

• 论据：纯GUI训练的最高准确率为42.05%，而包含工具的混合训练最终达到了46.85%。
• 论证：混合动作空间本身是一个更高保真的训练环境，模型不仅学会了视觉定位，还学会了何时用结构化工具替代冗余的GUI操作，从而获得了更强的泛化能力。

在此部分，需要解释 TIR (Tool Invocation Rate，工具调用率)。这是一个关键指标，用于衡量模型在完成任务的过程中，正确且有效地使用工具的频率，而不仅仅是调用工具的总次数。

总结

本文最重要的亮点在于ToolCUA-8B在OSWorld-MCP基准测试上取得了46.85%的准确率，这一成绩超越了Claude-4-Sonnet并逼近Claude-4.5-Sonnet，同时将平均完成步数降低到了14.93步，展示了极高的效率。总结而言，ToolCUA不仅仅是一个简单的工具调用模块，而是一种真正的GUI-Tool协同机制：它懂得在结构化任务中用工具绕过繁琐的GUI导航，而在面对复杂的界面交互状态（如信任对话框）时切换回GUI操作。此外，该模型在未见过的Windows桌面应用上也能达到33.8%的准确率，证明了其跨平台泛化能力，为下一代计算机使用智能体的训练提供了新的范式。