PaperlayerView exact revision on arXiv

Source-linked AI summary

ToolCUA: Towards Optimal GUI-Tool Path Orchestration for Computer Use Agents

Xuhao Hu, Xi Zhang, Haiyang Xu, Kyle Qiao, Jingyi Yang, Xuanjing Huang, Jing Shao, Ming Yan, Jieping Ye

arXiv:2605.12481v1cs.AI

TL;DR

Computer-use agent는 고품질 interleaved training trajectory와 trajectory-level supervision이 부족해 GUI action과 tool call 사이에서 효율적으로 선택하기 어렵다. ToolCUA는 GUI data에서 hybrid trajectory를 확장하고 reinforcement learning으로 전환 결정을 학습해 OSWorld-MCP에서 46.85% accuracy를 달성했으며, baseline보다 약 66%, GUI-only setting보다 3.9% 높다.

  • 문제

    Agent는 효율적이고 신뢰할 수 있는 GUI-Tool path를 선택하기 어렵고, 고품질 interleaved trajectory와 tool-calling supervision도 여전히 부족하다.

  • 방법

    ToolCUA는 GUI corpus에서 grounded tool과 interleaved trajectory를 합성한 뒤, staged reinforcement learning으로 GUI-Tool 전환을 최적화한다.

  • 결과

    OSWorld-MCP에서 46.85% accuracy를 달성해 비슷한 규모의 model 가운데 state-of-the-art 성능을 확립했으며, pure GUI setting보다 3.9% improvement를 보인다.

  • 시사점 및 한계

    결과는 효과적인 path orchestration이 필요한 computer-use agent에 hybrid GUI-Tool training이 유망한 paradigm임을 시사한다.

  • 시사점 및 한계

    합성 trajectory의 다양성과 품질은 source GUI demonstration의 coverage와 fidelity, 그리고 synthesis model의 capability에 의해 여전히 제약된다.

Abstract

from arXiv · show

Computer Use Agents (CUAs) can act through both atomic GUI actions, such as click and type, and high-level tool calls, such as API-based file operations, but this hybrid action space often leaves them uncertain about when to continue with GUI actions or switch to tools, leading to suboptimal execution paths. This difficulty stems from the scarcity of high-quality interleaved GUI-Tool trajectories, the cost and brittleness of collecting real tool trajectories, and the lack of trajectory-level supervision for GUI-Tool path selection. In this paper, we propose ToolCUA, an end-to-end agent designed to learn optimal GUI-Tool path selection through a staged training paradigm. We first introduce an Interleaved GUI-Tool Trajectory Scaling Pipeline that repurposes abundant static GUI trajectories and synthesizes a grounded tool library, enabling diverse GUI-Tool trajectories without manual engineering or real tool-trajectory collection. We then perform Tool-Bootstrapped GUI RFT, combining warmup SFT with single-turn RL to improve decisions at critical GUI-Tool switching points. Finally, we optimize ToolCUA with Online Agentic RL in a high-fidelity GUI-Tool environment, guided by a Tool-Efficient Path Reward that encourages appropriate tool use and shorter execution paths. Experiments on OSWorld-MCP show that ToolCUA achieves 46.85% accuracy, a relative improvement of approximately 66% over the baseline, establishing a new state of the art among models of comparable scale. It also improves by 3.9% over GUI-only settings, demonstrating effective GUI-Tool orchestration. The results further suggest that training in a hybrid action space is a promising paradigm for real-world digital agents. Open-sourced here: https://x-plug.github.io/ToolCUA/

1. 서론

ToolCUA는 GUI 코퍼스에서 interleaved 학습 데이터를 확장하고 staged reinforcement learning을 통해 trajectory-level orchestration을 최적화함으로써 hybrid GUI-Tool action space의 혼란을 해결한다. OSWorld-MCP [12]에서 46.85%를 달성해 Qwen3-VL-8B-Instruct 보다 약 66% 높은 성능을 보였으며, pure GUI actions 대비 hybrid-action 성능도 향상했다.

  • 동기: Hybrid action space는 agent를 혼란스럽게 할 수 있다. Qwen3VL-235B-A22B는 평균 6.10회의 tool-calls를 수행하는 반면 성공률은 41.14%에서 38.14%로 하락하고, Qwen3VL-8B는 평균 0.003회의 tool calls를 수행한다.이러한 행동은 효과적인 orchestration이 아니라 tool의 과다 사용과 과소 사용을 반영한다.
  • 방법: ToolCUA는 trajectory-aware tools를 합성해 기존 pure GUI 코퍼스를 확장 가능한 interleaved GUI-Tool 데이터로 재활용하며, 수작업 환경 구축과 tool-trajectory 수집을 피한다.이 pipeline은 고품질 interleaved GUI-Tool trajectory의 부족과 수집 비용 문제를 해결한다.
  • 방법: Staged training은 hybrid-action 기반과 GUI-Tool switching 최적화를 위한 tool-bootstrapped RFT를 tool-efficient path rewards를 사용하는 online agentic RL과 결합한다.이 paradigm은 국소적 imitation이나 최종 task-completion reward만이 아니라 trajectory-level decision을 목표로 한다.
  • 결과: OSWorld-MCP [12]에서의 46.85% accuracy는 ToolCUA를 유사한 규모의 model 중 state of the art로 확립하며, Qwen3-VL-8B-Instruct 보다 약 66% 높다.이 결과는 선도적인 proprietary model 과도 경쟁할 만하다.
  • 결과: Pure GUI actions 대비 +3.9% improvement는 hybrid-action training이 ToolCUA의 성능을 향상함을 보여준다.ToolCUA는 pure GUI action setting에서도 42.9% accuracy를 달성한다.

2. ToolCUA

ToolCUA는 컴퓨터 사용을 hybrid GUI-and-tool action space에서의 의사결정으로 정식화하고, interleaved trajectory scaling, switching 최적화, online reward shaping을 통해 경로 orchestration을 학습한다. 이 pipeline은 grounded tool synthesis, critical-step calibration, trajectory-level optimization을 결합해 적절하고 효율적인 tool 사용을 유도한다.

  • 2. ToolCUA: ToolCUA는 multimodal GUI 관측과 atomic GUI interaction 및 structured tool invocation을 결합한 hybrid action space를 사용하는 MDP로 컴퓨터 사용을 모델링한다.state는 desktop screenshot과 이전에 호출된 tool 결과를 포함하며, action은 A_GUI ∪ A_Tool에서 선택된다.
  • 2. ToolCUA: interleaved trajectory scaling pipeline은 functionality, granularity, switching context 전반에 걸친 grounded tool을 사용해 성공적인 GUI-only trajectory를 다양한 GUI-Tool data로 변환한다.source trajectory를 필터링하고 균형화하며, 관찰된 GUI procedure에서 호출 가능한 tool을 합성하고, 부분적인 tool availability에 따라 tool replacement를 변화시켜 GUI fallback을 요구한다.
  • 2. ToolCUA: Tool-Bootstrapped GUI RFT는 먼저 모든 interleaved data에 warmup SFT를 적용한 뒤, critical switching step에서 GRPO를 사용해 GUI와 tool 사이의 결정을 보정한다.SFT 단계는 tool 사용법, parameter, 결과 state를 학습시키고, single-turn RL은 decision boundary에서 feedback을 제공한다.
  • 2. ToolCUA: Online Agentic RL은 표준 success signal에 tool 적절성과 경로 효율성을 결합한 Tool-Efficient Path Reward를 사용해 완전한 GUI-Tool trajectory를 최적화한다.tool reward는 tool이 유리한 task에서의 호출을 선호하고 그 외에는 호출 자제를 유도하며, length reward는 trajectory를 rollout-group 평균과 비교해 성공한 더 짧은 경로에 보상한다.
  • 2. ToolCUA: ToolCUA는 online GUI-Tool environment에서 multi-turn GRPO로 최적화되며, informative update를 위해 성공 trajectory와 실패 trajectory를 모두 포함하는 rollout group을 유지한다.dynamic filtering은 불필요한 계산을 줄이면서 relative-policy learning signal을 보존한다.

3. 실험

ToolCUA는 효율적인 GUI-Tool 경로 선택을 학습해 OSWorld-MCP에서 state-of-the-art 성능을 달성하며, GUI-only 학습보다 향상된 성능과 과제 및 플랫폼 전반의 일반화를 보인다. Ablation 결과는 안정적이고 효율적인 tool 사용을 위해 interleaved trajectory supervision과 Tool-Efficient Path Reward가 모두 중요함을 보여준다.

  • 종합 결과: 46.85% accuracy를 달성한 ToolCUA-8B는 OSWorld-MCP에서 8B급 모델 중 state of the art이며, 43.84%의 GUI-Owl-1.5-8B와 43.54%의 Claude-4-Sonnet을 앞선다.또한 41.14%의 Gemini-3.1-Pro를 능가하며 Claude-4.5-Sonnet에는 2% 미만의 차이로 뒤진다.
  • 종합 결과: 24.32% TIR과 14.93 average completion steps는 baseline의 각각 8.41%와 19.34보다 향상되었으며, ToolCUA는 전체적으로 가장 적은 step 수를 달성한다.이 결과는 더 적절한 tool 호출과 더 짧은 GUI-Tool 실행 경로를 나타낸다.
  • 일반화: held-out multi_apps task에서 23.9% accuracy를 달성해 online RL 이전의 18.5%와 baseline의 9.8%보다 향상되었으며, WindowsAgentArena에서는 33.8%에 도달한다.WindowsAgentArena에서 ToolCUA는 baseline을 7.4 percentage points 앞서며, 32.1%의 Qwen3-VL-235B-A22B도 능가한다.
  • Ablation 연구: interleaved data가 없으면 TIR은 약 15%에 불과하고 tool call은 거의 0에 머물러, path reward만을 사용하는 online RL로는 GUI 중심 편향을 극복할 수 없음을 보여준다.따라서 안정적인 tool-calling behavior를 위해서는 offline synthetic interleaved supervision이 필요하다.
  • Ablation 연구: Tool-Efficient Path Reward가 없으면 accuracy가 불안정해지고 약 7 percentage points 낮게 종료되며, TIR, tool call, trajectory length도 일관된 향상을 보이지 않는다.Vanilla multi-turn GRPO만으로는 tool invocation이 유익한 시점을 안정적으로 학습시키지 못한다.
  • Hybrid GUI-Tool 학습: full hybrid training 이후의 46.85% accuracy는 pure GUI agentic RL 이후의 42.05%를 능가하며, interleaved-trajectory RFT만 사용하면 38.13%에 도달한다.Pure GUI training은 SFT 후 baseline을 29.03%에서 34.93%로, 이후 agentic RL 후 42.05%로 향상시키지만, 두 단계 모두 GUI-Tool counterpart보다 낮다.

4. 관련 연구

기존 CUA 연구는 multi-agent와 end-to-end multimodal agent에 집중해 왔지만, hybrid GUI-tool action space는 충분히 다뤄지지 않았다. ToolCUA는 staged training을 통해 완전한 GUI-Tool 실행 경로를 학습하도록 이 연구를 확장한다.

  • Computer Use를 위한 Multimodal Agent: CUA는 일반적으로 전문화된 모듈 간에 작업을 분해하는 multi-agent system이나 planning과 grounding을 통합하는 end-to-end model을 따른다.기존 agent 대부분은 여전히 GUI interaction에 주로 의존하며, raw GUI action과 structured tool invocation을 결합한 hybrid action space를 직접 다루지 않는다.
  • CUA를 위한 Hybrid GUI-Tool Action: ToolCUA는 staged training을 사용해 GUI-only control을 넘어 완전한 GUI-Tool 실행 경로를 최적화한다.이 접근법은 raw GUI interaction과 structured tool invocation을 결합하는 초기 hybrid-action CUA 연구를 기반으로 한다.
  • CUA를 위한 Hybrid GUI-Tool Action: 신뢰할 수 있는 interface를 사용할 수 있을 때 structured tool은 반복적인 low-level GUI operation을 줄이고 효율성을 높일 수 있다.Tool-augmented LLM 연구는 autonomous coding, deep research, multimodal visual search를 발전시켜 왔으며, 최근 CUA 연구는 hybrid-action 평가를 위해 MCP tool을 탐구한다.

5. 결론 · 부록

ToolCUA는 학습된 GUI-Tool 경로 선택을 통해 GUI와 tool action을 orchestrate하는 end-to-end agent로 제시된다. 논문은 두 action type에 에이전트를 노출하는 것만으로는 충분하지 않다고 주장한다. 모델이 tool을 과도하게 사용하거나 지나치게 GUI 중심으로 남아 비효율적이고 취약한 trajectory를 생성할 수 있기 때문이다.

  • 5. 결론: ToolCUA는 GUI와 tool action을 end-to-end computer-use agent로 orchestrate한다.
  • 5. 결론: 이 시스템은 두 action type에 대한 접근에만 의존하지 않고 GUI-Tool path selection을 학습한다.
  • 5. 결론: 에이전트를 GUI action과 tool call에 단순히 노출하는 것만으로는 효과적인 orchestration에 충분하지 않다.
  • 5. 결론: 현재 모델은 hybrid action space에서 작동할 때 tool을 과도하게 사용할 수 있다.
  • 5. 결론: 현재 모델은 action을 선택할 때 반대로 지나치게 GUI 중심으로 남을 수 있다.
  • 5. 결론: 이러한 불일치하는 action preference는 비효율적이고 취약한 execution trajectory로 이어진다.

A. 한계와 향후 연구 · B. 광범위한 영향과 윤리 성명

ToolCUA의 synthesis-driven training은 원천 GUI trajectory의 coverage와 fidelity에 제약을 받으며, broader deployment에는 실용적·윤리적 고려가 함께 요구된다. 향후 연구에서는 플랫폼 전반으로 hybrid action space를 확장하고, 더 가볍고 견고한 training environment를 개발해야 한다.

  • A. 한계와 향후 연구: ToolCUA가 합성한 hybrid trajectory는 원래 GUI-only demonstration의 state frame과 domain coverage에 여전히 제약된다.따라서 그 다양성과 품질은 원천 trajectory의 폭, fidelity, task distribution에 좌우된다.
  • A. 한계와 향후 연구: 향후 연구에서는 desktop, mobile, web environment 전반에서 hybrid GUI-Tool action space를 검토해야 한다.Atomic GUI operation과 high-level tool 사이의 적절한 균형은 interface structure와 task type에 따라 달라질 수 있다.
  • A. 한계와 향후 연구: 향후 연구에서는 더 가볍고, 다양하며, 견고한 hybrid-action environment를 통해 agentic RL의 heavy sandbox infrastructure 의존도를 낮춰야 한다.이러한 environment는 GUI action과 tool call을 모두 지원해야 한다.
  • B. 광범위한 영향과 윤리 성명: ToolCUA는 GUI action과 tool call을 더 효율적으로 조정함으로써 real-world digital automation에 기여할 수 있다.잠재적 이점으로는 생산성, 접근성, 반복적인 workflow 지원이 있다.
  • B. 광범위한 영향과 윤리 성명: 더 강력한 computer-use agent는 unauthorized operation, 우발적인 user data 수정, desktop observation에서 비롯되는 privacy leakage와 관련된 위험도 초래한다.이러한 위험은 digital automation에 대한 시스템의 잠재적 이점과 함께 발생한다.
  • B. 광범위한 영향과 윤리 성명: Computer-use agent는 유해하거나 기만적인 online activity를 자동화하는 데 악용될 수 있다.이 위험은 논문의 broader-impact 및 ethics 논의의 일부로 명시적으로 식별된다.

C. 구현 세부사항 · C.1. 예비 연구: Hybrid Action Space에서의 최적 경로 혼동

Table 1은 GUI를 지원하는 agent에 tool을 추가해도 성능이 안정적으로 향상되지 않음을 보여준다. hybrid action space는 agent가 최적이 아닌 실행 경로를 선택하도록 혼동할 수 있다. 이 진단은 tool underuse, tool overuse, trajectory-level path selection을 핵심 과제로 식별한다.

  • C.1. 예비 연구: Hybrid Action Space에서의 최적 경로 혼동: 이 진단은 여러 agent에서 pure GUI와 hybrid GUI-Tool execution을 비교하며, hybrid model에는 system prompt를 통해 동일한 tool interface와 documentation을 제공한다.Accuracy는 전체 task에 대해 측정하고, ACS는 실행 효율성 지표로서 평균 completion trajectory step을 보고한다.
  • C.1. 예비 연구: Hybrid Action Space에서의 최적 경로 혼동: 평가는 EvoCUA-32B와 Claude baseline에 대해 공식 검증 GUI trajectory를 사용하고, 50-step maximum horizon과 feasible task만 적용하며, Qwen3VL model에는 정렬된 implementation을 사용한다.Qwen3-VL-8B-Instruct와 Qwen3-VL-235B-A22B-Thinking은 Table 1에서 각각 Qwen3VL-8B와 Qwen3VL-235B로 축약된다.
  • C.1. 예비 연구: Hybrid Action Space에서의 최적 경로 혼동: Hybrid GUI-Tool execution은 두 action space를 모두 사용할 수 있을 때 agent가 가장 효과적인 실행 경로에서 벗어나기 때문에 accuracy 향상에 실패하는 경우가 많다.이 연구는 이를 “forked road” problem으로 설명한다. GUI action과 tool에 모두 접근할 수 있으면 성능이 우수한 model도 혼동할 수 있다는 의미다.
  • C.1. 예비 연구: Hybrid Action Space에서의 최적 경로 혼동: 29.0%에서 28.2%로: Qwen3VL-8B의 accuracy는 tool access 이후 하락하지만, Tool-Calls는 trajectory당 0.00으로 유지되고 ACS는 19.2에서 19.3으로 상승한다.이는 tool underuse를 보여주는 사례다. 짧은 tool call을 사용할 수 있는데도 model이 거의 전적으로 GUI branch에 머문다.
  • C.1. 예비 연구: Hybrid Action Space에서의 최적 경로 혼동: 41.1%에서 38.1%로: Qwen3VL-235B는 Tool-Calls가 6.10으로 증가하고 completion step이 25.9에서 17.4로 감소했음에도 accuracy가 하락한다.더 짧은 trajectory가 더 나은 task success로 이어지지 않으며, 이는 잦은 tool usage만으로는 충분하지 않음을 보여준다.
  • C.1. 예비 연구: Hybrid Action Space에서의 최적 경로 혼동: EvoCUA-32B에서도 tool overuse가 관찰된다. 제공된 passage에서는 task success 향상을 입증하지 않았음에도 평균 7.49회 tool을 호출한다.이는 공격적인 tool invocation 자체가 신뢰할 수 있는 해결책은 아니라는 더 넓은 결론을 뒷받침한다.
  • C.1. 예비 연구: Hybrid Action Space에서의 최적 경로 혼동: 핵심 난제는 사용 가능한 action space를 단순히 확장하는 것이 아니라 optimal GUI-Tool path selection에 있다.Agent는 GUI grounding을 계속할지, 즉시 tool을 호출할지, 추가적인 GUI setup 이후 전환할지를 결정해야 한다.

C.2. Scaling Pipeline의 데이터 통계

Scaling pipeline은 다양한 GUI trajectory와 sandbox rollout을 결합해 10,000개의 interleaved GUI-Tool trajectory, 180k개의 SFT step, 5k개의 critical switching step을 합성한다. 4,350개 tool inventory는 여러 세분화 수준과 application domain을 아우르며, 다양한 tool-selection decision을 지원한다.

  • 데이터 규모: 10,000개의 합성된 interleaved GUI-Tool trajectory는 offline single-turn RL을 위해 180k개의 warmup SFT step과 5k개의 critical switching step을 생성한다.source data는 필터링 후 OpenCUA [40], ScaleCUA [18], 그리고 1,200개의 curated sandbox-rollout trajectory를 결합한다.
  • Tool inventory: 4,350개의 unique tool은 fine-, mid-, coarse-grained operation을 포괄하며, 각 trajectory에는 평균 19.75개의 candidate tool과 7.89개의 executed tool이 포함된다.inventory는 계층적으로 구성되며, 주로 fine- 및 mid-grained operation을 중심으로 하고 coarse-grained skill이 이를 보완한다.
  • Tool-space 다양성: Figure 7은 LibreOffice, Chrome, VSCode 전반에서 구분 가능한 tool region을 보여주며, 세 granularity tier가 모두 각 region 안에 공존한다.투영된 tool space는 합성된 inventory가 좁은 routine 집합으로 붕괴하지 않음을 나타낸다.

C.3. 학습 세부사항

ToolCUA는 full-parameter warmup SFT, offline single-turn RL, online agentic RL을 명시적인 tool appropriateness supervision과 결합한 staged training을 사용한다. 학습은 MCP integration이 적용된 OSWorld 기반 환경에서 distributed GUI-tool rollout을 통해 확장된다.

  • Tool-Bootstrapped GUI RFT: Warmup SFT는 vision tower와 LLM backbone 전반에 대해 Qwen3-VL-8B-Instruct 를 3 epochs 동안 fine-tuning하며, 8 × 8 GPUs를 사용한다.이후 offline single-turn RL은 rollout group size 32, learning rate 1 × 10^-6, batch size 128을 사용한다.
  • Online Agentic RL Training: Online agentic RL은 λ = 0.4, β = 0.2, Smax = 30을 사용하며, rollout size 32, learning rate 1 × 10^-6, batch size 32로 설정된다.이 설정으로 최종 ToolCUA model을 생성하고 maximum execution horizon을 30으로 제한한다.
  • Online Agentic RL Training: Tool Appropriateness Reward는 tool invocation이 유익한지를 나타내는 OSWorld-MCP [12] task label을 사용하며, reward integration 전에 수동 검증을 수행한다.Label은 tb ∈{1, −1}로 표현된다.
  • CUA Agentic RL in a GUI-Tool Environment: Distributed training은 verl [31]과 OSWorld-MCP [12], AutoGLM [17] tools가 적용된 OSWorld [45] QEMU sandbox에서 GPU cluster의 policy optimization과 ECS server의 rollout을 분리한다.또한 agent-readable return design을 통해 tool-calling interface를 추가로 최적화한다.

C.4. 벤치마크 평가

ToolCUA는 hybrid GUI-Tool benchmark인 OSWorld-MCP [12]에서 accuracy, tool-use alignment, execution efficiency metric을 사용해 주로 평가된다. Cross-platform transfer는 이에 준하는 50-step limit 아래 WindowsAgentArena [5]에서 평가된다.

  • C.4. 벤치마크 평가: OSWorld-MCP [12]는 task accuracy, Tool Invocation Rate, Average Completion Steps를 통해 hybrid GUI-Tool execution을 직접 측정한다.결과는 task당 최대 50 execution steps를 적용한 average@3 evaluation을 사용한다.
  • C.4. 벤치마크 평가: Task accuracy는 visual grounding, GUI interaction, tool use를 포함해 target instruction의 성공적인 completion을 측정한다.이는 OSWorld-MCP의 primary success metric이다.
  • C.4. 벤치마크 평가: Tool Invocation Rate는 agents가 Tool-Beneficial Tasks에서는 tools를 사용하고 Non-Tool-Beneficial Tasks에서는 이를 피하는지를 측정한다.이는 invocation frequency만이 아니라 tool usage와 task-level utility 간의 alignment를 포착한다.
  • C.4. 벤치마크 평가: Average Completion Steps는 task 전반에서 필요한 평균 environment interaction steps 수를 통해 execution efficiency를 측정한다.더 짧은 tool-conditioned paths와 더 적은 redundant GUI operations는 일반적으로 ACS를 낮춘다.
  • C.4. 벤치마크 평가: WindowsAgentArena [5]는 각 task에 max_steps=50을 적용하고 accuracy@avg3를 main metric으로 사용해 cross-platform transfer를 평가한다.이 evaluation은 OSWorld-MCP를 넘어 ToolCUA를 테스트한다.

C.5. 절제 실험 세부 사항

세 가지 절제 실험을 통해 staged training 구성 요소와 hybrid GUI-Tool action space를 평가한다. 통제된 프로토콜 아래 offline interleaved-data bootstrapping, online agentic RL, pure-GUI training을 비교한다.

  • C.5. 절제 실험 세부 사항: 세 가지 절제 실험에서 각 training 구성 요소와 hybrid GUI-Tool action space의 효과를 평가한다.제공된 본문은 전체 절제 실험 범위를 설명하지만, 이에 대응하는 결과값은 제시하지 않는다.
  • Staged training 절제 실험: Figure 6에서는 offline interleaved GUI-Tool data bootstrapping을 제거하고 Tool-Efficient Path Reward와 함께 online agentic RL을 직접 적용하여 staged training을 검토한다.이 절제 실험에서는 Qwen3-VL-8B-Instruct를 baseline으로 사용하고, online exploration만으로 tool calling과 GUI-Tool switching을 학습할 수 있는지 검증한다.
  • Action-space 절제 실험: Table 3에서는 유사한 규모의 fine-tuning data와 해당 action space에서의 online agentic RL을 사용하여 hybrid GUI-Tool training과 pure-GUI training을 비교한다.pure-GUI 설정에서는 tool action을 사용할 수 없으며, reward는 Path Efficiency Reward Term을 포함하는 Racc + R_fmt + Rlength로 구성된다.
  • Evaluation protocol: 모든 online agentic RL 절제 실험에서 max_steps=30, 약 25회의 optimization step, batch size 32, dynamic filtering, 그리고 run당 약 1,200개의 effective sample을 사용한 average@3 결과를 보고한다.이 설정은 Section C.4를 따르며 sandbox 기반 online RL의 계산 제약을 반영한다.

D. 추가 사례 연구 … 메시지 구성

사례 연구는 ToolCUA가 사무, 코딩, 다중 애플리케이션 작업에서 semantic tool call과 GUI action을 결합하는 방식을 보여준다. 또한 data pipeline과 message construction은 grounded trajectory generation, tool synthesis, state prediction, multimodal execution context를 제공한다.

  • D. 추가 사례 연구: ToolCUA는 직접적인 tool execution과 GUI action을 결합해 LibreOffice Calc, VS Code, 다중 애플리케이션, Impress 작업을 효율적으로 완료하면서 tool이 완전히 처리하지 못하는 interface state도 다룬다.사례에는 pivot-table 생성, workspace-folder 관리, terminal screenshot 캡처, slide text-color 변경이 포함된다. GUI action은 dialog, confirmation, finalization에 여전히 유용하다.
  • E. Data Pipeline에서 사용한 프롬프트; SCREENSHOT DESCRIPTION PROMPT; JOINT GENERATION PROMPT; TOOL GENERATION PROMPT; FIX TOOL PROMPT; PREDICT SCREENSHOT PROMPT; DESCRIBE AND LOCATE PROMPT; MERGE TREE PLANNING PROMPT; BOTTOM UP MERGE PROMPT: offline trajectory-scaling pipeline은 screenshot description, grounded tool generation 및 repair, joint step generation, screenshot prediction 및 matching, merge-tree planning을 사용한다.프롬프트는 visible state transition에 grounded된 semantic tool, valid schema, one-step trajectory, coherent multi-granularity merge를 요구한다.
  • JOINT GENERATION PROMPT; TOOL GENERATION PROMPT; FIX TOOL PROMPT: joint-generation prompt는 observation, thought, action, tool call, tool response를 포함하는 exactly one grounded step을 생성하면서 progress, valid schema, non-invented effect를 제약한다.Tool-generation instruction은 application-grounded semantic tool, fine 및 coarse granularity, standardized return field, exactly one terminate tool도 요구한다.
  • PREDICT SCREENSHOT PROMPT; DESCRIBE AND LOCATE PROMPT: prediction 및 matching prompt는 tool result와 이전 screenshot으로부터 post-action desktop state를 재구성하고, 최적의 candidate를 선택하거나 일치하는 candidate가 없으면 null을 반환한다.구체적으로 보이는 window, dialog, element, data, status change를 설명하고, 선택한 match에 대한 confidence와 evidence를 요구한다.
  • MERGE TREE PLANNING PROMPT; BOTTOM UP MERGE PROMPT: merge-tree 및 bottom-up merge prompt는 leaf order를 보존하면서, 완전한 grounded chunk를 요약하는 semantically cohesive coarse tool을 합성하고 effect를 발명하지 않는다.Merged tool은 constituent action보다 더 포괄적이어야 하며 coarse granularity를 사용하고, 해당 chunk가 도달한 final UI state에 계속 연결되어야 한다.
  • F. ToolCUA를 위한 메시지; System Prompt: ToolCUA의 system prompt는 항상 GUI-action specification을 제공하고 MCP tool과 reminder를 조건부로 추가하며, screenshot feedback과 textual JSON tool result를 구분한다.hybrid prompt는 일부 MCP action이 screenshot을 시각적으로 변경하지 않을 수 있음을 경고하고, state decision에는 GUI screenshot을 요구하며, 반복적으로 실패하는 call을 억제한다.
  • Message Construction: Message construction은 최대 five prior screenshot, tool result, action, assistant response를 유지한 뒤 current instruction과 screenshot을 multimodal user message에 추가한다.initial step에서는 current screenshot을 직접 제공하고, 이후 step에서는 current tool result와 screenshot을 tool-response delimiter 안에 포함한다.
Loading 2605.12481v1…