PaperlayerView exact revision on arXiv

Source-linked AI summary

TACO: Tool-Augmented Credit Optimization for Agentic Tool Use

Mingkuan Feng, Jinyang Wu, Hao Gu, Fangrui Lv, Ruihan Jin, Chuyuan Zhang, Zhengqi Wen, Jianhua Tao

arXiv:2606.30251v1cs.MA

TL;DR

Tool-use agent에는 외부 judge에 의존하지 않으면서 유용한 call, 낭비되는 call, 해로운 call을 구분하는 credit signal이 필요하다. TACO는 answer-probe의 전후 차분과 outcome-gated routing을 결합해, 12개 benchmark에서 기존 code-tool agent 중 평균 성능이 가장 높다.

  • 문제

    기존 reward는 개별 tool call에 최종 정답 여부를 귀속하기 어렵고, output 기반 process reward는 외부 judge가 필요하며 해로운 call을 놓칠 수 있다.

  • 방법

    TACO는 answer-probe 전후 차이로 call을 평가하는 DAPR과 최종 답변 credit을 책임 있는 segment에 할당하는 OGAR을 결합한다.

  • 결과

    12개 benchmark에서 TACO는 기존 code-tool agent 중 평균 성능이 가장 높으며, 더 강력한 Qwen3-VL backbone으로도 전이된다.

  • 시사점 및 한계

    TACO는 도움이 될 때만 tool을 호출하고 낭비되는 call을 억제하는 방법을 학습해, 평가한 benchmark 전반에서 정확도와 latency를 모두 개선한다.

  • 시사점 및 한계

    TACO는 검증 가능한 답이 있는 task에 가장 직접적으로 적용되며, 다중 call trajectory, open-ended generation, 더 풍부한 tool space로의 확장은 향후 과제로 남는다.

Abstract

from arXiv · show

Agentic multimodal models perform diverse operations on an image via code and reason over the returned view, an effective paradigm for fine-grained visual question answering. However, code operations can be useful, redundant, or misleading. Outcome-only rewards cannot precisely distinguish these cases, and existing process rewards either fail to attribute final correctness to individual tool calls, or require an external judge model. To address this, we introduce Tool-Augmented Credit Optimization (TACO), a GRPO variant for code-tool agents built on two coupled advantage channels. The first, Differential Answer-Probe Reward (DAPR), is a self-supervised, judge-free tool-contribution advantage that credits each tool call by its own effect on answering correctly. Probe tokens inserted into the model's reasoning elicit its predictions with and without the tool, and the difference in outcome reward is taken as the call's value: positive for a useful call, negative for a misleading one, and zero for one that changes nothing. This reuses the existing answer checker with no auxiliary judge, and, being a difference rather than an absolute probe score, is naturally robust to probe-hacking. The second is the outcome advantage from the final answer, distributed by Outcome-Gated Advantage Routing (OGAR): a parameter-free rule that, conditioned on the call's outcome, delivers this credit only to the responsible segments, suppressing wasted tool calls without any cost term. We train TACO through a two-stage SFT+RL pipeline. Extensive experiments across perception, reasoning, and general multimodal benchmarks show that it yields consistent accuracy gains and learns to invoke its tools only when they help.

1 서론

TACO는 시각적 tool call이 정답에 도움을 주거나, 아무 변화도 일으키지 않거나, 오히려 해를 끼칠 수 있다는 문제를, judge가 필요 없는 tool 기여도 reward와 outcome-gated token-level credit routing을 결합해 다룬다. 2단계 SFT-then-RL 학습법을 사용해 multimodal benchmark 전반의 정확도를 높이는 동시에, 도움이 될 때만 tool을 호출하도록 학습한다.

  • 동기: 시각적 tool call은 유용하거나, 결론을 내리지 못하거나, 오해를 유발할 수 있으므로, 각 call의 최종 정답성에 대한 기여도 자체를 평가하는 reward가 필요하다.같은 crop이 오답을 정답으로 바꾸거나, 변화를 일으키지 않거나, 정답을 오답으로 바꿀 수 있다.
  • TACO: TACO는 Differential Answer-Probe Reward (DAPR)와 Outcome-Gated Advantage Routing (OGAR)을 결합한 code-tool visual agent용 GRPO 변형이다.DAPR은 tool call value reward를 제공하고, OGAR은 최종 답변 advantage를 라우팅한다.
  • Differential Answer-Probe Reward (DAPR): DAPR은 rule-based checker를 사용해 tool-off와 tool-on answer probe를 비교하고, 도움이 되는 call에는 양의 value를, 해로운 call에는 음의 value를, 결과가 변하지 않는 call에는 0의 value를 부여한다.두 probe는 tool call 직전의 답변과, 반환된 tool result를 추론한 직후의 답변을 읽는다.
  • Outcome-Gated Advantage Routing (OGAR): OGAR은 최종 답변을 책임지는 token segment에만 final-answer advantage를 라우팅해, redundant tool call이 reward를 받거나 tool 때문에 망가진 reasoning이 비난받는 일을 막는다.이는 parameter-free이며 tool-call cost term을 추가하지 않고 낭비되는 call을 억제한다.
  • 평가: TACO는 2단계 SFT-then-RL 학습법을 사용하며, perception, reasoning, general multimodal benchmark 전반에서 일관된 정확도 향상을 달성하는 동시에 도움이 될 때만 tool을 호출한다.이 접근법은 external judge model과 auxiliary tool-call cost를 피하도록 설계됐다.

2 관련 연구

관련 연구는 멀티모달 모델이 코드로 생성된 이미지 뷰를 대상으로 추론하고 process reward로 강화학습을 조밀하게 수행할 수 있게 한다. TACO는 token span만이 아니라 실제 관측을 생성하는 tool action에 credit을 할당한다는 점에서 다르다.

  • 이미지와 함께 추론하기: 멀티모달 에이전트는 이미지를 crop, zoom, transform하거나 그 밖의 방식으로 처리하는 코드를 생성하며, 기존 시스템은 pixel space 연산 또는 sandboxed image-processing code를 사용했다.예로 DeepEyes (Zheng et al. 2026), Pixel-Reasoner (Wang et al. 2025a), Mini-o3 (Lai et al. 2026), PyVision (Zhao et al. 2026), Thyme (Zhang et al. 2026), DeepEyesV2 (Hong et al. 2026)가 있다.
  • Process reward와 credit assignment: 기존 process-reward 방법은 중간 textual reasoning step에 걸쳐 강화학습을 조밀하게 만들지만 external tool observation을 분리해 다루지는 않는다.MIG (Wang et al. 2026), PACR (Yoon et al. 2025), SPAE (Wu et al. 2026a)는 marginal gain, confidence 또는 correctness를 사용해 textual chain의 진행을 추정하거나 보상한다.
  • Process reward와 credit assignment: TACO는 token span이 아니라 실제 관측을 수반하는 action을 credit의 단위로 취급한다.개요에서는 before/after probe difference에 기반한 process channel과 responsible segment에만 전달되는 outcome channel을 보여준다.

3 방법

TACO는 각 tool call의 answer reward 변화를 측정하는 DAPR과 최종 answer credit을 책임 토큰으로 라우팅하는 OGAR로 code-tool visual agent를 위한 GRPO를 확장한다. TACO는 SFT cold-start 후 이러한 결합 gated advantage를 사용하는 GRPO로 학습된다.

  • 3.4 학습: TACO는 2단계 SFT-plus-RL pipeline을 사용한다. supervised cold-start에서 Think–Code–Answer 형식과 reference policy를 학습한 뒤, GRPO가 KL penalty와 함께 gated accuracy 및 process advantage를 최적화한다.Stage 2에서는 on-policy rollout group을 샘플링하고 gated accuracy advantage와 process advantage를 함께 적용한다.
  • 3.1 Agent 및 Probe 설정: Agent trajectory는 call 주변에 probe를 삽입한 채 pre-tool reasoning, visual observation을 반환하는 code execution, post-tool reasoning, final answer를 교차 배치한다.pre-tool probe는 tool을 호출하지 않은 answer를 산출하는 반면, post-tool probe는 반환된 visual observation과 완료된 tool branch를 반영한다.
  • 3.2 Differential Answer-Probe Reward: DAPR은 post-tool probe reward에서 pre-tool probe reward를 빼서 tool call을 평가하며, external judge 없이 유용한 call, misleading call, outcome-neutral call을 식별한다.두 probe는 tool branch의 유무에 따라 answer를 decode한다. Difference 계산에는 두 번의 짧은 probe decode만 필요하며 API call은 필요하지 않다.
  • 3.2 Differential Answer-Probe Reward: Difference를 취하면 공유된 pre-tool baseline이 상쇄되므로, value는 code, 해당 observation, post-tool reasoning으로 구성된 tool branch만 분리해내며 probe-hacking에도 강건하다.공유 reasoning에 결론을 미리 작성하면 두 probe reward가 동일하게 증가하므로 difference는 변하지 않는다.
  • 3.3 Outcome-Gated Advantage Routing: OGAR은 call outcome에 따라 final-answer advantage를 라우팅한다. 올바른 pre-tool reasoning의 credit은 보존하고, misleading code와 post-tool reasoning에는 책임을 묻되, necessary-but-failed branch에는 책임을 묻지 않는다.misleading call에서는 process channel을 비활성화하고 accuracy penalty를 code 및 post-tool token에 적용해 올바른 pre-tool reasoning을 보호한다.

4 실험

12개 멀티모달 벤치마크에서 TACO는 외부 judge 없이 code-tool agent보다 정확도를 높이면서도 tool round 수와 latency를 줄인다. Ablation, backbone 간 테스트, training dynamics 분석은 이러한 향상이 DAPR의 differencing과 OGAR의 gated credit routing에서 비롯됨을 보여준다.

  • 4.3 효율성 비교: V∗에서 89.6% at 2.3 s로 PyVision의 88.7% at 3.6 s를 앞서며, TACO는 Table 2의 5개 벤치마크 모두에서 가장 정확하고 빠르다.도움이 될 때만 tool을 호출하면 tool 및 sandbox round가 줄어들므로, 적절한 cropping은 정확도와 latency를 동시에 개선한다.
  • 4.2 주요 비교: 68.1 average accuracy로 TACO는 외부 judge 없이 PyVision(63.7)을 4.4 points, 다른 code-tool agent를 5.6–8.1 points 앞선다.TACO는 4개 perception benchmark 모두에서 선두를 차지해 HR-Bench-8K에서 81.6, V∗에서 89.6에 도달하며, LogicVista(55.6)와 WeMath(53.1)에서도 선두다.
  • 4.4 Component ablation: Full TACO의 72.0 average accuracy는 w/o DAPR(67.5, −4.5)와 w/o OGAR(70.0, −2.0)를 웃돌아, 두 component가 상보적으로 기여함을 보여준다.DAPR의 differencing은 probe hacking을 방지하고, OGAR는 final-answer advantage를 모든 token이 아니라 책임 있는 segment에만 제한한다.
  • 4.5 Base model 간 일반화: TACO는 5개 benchmark subset에서 Qwen2.5-VL-7B를 60.4에서 72.0(+11.6)으로, Qwen3-VL-8B를 72.9에서 78.8(+5.9)로 개선한다.향상은 benchmark 전반에서 일관되며, HR-8K(+16.3/+9.5)와 HR-4K(+15.0/+6.4)를 포함한 high-resolution perception에서 가장 크다.
  • 4.6 Training dynamics 및 probe-hacking 분석: Additive-probe variant는 초기에 가장 빠르게 상승하지만 standard GRPO보다 낮은 수준에서 plateau에 도달하는 반면, TACO는 가장 높은 reward를 sustain하며 completion을 약 720에서 640으로 단축한다.TACO의 entropy는 collapse 없이 감소하면서 가장 높은 수준을 유지한다. 이는 differencing이 probe hacking에 저항하고, policy가 경제적인 tool use를 학습하는 동안 exploration을 보존한다는 해석과 일치한다.

5 결론 · TACO: Tool-Augmented Credit Optimization for Agentic Tool Use의 기술 부록 · A. TL;DR: 주요 기여와 핵심 시사점

TACO는 judge-free tool-call credit과 outcome-based routing을 결합한 code-tool visual agent용 GRPO 변형이다. 열두 개 benchmark에서 기존 code-tool agent 중 평균 성능이 가장 높았고, 더 강력한 Qwen3-VL backbone으로도 성능 향상이 전이되며, 부록에서는 방법론, 실험, 보충 결과와 분석을 상세히 다룬다.

  • A. TL;DR: 주요 기여와 핵심 시사점: TACO는 DAPR의 answer-probe 전후 차이와 OGAR의 final-answer advantage에 대한 responsible segment routing을 결합한다.DAPR은 judge-free이며 probe-hacking에 강건하고, OGAR은 유용한 call을 강화하는 동시에 낭비되는 call을 억제한다.
  • A. TL;DR: 주요 기여와 핵심 시사점: OGAR은 final-answer advantage를 responsible segment에만 routing하여 유용한 tool call을 강화하고 낭비되는 call을 억제한다.DAPR과 함께 code-tool visual agent를 위한 tool-call learning signal을 제공한다.
  • 5 결론: 열두 개 benchmark에서 TACO는 기존 code-tool agent 중 best average를 달성하고, 더 강력한 Qwen3-VL backbone으로 성능 향상을 전이한다.이 전이 결과는 성능 향상이 base model이나 data가 아니라 mechanism에서 비롯됨을 시사한다.
  • 5 결론: DAPR은 auxiliary judge나 cost term 없이, call 전후 모델 자체 answer-probe outcome의 차이로 각 tool call을 평가한다.이는 agent 자체의 outcome reward를 사용해 어떤 tool call을 수행할 가치가 있는지 학습하는 병목을 해결한다.
  • TACO: Tool-Augmented Credit Optimization for Agentic Tool Use의 기술 부록: 기술 부록은 TACO의 training algorithm, theoretical motivation, experimental setup, supplementary results, qualitative case studies와 probe-hacking analysis를 다룬다.setup에는 benchmark, baseline과 data-curation pipeline이 포함되며, notation은 본 논문을 따른다.
  • TACO: Tool-Augmented Credit Optimization for Agentic Tool Use의 기술 부록: 부록은 TACO에 대한 추가적인 methodological, theoretical, empirical, qualitative 및 probe-hacking 세부 사항을 제공하도록 구성되어 있다.이 자료는 notation을 유지하면서 본 논문을 확장한다.

B. 학습 알고리즘 및 엣지 케이스 … F. 한계와 향후 연구

이 절에서는 학습 알고리즘과 엣지 케이스, 이론적 동기, 실험 설정 세부 사항, 시연 사례, 한계와 향후 연구를 다룬다. 이론적 범위에는 DAPR, OGAR, two-channel objective와 명시된 가정이 포함된다.

  • B. 학습 알고리즘 및 엣지 케이스: 논문은 학습 알고리즘을 제시하고 엣지 케이스를 논의한다.
  • E. 시연 사례: 통합된 절에는 별도로 보고된 구성 요소로 시연 사례가 포함된다.
  • F. 한계와 향후 연구: 통합된 절에는 별도의 결론 구성 요소로 한계와 향후 연구도 포함된다.
  • C. 이론적 동기: 이론적 동기에서는 GRPO credit assignment, DAPR, potential-outcomes 해석, probe-hacking 강건성, potential-based shaping, OGAR masking, two-channel objective를 전개한다.
  • C. 이론적 동기: 이론 절에서는 방법의 기반이 되는 범위와 가정도 명시한다.
  • D. 실험 설정 세부 사항: 실험 설정에서는 벤치마크, baseline, 구현 세부 사항, SFT 데이터 큐레이션, RL 데이터 큐레이션, channel-weight sensitivity를 명시한다.

A TL;DR: 주요 기여와 시사점 … C.4 Probe-Hacking에 대한 강건성, 형식적 분석

TACO는 judge가 필요 없는 DAPR의 도구별 반사실적 보상과 OGAR의 gated advantage routing을 2단계 SFT+RL 파이프라인으로 결합한다. Probe-hacking에 강건하면서도 정확도와 tool-use 효율을 높이고, 서로 다른 backbone으로도 전이된다.

  • A TL;DR: 주요 기여와 시사점 / C.2 반사실적 기준선으로서의 DAPR: DAPR은 agent의 answer-probe 결과에서 도구 호출 전후의 차이로 각 tool branch를 평가하며, auxiliary judge 없이 기존 checker를 재사용해 추가 비용을 거의 0으로 유지한다.이 차이는 유용한 호출에는 양의 값을, 오해를 유발하는 호출에는 음의 값을, 변화를 일으키지 않는 호출에는 0의 값을 부여한다.
  • A TL;DR: 주요 기여와 시사점 / C.1 배경: GRPO와 균등 credit assignment: OGAR은 최종 답변의 advantage를 outcome에 책임이 있는 token에만 전달해, redundant call이 과도한 credit을 받는 것을 막고 올바른 pre-tool reasoning이 불이익을 받지 않게 한다.이 parameter-free masking은 scalar tool value만으로는 trajectory segment 간 credit을 배분할 수 없다는 점에서 DAPR을 보완한다.
  • A TL;DR: 주요 기여와 시사점: TACO는 open-source model 가운데 최고 평균 성능을 달성하면서 도움이 될 때만 tool을 호출하므로, 가장 정확하면서도 latency가 가장 낮은 code-tool agent가 된다.성능 향상은 Qwen2.5-VL-7B에서 Qwen3-VL-8B로 전이되며, 이는 backbone-agnostic credit assignment를 시사한다.
  • B.1 학습 알고리즘: TACO는 SFT cold-start 후 group-relative RL로 학습하며, 각 rollout을 pre-tool reasoning, code, post-tool segment로 파싱한 뒤 probing을 수행하고 두 개의 정규화된 advantage channel을 routing한다.Training loop는 code를 실행하고 pre- 및 post-tool probe를 decode하며, ∆를 계산하고 token-level 및 trajectory-level gate를 적용한다.
  • B.2 예외 사례: Direct-answer rollout에서는 process channel을 비활성화하고 answer token에 gated accuracy advantage만 적용하므로, 이미 해결된 항목에서는 불이익 없이 tool 호출을 abstention할 수 있다.여러 호출이 있는 경우 ∆는 동일한 pre-tool baseline에 대해 전체 branch를 평가하며, 더 세밀한 호출별 attribution은 향후 과제로 남긴다.
  • C 이론적 동기 / C.1 배경: GRPO와 균등 credit assignment: 이론적 동기는 uniform GRPO credit으로는 tool call의 기여와 전체 trajectory의 정답 여부를 분리할 수 없음을 보이며, 이를 바탕으로 DAPR과 OGAR을 도입한다.논문은 GRPO의 한계, 반사실적 차이, potential-based shaping, conservative outcome masking을 통해 이 메커니즘들을 설명한다.
  • C.2 반사실적 기준선으로서의 DAPR / C.3 ∆의 potential-outcomes 해석: DAPR은 동일한 pre-tool state에서 branch를 실행한 경우와 실행하지 않은 경우의 potential outcome을 비교해 tool branch를 선택한 실제 효과를 추정한다.Post-tool probe는 Y(1)을, pre-tool probe는 Y(0)을 실현하며, ∆ = Y(1) − Y(0)이다. ∆에는 observation뿐 아니라 호출된 post-tool reasoning도 포함된다.
  • C.4 Probe-Hacking에 대한 강건성, 형식적 분석: 차분은 common-mode probe shift에 불변이다. Answer leakage로 두 probe가 동일한 사전 결정 답변을 복사하더라도 그 차이는 0이다.따라서 답변을 일찍 작성하면 절대 probe score는 높아질 수 있지만, 두 probe가 동일하게 이동하는 한 DAPR을 부풀릴 수 없다.

C.5 Process Channel의 Potential-Based Shaping 관점 … D 실험 설정 세부사항

분석에서는 TACO의 process signal을 potential-based shaping으로, OGAR를 보수적 advantage masking으로 규정한 뒤, probing, 검증 가능한 outcome, 단일 결정적 tool call에 관한 명시적 가정 아래 두 채널을 결합한다. 실험 설정 세부사항에서는 benchmark 평가 범위를 정의한다.

  • C.5 Process Channel의 Potential-Based Shaping 관점: Potential shaping은 trajectory 항이 policy와 무관한 offset −Φ(s0)으로 telescope되므로 optimal policy set을 보존하며, Q′∗(s, a) = Q∗(s, a) −Φ(s)를 얻는다.
  • C.5 Process Channel의 Potential-Based Shaping 관점: Process signal은 Φ(s) = rout(probe(s))인 γ = 1 potential difference로, optimal policies를 보존하면서 credit-flow의 속도와 위치를 바꾼다.실제로 TACO는 GRPO normalization 아래 group/trajectory level에서 이 채널을 적용하며, probing은 state value를 근사할 뿐이다.
  • C.7 Two-Channel Objective: 종합하면 potential shaping은 policy-invariant process signal을 제공하고, OGAR는 outcome credit을 보수적으로 라우팅하며, 두 채널 objective는 token-level과 sequence-level supports를 분리한다.
  • C.6 Conservative Advantage Masking으로서의 OGAR: OGAR는 GRPO의 uniform A1을 A[t] = m[t] A1로 대체하므로, gating은 token credit만 보류하고 outcome이 정당화한 gradient를 never reverses 않는다.Right-but-redundant call에서는 code advantage가 0이 되어, 별도의 cost term 없이 불필요한 call을 억제한다.
  • C.7 Two-Channel Objective: TACO는 outcome channel과 process channel을 결합한다. m⊙A1은 outcome-responsible token을 업데이트하고, gA2는 Δ≥0일 때 sequence-wide로 적용되며 misleading call에서는 비활성화된다.Outcome advantage는 Racc = rout(af) + 0.5 Rfmt를 사용하고, A2는 Δ의 group-normalized advantage다.
  • D 실험 설정 세부사항: 실험 평가는 benchmark를 category별로 묶고 각 benchmark의 question 수를 보고한다.

D.1 벤치마크 · D.2 베이스라인

평가는 perception, reasoning, general understanding 전반의 12개 multimodal benchmark를 포괄하며, 모든 과제를 accuracy와 macro-average로 동일하게 보고한다. 비교 대상은 closed-source model, tool-free open-source MLLM, 7–8B code-tool 또는 visual-agent system이다.

  • D.1 벤치마크: 12개 benchmark를 standard split accuracy와 전체 과제의 macro-average로 평가하며, 답변은 동일한 Duan et al. (2024) protocol에 따라 채점한다.benchmark suite는 perception, reasoning, general multimodal understanding으로 구성된다.
  • D.1 벤치마크: Perception benchmark는 고해상도 이미지에서의 세밀한 인식을 평가하며, 4K/8K 소형 객체의 속성, 위치, 관계와 까다로운 실세계 질문을 포함한다.HR-Bench-4K와 HR-Bench-8K는 각각 800개 sample을 포함하고, MME-RealWorld는 수작업으로 annotation된 고해상도 이미지를 사용한다.
  • D.1 벤치마크: Reasoning benchmark는 diagram, figure, chart에 대한 multimodal 수학 및 논리 reasoning을 평가하며, competition-level, visual-context, diagram-based problem을 포함한다.suite에는 MathVision, MathVista, MathVerse가 포함되며, 각각 3,040개, 6,141개, 2,612개의 example로 구성된다.
  • D.1 벤치마크: General benchmark는 vision-indispensable question, chart 기반 visual 및 arithmetic reasoning, 그리고 MLLM에 여전히 어려운 고전적 perception task를 통해 광범위한 multimodal understanding을 측정한다.MMStar는 사람이 선별한 1,500개 question을 포함하고, ChartQA는 사람이 작성한 chart question과 기계 생성 chart question을 결합하며, BLINK는 3,807개의 multiple-choice question으로 구성된다.
  • D.2 베이스라인: Baseline에는 GPT-4o와 Gemini-2.5-Pro, tool-free open-source MLLM, 그리고 reasoning 전에 이미지에서 작업하는 7–8B code-tool 또는 visual-agent model이 포함된다.open-source tool-free family에는 Qwen2.5-VL variant, InternVL3, LLaVA-OneVision, Qwen3-VL이 포함된다.
  • D.2 베이스라인: 관련 visual-agent baseline은 code 기반 image processing, emergent 또는 adaptive tool use, pixel operation, extended visual search, vision-code alignment를 아우른다.여기에는 Thyme (Zhang et al. 2026), DeepEyes (Zheng et al. 2026), DeepEyesV2 (Hong et al. 2026), Pixel-Reasoner (Wang et al. 2025a), Mini-o3 (Lai et al. 2026), MathCoder-VL (Wang et al. 2025b)이 포함된다.
  • D.2 베이스라인: 추가 baseline은 실행 가능한 visual tool을 생성하거나 최적화하며, CodeV 는 external-judge process reward를, PyVision (Zhao et al. 2026)은 autonomous tool refinement를 사용한다.CodeV는 tool input과 output에 Tool-Aware Policy Optimization을 적용하는 반면, PyVision은 inference 시 task-specific Python tool을 생성, 실행, refinement한다.

D.3 구현 세부사항

TACO는 지정된 채널 가중치, rollout 설정, 단일 노드 A100 인프라를 사용하는 2단계 SFT-plus-GRPO 파이프라인으로 Qwen2.5-VL-7B에서 학습된다. 두 단계 모두 단계별 추론과 선택적 sandboxed Python 이미지 조작을 지원하는 Thyme의 prompt template을 공유한다.

  • D.3 구현 세부사항: 학습은 Qwen2.5-VL-7B에서 2 SFT epochs 후 1 GRPO epoch를 수행하며, α1 = 1.0, α2 = 0.15이고 KL penalty는 없다(β = 0).이 설정은 temperature 1.0에서 prompt당 G = 8 rollouts를 샘플링하며, batch size 128과 learning rate 1 × 10−6을 사용한다.
  • D.3 구현 세부사항: 학습은 8×80 GB A100 GPUs로 구성된 단일 노드에서 수행되며, 채널 가중치 민감도는 Table 8에 보고된다.
  • Prompt templates: 두 단계 모두 Thyme의 shared system prompt를 사용하며, 각 user prompt에는 image, question, image path, size와 필수적인 <think>/<answer> 형식이 포함된다.system prompt는 단계별 추론을 지시하고, 이미지 조작을 위해 선택적으로 sandboxed Python을 출력하도록 하며, 추가 추론을 위해 처리된 이미지 또는 결과를 반환한다.

D.4 SFT 데이터 큐레이션 … E 사례

이 논문은 실행 유효성, 도구 필요성, 환경 충실도, 난이도 보정을 기준으로 SFT 및 RL 데이터를 큐레이션한 뒤, 정답성과 도구 가치 형성의 균형을 위해 α1=1.0 및 α2=0.15를 선택한다. 사례 연구는 학습된 agent가 지각, 과학 도형 읽기, 회전, 차트 기반 수학 전반에서 표적화된 시각 연산을 사용하는 모습을 보여준다.

  • D.4 SFT 데이터 큐레이션: SFT trajectory를 다시 실행해 실행 유효성을 확인하고, code 오류가 발생하거나 tool observation 및 answer가 실제 출력과 일치하지 않는 경우 필터링한다.이를 통해 tool observation을 환각하도록 모델을 학습시키는 일을 방지한다.
  • D.4 SFT 데이터 큐레이션: 또한 Qwen2.5-VL-7B가 이미 tool 없이 해결하는 example을 SFT 데이터에서 제외하고, tool 사용이 필요한 trajectory를 유지한다.제공된 본문은 제외 기준을 tool-free solving에서 pass@8 = 1로 명시한다.
  • D.5 RL 데이터 큐레이션: RL prompt는 검증 가능한 ground-truth answer가 있는 질문으로 제한하고, image quality, question clarity, image–text consistency, 심각한 모호성을 기준으로 정제한다.환경 검사는 Gemini-3-Pro를 사용하며, 손상되었거나 심각하게 모호한 prompt는 제거한다.
  • D.5 RL 데이터 큐레이션: RL 데이터 큐레이션에서는 모든 available evaluation에서 SFT checkpoint가 이미 해결한 prompt를 제거해 난이도도 보정한다.제공된 본문은 이 필터를 소개하지만, 완전한 기준을 명시하기 전에 중단된다.
  • D.6 Channel-Weight Sensitivity: 선택된 channel weight는 α1=1.0 및 α2=0.15이며, macro-average accuracy는 열두 benchmark에서 평가한다.accuracy weight는 고정하고 tool-value weight를 변화시키며, 선택된 설정은 논문 전체에서 사용한다.
  • D.6 Channel-Weight Sensitivity: 작은 α2는 검증 가능한 outcome accuracy를 지배적으로 유지하면서도 tool-value channel이 exploration을 형성하도록 하며, 반대로 매우 큰 α2는 auxiliary signal에 과도한 가중치를 부여한다.이는 선택된 weighting configuration의 근거를 설명한다.
  • E 사례: 다섯 trajectory는 crop-and-zoom 지각, 과학 도형 읽기, image rotation, chart-grounded math를 위한 표적화된 연산을 보여준다.예시에는 가려진 sponsor wordmark 복원, 작은 circuit-board label 읽기, plot panel 분리, 옆으로 누운 bus image 회전, chart 기반 fraction 계산이 포함된다.

F 한계와 향후 연구

TACO는 검증 가능한 정답과 관찰 가능한 도구 효과가 있는 과제에 가장 적합하며, probe-difference signal을 단일 호출 trajectory 너머로 확장하는 일은 향후 연구 과제로 남아 있다. 유망한 방향으로는 더 폭넓은 도구 설정과 효율적 배포를 위한 model compression이 있다.

  • 한계: TACO는 rule-based outcome checker에 의존하므로 검증 가능한 정답이 있는 과제에 가장 직접적으로 적용된다.또한 TACO의 probe는 도구의 효과가 정답에 관찰 가능하게 나타난다고 가정한다.
  • 한계와 향후 연구: 현재의 probe-difference signal은 단일 호출 범위를 설정하기 위해 명확한 전후 분할을 사용하므로, 다중 호출 trajectory, 개방형 생성, 더 풍부한 도구 공간은 해결되지 않은 상태로 남아 있다.이러한 설정으로 signal을 확장하는 일은 향후 연구 과제로 제시된다.
  • 향후 연구: 향후 연구에는 효율적 배포를 위해 TACO를 model-compression 방법과 통합하는 일이 포함된다.
Loading 2606.30251v1…