Towards Better Agents for Multi-Turn User Interaction: The Next User Turn Is More Than Context

Yiwen Zhao; Zhihao Wen; Yuchen Mao; Mingxuan Jiang; Yihao Hu; Pan Wang; Xin Zhang; Wei Wu

Source-linked AI summary

Towards Better Agents for Multi-Turn User Interaction: The Next User Turn Is More Than Context

Yiwen Zhao, Zhihao Wen, Yuchen Mao, Mingxuan Jiang, Yihao Hu, Pan Wang, Xin Zhang, Wei Wu

arXiv:2608.17499v12026년 8월 18일cs.AI

TL;DR

Multi-turn tool agent는 변화하는 사용자 상호작용을 활용해 terminal outcome을 넘어 credit을 할당해야 한다. FACA는 next-turn reaction을 앞선 segment와 정렬하며, outcome-only Interactive GRPO 대비 nine-domain τ-family average를 8B와 14B에서 각각 5.91과 10.22 percentage points 향상한다.

문제
Outcome-only interactive reinforcement learning은 next-user reaction에 담긴 시끄럽고 시간적으로 국소적인 증거를 credit assignment에 활용하지 않는다.
방법
FACA는 각 next-user reaction을 앞선 segment와 정렬하고, reaction evidence를 국소적으로 정규화하며, process advantage를 검증된 terminal outcome advantage에 더한다.
결과
5.91과 10.22 percentage points: FACA는 matched outcome-only Interactive GRPO 대비 nine-domain τ-family average를 8B와 14B에서 각각 향상한다.
시사점 및 한계
정보성이 있고 정렬된 구조를 지닌 next-turn reaction은 multi-turn user-interacting agent에 실행 가능한 국소 credit을 제공한다.
시사점 및 한계
이 접근법은 frozen simulator의 비공개 heuristic strategy metadata에 의존하며, 관찰 가능한 발화나 실제 사용자로부터의 인과적 attribution은 여전히 미해결 과제로 남아 있다.

Abstract

from arXiv · show

User-facing tool agents must coordinate dialogue and tool use as user goals unfold over multiple turns. Yet interactive reinforcement learning typically reduces each rollout to a terminal reward, assigning the same credit to effective elicitation, errors, and later repair. The next user turn is more than context: it also provides noisy, temporally local evidence about the preceding user-to-user segment. We introduce \textbf{F}eedback-\textbf{A}ware \textbf{C}redit \textbf{A}ssignment (\textsc{FACA}), which aligns each reaction with that segment, derives a locally normalized reaction advantage, and adds it to verified terminal outcome advantage without an extra critic or rollout. Against an outcome-only Interactive GRPO control matched in simulator, visible dialogue, initialization, rollout, and optimization, \textsc{FACA} improves the nine-domain $τ$-family average across three independently trained runs by 5.91 and 10.22 percentage points at 8B and 14B, respectively. Gains concentrate in Telecom; at 8B, randomizing reaction polarity removes the Telecom gain. The same ordering holds zero-shot on Pare-Bench and Co-Gym. These results demonstrate that next-turn user reactions provide actionable local credit for improving multi-turn user-interacting agents.

1 서론

멀티턴 도구 에이전트는 목표가 변화하는 동안 사용자 간 상호작용 구간을 가로질러 대화, 도구, 사용자 결정을 조율해야 한다. FACA는 terminal outcome을 유지하면서 다음 사용자 반응을 local credit으로 활용해 benchmark 성능을 높이고 zero-shot 전이 성능을 개선한다.

문제: Outcome-only reinforcement learning은 여러 유효한 trajectory를 지원하지만, 효과적인 elicitation, 오류, 이후 repair를 terminal credit으로 뭉뚱그린다.Interactive τ-family benchmark와 simulated-user framework는 이러한 멀티턴 요구를 드러내고 학습시킨다 [Yao et al., 2025, Barres et al., 2025, Shi et al., 2026, Zhao et al., 2025b, Qian et al., 2025b].
동기: U2U segment는 인접한 사용자 발화 사이의 에이전트 메시지, 도구 상호작용, 도구 결과로 구성되며, 사용자의 반응은 앞선 행동을 알리고, 승인하고, 거부하거나, 수정할 수 있다.이러한 변화하는 상호작용에서는 완전히 명세된 task를 실행하는 대신 대화, 도구 사용, 사용자 결정을 조율해야 한다.
방법: FACA는 각 다음 사용자 반응을 앞선 U2U segment에 정렬하고, 반응을 local normalization한 뒤, 그 결과인 process advantage를 terminal outcome advantage에 더한다.학습된 critic, 추가 rollout, 에이전트가 볼 수 있는 반응 label 없이 credit assignment만 변경한다.
결과: 세 번의 독립적인 run에 걸쳐 8B와 14B에서 각각 5.91 and 10.22 percentage points만큼 nine-domain τ-family average가 향상된다.FACA는 Pare-Bench와 Co-Gym에서도 matched control보다 zero-shot으로 우수하다.
결과: FACA의 gain은 이질적이며 reaction-sensitive하고 Telecom에 집중되는데, reaction polarity를 randomize하면 8B gain이 사라진다.이는 사용자 반응이 보편적으로 신뢰할 수 있는 supervision이 아니라 informative local structure를 포함할 때 이점이 발생함을 뒷받침한다.

2 관련 연구

기존 연구는 terminal reward만으로는 어떤 interaction turn이 정보를 elicitation했는지, 오류를 유발했는지, 복구를 가능하게 했는지를 식별할 수 없기 때문에 turn-level credit assignment를 다룬다. 기존 접근법은 learned critic, intermediate evaluator, 또는 monitoring에서 도출한 reward를 활용한 trajectory decomposition을 사용한다.

Multi-turn agent의 credit assignment: Terminal task reward는 전체 성공 여부를 검증하지만, 어떤 turn이 유용한 정보를 elicitation했는지, 오류를 도입했는지, 또는 복구를 가능하게 했는지는 식별할 수 없다.
Multi-turn agent의 credit assignment: 기존 연구는 learned critic 또는 intermediate evaluator에서 turn-level credit을 도출한다 [Zhou et al., 2024, 2025, Choudhury, 2025, Wei et al., 2025].
Multi-turn agent의 credit assignment: Agent Lightning은 trajectory를 transition으로 분해하고 monitoring signal을 intermediate reward로 변환한다 [Luo et al., 2025].

3 피드백 인지형 크레딧 할당

FACA는 검증된 terminal outcome credit에 각 user-to-user segment에 할당되는 locally normalized reaction-grounded credit을 더한다. critic, evaluator, rollout을 추가하지 않고 다음 visible user reaction과 private behavioral strategy를 사용한다.

reaction branch는 검증된 terminal outcome advantage를 보완하며, 이를 비활성화하면 FACA는 matched outcome-only Interactive GRPO control로 축소된다.동일한 terminal outcome을 얻은 rollout 간에도 reaction label은 달라질 수 있어, terminal reward가 균질할 때 local distinction을 가능하게 한다.
FACA는 각 private user strategy를 immediately preceding agent segment에 맞추고, visible utterance만 agent context에 덧붙인다.Temporal adjacency는 inductive bias이지, 모든 reaction이 오직 해당 segment에 의해 발생한다는 주장은 아니다.
Progress-consistent reaction에는 positive polarity를, friction-consistent reaction에는 negative polarity를, vague하거나 invalid한 output에는 neutral credit을 부여한다.label은 sentiment나 검증된 task correctness가 아니라 interaction의 진행을 포착한다.
FACA는 동일한 user-to-user index에 도달한 rollout 간에서 reaction evidence를 locally normalize하고, 해당 segment의 각 trainable token에 그 결과인 reaction advantage를 할당한다.오직 immediate next reaction만 사용하며, singleton 또는 constant anchor에는 0을 부여하고 later reaction은 backward propagation하지 않는다.
FACA는 generated language token과 tool-call token을 학습하고 user token과 raw tool-result token은 mask하며, learned critic, separate evaluator, additional rollout을 요구하지 않는다.reaction metadata는 기존 user call 안에서 생성된다.

4 실험

실험에서는 9개 multi-turn τ-bench 도메인에서 FACA를 outcome-only Interactive GRPO와 비교하고, Pare-Bench와 Co-Gym에서 엄격히 일치시킨 학습 조건과 zero-shot transfer test를 사용한다.

τ-bench family: 평가는 Airline, Retail, Telecom, Bank task를 포괄하는 9개 τ-bench-family 도메인에서 이루어지며, multi-turn tool use와 communication이 요구된다.이 suite는 τ-bench, τ2-bench, τ3-bench 도메인을 결합한다. Telecom에는 device-side user action이 포함되며, τ3 Bank에서는 unstructured-information grounding이 필요하다.
Transfer evaluation: Zero-shot evaluation에서는 Pare-Bench의 proactive mobile-agent scenario와 Co-Gym의 asynchronous, bidirectional collaboration task로의 transfer를 평가한다.Pare-Bench에는 143개 scenario가 포함되며, Co-Gym에는 dual control하의 Travel Planning, Related Work Writing, Tabular Analysis task가 포함된다.
Training setup: FACA와 Interactive GRPO는 동일한 SFT checkpoint에서 이어지는 alternative RL continuation으로 비교되며, 각 method와 scale마다 3개의 independent seed를 사용하고 step-120 checkpoint를 이용한다.실험에서는 public MUA-RL release에서 SFT로 초기화한 Qwen3-8B와 Qwen3-14B를 사용한다.
Controlled comparison: 두 method에서 simulator, prompt, visible utterance, initialization, data, rollout, optimizer, horizon을 일치시켜 credit assignment만 분리한다.Interactive GRPO는 terminal outcome advantage만 사용하는 반면, FACA는 agent가 이용할 수 없는 private simulator reaction metadata로부터 U2U-level process advantage를 추가로 구성한다.
Evaluation protocol: τ-bench 성능은 verified final environment state에서 산출한 strict pass@1로 측정하며, 3개의 independently trained checkpoint에서 9개 도메인을 동일한 가중치로 평균한다.각 checkpoint는 공유된 프로토콜에 따라 한 번씩 평가하며, Base와 SFT는 pre-RL 단계의 고정 기준으로 사용하고 실행 단위 분산은 별도로 보고한다.

5 결과

FACA는 두 모델 규모 모두에서 동일 조건의 outcome-only Interactive GRPO를 능가하며, 보지 못한 두 interaction protocol에서도 순위를 유지한다. 통제된 ablation 결과, 향상에는 부호가 보존되고 reaction content를 유지하며 직전 agent span에 정렬된 credit이 필요하다.

전체 결과: 8B에서 FACA는 세 번의 run 평균을 34.66±0.25에서 40.57±1.04로 높여 Interactive GRPO 대비 5.91-point gain을 보이며, 14B에서도 같은 순위가 유지된다.두 arm은 SFT initialization, user-generation path, observations, optimization setup을 공유하므로, reaction-grounded credit과 outcome-only credit의 차이를 분리한다.
Zero-shot transfer: Pare-Bench에서 strict Pass@1은 8B에서 6.29%에서 10.49%로, 14B에서 10.49%에서 13.29%로 증가하며, Pass@4에서도 같은 순위가 나타난다.transfer evaluation은 동일한 143-scenario full split을 사용하며, Figure 3은 matched Pass@1과 Pass@4 비교를 보고한다.
Zero-shot transfer: FACA는 16개 Co-Gym scale–metric cell 중 13개에서 앞서지만, Travel DR은 두 규모 모두에서 소폭 감소한다.Pare-Bench와 Co-Gym에서 공유되는 순위는 비교 증거인 반면, 낮은 Pare-Bench rate와 Travel regression은 더 광범위한 결론을 제한한다.
Ablations: 8B ablation에서 λ=0.5로 정렬된 FACA는 overall 39.37, Telecom 47.37을 달성하지만, shifted 또는 randomized reaction은 outcome-only training 대비 향상을 없앤다.ablation은 single-run이며 one-shot evaluation protocol을 사용한다.
Ablations: outcome-only 대비 정렬된 λ=0.5는 Avg.에 4.67 points, Tel.2에 17.11 points를 더해 λ=0.1 및 reversing-sign control을 능가한다.Shifted 및 randomized credit은 outcome-only보다 낮아지므로, reaction content와 temporal association이 없으면 token-level variation만으로는 충분하지 않음을 보여준다.

6 분석

분석은 FACA에 대한 조건부 설명을 뒷받침한다. 후속 사용자 행동이 앞선 세그먼트의 결과를 드러낼 때 reaction credit이 도움이 되지만, transfer가 항상 이로운 것은 아니다. Telemetry와 trajectory evidence는 reaction credit이 검증된 terminal outcome을 대체하지 않고 차별적 신호를 추가한다는 점을 보여준다.

Reaction observability: Telecom은 사용자가 identity grounding, device-state inspection, operations, validation, diagnosis, verification의 결과를 반복적으로 보고하므로 특히 feedback-rich하다.진행과 일치하는 reactions는 효과적인 elicitation과 repair를 강화할 수 있고, 마찰과 일치하는 reactions는 불명확한 지시나 실패한 제안을 국소화할 수 있다.
Out-of-distribution analysis: FACA는 Pare-Bench와 Co-Gym에서 outcome-only control에 대한 우위를 유지하지만, Co-Gym Travel에서는 성능이 하락해 reaction credit이 not universally beneficial임을 보여준다.후속 사용자 행동이 앞선 세그먼트에 대해 계속 유용한 정보를 제공할 때 advantage가 transfer된다.
Credit decomposition: 최적화 전 L1 advantage-magnitude proxy의 36.00% and 33.79%는 8B와 14B에서 process branch에서 나왔으며, 이는 각각 6/120 및 1/120 steps에서만 outcome magnitude를 초과했다.이 branch는 terminal credit을 지배하지 않으면서 활성 상태를 유지했으며, task completion을 대체하기보다 검증된 outcomes와 함께 auxiliary reaction credit을 사용하는 방식을 뒷받침한다.
Training telemetry: 긍정적 reactions의 69.95% to 82.51%는 matched 8B replication 전반에서 nonzero process-advantage coverage가 86.16%에서 82.50%로 하락한 것과 동시에 나타났다.Telemetry와 tensor counts는 전체 154,219 U2U segments에서 정확히 일치했으며, Figure 4는 segment-weighted phase averages를 보고한다.
Final checkpoint analysis: 최종 14B evaluation에서 τ2 Telecom의 96/114 versus 30/114 tasks와 τ3 Telecom의 95/114 versus 58/114 tasks가 Interactive GRPO보다 FACA를 선호했다.FACA는 Mobile과 MMS에서 앞섰지만 τ3 Service에서는 뒤처졌으므로 paired advantage가 일관되지는 않았다.
Outcome-credit diagnostics: 8B group-steps의 39.27%와 14B group-steps의 31.04%는 zero group-normalized outcome advantage를 가졌으며, 이는 reaction credit이 차별적 신호를 제공할 수 있는 사례를 식별한다.Figure 5는 all-correct groups가 더 빈번해지고 all-wrong groups가 감소함을 보여주지만, prevalence만으로는 인과성을 확립할 수 없다.

7 결론

FACA는 다음 사용자 발화를 앞선 사용자 간 상호작용 구간에 대한 잡음 섞인 증거로 간주해, 이를 검증된 terminal credit과 함께 국소 정규화된 process credit으로 변환한다. 엄격한 outcome-only Interactive GRPO control 아래 두 모델 규모 모두에서 9개 도메인 τ-family 평균을 향상하며, 두 zero-shot 상호작용 프로토콜에서도 동일한 순서를 유지한다.

결론: FACA는 다음 사용자 발화의 반응을 국소 정규화된 process credit으로 변환하고, 이를 검증된 terminal credit과 결합한다.이 방법은 다음 사용자 발화를 앞선 사용자 간 상호작용 구간에 대한 잡음 섞인 증거로 사용한다.
결론: FACA는 엄격한 outcome-only Interactive GRPO control 아래 8B와 14B 모두에서 9개 도메인 τ-family 평균을 향상한다.
결론: 고정된 simulator를 변경하거나, 노출되는 label을 바꾸거나, critic을 학습하거나, rollout을 추가하지 않아도 두 zero-shot 상호작용 프로토콜에서 향상 순서가 유지된다.

제한점 · A Zero-Shot Transfer 프로토콜 · A.1 Pare-Bench

이 논문은 여러 모델 규모와 두 transfer benchmark 모두에서 outcome-only training 대비 aggregate zero-shot transfer 향상을 보고하지만, 평가가 simulator metadata에 의존하므로 인과적 주장은 제한한다. Pare-Bench는 해당 시나리오로 training이나 tuning을 수행하지 않고, held-out scenario와 고정된 evaluation setting으로 transfer를 평가한다.

제한점: 평가는 각 발화와 함께 private strategy metadata를 노출하는 frozen DeepSeek-V4-Flash simulator에 의존한다.이 metadata는 앞선 user-to-user interaction에 대한 heuristic evidence로 취급된다.
제한점: Event-level causal attribution과 observable utterance 또는 실제 user로부터의 recovery는 여전히 미해결된 limitation이다.Simulator family, architecture, 실제 user, 다양한 deployment condition에 걸친 validation은 future work로 남겨 둔다.
제한점: Outcome-only training 대비 aggregate gain은 model scale과 두 zero-shot transfer benchmark 모두에서 유지되며, feedback이 풍부한 Telecom task에서 가장 큰 gain이 나타난다.근거는 Qwen3 8B/14B agent, 아홉 개 τ-family domain, zero-shot Pare-Bench/Co-Gym evaluation을 포괄한다.
A.1 Pare-Bench: Pare-Bench는 143 full-split scenario를 사용하며, training, checkpoint selection, prompt tuning에 Pare-Bench scenario를 사용하지 않는다.네 개의 plotted checkpoint는 τ-bench의 Airline 및 Retail training split만으로 학습되었다.
A.1 Pare-Bench: DeepSeek-V4-Flash는 reasoning이 활성화된 user simulator로 사용되며, 평가 대상 agent에는 temperature 0, thinking 비활성화, 2,048-token response limit이 적용된다.Simulator는 높은 reasoning effort를 사용하며, 동일한 checkpoint가 Observe 및 Execute role을 수행한다.
A Zero-Shot Transfer 프로토콜: Evaluation protocol은 Observe 및 Execute role에 동일한 checkpoint를 사용해, 네 개의 plotted reinforcement-learning checkpoint 간 controlled comparison을 뒷받침한다.모든 checkpoint는 동일한 143-scenario full split을 사용한다.

A.2 Collaborative Gym … D.2 Evaluation and Run Aggregation

이 연구는 collaborative environment 전반에서 matched Interactive-GRPO와 Faca agent를 평가하며, frozen-user protocol, reaction 기반 credit 추출, 세 번의 run을 집계한 τ-bench를 사용한다. Co-Gym 결과에서 Faca는 두 model scale 모두에서 Interactive-GRPO보다 overall DR과 CS를 향상한다.

A.2 Collaborative Gym: Co-Gym은 non-turn-taking notification 아래에서 Travel Planning, Related Work Writing, Tabular Analysis에 걸친 312개의 미관측 collaborative task를 대상으로 각 checkpoint를 평가한다.이 task에서는 shared editor, search interface 또는 notebook에서 agent와 simulated user가 소통하며 작업해야 한다.
A.2 Collaborative Gym: Faca는 Interactive-GRPO보다 Overall DR을 8B에서 5.5점, 14B에서 2.2점 향상하며, Overall CS는 각각 3.3점과 3.7점 향상한다.Table 3은 0–100 scale의 matched pair를 보고하며, 비교는 matched RL pair로 제한된다.
B Reaction Mapping and Extraction: 누락되었거나 잘못된 형식이거나 모호한 strategy metadata는 neutral로 매핑되어 signed process credit을 제공하지 않으며, world-state correctness는 여전히 terminal verification이 담당한다.이 매핑은 inductive bias다. reaction category가 불필요한 질문을 보상하거나, 올바른 refusal을 따르거나, 외생적일 수 있고, terminal success와 겹칠 수 있기 때문이다.
C Shared Frozen-User Prompt: frozen simulator는 private reaction strategy metadata와 visible utterance를 함께 생성하지만, agent context에는 utterance만 들어간다.Interactive GRPO는 나머지 field를 폐기하는 반면, Faca는 rollout construction 이후에만 strategy를 읽는다.
C Shared Frozen-User Prompt: simulator prompt는 one short natural reply, faithful facts, JSON output과 reveal_piece, clarification, challenge_solution, confirmation, close를 포함한 explicit strategy를 요구한다.agent simulator에 보이는 유일한 field는 utterance이며, change_mind와 be_vague는 드문 behavior다.
D.1 SFT and RL Configuration: Qwen3-8B와 Qwen3-14B는 agent-only reinforcement learning에 앞서 1,580개의 annotated multi-turn tool-use trajectory에 대한 SFT로 cold-start된다.SFT는 assistant response와 tool call을 supervise하며 user 및 tool-result token은 masking한다.
D.1 SFT and RL Configuration: Interactive GRPO와 Faca는 동일한 SFT checkpoint에서 세 개의 seed, shared training data와 optimization, frozen DeepSeek-V4-Flash user path를 사용해 계속 학습한다.두 matched arm은 prompt, visible utterance, rollout construction, optimizer와 horizon을 공유한다. Faca는 추가로 process advantage A_p를 사용하고 Interactive GRPO는 outcome advantage A_o만 사용한다.
D.2 Evaluation and Run Aggregation: τ-bench pass@1은 verified final state와 고정된 step-120 checkpoint를 사용하며, domain mean은 세 번의 run에 대해 계산하고 Avg.는 아홉 개 domain의 unweighted mean으로 산출한다.Pare-Bench와 Co-Gym은 대신 각 scale과 method에 대해 지정된 하나의 step-120 checkpoint를 사용하며, 세 번의 run으로 집계한 τ 결과와 별도로 보고한다.

D.3 시드 수준 결과 및 Ablation

시드 수준 평가는 조건별로 독립적으로 학습된 세 개의 체크포인트를 사용하며, 각 체크포인트를 동일한 엄격한 프로토콜로 한 번씩 평가한다. 학습 시드를 매칭하면 8B에서 4.67, 6.33, 6.75점, 14B에서 8.62, 10.14, 11.91점의 9개 도메인 개선이 나타난다.

시드 수준 결과: 각 s1–s3 체크포인트는 독립적으로 학습된 RL run이며 동일한 엄격한 프로토콜로 한 번 평가되므로, run 수준 표준편차는 전체 평가의 분산과 잔여 평가 확률성을 반영한다.이는 단일 checkpoint를 반복 평가한 것이 아니며, 표준편차만으로는 이 두 구성요소를 별도로 식별할 수 없다.
시드 수준 결과: 8.62, 10.14, 11.91점은 14B에서 시드를 매칭한 9개 도메인 개선이며, 이에 대응하는 8B 개선은 4.67, 6.33, 6.75점이다.비교에서는 독립적으로 학습된 run 간에 학습 시드 식별자를 기준으로 방법을 매칭한다.
Ablation: Table 4의 Aligned (λ= 0.5) 행과 Outcome-only 행은 8B s1 체크포인트에 정확히 대응하며, 다른 ablation은 동일한 통제된 기준 실험군 내에 유지된다.이 설계는 ablation을 내부적으로 통제하는 동시에, 메인 테이블이 독립적인 학습 run 전반의 성능을 추정하도록 한다.

E Strategy and Credit Telemetry · F Telecom Audit and Case Study · F.1 Matched Multi-Fault Telecom Case

Telecom audit는 Faca의 향상이 task-level 개선과 서로 다른 interaction failure mode의 결합에서 비롯됨을 보여주며, telemetry는 segment-level credit record를 검증하는 동시에 일부 distributional interpretation에는 한계가 있음을 보여준다. Matched case에서는 Interactive GRPO가 error budget을 소진하는 동안 Faca가 task를 완료한다.

E Strategy and Credit Telemetry: step-120 Faca log에는 scale별로 15,360개 trajectory가 포함되며, telemetry summary는 step당 16개 prompt group을 검증하고 Table 6 aggregate를 재현한다.Zero consistency, span, debug count는 기계적인 implementation check이지 reaction label이 의미적으로 올바르다는 증거가 아니다.
E Strategy and Credit Telemetry: Matched 8B replication은 120개 telemetry file에서 154,219개 U2U segment를 기록하며, file count는 tensor-level count와 일치하고 각 record에는 strategy, polarity, anchor, advantage, credit field가 포함된다.Telemetry에는 embedded-step mismatch나 write error가 전혀 없으며, Table 7은 완전한 U2U strategy distribution을 보고한다. 여기에는 confirm +10.75 points와 be_vague −9.06 points가 포함된다.
E Strategy and Credit Telemetry: Telemetry로는 평가된 8B 및 14B run의 phasewise reaction distribution이나 불완전한 log에서 valid nonconstant-anchor rate를 reconstruct할 수 없다.Singleton count만으로는 전체 anchor 수나 constant-reaction non-singleton anchor 수를 식별할 수 없다.
E Strategy and Credit Telemetry: Process-credit quantity는 optimizer-update나 gradient mass가 아니라 clipping 이전 advantage-magnitude proxy이며, outcome-homogeneous group 내부의 quantity도 마찬가지다.이 단서는 0.5E|A_p|와 E|A_o|에 적용되며, 이를 branch-level update로 해석하지 못하게 한다.
F Telecom Audit and Case Study: Matched 114-task Telecom evaluation에서 Faca는 τ2에서 73 대 7, τ3에서 48 대 11로 Interactive-GRPO-only task를 상대로 승리하며, exact paired test에서도 유의하다.두 method 모두 τ2 task 23개와 τ3 task 47개에서 성공했으며, 각각 11개와 8개에서는 어느 method도 성공하지 못했다.
F Telecom Audit and Case Study: Faca-only win은 대체로 Interactive GRPO가 environment error budget을 소진한 경우이며, Interactive-GRPO-only win은 모두 Faca user stop이 실패한 경우다.Interactive GRPO는 Faca-only win 중 τ2에서 68/73, τ3에서 28/48에 대해 budget을 소진하며, Table 8은 negative τ3 Service slice를 유지한다.
F.1 Matched Multi-Fault Telecom Case: Matched τ2 Telecom case에서 Faca는 275 Mbps로 네 가지 device change와 두 terminal check를 모두 완료하는 반면, Interactive GRPO는 다섯 번째 rejected call로 error budget을 소진한다.두 trajectory 모두 필요한 네 가지 state change에 도달했지만, Interactive GRPO는 최종 speed-test verification 전에 종료됐다.

F.1.1 성공한 FACA trajectory · F.1.2 실패한 Interactive-GRPO trajectory

성공한 FACA trajectory는 실행 권한 오류에도 Telecom 문제를 해결하지만, Interactive GRPO는 반복된 agent-side tool call이 error budget을 소진하면서 실패한다. 두 trajectory 모두 필요한 user-side 상태 변화를 이끌어내지만, FACA만 275 Mbps 결과로 terminal validation에 도달한다.

F.1.1 성공한 FACA trajectory: FACA는 reward 1로 성공하고, 두 terminal assertion을 모두 충족하는 275 Mbps speed-test 결과를 최종적으로 산출한다.agent는 device action과 speed test를 user에게 넘겨 invalid tool attempt에서 회복한다.
F.1.1 성공한 FACA trajectory: FACA는 Premium Plan, 15 GB 한도에서의 8.7 GB 사용량, 그리고 data exhaustion이 아니라 connectivity를 troubleshoot해야 한다는 점을 정확히 식별한다.trajectory는 network mode와 device-state 문제를 진단하기 전에 account와 line 세부 정보를 확립한다.
F.1.1 성공한 FACA trajectory: 성공한 trajectory는 Data Saver도 비활성화하지만, agent가 사용할 수 없는 speed-test tool이 다시 user-executed testing으로 recovery하도록 만든다.이후 user는 275 Mbps의 매우 우수한 connection과 mobile data가 완벽하게 작동한다는 사실을 보고한다.
F.1.2 실패한 Interactive-GRPO trajectory: Interactive GRPO는 terminal validation 전에 마지막 agent-side speed-test 시도가 error budget을 소진하면서 reward 0으로 실패한다.trajectory에는 네 번의 필수 state-changing user call을 이끌어냈음에도 user-only tool에 대한 거부된 agent-side call이 다섯 번 포함된다.
F.1.2 실패한 Interactive-GRPO trajectory: 실패한 Interactive-GRPO dialogue에서는 technical detail과 settings navigation 때문에 혼란이 발생하면서, user가 더 간단한 단계별 guidance를 반복해서 요청한다.user는 먼저 무엇을 해야 하는지 명시적으로 묻고, 한 번에 한 단계씩 instructions를 요청하며, 2G-only mode와 airplane icon을 발견한 뒤 도움을 구한다.
F.1.2 실패한 Interactive-GRPO trajectory: 이 비교는 단순히 추가 interaction이 있었기 때문이라는 설명을 배제한다. FACA는 stored event가 six fewer, assistant message가 three fewer, tool call이 two fewer인 상태에서도 성공한다.두 policy 모두 execution-authority 실수를 하지만, FACA만 terminal validation에 충분히 회복한다.

G 알고리즘 및 재현성

FACA는 user-to-user segment에 local reaction credit을 할당하고, 학습 중 이를 terminal outcome advantage와 함께 broadcast한다. Main run은 matched configuration, 고정된 λ=0.5, 평가를 위한 공통 step-120 checkpoint를 사용한다.

알고리즘: FACA는 인접한 user message 사이의 assistant span을 user-to-user segment로 묶고, 다음 reaction을 연결한 뒤 normalized outcome and reaction advantages를 결합한다.결합된 advantage는 assistant-language 및 생성된 tool-call token에 broadcast되며, user 및 raw tool-result token은 mask 처리된다.
컴퓨팅 및 configuration: Main run은 VERL, SGLang rollout, 공식 benchmark implementation을 사용하는 8-GPU NVIDIA B200 node 하나에서 수행한다.Matched method는 optimizer, batch 및 rollout setting, horizon, simulator endpoint, container를 공유한다.
컴퓨팅 및 configuration: Main FACA run에서는 λ=0.5를 고정하고, λ∈{−0.5, 0, 0.1, 0.5}를 Table 4에서 비교한다.모든 method는 benchmark-specific peak selection 없이 고정된 step-120 checkpoint에서 평가한다.