Source-linked AI summary
PCSD: Persistent Consistency for Self-Distillation in Agentic Reinforcement Learning
Chunji Lv, Yangguang Wei, Junlin Liu, Yang Gao, Ming Liu, Xinming Wang, Jinyang Wu, Guoren Wang, Changsheng Li
TL;DR
희소하고 지연된 보상은 다중 턴 에이전트 강화학습에서 credit assignment를 어렵게 만들며, teacher guidance는 token position마다 달라질 수 있다. PCSD는 지속적인 국소 teacher support를 바탕으로 token-level self-distillation 가중치를 산정하고, 두 backbone 모두에서 가장 강한 ALFWorld 성능을 달성하면서 WebShop에서도 경쟁력 있는 성능을 유지한다.
문제
희소하고 지연된 trajectory-level reward는 다중 턴 에이전트 강화학습에서 개별 중간 token이나 action에 credit을 할당하기 어렵게 만든다.
방법
PCSD는 adaptive aggregation, exponential decay, trend modulation, sigmoid-gated token-level weighting을 사용해 지속적인 국소 support로부터 teacher credibility를 추정하고, 이를 GRPO와 공동 최적화한다.
결과
PCSD는 두 backbone 모두에서 가장 높은 ALFWorld Overall success rate를 달성하며, GRPO보다 15.6 및 13.3 percentage points, SDAR보다 6.2 및 5.5 points 높고, WebShop에서도 경쟁력 있는 성능을 유지한다.
시사점 및 한계
결과는 에이전트 강화학습에서 dense token-level supervision과 sparse environmental feedback을 결합하는 기반으로 지속적인 국소 teacher support를 사용할 수 있음을 뒷받침한다.
시사점 및 한계
고정된 aggregation 및 gating hyperparameter와 frozen teacher는 변화하는 trajectory statistics와 teacher reliability의 변동에 대한 adaptation을 제한한다.
Abstract
from arXiv · showhide
Large language model agents have shown strong potential in complex interactive tasks, yet their reinforcement learning (RL) is often hindered by sparse rewards, as a long multi-turn trajectory may receive only a single outcome-level signal. On-policy self-distillation (OPSD) provides dense token-level supervision from a privileged teacher, but the teacher may not be reliable at every position. Existing methods commonly rely on isolated token-level discrepancies, which can be sensitive to noise, or assign a shared step-level weight that may overlook positional variation. We propose Persistent Consistency Self-Distillation (PCSD), which derives token-level distillation weights from the local persistence of teacher-favoring signals. PCSD combines adaptive windows with exponentially decayed aggregation to capture persistent relative teacher support, applies trend-aware modulation to attenuate locally declining support, and produces continuous weights through sigmoid gating. The resulting objective is jointly optimized with GRPO, combining dense teacher guidance with sparse environmental feedback. Without inference-time skills, PCSD achieves the best ALFWorld Overall results among all baselines on both backbones, exceeding GRPO by 15.6 and 13.3 points and SDAR by 6.2 and 5.5 points, while remaining competitive on WebShop and gaining 15.8 points over GRPO on unseen ALFWorld split.
서론
PCSD는 고립된 discrepancy가 아니라 지속적인 국소 teacher support에 따라 on-policy self-distillation의 가중치를 조정함으로써 multi-turn agent reinforcement learning에서 희소하고 지연된 feedback 문제를 다룬다. adaptive하고 locality를 보존하는 aggregation과 trend-aware gating을 결합해 ALFWorld와 WebShop 전반의 성능을 높이며, 보지 못한 시나리오에도 일반화된다.
- 동기: PCSD는 multi-turn agent task에서 어려운 credit assignment 문제를 겨냥한다. 희소하고 지연된 reward는 어떤 decision이 성공 또는 실패를 초래했는지에 대해 거의 guidance를 제공하지 않는다.
- 동기: On-policy self-distillation (Zhao et al. 2026)은 privileged teacher로부터 dense token supervision을 제공하지만, noisy context, 불완전한 retrieval, ambiguity로 인해 teacher guidance의 신뢰성이 떨어질 수 있다.
- 방법: PCSD는 지속적인 국소 teacher-favoring signal에서 teacher credibility를 추정하며, 세밀한 position별 discrimination과 pointwise noise에 대한 robustness를 결합한다.
- 방법: PCSD는 aggregation 범위를 adaptive하게 선택하고, 가까운 discrepancy를 exponential하게 강조하며, 감소하는 support를 attenuate하고, 그 결과 signal을 token-level weight로 변환한다.
- 실험: PCSD는 ALFWorld에서 outcome-only GRPO와 기존 self-distillation weighting scheme을 일관되게 능가하고, WebShop에서는 경쟁력 있는 성능을 유지하며, 보지 못한 시나리오에도 일반화된다.
관련 연구
RL은 LLM post-training의 지배적 패러다임으로 자리 잡았으며, agentic interaction trajectory에 점차 적용되고 있다. On-policy distillation은 sparse trajectory-level reward를 dense teacher guidance로 보완하며, OPSD는 privileged context가 추가된 student의 복제본을 사용한다.
- RL은 LLM post-training의 지배적 패러다임으로 자리 잡았으며, code generation과 tool use를 포함한 agentic interaction trajectory로 확장되었다.
- On-policy distillation은 policy-sampled trajectory에 대한 dense teacher guidance로 sparse trajectory-level reward를 보완하여 fine-grained credit assignment를 개선한다.
- OPSD는 frozen 상태이며 privileged context가 추가된 student의 복제본을 사용해 이 접근법을 구현한다.
선행 지식
이 논문은 agentic RL을 student policy와 외부 environment 간의 다중 턴 상호작용으로 정식화하며, 희소한 trajectory-level reward가 token-level credit assignment를 어렵게 만든다고 본다. OPSD는 privileged context를 활용한 teacher guidance로 이러한 피드백을 보완하고, PCSD는 teacher–student support gap과 그 local persistence를 이용해 token-level weighting을 수행한다.
- Agentic RL 정식화: Agentic RL은 여러 상호작용 턴에 걸쳐 environment state와 student가 생성한 response가 교대로 나타나는 trajectory를 모델링한다.턴 k에서 student는 state s_k로부터 response y_k를 샘플링하며, 이는 다음 state를 유발할 수 있다. trajectory는 τ = (s_1, y_1, s_2, y_2, …, s_k, y_k)이다.
- Agentic RL 정식화: 희소하고 지연된 environment reward—대개 terminal success 또는 failure만 주어지는 경우—는 중간 token이나 action에 credit을 할당하기 어렵게 만든다.
- On-policy self-distillation: OPSD는 privileged context를 가진 teacher가 student에게 제공되지 않는 task-relevant skill을 조건으로 삼도록 하여, on-policy student trajectory에 dense supervision을 추가한다.teacher는 augmented context를 사용하고, student는 자신이 관측한 history로부터 예측한다. 기존 OPSD 연구에서는 평균적으로 teacher의 trajectory-level success가 더 높다고 보고했다 (Zhao et al. 2026).
- Teacher support: Teacher guidance는 token position에 따라 달라질 수 있으므로, PCSD는 teacher–student sampled log-probability gap을 relative token support로 간주하고 그 local persistence를 이용해 continuous weight를 산출한다.privileged-context teacher는 frozen 상태이며 student와 동일한 base checkpoint에서 초기화된다. gap 값이 클수록 더 강한 relative support를 의미한다.
방법
PCSD는 고립된 격차가 아니라 인접 토큰에 걸친 지속적인 teacher support로부터 연속적이고 위치별인 teacher supervision을 할당한다. 그런 다음 multi-scale aggregation, trend modulation, sigmoid gating을 adaptive하게 결합하고, 그 결과의 distillation objective를 GRPO와 jointly optimize한다.
- Persistent consistency: PCSD는 인접 위치에서 teacher–student가 샘플링한 log-probability gap을 지수적으로 aggregation해 token-level teacher support를 추정함으로써 불안정한 pointwise 관측에 대한 의존도를 낮춘다.더 큰 persistent-consistency 추정값은 더 강한 teacher support를 나타내며, weighting을 위해 위치별 값을 유지한다.
- Adaptive windowing: PCSD는 low variance에서는 short-window 추정값과, high variance에서는 long-window 추정값 사이를 interpolation해 local gap variability에 따라 smoothing을 부드럽게 adapt한다.Intermediate variance에서는 continuous interpolation이 이루어져, 이산적인 위치별 window 선택을 피한다.
- Trend modulation: PCSD는 one-sided trend modulation을 사용해 declining local teacher support를 보이는 위치를 attenuate하고, exponential decay를 통해 distant position의 기여를 제한한다.Negative local slope는 attenuate되며, nonnegative slope에는 추가적인 trend-based attenuation이 적용되지 않는다.
- Continuous weighting: Sigmoid gate는 adaptive persistent consistency를 bounded continuous weights로 mapping해 support가 강한 위치에 더 강한 distillation을 할당하고, declining trend에서는 weight를 추가로 낮춘다.Gate의 sharpness는 β_gate로 조절되며, trend factor는 decreasing local support와 연관된 weight를 attenuate한다.
- Joint objective: PCSD는 student-sampled token에 대해 weighted negative-log-likelihood auxiliary objective를 구성하고, shared trajectory-level advantage와 policy optimization을 제공하는 GRPO와 combines it with GRPO한다.Teacher log-probability와 weight는 detach되며, valid-token count로 정규화해 weight allocation과 effective distillation magnitude를 모두 보존한다.
실험
ALFWorld와 WebShop 실험에서 PCSD는 두 backbone 모두에서, unseen environment를 포함해 보고된 ALFWorld Overall 성능 중 가장 높은 결과를 달성하며, ablation과 training dynamics는 adaptive persistent weighting을 뒷받침한다.
- 종합 성능: Qwen2.5-3B-Instruct와 Qwen3-1.7B-Instruct에서 각각 90.6%와 59.4%의 ALFWorld Overall 성공률을 달성해 GRPO보다 15.6과 13.3 percentage points, SDAR보다 6.2와 5.5 높다.Table 1은 ALFWorld와 WebShop에 대한 주요 비교를 제시한다. PCSD는 WebShop에서도 경쟁력 있는 성능을 유지하며, 두 모델 모두에서 ALFWorld aggregate 결과가 가장 높다.
- Training Dynamics: 유효 토큰의 20%–28%가 wk,i > 0.5를 받는 동안 teacher–student gap은 점진적으로 증가하며, 이는 hard-selective distillation이 아니라 집중적이고 adaptive한 distillation을 나타낸다.Training dynamics는 student policy가 변화함에 따라 supervision이 재할당됨을 보여준다.
- Component Ablation: Adaptive aggregation, trend modulation 또는 exponential decay를 fixed 또는 uniform weighting으로 대체하면 Overall 성능이 일관되게 하락하며, complete PCSD가 가장 높은 성능을 보인다.Component ablation은 adaptive aggregation, trend modulation, proximity-aware weighting이 상호보완적으로 기여함을 뒷받침한다.
- Unseen Environment로의 일반화: ALFWorld unseen-split Overall 성공률 86.7%는 GRPO의 70.9%와 SDAR의 72.7%를 웃돌며, privileged evaluation skill 없이 PCSD가 거의 모든 subtask에서 앞선다.Unseen-split 비교는 unseen environment configuration 전반의 category별 및 Overall 성공률을 다룬다.
- Distillation Coefficient에 대한 민감도: Distillation이 없을 때의 75.0%는 λPCSD = 0.005에서 87.5%, λPCSD = 0.01에서 90.6%로 향상된 뒤 λPCSD = 0.05에서 83.6%로 하락한다.성능은 단조롭지 않으며, 이는 과도한 distillation이 teacher supervision과 reward optimization 사이의 균형을 약화할 수 있음을 나타낸다.
논의
PCSD는 frozen privileged teacher와 고정된 aggregation 및 gating hyperparameters를 사용해 persistent-consistency weighting을 분리하지만, 변화하는 trajectory statistics와 teacher reliability에 대한 적응을 제한한다.
- 논의: 고정된 aggregation 및 gating hyperparameters와 frozen privileged teacher는 PCSD의 weighting 효과를 분리하지만, 변화하는 trajectory statistics와 teacher reliability에 대한 적응 능력을 떨어뜨린다.향후 연구에서는 trajectory statistics와 teacher uncertainty로부터 context-dependent aggregation 및 gating parameters를 학습할 수 있다.
결론
PCSD는 지속적인 국소 teacher support를 바탕으로 token-level supervision에 가중치를 부여하는 on-policy self-distillation framework로, outcome-only RL 및 기존 self-distillation baseline 대비 일관된 성능 향상을 이끈다.
- 결론: PCSD는 지속적인 local teacher support를 활용해 token-level supervision에 가중치를 부여하며, adaptive exponential-decay aggregation, one-sided trend modulation, continuous gating을 결합한다.이는 여러 token에 걸친 증거를 통합하면서도 위치별 특수성을 유지한다.
- 결론: PCSD는 outcome-only reinforcement learning 및 기존 self-distillation baseline 대비 일관되게 성능을 향상한다.
부록
부록에서는 PCSD의 정식화, 구현 및 분석에 관한 추가 세부 사항을 제시한다. privileged teacher 구성과 환경 설정, 학습 목표와 절차, PCSD의 aggregation 및 trend 메커니즘을 분석한다.
- 구현 세부 사항: 부록에서는 두 환경에 대한 privileged-teacher construction, skill retrieval, information isolation 및 prompt template을 자세히 설명한다.
- 학습 절차: 완전한 GRPO objective와 PCSD 학습 절차를 제시한다.
- 방법 분석: PCSD의 local bias–variance trade-off, exponential aggregation, effective window length 및 one-sided trend modulation을 분석한다.
Teacher와 Privileged Skills
PCSD는 student가 생성한 token을 평가하면서 student에게는 제공되지 않는 재사용 가능한 task skill에 접근하는 frozen teacher copy를 사용한다. Retrieval과 prompting을 통해 privileged information을 instance-specific information, future information, hidden-state information과 분리한다.
- Teacher 구성: Privileged teacher는 student의 base checkpoint를 별도로 복사한 frozen copy이며, reinforcement-learning gradient나 optimizer update를 전혀 받지 않는다.각 student-sampled trajectory에 대해 teacher forcing으로 동일하게 생성된 token을 평가한다.
- Privileged skill과 retrieval: Skill repository는 evaluation instance의 해법, expert trajectory, target location, future observation, hidden state 없이 재사용 가능한 interaction rule과 task-specific procedure를 제공한다.Retrieved skill에는 object manipulation과 navigation 같은 전략이 포함된다.
- Prompt 구성과 information isolation: Student는 task instruction, observable feedback, causal interaction history만 사용하는 반면, teacher는 shared observable prefix와 함께 retrieved skill도 추가로 받는다.Training과 evaluation 동안 privileged skill은 student input에서 제외되며, teacher는 student-generated token을 평가한다.
- Prompt 구성과 information isolation: Skill retrieval은 initial observable task description만 사용하며 reward, future observation, hidden state, student의 free-form reasoning을 제외한다.이러한 제약은 student와 공유하는 observable context를 넘어 instance-specific privileged information이나 future information이 teacher context에 유입되는 것을 방지한다.
프롬프트 템플릿
프롬프트 템플릿은 제한된 상호작용 맥락을 제공하고 ALFWorld와 WebShop에서 구조화된 추론 후 실행 가능한 action 하나를 수행하도록 강제한다. PCSD 학습 중 teacher는 student와 환경 맥락 및 token을 공유하면서 추가적인 privileged skill information을 받는다.
- ALFWorld: ALFWorld 프롬프트에는 task, 제한된 최근 observation–action history, current observation, admissible actions가 포함되며, <think> 추론 후 정확히 하나의 <action>을 요구한다.초기 프롬프트에서는 interaction history를 생략하고, 이후 프롬프트에는 interaction index와 가장 최근 H개의 observation–action pair가 포함된다.
- ALFWorld: ALFWorld 템플릿은 objectives, observations, action history, admissible actions를 통해 long-horizon causal structure를 드러낸다.설명된 sequence에는 object의 locating, acquiring, transforming, navigating, placing이 포함될 수 있다.
- WebShop: WebShop 프롬프트에는 shopping request, 제한된 page history, current rendered page, available operations가 제공되며, 하나의 admissible action 전에 reasoning을 요구한다.초기 step에서는 history를 생략하고, 이후 프롬프트에는 step index와 가장 최근 H개의 observation–action pair가 포함된다.
- WebShop: WebShop은 action을 search[<your query>]와 click[<item>]으로 정규화하며, retrieval, attribute verification, variant selection, navigation, purchase를 포괄한다.조합된 프롬프트가 configured length threshold를 초과하면 interaction history를 제거하고 no-history prompt를 사용한다.
- Student와 Teacher 입력: PCSD 학습 중 student는 standard environment prompt를 받고, teacher는 동일한 맥락에 task-relevant privileged skill information을 추가로 받는다.teacher는 별도의 action sequence를 sampling하는 대신 student가 생성한 response token을 평가하므로, 비교에는 동일한 맥락과 token이 사용된다.
GRPO 목적 함수
GRPO 목적 함수는 완전한 interaction trajectory 그룹을 샘플링하고, 각 trajectory의 그룹 상대 advantage를 유효한 response token에 할당하며, clipping을 적용한 policy optimization과 token-level KL regularization을 결합한다. Prompt, environment, padding token은 마스킹하고, rollout policy는 iteration 사이에 업데이트되는 반면 frozen reference policy는 privileged teacher와 구별된다.
- Trajectory sampling 및 masking: GRPO는 각 입력에 대해 G개의 완전한 interaction trajectory를 샘플링하고 response-token mask를 사용해 유효한 student-generated token을 식별한다.이 mask는 prompt, environment, padding token을 제외한다.
- 그룹 상대 advantage: 목적 함수는 trajectory reward로부터 그룹 상대 advantage를 계산하고, 해당 trajectory의 모든 유효한 response token에 동일한 trajectory-level advantage를 할당한다.advantage 계산에는 양의 수치 안정성 상수 ϵnum을 사용한다.
- Clipping을 적용한 policy optimization: Policy term은 수치 안정성과 제약된 policy update를 위해 ϵclip을 통한 clipping을 적용한 token-level importance ratio를 사용한다.Clipped ratio는 각 token에 선행하는 student-visible context로부터 구성된다.
- KL regularization: 결과 loss는 frozen reference policy를 향한 token-level KL penalty를 βKL로 가중하여 clipped GRPO objective에 더한다.Reference policy는 training 전반에 걸쳐 고정되는 반면, rollout policy πθold는 rollout iteration 사이에 업데이트된다.
- Policy 역할: Frozen reference policy는 method의 다른 부분에서 사용하는 privileged teacher와 구별된다.이 구분은 GRPO regularization과 teacher-based self-distillation을 분리한다.
학습 절차 … 가중치 강건성과 교사 품질 정렬
PCSD는 skill-free student rollout, frozen-teacher 평가, detached local weighting, GRPO 최적화를 adaptive aggregation, trend attenuation, sigmoid gating과 결합한다. 여러 진단에서 고립된 노이즈가 있어도 token 우선순위를 보존하고 SDAR의 역방향 teacher-quality 연관을 피하지만, local smoothing과 제한적인 alignment strength의 영향은 남는다.
- 학습 절차: 각 학습 update에서는 student를 rollout policy로 복사하고, G개의 skill-free trajectory를 샘플링하며, group-normalized GRPO advantage를 계산한 뒤 동일한 token을 frozen skill-augmented teacher로 평가한다.teacher response는 다시 샘플링하지 않으며, PCSD weight는 response 내부에서 독립적으로 계산되고 interaction-turn 경계를 넘지 않는다.
- High-Variance 영역의 Bias–Variance Trade-off: PCSD는 local variance에 따라 short- 및 long-window estimate의 균형을 맞추고, exponential decay를 사용해 temporal locality와 variance regime 간 continuous interpolation을 유지하면서 노이즈를 줄인다.Low-variance 영역에서는 더 많은 token detail을 유지하고, high-variance 영역에서는 안정적인 long-window estimate를 선호한다. Nmax = 8과 α = 0.8은 약 6.41의 effective sample size를 만든다.
- Local Aggregation 추가 분석: Exponential aggregation은 거리가 멀어질수록 고립된 fluctuation을 억제하고, one-sided trend modulation은 teacher support가 감소할 때 weight를 attenuate하며 nonnegative trend는 증폭하지 않는다.n = 8일 때 slope variance는 σ2/42이다. γ = 0.3이면 normalized slope가 −1일 때 ηt = 0.7이다.
- 정성적 Rollout: 기록된 valid_unseen rollout은 won=True와 reward 10으로 ALFWorld acquire–heat–place task를 eight valid actions 안에 완료한다.이 trajectory는 실패한 fridge search에서 회복하고 countertop에서 potato를 찾으며 필요한 action ordering을 보존한다.
- 학습 및 Hyperparameter 설정: 실험 PCSD configuration은 Nmin = 1, Nmax = 8, α = 0.8, τlow = 0.05, τhigh = 0.5, γ = 0.3, βgate = 5.0, λPCSD = 0.01을 사용한다.Trainable method는 learning rate 1 × 10−6, KL coefficient 0.01, gradient clipping 1.0, 150 update step의 AdamW를 사용한다.
- Benchmark Protocol: 실험은 공식 train split으로 ALFWorld를 학습하고 valid_seen과 valid_unseen을 평가하며, WebShop은 1,000개의 training task와 128개의 fixed validation instance를 사용한다.ALFWorld update는 각각 eight rollout을 포함한 16개 task를 처리하고, WebShop은 training과 validation에 서로 다른 fixed seed를 사용한다.
- Weight Robustness와 Teacher-Quality Alignment: PCSD는 weak nonnegative teacher-quality alignment를 보이며, skill removal에서 ρ = 0.174, shuffled skills에서 ρ = 0.052를 기록해 SDAR의 negative correlation과 대조된다.동일한 perturbation에서 SDAR는 −0.489와 −0.208을 기록한다. 이 분석만으로 모든 sample에서 강한 alignment가 있거나 downstream task gain이 발생한다고 확립할 수는 없다.
- Weight Robustness와 Teacher-Quality Alignment: PCSD는 stronger isolated-gap perturbation에서 SDAR보다 token-weight ranking을 더 잘 보존하며, 5%에서 0.934 versus 0.929, 10%에서 0.887 versus 0.864에 도달한다.1%에서는 PCSD가 0.985, SDAR가 0.986의 correlation을 보여 light-perturbation 차이는 무시할 수 있다.