Source-linked AI summary
The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes
Siqi Zhu, Xuyan Ye, Hongyu Lu, Weiye Shi, Ge Liu
TL;DR
OPD와 OPSD는 엇갈린 결과를 보여 언제 작동하고 왜 실패하는지가 불분명했다. 이 논문은 다양한 task setting에서 두 방법을 연구하고 failure mechanism을 규명하며, 효과가 task structure와 privileged information에 좌우되고 여러 stabilizer가 training stability를 향상시킨다는 것을 보인다.
문제
선행 연구 결과가 엇갈렸음에도 OPD와 OPSD가 언제 성공하거나 실패하는지를 좌우하는 empirical condition과 mechanism은 여전히 제대로 이해되지 않았다.
방법
이 논문은 다양한 task에서 OPD와 OPSD를 empirical하게 연구하고, failure mechanism을 분석하며, stop-gradient TopK loss, RLVR-adapted teacher, SFT-stabilized student를 평가한다.
결과
효과는 task structure와 privileged information에 좌우된다. OPSD는 실험한 mathematical reasoning에서는 실패하지만 system-prompt internalization과 alignment에서는 작동하며, OPD는 조건부로 유익하다.
시사점 및 한계
OPD와 OPSD에는 task에 적합한 privileged information과 objective design이 필요하며, stop-gradient loss, 개선된 teacher, SFT는 실제 training stability를 향상시킬 수 있다.
시사점 및 한계
stop-gradient TopK surrogate는 local gradient bias를 완화하지만, 더 이상 full-vocabulary reverse KL을 충실히 근사하지 않는다.
Abstract
from arXiv · showhide
On-policy distillation (OPD) and on-policy self-distillation (OPSD) have emerged as promising post-training methods for large language models, offering dense token-level supervision on trajectories sampled from the model's own policy. However, existing results on their effectiveness remain mixed: while OP(S)D has shown promise in system prompt and knowledge internalization, recent studies also report instability and degradation. In this work, we present a comprehensive empirical study of when OPD and OPSD work, when they fail, and why. We find that OPD on mathematical reasoning is highly sensitive to teacher choice and loss formulation, whereas OPSD fails in our tested settings due to test-time absence of instance-specific privileged information (PI). In contrast, OPSD is effective when PI represents a shared latent rule, such as a system prompt or alignment preference. We identify three failure mechanisms: (1) distribution mismatch between teacher and student caused by conditioning on student-generated prefixes, (2) optimization instability from biased TopK reverse-KL gradients, and (3) an OPSD-specific limitation where the student learns a PI-free policy that aggregates PI-conditioned teachers, which is insufficient when PI is instance-specific. We further show that stop-gradient TopK objectives, RLVR-adapted teachers, and SFT-stabilized students mitigate these failures.
1 서론
이 논문은 reasoning, system-prompt internalization, alignment 전반에서 OPD와 OPSD가 언제 성공하거나 실패하는지 연구하고, 엇갈린 기존 연구 결과 를 다룬다. 또한 세 가지 실패 메커니즘을 규명하고 stop-gradient Top-K KL, RLVR-adapted teachers, student SFT에 기반한 안정화 기법을 제안한다.
- 방법 배경: OPD는 더 강한 teacher로부터 dense token-level supervision을 받아 자체 policy trajectory에서 student를 학습시키며, capability integration을 가능하게 하고 catastrophic forgetting을 완화할 가능성이 있다.이 설정은 off-policy response를 사용한 학습과 다르며, student가 생성한 rollout에 대해 하나 이상의 teacher를 사용한다.
- 동기: OPD와 OPSD는 경험적으로 엇갈린 거동을 보인다. 기존 연구는 context internalization과 reasoning의 성공을 보고한 반면, 최근 연구는 불안정성과 성능 저하를 발견했다.이러한 상충하는 결과는 on-policy (self) distillation이 언제 작동하고 실패하는지, 그리고 그 이유가 무엇인지 검토하게 한다.
- 경험적 범위: OPD는 reasoning task에서 조건부 이점만 제공하는 반면, OPSD는 실험한 mathematical-reasoning 설정에서는 실패하지만 system-prompt internalization과 alignment에서는 성공한다.이러한 대조는 system prompt와 alignment preference가 공유된 latent behavior를 유도하여 PI-free policy로 압축될 수 있기 때문에 발생한다.
- 실패 메커니즘: 이 연구는 세 가지 실패 메커니즘을 규명한다: prefix-induced teacher–student mismatch, biased Top-K reverse-KL gradient, 그리고 instance-specific privileged information 전반에 걸친 PI-free OPSD aggregation이다.Student가 생성한 prefix는 teacher를 국소적으로 양립하지 않는 상태에 놓을 수 있으며, privileged information이 instance마다 달라질 때 OPSD의 단일 consensus policy로는 충분하지 않다.
- 실용적 개선책: 이 논문은 biased gradient를 줄이고 task performance를 향상시키며 formatting과 response length를 안정화하기 위해 stop-gradient Top-K KL surrogate, teacher의 RLVR adaptation, student SFT를 제안한다.이 안정화 기법은 optimization instability, teacher quality, output well-formedness, response-length dynamics를 대상으로 한다.
2 관련 연구
선행 연구는 student가 샘플링한 trajectory에 대한 dense supervision으로서 on-policy distillation을 정립했으며, distillation과 reasoning에서 그 효과를 입증했다. 관련 접근법으로는 context distillation과 textual 또는 privileged feedback으로 보강된 reinforcement learning이 있다.
- On-Policy Distillation과 Context Distillation: On-policy distillation은 student가 직접 샘플링한 trajectory에서 dense teacher supervision을 사용해 student를 학습시키며, 일부 설정에서 표준 off-policy distillation보다 우수한 성능을 보이고 math reasoning에서도 효과를 보였다.Context distillation은 이와 유사하게 in-context behavior를 model parameter로 변환한다.
- On-Policy Distillation과 Context Distillation: OPSD는 student와 privileged information으로 teacher를 구성하는 반면, OPD는 더 강한 teacher를 사용하며 privileged information을 요구하지 않는다. 또한 reverse KL은 mode-seeking이고 forward KL은 mode-covering이다.이러한 차이는 Figure 2에 요약되어 있다.
- Textual Feedback으로부터의 Reinforcement Learning: Textual-feedback reinforcement learning은 intermediate behavior에 대해 더 풍부한 supervision을 제공하는 반면, POPE는 privileged guidance를 사용해 어려운 reasoning problem에서 exploration을 개선한다.이러한 방법들은 추가적인 textual information의 역할을 연구할 동기를 제공한다.
3 예비 지식: On-Policy Distillation
OP(S)D는 student가 생성한 trajectory에서 token-level teacher supervision을 사용해 학습하며, OPSD는 student에서 파생된 teacher에 privileged information을 추가한다. 이 절에서는 full-vocabulary objective와 sampled-token objective를 구분하고, OPSD failure와 unnormalized Top-20 reverse-KL collapse를 설명한다.
- OP(S)D는 student policy에서 trajectory를 sampling하고, 생성된 모든 prefix에 teacher supervision을 적용한다.OPD에서 teacher는 외부의 더 강한 model이며, OPSD에서는 student에서 파생되고 privileged information이 추가된다.
- 이 절에서는 token-level distillation objective의 대안으로 full-vocabulary KL과 sampled-token KL을 제시한다.Sampled-token KL은 teacher와 student의 log-probability gap을 advantage로 취급한다.
- Full-vocabulary KL: Reverse KL은 mode-seeking 특성을 가지며 student의 high-probability mode를 보존하고, forward KL보다 catastrophic forgetting이 발생하기 어렵다.Forward KL은 student가 가능성이 낮게 보는 token이지만 teacher가 선호하는 token 쪽으로 student를 밀어붙이므로 OPD에 바람직하지 않다.
- OPSD는 Qwen3-1.7B OpenThoughts experiment에서 student를 개선하지 못한다.
- Unnormalized Top-20 reverse KL은 response length가 limit에 도달할수록 verbosity, 반복적인 “maybe” output, declining evaluation accuracy를 유발한다.repeat ratio가 one에 가까워질수록 반복 token이 지배적이 된다.
4 실험
실험 결과, OPD와 OPSD는 수학적 추론에서 치명적으로 실패할 수 있지만, alignment와 system-prompt internalization을 포함해 privileged information이 인스턴스 간 공유될 때 성공할 수 있음이 드러난다. 또한 OPSD는 style alignment에서 GRPO와 PPO를 능가하면서도 정확도를 해치지 않고 추론 응답 길이를 줄인다.
- 실험 범위: 실험은 추론, system-prompt internalization, alignment를 다루며, OPD와 OPSD의 실패 및 성공 영역을 모두 포괄한다.검증 가능한 수학 답변과 해당되는 경우 질문별 alignment prompt를 사용해 Qwen3 student와 OpenThoughts 기반 학습을 평가했다.
- 추론: 수학적 추론에서 answer-only 또는 full-response privileged information을 사용한 OPSD는 Math500, AIME24, AIME25에서 안정적인 향상을 보이지 않는다.Full-response privileged information은 answer-only privileged information보다 성능이 낮았으며, 더 풍부한 conditioning이 mismatch를 키울 수 있음을 시사한다.
- 추론: OPD는 처음에는 수학적 추론을 향상시키지만 이후 반복적인 “maybe” 출력으로 붕괴하며, Math500, AIME24, AIME25 정확도를 거의 0까지 떨어뜨린다.Step 700 전후로 rollout 길이와 “wait”, “maybe” 같은 revision token이 급격히 증가하고, step 1000에는 degeneration이 뚜렷해진다.
- Alignment: 동일한 sampling budget에서 OPSD는 CharacterBench와 EmotionBench에서 GRPO와 PPO보다 더 빠르게 향상되고 수렴한다.비교에는 Qwen3-4B-Instruct와 Qwen3-8B student를 사용했으며, Figure 5에 training-reward 및 evaluation-score curve가 제시된다.
- System Prompt Internalization: 질문 간 공유되는 고정된 system prompt를 사용하면 OPSD는 추론 정확도를 유지하면서 응답 길이를 크게 줄인다.이는 alignment 실험에서 질문별 privileged information을 사용한 경우와 대조되며, 해당 결과는 Figure 6의 reasoning compression에서 제시된다.
5 On-Policy Distillation의 메커니즘
이 논문은 OPD와 OPSD 실패의 배후에 있는 세 가지 메커니즘을 규명한다. student prefix가 teacher의 행동을 왜곡할 수 있고, 정규화되지 않은 TopK reverse-KL이 최적화를 불안정하게 만들 수 있으며, instance-specific privileged information이 OPSD로 하여금 불충분한 aggregate policy를 학습하게 할 수 있다.
- Student Prefix가 Teacher State를 왜곡함: OPD에서 teacher가 student-generated prefix에 조건화되면 일관되지 않은 중간 추론 상태가 강제되어 refinement가 아닌 분기 전환이 발생할 수 있다.이 충돌은 “wait”와 “but” 같은 revision token의 확률이 상승하는 형태로 자주 나타난다.
- 정규화되지 않은 TopK Reverse KL의 함정: TopK reverse-KL truncation은 +1 gradient 항을 유지하므로, πT(v | x, y<t, I) > e πS(v | x, y<t)일 때만 token을 촉진한다.이로 인해 update가 teacher distribution에서 멀어지는 방향으로 편향되고, 불안정한 low-probability continuation이나 collapse가 발생할 수 있다.
- OPSD에서의 Privileged Information: OPSD의 optimal student는 PI-conditioned teacher들의 normalized geometric mean이며, privileged-information setting 전반에서 일관되게 지지되지 않는 output을 억제한다.따라서 problem-specific PI는 서로 양립하지 않는 teacher behavior를 유도할 수 있고, 이들의 common aggregate는 개별 math instance에 불충분하다.
- OPSD에서의 Privileged Information: OpenThoughts에서 answer-PI와 response-PI를 사용한 OPD는 모두 더 강한 teacher를 사용한 vanilla OPD보다 성능이 낮으며, response-PI의 성능이 가장 낮다.Figure 10은 또한 response-PI와 answer-PI의 초기 distillation loss가 vanilla OPD보다 높음을 보여준다.
6 해결책
제안된 해결책은 TopK reverse-KL 불안정성, teacher–student distribution mismatch, 실용적인 TopK truncation 제약을 겨냥한다. Stop-gradient와 renormalized objective는 학습을 안정화하고, RLVR-adapted teacher와 SFT-based stabilization은 distributional 및 optimization failure를 완화한다.
- TopK reverse-KL objective: Unnormalized TopK reverse KL은 붕괴하지만, stop-gradient 및 renormalized variant는 이에 상응하는 안정적 성능을 달성하며, policy-gradient distillation은 Top1 stop-gradient reverse KL과 유사한 성능을 보인다.Stop-gradient version은 weighting term을 그 값을 미분하는 대신 advantage로 취급한다. Sampled-token policy-gradient supervision은 안정적이지만 teacher signal의 희소한 부분만 포착한다.
- TopK reverse-KL objective: Renormalized TopK reverse KL은 unnormalized gradient bias를 제거하지만, TopK 내부의 상대적 확률만 일치시키고 selected-set mass와 full-vocabulary behavior는 무시한다.따라서 full-vocabulary reverse KL을 충실히 근사하지는 못하면서 local gradient bias를 완화한다.
- TopK truncation: SGLang은 각 position의 ideal TopK set을 query할 수 없으므로 global union을 query하며, 최악의 경우 memory가 min(|V|, TK)/K만큼 증가한다.Teacher와 student의 TopK set에 공통으로 포함된 token을 통해서만 backpropagate하면 prior work 에 따라 effectiveness가 유지된다.
- RLVR-adapted teacher: RLVR-adapted Qwen3-1.7B-GRPO는 reasoning performance가 comparable함에도 OPD teacher로서 Qwen3-8B를 크게 능가하며, accuracy를 넘어 student-distribution proximity가 중요함을 시사한다.RLVR은 training-set task performance를 향상시키며 teacher output을 student-generated prefix와 locally 더 compatible하게 만들 수 있다.
- SFT-stabilized student: SFT-based stabilization은 length inflation과 teacher–student mismatch를 줄이는 데 사용되어 왔지만, Qwen3-1.7B student는 그렇지 않으면 garbled non-English Unicode output을 생성할 수 있다.Prior work은 gold answer 또는 teacher-generated trace에 대한 SFT와 OPD를 결합하며, 보고된 instability는 ordinary incorrect reasoning과 구별된다.
7 결론
OPD와 OPSD의 효과는 과제 구조와 privileged information의 성격에 따라 달라진다. OPSD는 테스트한 수학적 추론 설정에서는 실패하지만, shared latent rules를 포함하는 system-prompt 내재화 및 alignment 과제에서는 작동한다.
- 7 결론: OPD와 OPSD의 효과는 과제 구조와 privileged information의 성격에 따라 달라진다.결론에서는 large language models를 대상으로 두 방법을 모두 실증적으로 연구한다.
- 7 결론: OPSD는 테스트한 수학적 추론 설정에서는 효과적이지 않으며, 이 설정에서 privileged information은 대부분 instance-specific하다.
- 7 결론: OPSD는 privileged information이 shared latent rules를 반영하는 system-prompt 내재화 및 alignment 과제에서는 잘 작동한다.
- 7 결론: 이 연구는 OPD와 OPSD의 한 가지 실패 메커니즘으로 teacher-student 분포 불일치를 식별한다.
A 부록 · A.1 실험 설정
부록에서는 고정된 디코딩 설정으로 모델을 평가하고 OPD, OPSD, GRPO, PPO의 기본 학습 구성을 보고한다. 실험은 대체로 stop-gradient와 renormalized Top-K reverse-KL training을 사용하며, OPSD에서는 고정된 step-0 student checkpoint를 teacher로 사용한다.
- A.1 실험 설정: 평가는 최대 응답 길이 16384, temperature 1.0, top-p 0.95로 수행한다.
- A.1 실험 설정: 달리 명시하지 않는 한, OPD와 OPSD는 prompt당 rollout 하나를 사용하고 stop-gradient, renormalized Top-K reverse-KL objective를 최적화한다.
- A.1 실험 설정: 기본적으로 OPSD는 thinking mode를 비활성화하고 step-0 student checkpoint를 고정된 teacher로 사용하며, 실험은 10개의 NVIDIA RTX PRO 6000 Blackwell GPU에서 수행한다.Table 1은 OPD, OPSD, GRPO, PPO의 기본 학습 hyperparameter를 요약한다.
A.2 평가 지표
이 절에서는 token-level behavior, repetition, teacher–student agreement를 분석하기 위한 지표를 정의한다. sampled-token log-probability, repetition pattern, TopK overlap, teacher-side sampled-token rank와 repetition-conditional average를 측정한다.
- Log-probability 지표: 각 sampled token에 대한 teacher와 student의 log-probability 및 generated prefix에서의 log-probability gap을 추적한다.teacher는 privileged information I에도 추가로 조건화하지만 student는 그렇지 않다.
- Repetition: response-ending n-gram이 기본값 n = 3으로 같은 response 안에서 앞서 등장하면 Repetition으로 식별한다.이 절에서는 valid response token에 대한 repetition ratio를 정의하고, position을 repetitive set과 non-repetitive set으로 나눈다.
- Teacher-student agreement: teacher–student agreement는 각 position에서 두 모델의 TopK candidate sets가 겹치는 정도로 측정하며, 기본값은 K = 50이다.overlap은 TopK sets를 통해 teacher와 student의 local candidate distributions를 비교한다.
- Teacher-student agreement: 평가는 각 sampled token의 teacher-side rank도 기록하고, 반복적인 position과 비반복적인 position에 대해 overlap과 rank 평균을 별도로 보고한다.Teacher TopK 집합 내부의 sampled token에는 해당 rank를 부여하고, 그 밖의 token에는 K + 1을 부여한다.
A.3 OP(S)D의 설계 공간
OP(S)D 방법은 teacher 구성, privileged information 설계, distillation loss라는 대체로 서로 직교하는 세 축을 따라 달라진다. 앞의 두 축은 주로 OPSD를 구분하며, distillation loss는 OPSD와 OPD 모두에서 핵심이다.
- 설계 축: OP(S)D 설계는 teacher 구성, privileged information 설계, distillation loss로 이루어진다. 앞의 두 요소는 주로 OPSD에 적용되는 반면, loss 선택은 두 방법 모두에 영향을 준다.표준 OPD에서는 teacher가 일반적으로 고정되어 있으며 privileged information을 도입하지 않는다.
A.3.1 Teacher 구성
Teacher 구성은 self, frozen, EMA teacher에 걸쳐 안정성, 적응성, privileged information 활용 간의 trade-off를 이룬다. Frozen teacher는 target을 안정화하는 반면, jointly updated teacher나 EMA teacher는 학습을 추적할 수 있지만 더 강한 task performance를 보장하지는 않는다.
- Self-Teacher: Self-teacher는 student와 parameter를 공유하며 training 내내 jointly updates되는 설정으로, 여러 논문에서 사용되었다.따라서 teacher와 student는 optimization 중에 완전히 결합된 상태로 남는다.
- Frozen teacher: Frozen teacher는 initialization, 더 강한 pretrained model, 또는 별도로 학습된 expert parameter를 고정해 target을 stable하게 유지하지만, stale해지고 student가 유도한 state와 mismatch될 수 있다.Optimization stability가 향상되더라도 그 capability에는 본질적인 한계가 있다.
- EMA teacher: EMA teacher는 high-variance update를 smoothing하면서 student를 추적해, 현재 student를 직접 사용하는 것보다 more stable target을 제공한다.이는 student의 learning progress를 따라가면서도 self-distillation을 유지한다.
- Takeaway: EMA teacher와 self-teacher는 privileged information을 더 잘 활용할 것으로 흔히 기대되지만, plain OP(S)D가 RL과 같은 task-directed optimization 없이는 original base teacher를 능가한다고 보장되지 않는다.따라서 adaptive teacher의 이점은 자동적으로 주어지는 것이 아니라 조건부다.
A.3.2 Privileged Information Design … A.23.1 The PPL and NLL statistics.
부록은 OP(S)D 설계 선택, gradient 근사, engineering 제약, 경험적 실패 양상을 명시하고, privileged information이 성공적으로 전달되는 사례를 기록한다. 또한 student prefix가 teacher supervision을 왜곡하며 SFT가 trace modeling을 개선한다는 근거를 제시한다.
- A.3.2 Privileged Information Design; A.3.3 Distillation Objectives: Teacher의 privileged information에는 math reasoning과 answers, environment feedback 또는 task-dependent signal이 포함될 수 있으며, student는 full-vocabulary 또는 sampled-token objective를 사용해 teacher를 모방한다.Full-vocabulary KL은 전체 next-token distribution을 재구성하는 반면, sampled-token objective는 dense token-level reward를 사용하는 reinforcement learning에 더 가깝게 작동한다.
- A.4 General OP(S)D Gradient Decomposition.; A.5 Detailed Gradient computation.: Score-function term을 무시하면 biased but lower-variance gradient를 얻는 반면, 이를 유지하면 substantially higher variance를 갖는 unbiased estimator가 된다. Full-vocabulary와 sampled-token derivation은 이러한 tradeoff를 드러낸다.실제로 full-vocabulary KL은 rollout-distribution term을 생략하는 경우가 많으며, SDPO 와 SDFT 가 이에 해당한다.
- A.6 TopK Engineering Challenge: Student의 TopK teacher query는 position별 token set을 sorted unique union으로 평탄화해야 한다. SGLang은 position 전체에서 공유되는 하나의 token list를 기대하기 때문이다.기존의 position-dependent representation은 기대되는 one-dimensional shape가 아닌 [L, K] index tensor를 생성해 downstream gathering을 깨뜨린다.
- A.3.3 Distillation Objectives; A.7 Additional OPD Experiment using Top20 reverse KL: TopK approximation은 memory requirement를 줄이지만 불안정할 수 있다. K를 5에서 20으로 늘려도 reverse-KL collapse를 막지 못하는 반면, stop-gradient는 stable하게 유지된다.Tail-augmented objective는 선택된 TopK set 바깥의 probability mass를 보존해 full distribution을 더 잘 근사할 수 있다.
- A.8 Evaluation Biases in OPD; A.9 Teacher Signal Analysis (On Policiness); A.11 Visualizing token-level supervision on an example response; A.12 Experimental Results on General Reasoning Tasks: OPD evaluation은 짧은 validation limit가 더 긴 reasoning을 잘라내고, 초기 OPD gain이 GRPO의 이후 improvement와 higher performance ceiling을 가릴 수 있어 오해를 불러일으킬 수 있다.Teacher signal은 capability gap, response correctness, token position, teacher scale에 따라서도 달라진다. Incorrect trajectory가 correct trajectory보다 더 강한 supervision을 받을 수 있다.
- A.13 OPSD Fails on Persuasion Tasks; A.14 Thinking Mode Hacking in OPSD; A.15 OPSD Response Length Collapse; A.16 OPD Response Length Explosion - step 700; A.17 OPD Response Length Explosion - step 1000: OPSD는 여러 reasoning 및 persuasion setting에서 실패하며, response collapse, direct-answer behavior, control-token leakage 또는 verbose하고 repetitive한 output을 생성한다.Persuasion for Good에서는 GRPO가 stable하고 점진적으로 개선되는 것으로 설명되는 반면, OPSD는 같은 양상을 보이지 않는다. 예로 “maybe”만 포함한 response와 “but”를 10번 반복하는 response가 있다.
- A.18 OPSD Safety Alignment System Prompt; A.19 OPSD Reasoning Compression System Prompt.; A.20 OPSD Language Style Alignment: Privileged Information Design and Model Outputs; A.21 The correlation between entropy and teacher supervision: OPSD는 inference 시 privileged profile을 노출하지 않고도 shared style 또는 safety behavior를 전달할 수 있지만, entropy는 teacher supervision과의 correlation에 대해 약한 근거만 제공한다.Style-transfer setup에서는 teacher prompt에만 style-specific information을 앞에 붙이고 student에는 plain prompt를 제공한다. 한 example은 LLM-judge reward 1.0을 받는다.
- A.22 Experimental Evidence for Student Prefixes Distorting the Teacher’s Reasoning State; A.23 SFT Experiment Setup in Section 6.3.; Data Preparation; SFT Stage; A.23.1 The PPL and NLL statistics.: 62.12% versus 45.96%: Teacher를 student prefix에 condition하면 GPQA-Diamond accuracy가 16.16 points와 32 correct cases만큼 감소한다. 반면 SFT는 NLL을 0.640에서 0.335로, PPL을 1.896에서 1.397로 낮춘다.Prefix continuation은 원래 correct였던 prediction 40개를 wrong으로 바꾸고 wrong-to-correct 변화는 8개에 그치며, format correctness를 98.48%에서 78.79%로 낮춘다.