Source-linked AI summary
On-Policy Delta Distillation
Byeongho Heo, Jaehui Hwang, Sangdoo Yun, Dongyoon Han
TL;DR
On-policy distillation의 loss 설계는 여전히 충분히 탐구되지 않았다. 이 논문은 reasoning-tuned teacher와 base model의 차이를 distill하는 OPD²를 제안하며, mathematics, science, code benchmark 전반에서 conventional method를 일관되게 능가함을 보인다.
문제
post-training 연구에서 중요한 방법임에도 불구하고, on-policy distillation reward의 fundamental design은 여전히 충분히 탐구되지 않았다.
방법
OPD²는 reasoning-tuned teacher와 post-training 이전 base model 사이의 delta를 주요 distillation reward로 사용한다.
결과
OPD²는 mathematics, science, code를 포함한 reasoning domain과 model size 전반에서 일관되게 highest average performance를 달성한다.
시사점 및 한계
delta signal이 OPD² 성능 향상의 primary source이며, agreement와 centering은 더 작은 추가 개선을 제공한다.
시사점 및 한계
OPD²는 teacher-base forward computation을 추가하므로, Qwen3 model의 wall-clock training time이 약 24–28%, Gemma4-E4B의 경우 8% 증가한다.
Abstract
from arXiv · showhide
On-policy distillation is an alternative post-training method in reinforcement learning that alleviates the constraints imposed by reward models by providing token-level supervision from a teacher model. Although on-policy distillation has been studied and applied across various settings, its fundamental design remains underexplored. In this paper, we introduce a new distillation reward, termed the delta signal, instead of directly imitating the teacher's output distribution. The delta signal is defined as the difference between the teacher model and its base model prior to instruction tuning for reasoning capability. It therefore captures the changes induced by reasoning tuning and provides a more direct signal for transferring reasoning capabilities. Using extensive empirical evidence, we show that the delta signal substantially improves on-policy distillation and refer to the new distillation method as On-Policy Delta Distillation (OPD$^2$). Experiments across mathematics, science, and code-reasoning benchmarks demonstrate that OPD$^2$ consistently outperforms conventional on-policy distillation, enabling reasoning LLMs to achieve strong performance with only a short post-training period. Code will be available at https://github.com/naver-ai/opd2
1 서론
서론은 On-Policy Distillation (OPD)의 설계 공백을 지적한다. reasoning-tuned teacher를 직접 distill하면 새롭게 습득한 reasoning knowledge를 분리하기보다 기존 preference를 보존할 수 있다는 점이다. 이를 해결하기 위해 teacher–base model delta signal을 centering 및 joint conditioning과 함께 사용하고, math·science·code 전반에서 접근법을 평가한다.
- 동기와 기여: OPD는 student를 teacher output을 따르도록 직접 학습시키는 반면, OPD^2는 teacher와 base model의 차이를 사용해 reasoning knowledge를 겨냥한다.delta signal은 teacher가 pre-tuning 단계에서 유지한 preference와 style이 아니라 reasoning tuning에 따른 learning trajectory를 포착하도록 설계되었다.
- 범위: sampled tokens를 넘어 OPD learning signal을 확장하는 변형들 [5] [6] [7]과 달리, 이 논문은 원래의 sampled-token setting에만 주목한다.서론은 sampled-token supervision이 post-training 전반에서 student의 기존 knowledge와 ability를 보존한다고 설명한다.
- 문제: OPD의 fundamental loss design remains underexplored인 이유는 reward가 teacher와 student 간 log probability difference에 불과하기 때문이다.서론은 OPD의 기본 reward design을 개선하기 위한 방향으로 reasoning tuning의 learning trace에 주목한다.
- 방법: 이 방법은 on-policy distillation에서 delta signal을 더 효과적으로 사용하기 위해 centering과 joint conditioning을 도입한다.Centering은 policy model의 sampling probability에서 expected reward를 빼며, joint conditioning은 learning signal의 방향을 식별하기 어려운 문제와 sign bias로 인한 negative effect를 다룬다.
- 실험: 검증 framework는 Math, Science, Code data를 1:1:1 비율로 혼합하고, distilled model을 7 Math, 3 Science, 4 Code benchmarks에서 평가한다.training set은 on-policy distillation 전에 각 domain에서 하나의 dataset으로부터 동일한 수의 question을 sampling한다.
2 방법
OPD는 teacher–student KL divergence 최소화와 동등한 token-level reward를 사용해 on-policy response로 student를 학습한다. 반면 OPD²는 teacher가 base model에 비해 변화한 정도에서 delta signal을 도출해 사용하며, reasoning-specific knowledge를 목표로 하면서 잠재적인 convergence instability를 완화한다.
- On-Policy Distillation: OPD는 student에서 response를 sampling하고, KL divergence를 최소화해 teacher를 모방하도록 next-token prediction을 학습한다.sampling된 token에만 적용되는 reward는 R_t = log π*(y_t | x, y_<t) − log π_θ(y_t | x, y_<t)이다.
- Signal Analysis: OPD와 비교하면 delta는 hence, however, instead와 같은 reasoning-connective word를 더 강조하는 반면, see, try, verify와 같은 탐색 및 verification 관련 word는 억제한다.비교에는 Qwen3-1.7B student, Qwen3-4B teacher, 10k개의 math question이 사용된다.
- Delta Signal: delta signal은 teacher의 base-model signal을 차감해, 기본적인 next-token preference가 아니라 teacher가 학습한 reasoning trace를 포착한다.distillation target이 일반적인 next-token prediction을 넘어선 reasoning ability이므로, 이를 primary learning signal로 사용한다.
- Signal Analysis: 단순한 reasoning example에서 delta는 OPD보다 잘못된 reasoning과 연관된 token을 더 일관되게 억제한다.token-level signal은 promoting token과 suppressing token을 표시하며, visualization을 위해 값은 ±6으로 clipping된다. 또한 delta는 일반적인 reasoning expression과 오류가 있는 intermediate step에서 더 음의 값을 갖는다.
- Signal Analysis: math, code, science 전반에서 delta는 명시적인 logical-connection word를 강화하는 반면 모호한 uncertainty expression을 억제하는 경향이 있다.통계 분석은 domain별 10k개의 question을 대상으로 하며, distillation strength가 크게 변하는 word를 식별한다.
- Convergence Consideration: delta는 reward computation에서 student signal을 제외하므로, 이를 최적화하면 one-hot maximum-reward token으로 수렴할 수 있고 training을 잠재적으로 불안정하게 만들 수 있다.저자들은 practical strong-to-weak setting에서는 이 convergence point에 도달할 수 없지만, 여전히 instability를 유발할 수 있다고 지적한다.
3 실험
Qwen3 및 Gemma4 reasoning 모델 전반에서 OPD2는 수학, 코드, 과학 영역의 기존 on-policy distillation을 일관되게 능가하며, 학습 전반에 걸쳐 성능 향상이 유지된다. Ablation 결과 delta signal이 주요 기여 요인으로 확인되었고, 추가 계산량은 ExOPD에 비해 여전히 제한적이다.
- 주요 결과: OPD2는 모델 규모와 도메인 전반에서 가장 높은 평균 성능을 달성하며, Qwen3-1.7B, 4B, 8B의 Math 점수는 각각 62.7, 74.8, 75.9다.Qwen3-1.7B, 4B, 8B에서 OPD2는 원래 Math 모델보다 각각 3.5, 1.5, 2.2점 향상되며, Qwen3-8B의 HMMT25에서는 44.3에서 52.3으로 향상된다.
- 주요 결과: 이러한 우위는 Gemma4에도 전이된다. OPD2는 Math 평균 성능을 60.6에서 67.8로 향상시키며, 원래 Code 모델을 능가하지는 못했음에도 OPD와 ExOPD보다 더 많은 Code 능력을 유지한다.Gemma4 Code에서 OPD2는 49.5를 기록해 OPD의 36.9와 ExOPD의 45.1을 웃돌며, RGAlgo를 62.2에서 64.0으로 향상시킨다.
- 학습 동역학: OPD2는 초기 학습 단계 이후 OPD와 ExOPD보다 더 높은 성능 궤적을 유지하는 반면, 경쟁 방법들은 대체로 정체되거나 성능이 저하된다.이러한 지속적인 격차는 특히 CodeContests, Math, Science에서 뚜렷하며, main-table 결과는 best checkpoint가 아니라 최종 학습 단계의 값을 사용한다.
- Ablation 및 비용: delta signal을 standard OPD signal로 대체하면 ablation 성능 저하가 가장 크게 나타나며, agreement 또는 centering을 제거했을 때의 영향은 더 작다.OPD2는 추가적인 teacher-base forward pass를 요구해 wall-clock 학습 시간이 Qwen3에서는 약 24-28%, Gemma4-E4B에서는 8% 증가하지만, ExOPD와 비교 가능한 수준을 유지한다.
4 관련 연구
Post-training에서는 일반적으로 reasoning alignment에 SFT와 RL을 사용하며, on-policy distillation은 고성능 teacher의 출력을 student에게 전달한다 [37]. SFT에는 teacher가 생성한 sequence를 이용한 학습과 이후 large model이 생성한 sequence를 이용한 학습이 포함되며 [38–40], 후속 연구에서는 OPD를 여러 방식으로 수정하거나 분석했다.
- 4 관련 연구: On-policy distillation은 knowledge distillation에 기반한 post-training의 대안으로서 고성능 teacher의 출력을 student에게 전달한다 [37].이 문단은 reasoning task에 맞춰 LLM을 정렬하는 방법으로 OPD를 SFT 및 RL과 함께 배치한다.
- 4 관련 연구: SFT 자체도 knowledge distillation의 한 형태로, teacher가 생성한 sequence를 이용하는 Sequence-KD와 이후 large model이 생성한 sequence를 이용한 학습을 포함한다 [38–40].
- 4 관련 연구: 후속 연구에서는 OPD의 learning signal을 수정하거나, 효율성을 위해 통제된 off-policy data를 허용하거나, privileged verified solution을 통해 외부 teacher를 제거한다 [46] [47] [48] [49].이러한 변형에는 uncertainty 기반 reweighting [46], 통제된 off-policy data [47], single-LLM teacher-student 설정 [48] [49]이 포함된다.
5 결론
이 논문은 teacher model과 base model의 차이인 delta signal을 on-policy distillation의 학습 신호로 검토하고, reasoning tuning을 거친 teacher model로부터 reasoning 지식을 전달할 수 있다고 제안한다. 분석 결과, delta signal에는 유의미한 reasoning 정보가 포함되어 있으며 기존 접근법보다 이점이 있다.
- 5 결론: 이 연구는 teacher model과 base model의 차이로 정의되는 delta signal을 on-policy distillation에 대해 평가한다.
- 5 결론: 저자들은 delta signal이 base model에 teacher model의 reasoning tuning을 통해 습득된 reasoning 지식을 전달할 수 있다고 추측한다.
- 5 결론: 분석 결과, delta signal에는 유의미한 reasoning 신호가 포함되어 있으며 기존 접근법보다 이점을 제공한다.
A 부록
부록에서는 실험에 사용한 모델, 최적화, 하드웨어 및 평가 설정을 명시한다. 평가는 반복적인 확률적 생성에 대해 평균한 pass@1을 보고하며, AIME24와 AIME25에는 16회 반복을, 더 큰 benchmark에는 더 적은 반복을 사용한다.
- 모델 및 하드웨어 설정: 실험에는 NVIDIA H100 GPU를 사용하며, Qwen3-1.7B는 8-GPU 노드 하나에서, 더 큰 모델은 4개 노드에 걸쳐 학습한다.Multi-node 학습에서는 student에 24개 GPU를, vLLM rollout server에 8개 GPU를 할당한다.
- 모델 및 하드웨어 설정: Qwen3 student에는 같은 family의 더 큰 teacher를 사용하고, thinking 설정의 Gemma4-E4B-it에는 Gemma4-31B-it를 사용한다.Instruction tuning을 적용하지 않은 대응 pretrained checkpoint를 ExOPD의 teacher-base model로 사용한다.
- 공통 학습 파라미터: 모든 방법은 100회의 optimization step 동안, 256 또는 288의 effective global batch size와 5 × 10−6의 learning rate를 사용하는 AdamW로 학습한다.학습에는 cosine decay, 0.1 warmup 및 minimum learning-rate ratio, 1.0의 gradient clipping, 0.1의 reward scaling, maximum generation length 8192, temperature 0.7, 그리고 KL coefficient에 대해 β = 0을 사용한다.
- 평가 설정: 평가는 독립적인 반복에 대해 평균한 단일 샘플 정확도로 pass@1을 보고하며, best-of-k 선택에는 반복을 사용하지 않는다.AIME24와 AIME25는 문제가 비교적 적기 때문에 16회 반복을 사용하고, 더 큰 benchmark에는 더 적은 반복을 사용한다.