Source-linked AI summary
Weak-to-Strong Generalization via Direct On-Policy Distillation
Shiyuan Feng, Huan-ang Gao, Haohan Chi, Hanlin Wu, Zhilong Zhang, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou
TL;DR
더 강한 모델에서 RLVR을 반복 실행하는 비용이 점점 커지므로, 이 논문은 더 저렴한 약한 teacher의 RL 유도 policy shift를 Direct-OPD로 전이한다. 그 결과 teacher pair와 model family 전반에서 student를 향상시키며, AIME 2024에서 Qwen3-1.7B를 48.3에서 58.3으로 끌어올린다.
문제
더 강한 각 모델에서 RLVR을 다시 실행하려면 매 업데이트마다 비용이 큰 target-model rollout이 필요하므로 비용이 많이 들며, 모델이 확장될수록 post-training 병목이 발생할 위험이 있다.
방법
Direct-OPD는 post-RL teacher와 pre-RL reference 사이의 log-ratio를 더 강한 student의 on-policy state에서 평가되는 dense implicit reward로 취급한다.
결과
Direct-OPD는 teacher pair와 model family 전반에서 더 강한 student를 일관되게 향상시키며, AIME 2024에서 Qwen3-1.7B를 48.3에서 58.3으로 끌어올린다.
시사점 및 한계
RL 결과는 최종 policy를 모방하는 데 그치지 않고 model scale을 가로질러 재사용 가능한 improvement signal로 기능할 수 있다.
시사점 및 한계
teacher/reference의 개선이 student가 방문하는 state에서 유의미하지 않으면 Direct-OPD가 실패할 수 있으며, 특히 late-prefix signal이 분포 밖에 있어 신뢰하기 어려운 경우 그렇다.
Abstract
from arXiv · showhide
Reinforcement learning with verifiable rewards (RLVR) is a powerful recipe for improving language-model reasoning, but it is expensive to repeat on every new strong model because the target model must generate many rollouts during training. As models scale, post-training itself becomes a bottleneck. We study a weak-to-strong alternative: run RL on a smaller model where rollouts are cheaper, then reuse what that RL run learned to improve a stronger target model. Directly distilling the post-RL weak teacher is not enough, because the teacher's final policy mixes useful RL gains with the limitations of the smaller model. We propose Direct On-Policy Distillation (Direct-OPD), which transfers the teacher's RL-induced policy shift instead. Direct-OPD compares the post-RL teacher with its own pre-RL reference and treats their log-ratio as a dense implicit reward for the student. In plain terms, the checkpoint pair tells us which actions RL made the weak model more or less likely to take, and Direct-OPD applies that signal on the stronger student's own on-policy states. This directly reuses the weak model's RL supervision signal without running sparse-reward RL on the target model. Empirically, Direct-OPD consistently leverages weaker teachers to improve stronger target models; notably, it boosts Qwen3-1.7B from 48.3% to 58.3% on AIME 2024 in just 4 hours on 8 A100 GPUs. It outperforms step-matched direct RL and enables the sequential composition of multiple policy shifts. Our results show that RL outcomes can be reused across model scales as implicit reward signals, not merely as final models to imitate.
1 서론
Direct-OPD는 약한 모델의 최종 policy를 모방하는 대신, 약한 모델에서 RL이 유도한 policy shift를 암묵적 보상으로 전달하는 weak-to-strong post-training 방법이다. teacher pair와 model family 전반에서 더 강한 student를 향상시키면서 대규모 모델 RL 비용을 줄인다.
- 서론: AIME 2024에서 58.3%: Direct-OPD는 8 A100 GPU로 약 4시간 동안 Qwen3-1.7B의 성능을 48.3%에서 높인다.이 policy shift는 Qwen3-1.7B, Qwen3-4B, R1-Distill-7B도 향상시키며, post-RL teacher보다 처음부터 성능이 높았던 student도 포함한다.
- 서론: Direct-OPD는 더 강한 student의 자체 on-policy state에서 policy shift를 평가함으로써 weak-model RL이 유도한 향상을 전달한다.이는 small-model RL을 약한 teacher의 최종 policy를 복사하는 대신, 암묵적 보상을 저렴하게 생성하는 방법으로 취급한다.
- 서론: RL 전후의 약한 모델을 대조하면 기존 선호를 제거하고 RL에 의해 변화한 행동만 보존할 수 있다.KL-regularized RL objective에서 이 log-ratio shift는 약한 모델을 학습시킨 보상과 수학적으로 동등하다.
- 서론: Direct-OPD는 두 teacher pair에 걸쳐 테스트한 모든 student를 향상시키며, teacher와 student 사이의 높은 top-k overlap을 요구하지 않는다.이 논문은 암묵적 보상이 validation accuracy와 계속 정렬되고 서로 다른 thinking pattern 사이에서 전달되는 response-length 및 KL 조건을 식별한다.
- 서론: RL step을 맞추면 1.5B 모델을 학습한 뒤 Direct-OPD로 전달하는 방식이 R1-Distill-7B에서 accuracy와 compute 모두 직접 RL보다 뛰어나다.이는 더 큰 target model에서 rollout이 느려지고 RL iteration 비용이 증가해 발생하는 scaling bottleneck을 해결한다.
2 Direct On-Policy Distillation
Direct-OPD는 teacher의 최종 분포를 모방하는 대신, weak teacher의 post-RL checkpoint와 pre-RL checkpoint 사이의 RL-induced policy shift를 전이한다. 이 implicit reward를 stronger student 자신의 on-policy prefix에 적용하며, target model에서 sparse-reward RL을 수행하지 않고 dense token-level top-k supervision을 사용한다.
- 전이할 신호: Direct-OPD는 teacher의 policy shift ∆T = log πT − log πTref를 전이한다. 이는 RL-induced direction을 분리하며, scale과 prompt별 상수항을 제외하면 implicit reward로 작동한다.이 신호는 teacher의 absolute output distribution이 아니라 post-RL/pre-RL checkpoint pair에서 읽어낸다.
- 이상화한 sequence-level objective: 이상화한 objective에서 student는 자신의 initialization πS에 고정된 채 teacher의 implicit reward를 사용하는 KL-regularized RL을 수행하는 것처럼 최적화된다.이를 통해 verifiable reward를 조회하거나 target에서 sparse-reward RL을 수행하지 않고, checkpoint pair만으로 reward와 같은 supervision을 전부 재사용한다.
- Sequence에서 token level로: Sequence shift는 dense token rewards rt(v) = log πT(v | st) − log πTref(v | st)로 분해된다. RL이 장려한 token에는 양수, 억제한 token에는 음수다.Direct-OPD는 zero-discount surrogate를 사용해 student가 방문한 prefix에서 각 candidate token에 즉각적인 shift만큼 credit을 부여한다.
- Analytical top-k policy gradient: Direct-OPD는 supervision을 student의 top-k candidate action으로 제한하고 full reward distribution에 대해 Rao–Blackwellizes하여, trajectory sampling은 on-policy로 유지하면서 token-sampling variance를 줄인다.Weighted reward는 stop-gradient detach되어 scalar coefficient로 기능하며, student는 standard KL penalty로 계속 고정된다.
- Adaptive KL control: Checkpoint에서 유도한 shift는 관측할 수 없는 teacher-dependent scale을 가지므로, Direct-OPD는 student-weighted dense shift의 running sign을 사용해 student KL coefficient α를 조정한다.Default controller는 ϵ = 0.01을 사용하고 α를 [0.5, 2.5]로 clip한다.
3 실험
교사 쌍과 학생 모델군 전반에서 Direct-OPD는 RL로 유도된 policy shift를 전달해 더 강한 학생 모델을 개선하며, post-RL 교사를 이미 능가하는 학생도 포함한다. RL-step 예산을 맞추면, 소형 모델에서 RL을 수행한 뒤 Direct-OPD를 적용하는 방식이 더 낮은 transfer cost로 대형 모델에 직접 RL을 수행하는 것보다 우수하며, 독립적으로 학습된 shift를 순차적으로 조합할 수도 있다.
- 3.1 모델군 간 transfer: Direct-OPD는 교사 쌍과 학생 모델군 전반에서 학생 모델을 개선하며, post-RL JustRL 교사를 이미 능가하는 R1-Distill-7B 및 Qwen3-4B 학생도 포함한다.QuestA transfer는 서로 다른 교사 모델군, training pipeline, data source, post-RL checkpoint를 가로지르는 robustness check를 제공한다.
- 3.2 Step 일치 비교: 1500-step RL run은 R1-Distill-1.5B에서 32 A100 GPUs로 약 160 hours, R1-Distill-7B에서 약 320 hours가 걸리는 반면, Direct-OPD는 8 A100 GPUs에서 약 4 hours를 추가한다.transfer stage는 짧은 training run만 필요하므로 RL cost에 비해 무시할 수 있는 수준으로 설명된다.
- 3.2 Step 일치 비교: Direct-OPD는 RL-step 예산을 맞춘 조건에서 더 큰 target에 직접 RL을 수행하는 것보다 우수하며, 더 짧은 wall-clock training path를 따른다.비교에서는 R1-Distill-1.5B에서 RL을 수행한 뒤 그 policy shift를 R1-Distill-7B로 transfer하는 방식과, R1-Distill-7B에서 직접 RL을 수행하는 방식을 비교한다.
- 3.2 동일 step 비교: Direct-OPD의 유용성은 소형 teacher의 RL checkpoint에 좌우된다. checkpoint마다 서로 다른 policy shift를 담고 있어 larger student에 똑같이 유용하지 않기 때문이다.전이된 signal은 step 300, 600, 900, 1200, 1500의 R1-Distill-1.5B checkpoint를 사용해 평가한다.
- 3.2 Step 일치 비교: Qwen3-1.7B에서 수행한 100-step RL run을 Qwen3-4B-nonthinking으로 transfer하면 AIME 2025에서 0.635 direct-RL level에 도달한다.이는 소형 모델 run이 더 강한 4B target에 유용한 RL 방향을 복원할 수 있음을 보여준다.
- 3.3 순차적 조합: Direct-OPD는 독립적으로 학습된 두 policy shift를 동일한 학생 모델에 순차적으로 조합하며, 서로 다른 RL run이 서로 다른 능력을 기여한다.Qwen3-1.7B는 먼저 R1-Distill-1.5B →JustRL-1.5B signal을 받고, 이어서 Nemotron-1.5B →QuestA-Nemotron-1.5B signal을 받는다.
4 분석 및 학습 동역학
Direct-OPD는 점진적 모방 없이 teacher의 RL 유도 policy shift를 전이하고, 짧은 supervised prefix를 넘어 일반화하며, pair-dependent KL control의 이점을 얻는다. 이러한 동역학은 전이가 student의 rollout distribution 내 정보성 local signal에 의존함을 보여준다.
- 4.1 무엇이 전이되는가?: cross-pattern teacher–student overlap이 여전히 낮더라도 Direct-OPD는 student가 방문한 token에서 RL 유도 방향을 전이하며, 어느 teacher checkpoint도 점진적으로 모방하지 않는다.Pattern-aligned transfer는 더 높은 overlap regime에 진입하지만, cross-pattern gain은 post-RL teacher 또는 reference와의 overlap이 증가하지 않아도 발생한다.
- 4.1 무엇이 전이되는가?: 제어된 actor entropy와 좁아지는 teacher/reference entropy gap은 actor collapse나 full-policy imitation이 아니라 student의 distribution 내 local policy-shift transfer를 뒷받침한다.진단 결과는 학습이 teacher의 RL 유도 shift를 평가하기 위해 student가 sampling하는 위치를 바꾸면서도 그 distribution을 제어된 상태로 유지함을 보여준다.
- 4.2 Short-Horizon Generalization: 2k-token training response로 40 step을 수행하면 훨씬 긴 rollout 전반에서 actor가 teacher 방향으로 이동하는 반면, 6k training은 45.6으로 2k의 48.8보다 낮은 성능을 보인다.6k horizon은 진단을 더 진행시키지만 신뢰하기 어려운 late-prefix signal을 과도하게 강조할 수 있다. 중간 정도의 horizon은 이러한 불안정성 없이 신뢰할 수 있고 전이 가능한 signal을 포착한다.
- 4.3 KL Adaptation: Fixed-KL sweep은 최적 constraint strength가 teacher–student pair마다 다르다는 것을 보여주므로, dense teacher/reference reward는 rollout distribution과 독립적으로 최적화할 수 없다.더 큰 positive dense reward는 한 설정에서는 최상의 validation과 함께 나타나지만, 다른 설정에서는 더 나쁜 validation과 일치한다.
- 4.3 KL Adaptation: Adaptive KL은 처음에는 dense reward를 교정한 뒤 이를 zero를 향해 이동시켜, 신뢰하기 어렵거나 무시되는 shift를 장려하는 대신 teacher/reference 비교가 여전히 유효한 영역에 student를 유지한다.지속적으로 큰 positive 또는 negative reward는 student가 유용한 regime를 벗어났음을 나타낼 수 있다.
5 관련 연구
Direct-OPD는 on-policy distillation, weak-to-strong generalization, implicit-reward 방법론을 기반으로 하면서 weight-space model reuse와는 구별된다. 핵심 신호는 더 강한 student의 자체 on-policy states에 적용되는 behavioral policy/reference log-ratio다.
- Reasoning model의 on-policy distillation: Direct-OPD는 on-policy distillation을 확장한 방법으로, reinforcement learning with verifiable rewards가 만들어 낸 reasoning-model 개선을 전이하는 현대적 접근이다.이 연구는 classic, sequence-level, modern LLM distillation 방법을 아우르는 더 넓은 knowledge-distillation 연구의 맥락에 놓인다.
- Weak-to-strong generalization: 이 방법은 신뢰할 수 있는 supervision이 부족한 상황에서 weak supervisor를 사용해 더 강한 model의 capability를 끌어내는 weak-to-strong generalization 문제를 다룬다.이는 scalable oversight, imperfect supervision으로부터의 learning, latent-knowledge elicitation, easy-to-hard generalization과 연결된다.
- Implicit reward와 trained model 재사용: Direct-OPD는 post-RL checkpoint와 reference의 log-ratio에서 dense implicit reward를 읽어 policy-as-reward identity를 역으로 적용한다.동일한 identity는 explicit reward model 없이 policy를 학습하는 preference-optimization 방법의 기반이 되며, Direct-OPD를 reasoning을 위한 dense reward 및 process reward와 연결한다.
- Implicit reward와 trained model 재사용: task arithmetic, model merging, proxy tuning과 달리 Direct-OPD는 student 자체의 on-policy states에서 weight delta가 아니라 behavioral log-ratio를 전이한다.이 설계는 model family와 scale을 가로질러 전이하는 것으로 설명된다.
6 결론 및 한계
Direct-OPD는 post-RL policy를 모방하는 대신 소규모 RL teacher가 학습한 policy shift를 dense reward로 전달해 weak-to-strong generalization을 가능하게 한다. 이 접근법은 teacher pair와 student family 전반에서 더 강한 student를 향상시키며, 더 적은 compute로 step-matched direct RL을 능가한다.
- 결론: Direct-OPD는 teacher의 pre-RL reference 대비 log-ratio를 student가 방문한 token에 대한 dense reward로 사용한다.전달 가능한 대상은 teacher의 최종 post-RL policy가 아니라 teacher의 policy shift다.
- 결론: 더 작고 약한 RL teacher도 더 강한 student를 향상시킬 수 있다. Direct-OPD가 model policy가 아니라 teacher의 policy shift를 전달하기 때문이다.
- 결론: Direct-OPD는 teacher pair와 student family 전반에 걸쳐 전달되며, step-matched direct RL을 능가하고 compute의 일부만을 요구한다.
A. 실험 세부사항
Direct-OPD는 학습 rollout과 평가에 DAPO-style prompt를 사용해 Skywork-OR1-RL-Data [15]의 수학 subset으로 학습한다. 실험의 평가, Direct-OPD, RL-teacher/direct-RL protocol은 Tables 2–4에 제시되며, DAPO-Math-17K를 사용한 경우에도 transfer 양상은 유사하다.
- 데이터와 prompt: Direct-OPD 학습과 평가는 최종 standalone Answer 행을 요구하는 DAPO-style step-by-step prompt와 함께 Skywork-OR1-RL-Data [15]의 수학 subset을 사용한다.이 prompt는 학습 rollout과 평가 prompt 모두에 사용된다.
- 데이터와 prompt: DAPO-style prompt는 teacher RL에 사용되는 boxed-answer prompt와 다르며 slightly better transfer를 제공하므로, 논문 전체에서 이를 사용한다.prompt를 유지한 채 Skywork 학습 데이터를 DAPO-Math-17K로 교체해도 유사한 transfer 경향이 나타난다.
- 평가 및 학습 설정: 평가는 Table 2에 요약된 protocol을 사용하며, 기본 Direct-OPD와 RL-teacher/direct-RL 학습 설정은 Tables 3과 4에 제시된다.Table 4는 Yang et al. [64]의 math GRPO 설정을 따르며, R1-Distill과 Qwen3-nonthinking 실행에서는 teacher batch size가 다르다.
B. 추가 엔트로피 진단
추가 엔트로피 진단은 QuestA-Nemotron을 Qwen3-1.7B로 distill한 경우의 student, teacher, reference, teacher-minus-reference 엔트로피를 검토한다. Figure 6과 함께 보면 non-collapse 패턴이 JustRL teacher pair에만 특유한 현상이 아님을 보여준다.
- B. 추가 엔트로피 진단: 진단에서는 student 엔트로피, post-RL teacher 엔트로피, teacher-reference 엔트로피, teacher 엔트로피에서 reference 엔트로피를 뺀 값을 비교한다.이 양들은 QuestA-Nemotron을 Qwen3-1.7B로 distill한 결과를 다루는 figure의 여러 패널에 제시된다.
- B. 추가 엔트로피 진단: Figure 6과 함께 보면 진단 결과는 non-collapse 패턴이 JustRL teacher pair에만 특유한 현상이 아님을 보여준다.
- B. 추가 엔트로피 진단: 분석 대상은 QuestA-Nemotron-to-Qwen3-1.7B teacher–student pairing이다.
C. 추가 결과
이 절에서는 AIME 2025의 cross-pattern transfer에 대한 QuestA transfer curves를 제시하고, 이에 대응하는 AIME 2024 곡선은 본문에 나와 있음을 언급한다.
- 추가 결과: cross-pattern transfer 설정에서 QuestA transfer curves를 평가한다.제공된 그림은 수치 결과를 보고하기보다 transfer 동작을 다룬다.
- 추가 결과: 평가에는 AIME 2025를 사용한다.
- 추가 결과: 이에 대응하는 AIME 2024 곡선은 본문에 보고되어 있다.