Weak-to-Strong Generalization via Direct On-Policy Distillation

1 서론

• RLVR은 매번 갱신할 때마다 정책으로 생성한 롤아웃이 필요하므로 대상 모델이 커질수록 비용이 증가한다. 따라서 비용이 낮은 약한 모델에서 RL을 수행하는 대안이 부각된다.Direct-OPD는 약한 모델을 학생보다 추론 능력이 뛰어나야 하는 모델이 아니라, RL로 얻은 개선을 저렴하게 전달하는 매개체로 활용한다.출처: §1 · pp. 1–2
• AIME 2024에서 48.3에서 58.3으로 향상: Direct-OPD는 A100 GPU 8개로 약 4시간 만에 Qwen3-1.7B의 성능을 높인다.두 교사 모델 쌍인 R1-Distill-1.5B → JustRL-1.5B와 Nemotron-1.5B → QuestA-Nemotron-1.5B는 학생 모델 Qwen3-1.7B, Qwen3-4B [3], R1-Distill-7B 모두의 성능을 높인다. 뒤의 두 모델은 이미 RL 후 교사보다 성능이 높다. Qwen3-1.7B의 결과는 A100 GPU 32개로 최소 일주일간 직접 RL을 수행한 Polaris와 비슷하다.출처: Figure 1 · p. 2, §1 · pp. 2–3
• 기본 OPD를 적용하면 R1-Distill-7B [1]의 성능은 RL 후 교사 JustRL-1.5B [2]의 51.3을 웃돌던 56.7에서 약 50으로 하락한다.교사의 최종 정책을 모방하면 유용한 RL 유도 변화와 약한 모델의 역량 한계가 뒤섞여, 더 강한 학생의 행동을 덮어쓸 수 있다.출처: §1 · p. 2, Figure 1 · p. 2
• Direct-OPD는 약한 교사의 RL 전후 정책 로그 확률 차이를 학생이 생성한 상태에서 암묵적 보상으로 적용하고, KL로 학생의 초기 정책에 고정한다.정책 변화량 log πT(y | x) − log πTref(y | x)는 RL 이전의 선호를 제거하며, RL이 장려한 응답에는 양수, 억제한 응답에는 음수다. KL 정규화 RL에서 이 변화량을 최적화하면 원래 보상 목적함수의 형태를 복원할 수 있으며, 명시적 보상 모델이나 대상 모델의 희소 보상 RL이 필요하지 않다.출처: §1 · pp. 1–3
• RL 스텝 수가 같을 때, 1.5B 모델에서 RL을 수행한 뒤 Direct-OPD를 적용하면 R1-Distill-7B에서 직접 RL을 수행하는 것보다 정확도와 연산 비용 모두에서 우수하다.출처: §1 · p. 3
• Direct-OPD는 교사와 학생의 top-k 중첩이 높지 않아도 서로 다른 사고 패턴 간에 정책 변화를 전달한다. 응답 길이와 KL 조건이 암묵적 보상과 검증 정확도 사이의 정합성을 결정한다.출처: §1 · p. 3

2.1 예비 지식: 온폴리시 증류

• 온폴리시 증류는 교사의 다음 토큰 분포로 학생이 생성한 궤적을 지도한다. Direct-OPD는 학생의 top-k 인터페이스를 유지하면서 더 작거나 약한 교사를 사용할 수 있게 한다.top-k KL 추정량은 유지된 지지집합에서 교사와 학생의 확률을 재정규화한다 [5].출처: §2.1 · p. 3

2.2 암묵적 보상으로서의 정책 변화

• Direct-OPD는 교사의 출력 분포 자체를 모방하는 대신, RL 이전 참조 모델 대비 RL 이후 교사의 정책 확률의 로그 비율을 전이한다.교사가 KL 정규화된 최적해라고 가정하면, 이 비율로 양의 배율과 프롬프트별 상수의 차이를 제외한 암묵적 보상을 복원할 수 있다. 이는 Direct Preference Optimization [6]의 기반인 정책–보상 항등관계를 역으로 적용해 기존 체크포인트에서 보상에 해당하는 신호를 추출하는 것이다.출처: §2.2 · pp. 3–4

2.3 Direct-OPD 목적함수

• Direct-OPD는 학생 자체의 초기 정책을 기준으로 KL 정규화를 적용하면서 교사의 정책 변화 신호를 최적화하며, 검증 가능한 보상을 조회하거나 대상 모델에서 희소 보상 RL을 실행하지 않는다.따라서 이상화된 시퀀스 수준 목적함수는 교사의 암묵적 보상을 학생의 RL 보상으로 사용하되, 학생의 초기 체크포인트를 참조 모델로 유지한다.출처: §2.3 · p. 4
• 시퀀스 수준의 변화는 토큰별 로그 비율로 정확히 분해되며, 이를 재정규화된 학생의 top-k 행동으로 제한한 할인율이 0인 대리 목적함수에서 즉시 보상으로 사용한다.양의 변화는 교사의 RL이 장려한 토큰에 보상을 주고, 음의 변화는 억제한 토큰에 페널티를 준다. 실제 대리 목적함수는 이후 변화에 걸친 미래 수익 대신 각 후보의 즉시 변화에 따라 보상을 부여한다.출처: §2.3 · p. 4
• 해석적 top-k 정책 경사는 후보 행동에 대해 평균을 내어, 샘플링된 궤적은 유지하면서 단계별 토큰 샘플링 분산을 제거한다.학생 확률로 가중한 보상은 미분 계산에서 분리해 스칼라 계수로 사용함으로써 추가적인 softmax 야코비안 항을 피한다. 구현에서는 KL을 해석적으로 미분하는 대신 verl의 표준 KL 페널티로 학생이 초기 정책에서 크게 벗어나지 않도록 한다.출처: §2.3 · p. 5

2.4 적응형 KL 제어

• 체크포인트 쌍은 전이되는 보상 척도를 고정하지만, 그 바탕이 된 보상이나 교사의 KL 예산은 드러내지 않으므로 모든 학생에 통용되는 KL 계수를 사전에 보정할 수 없다.학생은 자신이 방문한 접두 시퀀스와 유지한 top-k 행동을 통해 이 고정 신호가 평가되는 위치에 영향을 줄 뿐, 토큰 수준 보상 자체에는 영향을 주지 않는다.출처: §2.4 · p. 5
• 적응형 KL 제어는 특정 KL 값을 목표로 삼는 대신, 학생 확률로 가중한 평균 변화가 양수이면 KL 계수를 높이고 음수이면 낮춘다.각 행동자 업데이트 전에 계수에 1 + ϵ sgn(mean shift)를 곱한 뒤 범위를 제한한다. 기본값은 ϵ = 0.01이며 범위는 [0.5, 2.5]다. 평균 변화가 0이면 계수를 그대로 유지한다.출처: §2.4 · pp. 5–6

3.1 작은 RL 교사가 훨씬 강한 학생을 개선한다

• Direct-OPD는 여러 교사 쌍을 활용해 학생 모델을 개선하며, 여기에는 초기 정확도부터 RL 후 JustRL 교사를 능가하는 R1-Distill-7B와 Qwen3-4B도 포함된다.이 결과는 교사의 전체 정책을 모방하기보다 RL로 얻은 개선 방향을 전이하는 접근을 뒷받침한다. QuestA는 이미 AIME 성능이 높으므로 엄밀한 의미의 더 약한 교사와의 비교가 아니라, 학습 파이프라인과 데이터 출처가 달라도 효과가 유지되는지 확인하는 역할을 한다.출처: §3.1 · p. 6, Figure 2 · p. 7

3.2 약한 모델에서 강한 모델로의 일반화가 RL을 능가한다

• 1500스텝 RL에서 R1-Distill-1.5B와 R1-Distill-7B의 소요 시간은 약 160시간 대 320시간으로 전자가 유리하며, Direct-OPD에는 약 4시간만 더 든다.작은 모델의 RL에는 A100 GPU 32개를, 전이에는 A100 GPU 8개를 사용한다. 전이는 학습이 짧고 작은 교사의 점수 계산이 병목이 아니므로 비용이 적다. 저자들은 작은 모델의 RL이 더 안정적이고 쉽다고도 설명한다.출처: §3.2 · pp. 8–9

3.2 약한 모델에서 강한 모델로의 일반화는 RL을 능가한다

• 동일한 RL 스텝 수 조건에서 소형 모델 RL 후 Direct-OPD를 적용하면, R1-Distill-7B에 직접 RL을 수행할 때보다 R1-Distill-7B의 성능이 더 크게 향상된다.후반 시점의 전이인 T600–T1500도 AIME 2025에서 경과 시간이 비슷한 직접 RL보다 우수하다. 전이는 대형 학생 모델 자체의 on-policy 상태에서 소형 교사 모델과 참조 모델 간 로그 비율을 평가해, 소형 모델 RL이 발견한 개선 방향을 재사용한다.출처: §3.2 · pp. 7–8, Figure 3 · p. 8

3.2 약한 모델에서 강한 모델로의 일반화가 RL을 능가한다

• Qwen3-4B-nonthinking은 Qwen3-1.7B의 RL 정책 변화를 전이받아 직접 RL과 같은 AIME 2025 정확도 0.635에 도달한다.작은 모델의 RL은 100스텝 동안 진행된다.출처: Figure 3 · p. 8, §3.2 · p. 8
• 교사 체크포인트 선택이 중요하다. T300이 전이하는 변화는 T900–T1500보다 약하며, 각 변화의 유용성은 더 큰 학생 모델의 상태 분포에서 서로 다르다.실험에는 DAPO로 학습한 R1-Distill-1.5B의 300, 600, 900, 1200, 1500스텝 체크포인트를 사용하며, 각각을 기본 모델과 짝짓는다.출처: §3.2 · pp. 7–8, Figure 3 · p. 8

3.3 순차적 합성

• Direct-OPD는 JustRL의 신호를 먼저, QuestA의 신호를 나중에 적용해 독립적으로 학습한 정책 변화를 Qwen3-1.7B에 순차적으로 합성한다.R1-Distill-1.5B →JustRL-1.5B의 변화를 먼저 전이한 뒤 Nemotron-1.5B →QuestA-Nemotron-1.5B의 변화를 전이하며, AIME 2024와 AIME 2025에서 평가한다. 단계 경계의 작은 불연속은 학습의 불연속이 아니라 별도로 추출한 평가 표본에서 비롯된다.출처: §3.3 · p. 9, Figure 4 · p. 9

4.1 토큰 중복률 모방 없는 패턴 간 전이

• 패턴 간 Direct-OPD는 어느 교사 체크포인트와도 토큰 중복률을 점진적으로 높이는 모방 없이 성능을 개선한다.기존 OPD 연구는 고확률 토큰의 정렬을 강조한다 [5]. 패턴이 일치하는 전이에서는 중복률이 더 높지만, 패턴 간 전이에서는 중복률이 낮게 유지되며 참조 모델과의 중복률도 이를 보완할 만큼 높아지지 않는다. 반면 Direct-OPD는 학생이 방문한 상태에서 후보 토큰의 교사/참조 모델 로그 비율을 평가해 학생의 지지집합 내 행동의 순위를 매긴다.출처: §4.1 · pp. 9–10, Figure 5 · p. 10
• 액터 엔트로피는 붕괴하지 않고 제어된 수준을 유지하며, 학습 중 교사/참조 모델 간 엔트로피 격차는 줄어든다.이 진단 결과는 낮은 엔트로피로의 퇴행적 첨예화나 교사 정책 전체의 모방보다 국소적 정책 변화의 전이를 뒷받침한다.출처: §4.1 · p. 10, Figure 6 · p. 11

4.2 짧은 구간의 학습이 더 긴 롤아웃의 행동을 바꾼다

• 학습 40단계 후 AIME 2024/2025 검증 정확도(ave@32)는 48.8 대 45.6으로, 실험한 응답 길이 중 2k가 최고, 6k가 최저다.KL=1로 고정하면 2k로 학습한 액터는 지도받은 구간을 넘어 약 16k의 롤아웃 위치에 걸쳐 교사의 정책 변화 방향으로 이동한다. 응답 구간이 길면 후반부의 분포 밖 접두부에서 나오는 불확실한 신호가 증폭될 수 있고, 지나치게 짧으면 유용한 신호를 충분히 포착하지 못한다.출처: §4.2 · pp. 11–13, Figure 8 · p. 12

4.3 KL이 교사 정책 변화 보상의 신뢰도를 제어한다

• KL은 학생이 방문하는 롤아웃 상태를 결정해 교사 정책 변화 보상의 신뢰도를 제어한다.KL이 너무 작으면 두 교사 체크포인트 모두 낮은 확률을 부여하는 영역으로 이탈할 수 있어 로그 비율에 잡음이 커진다. KL이 너무 크면 학생이 교사의 정책 변화를 따르지 못한다.출처: §4.3 · p. 13
• 최적의 고정 KL 계수는 교사–학생 쌍에 따라 달라지며, 밀집 보상이 크다고 검증 성능도 일관되게 좋아지지는 않는다.따라서 밀집 보상을 롤아웃 분포와 무관하게 최대화해서는 안 된다. 보상의 유용성은 모델 쌍과 학생이 표본을 추출하는 영역에 달려 있다.출처: Figure 9 · p. 13, §4.3 · pp. 13–14
• 적응형 KL은 초기 보정 단계 이후 평균 밀집 토큰 보상을 0에 가깝게 이동시킨다.이는 신뢰하기 어려운 불일치를 이용하기보다 교사/참조 모델 간 비교가 유의미하게 유지되도록 한다는 해석과 부합한다. 배치 평균이 0에 가깝다는 것은 전역적 이탈 없이도 국소적 토큰 변화로 행동의 순위를 매길 수 있는 균형 상태를 시사한다.출처: §4.3 · p. 14

추론 모델의 on-policy 증류

• Direct-OPD는 교사의 최종 정책 대신 RL로 유도된 정책 변화를 전달해 약한 교사의 표현력 한계를 피한다.기존 분석은 OPD의 성공을 교사와 학생 간 top-k 중첩과 연결하고 [5], 훨씬 강한 추론 모델을 모방하기 어렵다는 점을 밝히며 [63], OPD를 보상 재조정과 KL 제약을 적용한 RL로 재해석한다 [64].출처: §5 · p. 14

약한 모델에서 강한 모델로의 일반화

• Direct-OPD는 약한 레이블이나 분포를 감독 신호로 쓰는 대신, 소형 모델의 RL 전후 체크포인트 쌍을 활용해 RL 이후 교사보다 이미 강한 학생을 개선한다.약한 모델에서 강한 모델로의 일반화는 약한 감독으로 더 강한 모델의 능력을 끌어내려는 접근이며 [65], 자기 보상은 모델 자신의 판단을 바탕으로 모델을 점진적으로 개선한다 [92]. 가장 유사한 선행 연구는 정렬된 약한 모델의 암묵적 보상을 더 강한 모델의 선호도 최적화에 재사용한다 [93].출처: §5 · p. 14

암묵적 보상과 학습된 모델의 재사용

• KL 정규화 RL에서는 정책/참조 정책의 로그 비율로 상수항을 제외한 보상을 복원할 수 있다. Direct-OPD는 이 항등식을 역으로 활용해 조밀한 감독 신호를 추출한다.Direct Preference Optimization과 그 변형은 이 항등식을 활용해 명시적 보상 모델 없이 선호도로부터 정책을 학습한다 [6] [94] [95] [96]. Direct-OPD는 조밀한 보상 및 과정 보상 [97] [98] [99], 토큰별 기여도 할당 [100] [101]과 연결되면서도 명시적 모델에서 발생하는 보상 과최적화를 피한다 [102].출처: §5 · p. 14
• 과제 산술, 모델 병합, 프록시 튜닝을 통한 가중치 공간에서의 재사용 [103] [104] [105]과 달리, Direct-OPD는 학생이 방문한 상태에 행동 로그 비율을 적용해 모델 계열과 규모를 넘나드는 전이를 가능하게 한다.전이 신호는 가중치 차이가 아니라 행동 로그 비율이다.출처: §5 · p. 15

결론

• Direct-OPD는 다양한 교사 체크포인트 쌍과 학생 모델 계열에 걸쳐 전이되며, 훨씬 적은 연산량으로 학습 스텝 수를 맞춘 직접 RL보다 우수한 성능을 보이고, 여러 교사의 정책 변화를 합성할 수 있다.이 결과는 RL의 산물을 모방할 최종 모델이 아니라 재사용 가능한 개선 신호로 바라보게 한다.출처: §6 · p. 15
• Direct-OPD는 교사의 최종 정책 대신, 학생이 방문한 토큰에서 평가한 RL 이후 교사와 동일 교사의 RL 이전 참조 모델 간 로그 비율을 전이한다.이 정책 변화는 밀집 보상을 제공하며, 이를 통해 더 작고 약한 교사가 더 강한 학생을 개선할 수 있다.출처: §6 · p. 15

한계

• 학생이 방문한 상태에서 참조 모델 대비 교사의 개선이 유의미하지 않으면 Direct-OPD는 실패할 수 있다.최적의 응답 길이와 KL 강도 역시 교사–학생 조합에 따라 달라진다.출처: §6 · p. 15

Direct-OPD 데이터와 프롬프트

• 최종 Direct-OPD 실험은 Skywork-OR1 [15]과 함께 공개된 Skywork-OR1-RL-Data의 수학 하위 집합을 사용한다.프롬프트 형식을 유지한 채 데이터셋을 DAPO-Math-17K로 바꿔도 유사한 전이 경향이 나타나므로, 전이가 특정 훈련 데이터셋에 국한되지 않음을 시사한다.출처: A. Experimental Details · p. 22
• 훈련 롤아웃과 평가는 단계별 풀이와 “Answer:” 뒤 별도 줄에 최종 답을 쓰도록 요청하는 동일한 프롬프트를 사용한다.템플릿에는 지정된 답변 형식을 따르라는 명시적인 주의 문구가 포함된다.출처: A. Experimental Details · p. 22
• DAPO 방식의 프롬프트는 교사 모델의 RL에서 사용한, 답을 상자로 감싸는 프롬프트보다 약간 더 높은 전이 성능을 보여 실험 전반에 사용한다.프롬프트 템플릿 간 차이는 이 연구의 초점이 아니다.출처: A. Experimental Details · p. 22

• QuestA-Nemotron의 진단 결과와 Figure 6은 붕괴가 발생하지 않는 양상이 JustRL 교사 모델 쌍에만 국한되지 않음을 보여준다.출처: Figure 10 · p. 23
• Figure 10은 QuestA-Nemotron에서 Qwen3-1.7B로 전이할 때 학생 모델의 엔트로피, RL 이후 교사 모델의 엔트로피, 교사 참조 모델의 엔트로피를 제시한다.출처: Figure 10 · p. 23
• 별도 패널은 교사 모델의 엔트로피에서 참조 모델의 엔트로피를 뺀 값을 제시한다.출처: Figure 10 · p. 23

C. 추가 결과

• Figure 11은 AIME 2025에서의 QuestA 교차 패턴 전이 곡선을 보여주며, 본문에 보고된 AIME 2024의 해당 곡선을 보완한다.제공된 캡션은 수치 결과를 보고하거나 성능 비교를 제시하지 않는다.출처: Figure 11 · p. 24