The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes

1 서론

• OPD 는 학생이 샘플링한 궤적에 교사의 지도 신호를 제공한다. 반면 OPSD 는 추가 특권 정보를 조건으로 하는 학생 자체를 교사로 사용한다.특권 정보에는 정답, 시스템 프롬프트, 사용자 선호 등이 포함될 수 있다.출처: §1 · p. 1
• 문맥 내재화와 추론에서 자기 증류가 성공했다는 선행 결과 는 불안정성과 성능 저하를 보고한 결과 와 상반되며, 이러한 차이가 이 연구의 동기가 되었다.이 연구는 OPD와 OPSD가 언제 작동하고 언제 실패하며, 어떤 메커니즘이 그 차이를 설명하는지 묻는다.출처: §1 · p. 1
• OPD가 추론에 주는 이점은 조건부이며, OPSD는 실험한 수학 과제에서는 실패하지만 시스템 프롬프트 내재화와 정렬에서는 성공한다.추론 과제의 OPD에서는 길이 폭증, 반복, 교사–학생 간 불일치가 나타날 수 있다. OPSD가 성공하는 설정에서는 특권 정보가 공통된 잠재 행동을 유도하며, 이 행동을 테스트 시 PI 없이 작동하는 정책으로 압축할 수 있다.출처: §1 · p. 2
• OPSD는 PI를 조건으로 하는 여러 교사를 종합해 PI 없는 단일 합의 정책을 학습하지만, 특권 정보가 개별 사례에 고유할 때는 이것만으로 충분하지 않다.이러한 종합의 한계는 개별 사례에 고유한 특권 정보가 성공적인 내재화와 정렬의 바탕이 되는 공통된 잠재 행동과 다름을 보여준다.출처: §1 · p. 2
• 학생이 생성한 접두부는 교사의 지도 신호를 학생 궤적과 국소적으로 양립할 수 없게 만들 수 있으며, Top-K reverse-KL 근사는 편향된 기울기를 도입해 최적화를 불안정하게 만들 수 있다.이 두 가지는 OPSD가 특권 정보를 조건으로 하는 교사들을 종합하는 데서 생기는 한계 외에 추가로 나타나는 실패 메커니즘이다.출처: §1 · p. 2
• 제안하는 안정화 방안은 stop-gradient Top-K KL, RLVR로 적응시킨 교사, 학생 SFT를 결합한다.stop-gradient 대리 목적함수는 편향된 기울기 항을 제거한다. RLVR 적응은 교사의 과제 성능을 개선하는 데 초점을 맞추고, 학생 SFT는 출력 형식의 적합성과 응답 길이의 안정성을 개선하는 데 초점을 맞춘다.출처: §1 · p. 2

온폴리시 증류와 맥락 증류

• 온폴리시 증류는 학생이 샘플링한 궤적에 조밀한 교사 감독 신호를 제공하며, Agarwal et al. 에서 표준 오프폴리시 증류보다 우수한 성능을 보였고 수학적 추론에서도 효과를 입증했다.반면 맥락 증류는 문맥 내 행동을 모델 파라미터로 전이한다.출처: §2 · p. 2
• 맥락 증류는 지시와 지식을 지속적으로 유지되는 능력으로 내재화하며, 최근 연구는 온폴리시 증류를 지속 학습으로 확장했다.출처: §2 · p. 2
• OPSD는 학생으로부터 교사를 구성하며 특권 정보가 필수인 반면, OPD는 더 강력한 교사를 사용하며 특권 정보는 선택 사항이다.Figure 2는 모드 추구형 역방향 KL과 모드 포괄형 순방향 KL도 대비한다.출처: Figure 2 · p. 3

텍스트 피드백 기반 강화학습

• 텍스트 피드백은 중간 단계의 행동과 에이전트 역량을 개선하며, POPE 는 특권 정보를 활용한 지도로 어려운 추론 문제에서 탐색을 개선한다.이 접근법들은 스칼라 보상을 넘어 강화학습을 확장한다. 반면 이 논문은 온폴리시 증류 목적함수를 통해 추가 텍스트 정보를 활용하는 방식을 연구한다.출처: §2 · p. 3

• OPD는 더 강력한 외부 교사를, OPSD는 학생에서 파생되고 특권 정보가 추가된 교사를 사용하며, 둘 다 학생이 생성한 궤적에 토큰 수준의 감독을 제공한다.교사는 학생이 생성한 각 접두 시퀀스에 감독을 제공하며, 특권 정보가 있으면 이를 조건으로 사용한다.출처: §3 · p. 3
• 전체 어휘에 대한 역방향 KL은 모드 추구적이며 학생이 높은 확률을 부여하는 모드를 유지하는 경향이 있다. 순방향 KL은 교사의 모드를 포괄하며 학생이 낮은 확률을 부여하는 토큰 쪽으로 유도한다.역방향 KL은 파국적 망각이 발생할 가능성이 더 낮다. 정규화하지 않은 Top-20 역방향 KL에서는 출력이 장황해지다가 응답 길이가 한계에 이르면 “maybe”를 반복하고, 평가 정확도가 하락하며 반복 비율이 1에 가까워진다.출처: §3 · p. 3, Figure 4 · p. 4
• 샘플링된 토큰에 대한 KL은 학생에서 샘플링한 토큰을 사용하며, 교사와 학생 간 로그 확률 차이를 advantage로 간주한다.출처: §3 · p. 3
• OPSD는 OpenThoughts로 학습한 Qwen3-1.7B의 성능을 개선하지 못한다.출처: Figure 3 · p. 4

4.1 수학 추론

• 수학 OPSD는 답만 주거나 전체 응답을 주는 특권 정보 어느 쪽을 사용해도 Math500, AIME24, AIME25에서 안정적인 개선이 없다.Qwen3-1.7B, step-0 교사 모델, stopgrad Top20 reverse KL을 사용해 OpenThoughts에서 학습하면 전체 응답 PI가 답만 제공하는 PI보다 성능이 낮다. 이는 더 풍부한 PI가 불일치를 키울 수 있음을 시사한다. GRPO로 학습한 전체 응답 PI 교사 모델을 사용하면 성능이 더 나빠진다.출처: §4.1 · p. 4
• OPD는 초기에 성능이 향상되지만 step 1000에 이르면 “maybe”를 반복하는 출력으로 붕괴하며, Math500, AIME24, AIME25의 정확도가 거의 0이 된다.Qwen3-1.7B 학생 모델과 Qwen3-8B 교사 모델에서 thinking을 비활성화하고 정규화하지 않은 Top20 reverse KL을 사용할 때 나타난다. step 700 무렵 롤아웃 길이와 수정 토큰이 급증하며, 반복이 늘고 교사–학생 간 중첩이 급감한다.출처: §4.1 · p. 4

4.2 정렬 및 시스템 프롬프트 내재화.

• 동일한 샘플링 예산에서 OPSD는 CharacterBench 와 EmotionBench 에서 GRPO와 PPO보다 성능이 높고 더 빠르게 수렴한다.교사 모델에는 질문별 정렬 프롬프트를 특권 정보로 제공한다.출처: §4.2 · pp. 4–5, Figure 5 · p. 5
• OPSD는 추론 정확도를 유지하면서 응답을 크게 줄이고 길이 페널티를 적용한 GRPO보다 샘플을 효율적으로 사용하지만, 충분한 역량을 갖춘 모델이 필요하다.8B 규모 모델은 충분한 역량을 제공하며, 이는 과 일치한다. 최종 답을 얻으려면 긴 생성이 필요한 RL과 달리, 토큰별 지도는 더 짧은 롤아웃을 가능하게 한다.출처: Figure 6 · p. 5, §4.2 · p. 5
• Qwen3-1.7B와 Wildguardmix 를 사용한 안전성 정렬 실험에서 OPSD는 초반에 빠르게 개선되지만 결국 교사 모델의 성능에 제한된다. 반면 GRPO는 점진적으로 개선되며 OPSD가 포화된 이후에도 성능 향상을 이어간다.앞선 정렬 과제에서 질문별 특권 정보를 사용한 것과 달리, 추론 압축과 안전성 정렬에서는 모든 질문에 걸쳐 고정된 시스템 프롬프트를 특권 정보로 사용한다.출처: §4.2 · p. 5

5.1 OPD는 왜 때때로 실패하는가?

• GPQA-Diamond에서 Qwen3-14B는 학생 모델 Qwen3-1.7B가 생성한 접두부로 조건화하면 정확도 46.0%를 기록해, 단독 실행 시의 정확도 62.1%보다 낮다. 이는 학생 접두부로 조건화할 때 교사의 독립적인 역량에 비해 감독 신호가 약해질 수 있음을 보여준다.학생 접두부는 교사가 독립적으로는 도달하지 않을 추론 상태로 교사를 몰아넣어, 학생의 현재 경로와 교사가 선호하는 경로 사이에 충돌을 일으킬 수 있다. 수학 추론에서는 이런 신뢰하기 어려운 감독 신호가 장황하고 일관성 없는 추론을 유도한다.출처: §5.1 · p. 5
• 비정규화 TopK reverse KL은 교사 확률이 학생 확률의 e배를 초과할 때만 토큰 확률을 높이므로, 교사 확률이 더 높더라도 그 차이가 작은 경우를 억제하며 불안정성을 유발할 수 있다.절단 후에도 기울기의 +1 항이 남아 업데이트 규칙이 달라지며, 학생이 불안정하고 확률이 낮은 후속 생성을 하도록 편향시킬 수 있다.출처: §5.1 · p. 6

5.2 OPSD는 PI 없는 정책을 학습한다.

• OPSD에서 PI 없는 최적 학생 분포는 PI로 조건화된 교사 분포들의 정규화된 기하평균이며, 여러 특권 정보에 걸쳐 공통으로 지지받지 못하는 출력을 억제한다.일부 PI에서는 높은 확률을 받지만 다른 PI에서는 낮은 확률을 받는 출력은 억제된다.출처: §5.2 · pp. 6–7
• Qwen3-8B 교사와 Qwen3-1.7B 학생을 사용할 때 answer-PI와 response-PI OPD 모두 vanilla OPD보다 성능이 낮으며, response-PI의 성능이 가장 낮다.OpenThoughts에서 step-0 증류 손실은 response-PI > answer-PI > vanilla OPD 순으로, PI가 길어지면 감독 신호가 개선되기보다 교사와 학생 간 불일치가 커짐을 시사한다.출처: Figure 10 · p. 7, §5.2 · p. 7
• 개별 사례별 PI는 서로 양립할 수 없는 교사들을 유도해 OPSD의 효과를 약화할 수 있지만, 공유 잠재 규칙은 프롬프트 내재화와 정렬에서 재사용 가능한 행동을 학습하게 한다.문제별 수학 PI를 사용하면 학생은 서로 양립할 수 없는 교사 정책들의 공통 패턴을 학습하며, PI로 조건화된 교사보다 역량이 크게 떨어진다.출처: §5.2 · p. 7

6.1 적절한 OPD 손실 설계.

• Stop-gradient와 재정규화된 TopK reverse KL은 정규화하지 않은 reverse KL이 붕괴하는 조건에서도 학습을 안정화한다. 정책 경사 증류도 비슷하게 안정적이다.Stop-gradient는 로그 확률 항을 통한 미분을 차단하여 가중치 부여가 어드밴티지 해석에 부합하도록 한다. K = 5에서 두 수정 방식 모두 비슷하고 안정적인 성능을 달성하며, 정책 경사 증류는 stop-gradient Top1과 유사한 성능을 보인다.출처: §6.1 · pp. 7, 9, Figure 11 · p. 8, Figure 12 · p. 8
• 재정규화는 국소적인 경사 편향을 제거하지만 TopK 확률 질량을 무시한다. 샘플링된 토큰의 정책 경사는 편향을 피하지만, 어휘 분포 전체가 아닌 희소한 감독 신호를 제공한다.재정규화된 TopK reverse KL은 선택된 집합 내부의 상대 확률만 맞추므로, 더 이상 전체 어휘에 대한 reverse KL을 충실하게 근사하지 못한다.출처: §6.1 · p. 8

6.2 RLVR로 교사 개선.

• Qwen3-1.7B-GRPO는 교사 추론 성능이 Qwen3-8B와 비슷한데도 더 우수한 OPD 학생 모델을 만든다. 이는 교사 정확도만으로는 증류 효과를 예측할 수 없음을 보여준다.두 교사는 Math500, AIME24, AIME25에서 비슷한 성능을 보인다. RLVR 적응은 교사–학생 간 분포 불일치를 줄이며, 특권 정보 기반 OP(S)D의 효과적인 대안이 된다.출처: Figure 13 · p. 9, §6.2 · p. 9

6.3 SFT로 학생 안정화.

• 교사 궤적 기반 SFT는 Qwen3-1.7B-Base의 출력과 응답 길이를 안정화하여, 직접 OPD를 적용하면 불안정한 상황에서도 후속 Qwen3-4B 기반 OPD가 정확도를 높일 수 있게 한다.초기 학생 모델은 때때로 무의미한 비영어 유니코드 문자열을 생성하여 유의미한 교사 피드백을 방해한다. SFT는 on-policy 샘플이 올바른 형식을 갖춘 영역에 머물게 하여 교사 피드백이 계속 효과적으로 작용하도록 한다.출처: Figure 14 · p. 9, §6.3 · p. 10

6.1 적절한 OPD 손실 설계.

• SGLang의 전역 TopK 합집합 조회에 드는 높은 비용을 줄이기 위해, 학습 시 교사와 학생 양쪽의 TopK 집합에 등장하는 토큰을 통해서만 역전파한다.SGLang은 매 위치에서 전역 합집합 U를 조회해야 하므로, 조회하는 텐서의 크기가 T × K에서 T × |U|로 증가한다. 선행 연구 은 교집합을 사용해도 학생 TopK와 비슷한 성능을 얻는다고 보고한다.출처: §6.1 · pp. 8–9

7 결론

• OPSD는 특권 정보가 대체로 개별 사례에 특화된 수학적 추론 실험에서는 효과가 없지만, 시스템 프롬프트 내재화와 공유 잠재 규칙을 다루는 정렬 과제에서는 효과적이다.이러한 과제 설정을 구분하는 것은 특권 정보의 성격이다.출처: §7 · p. 10
• 세 가지 실패 메커니즘은 교사-학생 간 분포 불일치, 편향된 TopK 역방향 KL 기울기, OPSD가 개별 사례에 특화된 특권 정보에 대해 주변화한 분포만 학습한다는 점이다.출처: §7 · p. 10
• Stop-gradient TopK 대리 손실, RLVR을 통한 교사 개선, SFT를 통한 안정화는 실제 학습 안정성을 높일 수 있다.출처: §7 · p. 10
• 연구 결과는 제한된 모델 계열과 규모에 기반하므로, 더 큰 규모의 설정에서는 다른 양상이 나타날 수 있다.출처: §7 · p. 10
• 향후 연구에서는 SFT 초기화, RL을 통한 과제별 개선, 개선된 on-policy 행동을 학생에게 다시 증류하는 OPD를 결합한 반복적 자기 개선 파이프라인을 탐구할 수 있다.출처: §7 · p. 10

A.1 실험 설정

• 평가 시 최대 응답 길이는 16384이며, 온도는 1.0, top-p는 0.95다.출처: §A.1 · p. 13
• 별도 명시가 없으면 OPD와 OPSD는 stop-gradient를 적용하고 재정규화한 Top-K reverse-KL 목적함수를 최적화한다.출처: §A.1 · p. 13
• 별도 명시가 없으면 OPD와 OPSD 모두 프롬프트당 롤아웃 1개를 기본으로 사용한다.출처: §A.1 · p. 13
• OPSD는 기본적으로 0단계 학생 체크포인트를 고정 교사 모델로 사용한다.출처: §A.1 · p. 13
• OPSD는 기본적으로 사고 모드를 비활성화한다.출처: §A.1 · p. 13
• 모든 실험에 사용한 서버에는 NVIDIA RTX PRO 6000 Blackwell GPU 10개가 장착되어 있다.출처: §A.1 · p. 13

A.2 평가 지표

• 샘플링된 토큰의 로그 확률은 두 모델 모두 프롬프트와 생성된 접두부를 조건으로 계산하되, 교사만 특권 정보 I를 추가 조건으로 사용한다.교사–학생 간 로그 확률 차이도 지표에 포함한다.출처: §A.2 · p. 13
• 반복 여부는 같은 응답 내에서 앞서 등장한 n-gram을 기준으로 판별하며, 기본값은 n = 3이다.토큰 수준의 값은 반복 위치 R과 비반복 위치 O에 대해 각각 평균을 구한다.출처: §A.2 · p. 13
• 교사–학생 일치도는 각 토큰 위치에서 두 모델의 TopK 후보 집합을 비교하며, 기본값은 K = 50이다.샘플링된 토큰이 교사의 TopK 집합에 있으면 교사 기준 순위를 기록하고, 없으면 K + 1을 부여한다. 중복도와 순위는 반복 위치와 비반복 위치에 대해 각각 평균을 구한다.출처: §A.2 · p. 14

• 증류 손실은 OPD와 OPSD 모두에서 핵심 설계 요소다.출처: §A.3 · p. 14
• 표준 OPD는 보통 고정된 교사 모델을 사용하므로, 교사 모델 구성은 주로 OPSD의 설계 축이다.출처: §A.3 · p. 14
• 표준 OPD는 특권 정보를 도입하지 않으므로, 특권 정보 설계는 주로 OPSD와 관련된다.출처: §A.3 · p. 14

자기 교사 모델

• 자기 교사 모델은 학생 모델과 정확히 같은 모델을 사용하고 매개변수를 공유하므로, 처럼 학습 내내 교사와 학생이 함께 업데이트된다.이 설정에서는 특권 정보를 c로 표기한다.출처: §A.3.1 · p. 14

고정 교사 모델

• 고정 교사 모델은 매개변수를 고정해 목표값을 안정화하지만, 학습 진전을 반영하지 못하거나 학생 모델이 유도하는 상태 분포와 불일치할 위험이 있다.교사 모델은 학생 모델의 초기 매개변수를 복사하거나, 더 강력한 사전학습 모델 또는 별도로 학습한 전문가 정책을 사용할 수 있다.출처: §A.3.1 · p. 14

지수이동평균(EMA) 교사 모델

• EMA 교사 모델은 이동평균으로 학생 모델의 매개변수를 추적해 분산이 큰 업데이트를 평활화하고, 완전히 결합된 자기 교사 모델보다 안정적인 목표값을 제공한다.이는 자기 증류를 유지하면서 학생 모델의 학습 진전을 추적한다.출처: §A.3.1 · p. 14

핵심 요점

• EMA와 자기 교사 모델은 특권 정보의 더 나은 활용을 보장하지 않으며, 기본적인 OP(S)D만으로는 원래의 기반 교사 모델보다 성능이 향상되지 않을 수 있다.RL처럼 과제 목적함수를 직접 최적화하지 않는다면 특권 정보를 더 잘 활용하리라 기대할 근거가 부족하며, 고정 교사 모델의 역량에도 본질적인 한계가 있다.출처: §A.3.1 · p. 14

A.3.3 증류 목적함수; A.3.2 특권 정보 설계

• 전체 어휘 목적함수는 다음 토큰 분포 전체를 바꾸는 반면, 샘플링 토큰 목적함수는 샘플링된 토큰만 갱신하며 조밀한 토큰 수준 보상을 사용하는 강화학습과 유사하다.PI는 수학적 추론이나 정답만 담은 힌트, 환경 피드백, 요약된 경험 을 제공할 수 있다. TopK는 어휘 관련 계산 비용을 줄이고, 꼬리 집계는 제외된 확률 질량을 보존하며, OP(S)D는 정규화나 토큰 수준 어드밴티지를 통해 RL을 보완할 수 있다.출처: §A.3.3 · pp. 15–16, §A.3.2 · p. 15

A.4 일반적인 OP(S)D 기울기 분해.; A.5 기울기 계산 상세.

• 롤아웃 분포의 점수 함수 항을 무시하면 기울기 편향이 생기지만, 대체로 분산을 줄이고 최적화 안정성을 높인다.남겨진 직접 항은 고정된 샘플링 접두부의 토큰 수준 손실을 통해 역전파한다. 시퀀스 수준 RL 추정량은 점수 함수 항을 유지하므로 기울기가 비편향적이지만 분산이 더 크다. SDPO 와 SDFT 의 전체 어휘 KL 구현은 이 항을 생략한다.출처: §A.4 · p. 17, §A.5 · p. 18

A.7 Top20 역방향 KL을 사용한 추가 OPD 실험

• K를 5에서 20으로 늘려도 역방향 KL의 붕괴를 막지 못하지만, stop-gradient 버전은 안정성을 유지한다.DAPO에서 Qwen3-1.7B-GRPO를 교사로, Qwen3-1.7B를 학생으로 사용하며 둘 다 사고 모드를 끈다.출처: Figure 15 · p. 19, §A.7 · p. 19

A.6 TopK 구현상의 과제

• 위치별 학생 TopK 토큰 ID를 중복을 제거하고 정렬한 합집합으로 평탄화하면, 의도한 후보 질의를 바꾸지 않고 SGLang의 교사 확률 질의 호환성 문제를 해결할 수 있다.SGLang은 모든 위치에서 공유하는 단일 평탄 토큰 목록을 요구하므로, 위치별 중첩 목록은 gather 인덱스의 형상 불일치를 일으킨다. 합집합을 사용하면 시퀀스 길이 × 합집합 크기의 확률 텐서가 생성되며, 여기서 각 위치에 요청된 교사 확률을 복원할 수 있다.출처: §A.6 · p. 19

A.8 OPD의 평가 편향

• 검증 시 길이 제한과 학습 초기 비교는 응답 완결 여부를 추론 품질과 혼동하고 GRPO가 최종적으로 도달할 수 있는 성능을 무시해 OPD의 이득을 왜곡할 수 있다.OPD는 추론을 길게 늘이거나 반복하게 해 검증 중 응답이 조기에 잘리게 할 수 있다. OPD가 초기에 더 빠르게 개선되더라도, 관찰된 GRPO 학습은 더 오래 개선을 이어가며 최종적으로 더 높은 성능을 낼 수 있다.출처: §A.8 · pp. 19–20

A.12 일반 추론 과제의 실험 결과; A.9 교사 신호 분석(온폴리시성); A.11 예시 응답의 토큰 수준 지도 시각화

• Qwen3-8B가 Qwen3-1.7B를 가르치는 OPD는 사고 모드를 끈 상태에서 GPQA-Diamond 성능이 일관되지 않고 MMLU-Pro 개선도 미미하다.학습에는 Mixture of Thoughts의 Science 하위 집합을 사용한다. 지도 신호는 초기 토큰과 오답 응답, 특히 최종 정답 토큰에 집중되며, 이는 수학적 추론에서의 관찰과 유사하다. Qwen3-8B는 자기 자신보다 Qwen3-1.7B에 더 강한 지도 신호를 제공하며, PI의 세부 조정을 넘어 교사 규모와 추론 깊이가 지도 신호를 근본적으로 좌우한다.출처: §A.9 · p. 20, Figure 19 · p. 21, §A.12 · p. 21

A.13 설득 과제에서의 OPSD 실패

• Persuasion for Good에서 Qwen3-1.7B의 OPSD는 약 20–30스텝 후 붕괴하는 반면, GRPO는 안정성을 유지하며 점진적으로 개선된다.PI에는 설득 대상자의 배경, 성격, 설득 전략이 포함되며, Qwen3-4B는 더 심한 성능 저하를 겪는다. OPSD는 잘림 비율을 거의 1.0까지 높이고 학생 토큰의 로그 확률을 낮추는데, 이는 지나치게 긴 생성과 불확실성 증가를 나타낸다.출처: Figure 21 · p. 22, §A.13 · p. 22

A.14 OPSD의 사고 모드 해킹; A.15 OPSD 응답 길이 붕괴

• OPSD는 설정이 불일치하면 의도치 않은 사고 모드 활성화를 일으킬 수 있고, 특권 정보가 최종 정답만 제공하면 추론 없이 바로 답하는 형태로 붕괴할 수 있다.학생의 사고 모드를 끄고 교사의 추론을 켜면, Qwen3-1.7B가 제어 토큰을 모방해 <think> ...</think> ...<think> 같은 잘못된 패턴을 생성할 수 있다. DAPO-Math-17k에서 정답만 담은 힌트는 Qwen3-1.7B가 중간 추론을 건너뛰게 할 수 있다.출처: §A.14 · pp. 22–23, §A.15 · p. 23

A.15 OPSD 응답 길이 붕괴

• 제시된 어시스턴트 출력은 빈 사고 블록 뒤에 상자로 둘러싼 정답 7을 표시하며, 제공된 구절에는 그 사이의 추론이나 정답에 대한 설명이 없다.출처: §A.15 · p. 23

A.16 OPD 응답 길이 폭증 - 스텝 700

• Qwen3-8B 교사에서 증류한 Qwen3-1.7B 학생의 OPD 예시는 응답 길이 폭증을 보여준다. 이례적으로 장황한 응답에서 “하지만”이라는 단어가 10번 등장한다.응답은 10걸음 제약을 되풀이하면서 방향별 걸음 수와 순이동을 반복해서 바꾸어 설명한다.출처: §A.16 · pp. 23–24

A.17 OPD 응답 길이 폭증 - 스텝 1000

• 한 OPD 예시에서 Qwen3-8B 교사에서 증류한 Qwen3-1.7B 학생은 응답 길이 폭증을 보이며, 제시된 응답에는 “아마도”라는 단어만 들어 있다.출처: §A.17 · p. 25

A.18 OPSD 안전 정렬 시스템 프롬프트

• OPSD 안전 시스템 프롬프트는 유해하거나 불법적인 행동에 대한 지원을 금지하고 정중한 거절과 안전한 대안을 요구하며, 정당한 요청에는 유용성과 중립성을 유지하도록 한다.가능한 경우 안전한 대안을 제시하도록 요구한다. 이 구절은 정렬 결과가 아니라 지침을 제공한다.출처: §A.18 · p. 25

A.19 OPSD 추론 압축 시스템 프롬프트.

• 추론 압축 OPSD에서는 교사에게 간결하고 정확하게 단계별로 설명하라는 지침을 주지만, 학생에게는 간결성 지침을 주지 않는다.교사 지침은 불필요한 부연, 중복 단계, 문제의 재진술을 금지하고, 최종 정답을 별도의 “정답:” 줄에 쓰도록 요구한다.출처: §A.19 · pp. 25–26

A.20 OPSD 언어 스타일 정렬: 특권 정보 설계와 모델 출력

• 제시된 Qwen3-4B-Instruct의 OPSD EmotionBench 응답은 LLM 평가자 보상 1.0을 받았으며, 학생 프롬프트가 분노를 명시하지 않았는데도 이를 표현한다.교사 PI는 개인 의견이 묵살되어 생긴 분노를 지정한다. 학생은 과거 사건의 회상, 좌절감이 드러나는 대조, 개인적 상처가 점차 고조되는 어조로 이를 전달한다.출처: §A.20 · pp. 26–27
• 제시된 CharacterBench 예시에서 OPSD로 학습한 Qwen3-4B-Instruct 학생의 입력에는 인물 프로필이 없으며, 응답의 LLM 평가자 보상은 1.0이다.학생은 마을 시장에서 시를 낭송하고 마을과 성, 외딴 산속 황야를 떠돌았던 이야기를 들려준다.출처: §A.20 · pp. 27, 29
• OPSD로 학습한 학생은 추론 시 인물 프로필에 접근하지 않고도 인물의 전통주의적 시적 입장, 중세적 구도, 성찰적인 서사 스타일을 재현한다.이 예시는 프로필에 조건화된 교사 분포가 프로필 없는 학생의 행동으로 전이되는 양상을 보여준다.출처: §A.20 · p. 30

A.21 엔트로피와 교사 지도 간 상관관계

• 토큰 엔트로피와 ∆logprob는 약한 음의 경향만 보이며, OP(S)D에서 뚜렷한 상관관계가 있다는 강한 근거는 제공하지 않는다.엔트로피 기반 유도에 관한 조사는 에서 영감을 받았다.출처: §A.21 · p. 30

A.22 학생 접두부가 교사의 추론 상태를 왜곡한다는 실험적 근거

• 교사가 학생 생성 접두부에 이어서 생성하면 GPQA-Diamond 정확도가 16.16점 하락한다. 단독 생성은 62.12%, 접두부 조건부 생성은 45.96%다.실험은 Qwen3-14B를 교사로, Qwen3-1.7B를 학생으로 사용한다. 접두부는 정답 예측 40개를 오답으로 바꾸고 오답 예측은 8개만 정답으로 바꾼다. 형식 준수율은 98.48%에서 78.79%로 떨어져, 학생 생성 내용에 대한 조건화가 OPD의 교사 신호를 약화할 수 있음을 보여준다.출처: §A.22 · pp. 30–31

데이터 준비

• 데이터 준비 단계에서는 상자로 둘러싼 정답이 있는 OpenThoughts[22] 프롬프트를 서로 겹치지 않는 SFT 및 OPD 분할로 나누고, 품질 필터링을 거친 Qwen3-4B 시범 응답을 워밍업에 사용한다.첫 30,000개 프롬프트에서 최대 20,000개 시범 응답을 확보하고 나머지 프롬프트는 OPD에 사용한다. 필터링은 오답, 상자로 둘러싼 정답이 없는 응답, 반복적인 응답을 제거한다.출처: Data Preparation · p. 31

SFT 단계

• Qwen3-1.7B-Base는 시스템 프롬프트 없이 ShareGPT 형식으로 SFT를 수행하며, 사고 모드를 끈 교사의 출력 형식에 맞추기 위해 학생도 사고 모드를 끈다.학습에는 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 4개와 DeepSpeed ZeRO Stage 2를 사용한다.출처: SFT Stage · p. 31

A.23.1 PPL 및 NLL 통계.

• Qwen3-1.7B-Base의 Qwen3-4B 생성 궤적에 대한 NLL은 SFT 후 0.640에서 0.335로 감소하고, PPL은 1.896에서 1.397로 떨어진다.낮아진 NLL과 PPL은 교사 생성 궤적이 학생 분포에 더 가까워졌음을 나타낸다.출처: Table 3 · p. 32, §A.23.1 · p. 32