PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

TISD: On-Policy Self-Distillation with Trajectory Intervention

Taeckyung Lee, Rinat Amankos, Jeonghye Kim, Hyungjun Yoon, Woogyeol Jin, Sung-Ju Lee

arXiv:2609.30878v1cs.AIcs.LG

TL;DR

OPSD는 학생이 샘플링한 rollout에서만 teacher target을 평가하므로, 학생이 방문하지 않는 한 대안 branch의 후속 맥락은 감독되지 않는다. TISD는 teacher가 선택한 branch action을 강제하고, suffix 생성을 다시 학생에게 맡긴 뒤 생성된 trajectory를 distill한다. 보고된 step 및 time 기준 비교에서 코딩과 과학 전반의 평균 성능이 SDPO보다 향상된다.

  • 문제

    OPSD는 방문한 prefix에서 teacher가 선호하는 대안 action을 target으로 제시할 수 있지만, 학생이 해당 branch를 샘플링하지 않으면 그 후속 맥락을 감독할 수 없어 학습 중 데이터 수집 병목이 생긴다.

    출처: §1 · p. 1

  • 방법

    TISD는 의견 차이가 가장 큰 지점에서 teacher가 선호하는 token을 강제하고, 학생이 suffix를 재생성하게 한 뒤 생성된 trajectory를 따라 teacher 예측을 distill한다.

    출처: §1 · p. 2

  • Results

    TISD improves Avg@4 over SDPO by 1.2 percentage points across three coding models, and Avg@128 by 0.8 points across four science domains at equal steps and 0.3 points at equal time.

    출처: §1 · p. 2

  • 시사점 및 한계

    코딩과 과학 분야의 결과는 teacher-guided branching이 privileged supervision을 위한 추가 맥락을 드러내는 방법임을 뒷받침한다.

    출처: §6 · p. 9

    TISD는 teacher가 선택한 action에서 학생이 이어서 생성할 수 있는 능력과 privileged teacher target의 품질에 의존하며, branch 선택과 suffix 재생성은 학습 중 계산량을 늘린다.

    출처: §6 · p. 9

Abstract

from arXiv · show

On-policy self-distillation (OPSD) provides dense teacher targets, but evaluates them only along student-sampled rollouts. When the privileged teacher favors an alternative action at a visited prefix, OPSD can provide a target for the branch decision but cannot supervise the successor contexts induced by that action unless the student samples it. This creates a training-time data-collection bottleneck and suggests a different role for teacher-student disagreement: proposing a trajectory branch rather than identifying a sufficient local repair. Our diagnostic framework using controlled token interventions reveals that a teacher-preferred token at peak disagreement can improve student continuation success, while its local corrective value is limited. Motivated by this finding, we introduce a simple branch-regenerate-distill algorithm, Trajectory-Intervention Self-Distillation (TISD). TISD forces a teacher-selected branch action, returns suffix generation to the student, and distills the full trajectory under the privileged-context-conditioned teacher. Across the coding models, TISD improves average Avg@4 over SDPO by 1.2 percentage points. Across the science domains, it improves average Avg@128 by 0.8 points under an equal-step budget and by 0.3 points under an equal-time budget. These results support teacher-guided branching as a way to expose useful successor contexts for self-distillation.

1 서론

OPSD는 학생이 교사가 선호하는 행동을 선택하도록 학습시킬 수 있지만, 학생이 방문하지 않는 한 대안 분기의 후속 맥락은 감독하지 못한다. TISD는 해당 행동을 강제하고 학생이 접미부를 다시 생성하게 한 뒤, 결과 궤적을 증류한다. 보고된 평균 성능은 코딩과 과학 전반에서 SDPO를 웃돈다.

문제

  • 표준 OPSD는 학생이 샘플링한 궤적을 따라 교사 타깃을 평가하므로, 학생이 방문할 때만 대안 분기의 후속 맥락을 감독한다.교사가 다시 생성한 궤적도 또 다른 경로지만, SciKnowEval L3 생물학에서 응답이 생성 한도에 도달하면서 TRD는 학습 후반 정확도가 급락하는 현상을 보였다.출처: §1 · p. 1

동기

  • 실패한 LiveCodeBench 롤아웃에서 의견 불일치가 가장 큰 지점의 교사 선호 토큰을 강제하자 Qwen3-8B의 이어쓰기 성공률은 9.9%로 상승했다. 원래 토큰을 유지했을 때는 1.7%였다.두 조건 모두 학생이 접미부를 다시 생성했다.출처: §1 · p. 2

방법

  • TISD는 발산이 가장 큰 지점에서 교사 선호 토큰을 강제하고, 학생이 접미부를 다시 생성하게 한 뒤, 결과 궤적을 따라 교사 예측을 증류한다.이를 통해 분기 결정과 새로 방문한 접두부에서의 후속 예측을 감독한다.출처: §1 · p. 2

결과

  • TISD는 세 가지 코딩 모델에서 SDPO 대비 Avg@4를 1.2 percentage points 높였으며, 동일 스텝 조건에서 네 가지 과학 도메인의 Avg@128을 0.8 points, 동일 시간 조건에서 0.3 points 높였다.이 결과는 풍부한 실행 피드백이 있거나 없어도 교사 유도 분기가 효과적임을 뒷받침한다.출처: §1 · p. 2

2 관련 연구

관련 연구는 온폴리시 증류, 선택적 토큰 가이던스, 교사가 수정한 궤적을 다룬다. 반면 TISD는 교사가 선택한 분기 행동을 적용한 뒤 접미부 생성을 학생에게 돌려준다.

온폴리시 (자기) 증류

  • OPSD는 특권 정보를 조건으로 하는 교사를 사용해 학생 롤아웃에서 조밀한 타깃을 도출한다. SDPO와 Self-Distilled Reasoner는 성공적인 롤아웃이나 환경 피드백을 사용하고, RLTF는 텍스트 피드백으로부터의 학습을 정식화한다 (H¨ubotter et al., 2026; Zhao et al., 2026; Song et al., 2026).출처: §2 · p. 2
  • 관련 OPD 방법은 교사의 argmax 타깃, 가까운 미래의 궤적 정보, 또는 교사의 재작성을 통해 학생 궤적을 유도한다. 반면 TISD는 하나의 분기 행동으로 궤적을 바꾼 뒤 생성을 학생에게 돌려준다 (Liu et al., 2026; Jiang & Ferraro, 2026; Jiang et al., 2026).학생은 특권 문맥 없이 접미부를 다시 생성하고, 특권 문맥을 조건으로 하는 교사는 해당 궤적을 따라 타깃을 제공한다.출처: §2 · p. 3

크레딧 할당과 선택적 토큰 신호

3 궤적 조향 신호로서의 교사-학생 발산

진단 분석에서는 교사와 학생의 불일치가 어디에 집중되는지, 최대 불일치가 국소적 수정을 이끄는지, 교사가 선택한 행동이 학생의 생성을 다른 방향으로 유도하는지를 살펴본다. 토큰 대체만으로 실패한 응답을 수정하는 경우는 드물지만, 분기를 통해 특권 컨텍스트 감독에 활용할 새로운 학생 접두부를 확보할 수 있음을 보인다.

3 교사-학생 발산은 궤적 조향 신호

  • 이 절에서는 불일치의 집중 양상과 국소적 수정 가능성을 살펴보고, 교사가 선호하는 행동을 취했을 때 더 나은 학생 후속 생성을 얻을 수 있는지 조사한다.출처: §3 · p. 3

3.1 교사-학생 불일치는 어디에 집중되는가?

  • 최대 발산 위치에 전체 응답 KL의 9–20%가 집중되며, 이는 평균 KL 발산에 비해 40–80× 높은 집중도다.진단 분석은 SDPO 설정의 LiveCodeBench v6에서 Qwen3 롤아웃에 reverse KL을 사용한다.출처: §3.1 · pp. 3–4

3.2 최대 발산은 국소적 수정을 거의 제공하지 않는다

  • 교사가 선호하는 토큰으로 대체해도 모델 규모 전반에서 실패의 0.0–1.7%만 수정되는 반면, 특권 교사가 접미부를 생성하도록 하면 1.7B, 4B, 8B에서 성공률이 각각 7.9%, 10.5%, 13.3%로 높아진다.모델 규모가 클수록 최대 발산은 명시적인 알고리즘 또는 제어 흐름 결정이 아니라 코드가 아닌 텍스트에서 발생하는 경우가 많다.출처: §3.2 · p. 4

3.3 교사가 선택한 행동은 학생의 생성 방향을 바꿀 수 있다

  • Qwen3-8B에서 최대 불일치 지점에 교사 토큰을 강제했을 때 성공적인 학생 후속 생성 비율은 9.9%였으며, 원래 토큰을 강제한 경우에는 1.7%였다. 두 조건 모두 접미부를 다시 생성했다.8B에서 교사의 후속 생성으로 해결된 실패 롤아웃 중 24개 가운데 17개는 개입한 학생 후속 생성으로도 해결됐다(70.8%).출처: §3.3 · pp. 4–5

3.4 궤적 수준 학습에 대한 시사점

  • 교사 유도 분기는 학생의 후속 접두부를 바꾸어 원래 롤아웃에는 없던 컨텍스트를 만들며, 이 컨텍스트는 새로운 특권 컨텍스트 교사 감독을 받을 수 있다.진단 분석에서는 선호 토큰이 원래 응답을 수정하지 못하는 경우에도 최대 발산을 후보 분기 지점으로 본다.출처: §3.4 · p. 5

4 TISD: 궤적 개입을 통한 자기 증류

TISD는 학생의 실패한 rollout에서 발산이 최대인 지점에 교사가 선호하는 행동으로 분기한 뒤, suffix 생성을 학생에게 돌려주고 그 결과 궤적을 증류한다. 이를 통해 continuation은 학생이 생성한 상태로 유지하면서 후속 context에서 교사 감독을 제공한다.

4.1 TISD 알고리즘

  • 발산이 최대인 지점에서 TISD는 교사가 선호하는 행동을 강제하고, 학생이 suffix를 재생성하게 한 뒤 유지된 궤적을 따라 교사 예측을 증류한다.성공한 응답은 그대로 유지하고, 필요한 privileged context를 사용할 수 있는 실패 응답은 재생성한다.출처: §4 · p. 5, §4.1 · pp. 5–6

4.2 왜 생성을 학생에게 돌려주는가?

  • suffix 생성을 학생에게 돌려주면 continuation이 학생의 행동과 일치한다. 이는 teacher regeneration으로 응답을 생성할 경우 배포된 학생 모델에서 나올 가능성이 낮아질 수 있는 것과 다르다.인용된 SciKnowEval L3 biology의 TRD 실행에서는 응답 길이가 생성 한도에 가까워지면서 validation Avg@128이 64.8%에서 0.0%로 떨어진다.출처: §4.2 · p. 6

4.3 TISD는 교사 감독의 새로운 기회를 만든다

  • TISD는 원래 궤적에 없던 context를 포함해, 같은 수집 반복에서 branch로 유도된 후속 prefix에 교사 감독을 제공한다.Qwen3-8B LiveCodeBench v6에서 재생성된 suffix의 평균 token reverse KL은 짝을 이룬 원래 suffix의 2.37×이다.출처: §4.3 · pp. 6–7

5 실험

코딩 및 과학 평가에서 TISD는 보고된 평균 지표에서 SDPO보다 높은 성능을 보이며, 추가 실험에서는 학습 데이터 규모, 분기 선택, 재생성 깊이를 살펴본다. 실험에서는 기존 student, teacher가 재생성한 student, teacher가 시작해 student가 재생성한 궤적을 따라 distillation하는 방법들을 비교한다.

5.1 풍부한 환경 피드백을 사용한 학습

  • 세 가지 코딩 모델에서 TISD는 평균 50.4% Avg@4와 51.4% Pass@4를 기록해, SDPO의 49.2% Avg@4와 50.3% Pass@4를 앞선다.LiveCodeBench v6에서 풍부한 환경 피드백을 사용해 평가하고, Avg@4가 가장 높은 체크포인트를 선택한다.출처: §5.1 · p. 7

5.2 풍부한 환경 피드백 없이 학습

  • 네 가지 과학 분야에서 TISD의 평균 Avg@128은 동일한 학습 단계 수에서 SDPO보다 0.8포인트, 동일한 학습 시간에서 0.3포인트 높다.비교 조건은 풍부한 환경 피드백 없이 학습 200단계와 10시간 예산을 사용하는 것이다.출처: §5.2 · pp. 7–8

5.3 추가 결과

  • LCB-Large에서 TISD는 GRPO의 54.3보다 높은 57.3 Avg@4를 기록하고, LCB-Small에서는 SDPO의 65.5보다 높은 66.5를 기록한다.TISD는 LCB-Large에서 업데이트 횟수를 33% 줄이고, LCB-Small에서는 56% 줄여 최고 baseline 성능에 도달한다.출처: §5.3 · p. 8, Figure 6 · p. 8
  • peak-divergence 분기는 66.5 Avg@4를 기록해 random-position 분기의 65.2와 first-disagreement 분기의 64.6을 앞서며, student의 원래 토큰을 유지하면 64.8을 기록한다.평가한 선택 방식 중 SDPO의 65.5 Avg@4를 넘어서는 방식은 peak-divergence 분기뿐이다.출처: §5.3 · pp. 8–9
  • 초기화 시점에 student가 생성한 continuation은 first-disagreement 개입보다 peak-divergence 개입 뒤에 더 자주 성공한다(9.9% vs. 6.1%). 반면 teacher가 생성한 continuation은 first disagreement를 선호한다(17.1% vs. 13.3%).진단은 실패한 Qwen3-8B LiveCodeBench v6 궤적을 대상으로 한다.출처: §5.3 · p. 9
  • 단일 라운드 재생성은 66.5 Avg@4와 92.4 Pass@4를 기록해, 두 라운드(65.2, 90.8)와 세 라운드(65.5, 90.1)를 앞선다.추가 라운드에서는 원래의 privileged context를 사용하며, 라운드 사이에 verifier 호출을 추가하지 않는다.출처: §5.3 · p. 9

6 논의 및 결론

이 논문은 궤적 수집을 특권 컨텍스트 자기 증류의 설계 요소로 다루고, 교사 유도 분기를 추가 감독 문맥을 드러내는 방법으로 제시한다. 분석에서는 궤적 유도와 국소 교정을 구분하며, TISD의 효과는 학생의 이어쓰기 능력과 교사 타깃의 품질에 달려 있음을 보인다.

6 논의 및 결론

  • 교사 유도 분기는 학생이 대안적인 이어쓰기를 시작하게 하고, 그 결과 궤적을 증류해 특권 감독을 위한 추가 문맥을 드러낸다.논의에서는 타깃 자체와 더불어 타깃을 평가하는 궤적도 설계 요소로 다룬다.출처: §6 · p. 9
  • 교사가 선호하는 토큰은 그 토큰만 대체해 응답을 바로잡지 못하더라도 이후의 학생 생성을 유도할 수 있다.논문은 개입을 즉각적인 성공만으로 평가하기보다, 교사 감독을 위해 새롭게 드러내는 문맥으로 평가할 것을 제안한다.출처: §6 · p. 9
  • TISD는 교사가 선택한 행동부터 이어가는 학생의 능력과 특권 교사 타깃의 품질에 좌우되며, 학습 시 계산량을 늘린다.논문은 이러한 추가 비용을 줄이기 위해 더 효율적인 분기 선택이나 생성을 연구 방향으로 제시한다.출처: §6 · p. 9

AI 사용 공개

저자들은 글 다듬기, Section 3의 LLM-judge 분석, 방법 구현에 생성형 AI 도구를 사용했으며, AI 지원 작업을 검토했다고 밝혔다.

AI 사용 공개

  • 생성형 AI 도구를 글 다듬기, Section 3의 LLM-judge 분석, 방법 구현에 사용했으며, 저자들은 AI 지원 작업을 모두 검토했다고 밝혔다.다른 용도로는 사용하지 않았으며, 최종 내용과 주장, 산출물에 대한 책임은 저자들에게 있다고 밝혔다.출처: AI USE STATEMENT · p. 10

A TISD 구현

부록에서는 TISD 절차와 진단 프로토콜을 설명한 뒤, KL 집중도, 의미 역할, branch 위치 선택을 분석한다. 진단에서는 실패한 rollout을 사용해 교사 지침과 학생이 다시 생성한 continuation을 살펴본다.

A TISD 구현

  • Figure 9는 prompt, response, 이진 보상, privileged context를 포함한 기록을 사용한 TISD의 branch–regenerate–distill 절차를 요약한다.Peak divergence는 교사와 학생 간 divergence가 가장 큰 적격 위치를 선택한다.출처: Figure 9 · p. 13, A IMPLEMENTATION OF TISD · p. 13

B 예비 분석: 전체 세부 내용

  • 진단 분석에서는 LiveCodeBench v6의 실패한 Qwen3-{1.7B, 4B, 8B} SDPO rollout을 사용해 원래 학생 trajectory 너머에서 교사의 지침을 살펴본다.일반적인 학습 단계에서는 rollout 256개를 수집하며, 부록에서는 intervention 분석을 다른 architecture와 과학 분야로 확장한다.출처: B PRELIMINARY ANALYSIS: FULL DETAILS · p. 13

B.1 분석 프로토콜

  • 프로토콜은 선택된 위치 주변의 학생 및 교사 토큰 역할을 분류하고, 실행 기반 정답 판정을 사용해 teacher-forced 및 원래 토큰으로 학생이 재생성한 결과를 비교한다.SciKnowEval L3에서는 기준 답안 선택지와 정확히 일치해야 정답으로 판정하며, 통합 과학 정답률은 실패한 rollout 553개를 대상으로 한다.출처: §B.1 · pp. 13–14

B.2 KL 집중도 CDF

  • Qwen3-1.7B에서 peak divergence는 전체 response KL의 중앙값 19.5%를 차지하며, 규모가 커지면 집중도는 4B와 8B에서 약 9%로 낮아진다.약 9%인 경우에도 peak 위치의 KL은 위치별 평균 KL의 대략 40×에 이른다.출처: §B.2 · p. 14, Figure 10 · p. 14

B.3 의미 역할 분석

  • 더 큰 모델 규모에서는 peak-divergence 토큰이 대부분 코드가 아닌 텍스트이며, 학생과 교사의 불일치는 대체로 같은 넓은 의미 역할 안에 머문다.전이 행렬의 주된 대각선은 변수명이나 주석의 대안처럼 범주 내 차이를 나타낸다.출처: §B.3 · p. 14, Table 3 · p. 14, Figure 11 · p. 15

B.4 분기 선택 위치의 효과

  • peak divergence에서 교사 토큰을 강제한 뒤 학생이 이어서 생성한 경우 9.9%가 성공하며, first divergence에서는 6.1%, 무작위 위치에서는 1.7%가 성공한다.반면 교사가 이어서 생성한 경우 first divergence에서는 17.1%, peak divergence에서는 13.3%에 도달해, TISD의 학생 재생성 suffix에는 peak divergence를 선택하는 것이 타당함을 뒷받침한다.출처: §B.4 · pp. 14–15, Table 4 · p. 15

B.5 학습 중 지속성

부록에서는 Qwen3-1.7B 학습 중 최대 발산 시점에서 비코드 텍스트가 가장 큰 의미 범주로 남는다고 보고하고, 실패한 롤아웃을 지도에 포함하거나 제외했을 때의 검증 정확도를 비교한다.

B.5 학습 중 지속성

  • Qwen3-1.7B의 SDPO 학습 0–80단계에서 롤아웃 통과율은 0.211에서 0.434로 상승하는 반면, 실패 사례 중 최대 발산 위치에서 알고리즘 관련 항목이 차지하는 비중은 36.1%에서 26.2%로 감소한다.최대 발산 시점에서 비코드 텍스트는 내내 가장 큰 의미 범주로 남는다.출처: §B.5 · p. 15, Table 5 · p. 16

B.6 실패한 롤아웃 지도 학습의 기여

  • 80단계에서 성공 및 실패 롤아웃을 모두 지도에 사용하면 검증 정확도는 0.480이며, 성공한 롤아웃만 사용하면 0.372이다.이 고정 단계 수 비교는 표준 SDPO에서 실패한 롤아웃을 학습 예시로 삼아 교사 지도를 살펴볼 이유를 제시한다.출처: §B.6 · p. 15

B.7 아키텍처 간 검증

이 부록 분석에서는 여러 아키텍처와 과제 영역에서 교사가 유도한 학생 이어쓰기를 평가한 뒤, 재생성된 문맥이 기존 궤적의 타깃을 넘어 어떻게 제약을 추가할 수 있는지 형식화한다.

B.7 아키텍처 간 검증

  • OLMo3-7B-Instruct에서 교사 토큰 개입 시 학생 이어쓰기 성공률은 10.1%로, 기존 토큰을 사용했을 때의 6.2%보다 높아 Qwen3의 궤적 조향 양상을 재현한다.진단에는 잘리지 않은 LiveCodeBench v6 롤아웃 221개를 사용했다. 실패한 롤아웃에서 peak-divergence 위치의 81.4%는 코드가 아닌 텍스트였다.출처: §B.7 · p. 16, Table 6 · p. 16

B.8 영역 간 검증

  • SciKnowEval L3에서 교사 토큰으로부터 학생이 이어 쓴 경우 실패 사례의 39.4%에서 성공했으며, 기존 토큰 대조군의 성공률은 24.4%였다. LiveCodeBench에서는 각각 9.9%와 1.7%였다.과학 분야의 향상은 네 영역 모두에서 나타났다. 교사 이어쓰기 자체의 성공률은 과학 실패 사례에서 93.5%, 코딩 실패 사례에서 13.3%였다.출처: §B.8 · p. 16, Table 7 · p. 17

B.10 의미 역할별 이어쓰기 결과

  • peak-divergence 지점의 의미 역할은 분기 품질을 신뢰성 있게 나타내지 않는다. 비코드 지점은 4B/8B에서 더 나은 결과를 보이지만, 1.7B에서는 순서가 뒤집힌다. 학생은 교사의 성공 사례 24개 중 17개를 재현한다(70.8%).역할별 비교에서 각 역할에 해당하는 표본은 적다. 짝지은 중첩 비교는 동일한 실패 Qwen3-8B 롤아웃 181개에서 측정했다.출처: §B.10 · pp. 17–18, Table 9 · p. 17, Table 10 · p. 18

B.11 궤적 방향 전환의 정성적 사례

  • 실패한 LiveCodeBench 응답에서 교사가 선호한 명명 토큰을 강제하면 학생은 원래 버그를 피하는 다른 알고리즘으로 방향을 바꾼다.이 예에서는 반복 변수가 (i, k)에서 (i, j)로 바뀌어 k = 2j − i가 된다.출처: §B.11 · p. 18, Figure 12 · p. 18

B.12 TRD 검증 응답의 반복적 메타 논평

  • TRD 검증 응답은 존재하지 않는 “reference solution”을 반복해서 언급하고, 과제별 선택 근거를 설명하지 않은 채 D를 고른다.이 사례는 과제별 추론을 제시하지 않는, 참조 지향적 재작성을 보여준다.출처: §B.12 · p. 18, Figure 13 · p. 19

C 재생성 문맥이 감독 신호를 추가할 수 있는 이유

  • 공유 매개변수 분석에서는 기존 문맥의 교사 타깃을 맞추는 것이 이후 예측을 결정하는지 살펴본다. TISD는 학생 재생성으로 만들어진 접두부에 교사 타깃을 추가한다.다루기 쉬운 모델은 이력별 특징과 공유 매개변수 업데이트를 사용하는 이진 다음 토큰 로짓으로 구성된다.출처: C WHY REGENERATED CONTEXTS CAN ADD… · p. 19, §C.1 · pp. 19–20

C.2 교사 타깃과 정확히 일치한 뒤의 예측 모호성

  • 수집된 이력에서 정확히 일치하더라도, 새로운 이력의 특징이 해당 타깃으로 제약되지 않는 매개변수 방향에 의존하면 그 이력의 예측은 미정으로 남을 수 있다.새 이력이 수집된 행공간에 놓이거나 보정 자유도가 남아 있지 않으면 나머지 모호성은 0이다.출처: §C.2 · pp. 20–21

C.3 재생성 궤적 감독의 실증적 근거

TISD의 재생성 궤적 학습은 보고된 코딩 및 과학 비교에서 SDPO보다 우수하며, 분석은 새로운 맥락이 어떻게 상호보완적 제약을 제공할 수 있는지 설명한다.

C.3 재생성 궤적 감독의 실증적 근거

  • 세 모델에서 코딩 Avg@4 평균은 SDPO의 49.2%에서 TISD의 50.4%로 상승하고, 평균 Pass@4는 50.3%에서 51.4%로 상승한다.Table 2에서도 동일 스텝 및 동일 시간 예산 모두에서 TISD의 평균 성능이 더 높다고 보고한다.출처: §C.3 · p. 21
  • 재생성된 맥락의 타깃은 원래 맥락의 타깃으로는 구별되지 않는 학생 파라미터 보정을 구별할 수 있지만, TISD의 순효과는 대체된 접미부와 함께 제거되는 제약에도 좌우된다.분석에 따르면 재생성된 Qwen3-8B 접미부에서 평균 토큰 reverse KL이 2.37× 더 크며, 접미부 감독의 기여를 분리하려면 별도의 손실 제거 실험이 필요하다.출처: §C.3 · p. 21
  • 분석과 실험은 연구된 설정에서 교사 유도 재생성을 뒷받침하며, 그 기여는 수집된 이력, 공유 표현, 교사 타깃의 품질에 따라 달라진다.실증적 비교는 전체 분기–재생성–증류 절차를 평가한다.출처: §C.3 · p. 21

D 실험 세부 사항

코딩 실험에서는 풍부한 피드백을 사용하는 별도의 학습 설정을, 과학 실험에서는 풍부한 피드백 없이 학습하는 설정을 지정하며, 코딩에서 TISD의 단계별 비용을 보고한다.

D.1 풍부한 환경 피드백을 활용한 학습

  • 코딩 실험에서는 Qwen3-8B, Qwen3-14B, OLMo3-7B-Instruct를 80회 업데이트하며, 가능한 경우 성공한 형제 롤아웃을 사용하고 그렇지 않으면 실행에서 얻은 피드백을 privileged context로 사용한다.LiveCodeBench 실험에서 forward KL보다 성능이 좋았기 때문에 TRD는 reverse KL을 사용한다.출처: §D.1 · p. 21, Table 11 · p. 22

D.2 풍부한 환경 피드백 없이 학습

  • 과학 실험에서는 Qwen3-8B를 네 개의 SciKnowEval L3 도메인에서 각각 학습하며, 주로 풍부한 환경 피드백 없이 SDPO를 따르면서 target divergence와 branch-selection divergence를 탐색한다.방법별 divergence 설정은 Table 12에 보고한다.출처: §D.2 · p. 22, Table 12 · p. 23

D.3 계산 효율

  • LiveCodeBench v6 학습 단계당 TISD의 평균 소요 시간은 16.60분으로, SDPO의 15.05분, GRPO의 16.69분, TRD의 16.36분과 비교된다.보고된 TISD 단계는 SDPO보다 1.55분(10.3%) 더 걸리며, 이는 teacher scoring과 student suffix regeneration을 반영한다.출처: §D.3 · p. 22, Table 13 · p. 23
Loading 2609.30878v1…