PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

SFT Conflicts, RL Coexists: A Theoretical and Empirical Analysis of Multi-Task Learning for LLMs

Kejian Zhu, Zhuoran Jin, Shangqing Tu, Hongbang Yuan, Yushi Bai, Kang Liu, Juanzi Li, Jun Zhao

arXiv:2608.03573v2cs.CLcs.LG

TL;DR

다단계 다중 과제 학습에서 SFT와 RL이 다르게 동작하는 이유를 설명하기 위해 매개변수 업데이트와 그래디언트 간섭을 분석하고 Parallel-RL을 제안한다. 기본 모델 대비 다단계 RL의 성능은 24.9% 향상되는 반면 SFT는 평균 23.1% 하락하며, Parallel-RL은 단일 과제 수준의 성능을 유지하면서 학습 효율을 높인다.

  • 문제

    다중 과제 LLM 학습에서 다단계 학습 시 SFT와 RL이 다르게 동작하는 이유는 명확히 설명되지 않았다.

    출처: §1 · p. 1

  • 방법

    매개변수 업데이트의 실증 분석과 그래디언트 간섭의 이론적 경계를 결합하고, 각 과제를 병렬로 독립 학습한 뒤 업데이트를 병합하는 Parallel-RL을 제안한다.

    출처: §1 · p. 2, §4 · p. 3

  • 결과

    기본 모델 대비 다단계 RL의 성능은 24.9% 향상되는 반면, 다단계 SFT의 성능은 평균 23.1% 하락한다.

    출처: §1 · p. 1

  • 시사점 및 한계

    RL의 과제별 업데이트는 근사적으로 직교하여 분리 학습을 뒷받침하며, Parallel-RL은 단일 과제 수준의 성능을 유지하면서 학습 효율을 높인다.

    출처: §1 · p. 2

    책임 있는 배포를 위해서는 효율적인 다중 과제 학습을 추구하면서도 각 과제의 안전성과 신뢰성을 유지해야 한다.

    출처: Impact Statements · p. 9

Abstract

from arXiv · show

Supervised Fine-Tuning (SFT) and Reinforcement Learning (RL) exhibit fundamentally different behaviors in enhancing multi-task reasoning for large language models (LLMs). Our preliminary experiments revealed a phenomenon: SFT suffers from severe task conflicts under multi-stage training, whereas RL enables stable coexistence across diverse tasks. Empirically, we trace this to the parameter level, observing that RL induces sparse and approximately orthogonal updates across tasks. We provide a theoretical explanation for this mechanism by analyzing multi-task gradient interference. Our results reveal a distinction: interference in SFT is norm-limited, scaling with the absolute gradient magnitude, whereas interference in RL is variance-limited, bounded by the gradient variance induced by advantage normalization and on-policy optimization. This small variance bound yields near-orthogonal optimization directions across tasks. Leveraging this insight, we propose Parallel-RL, a paradigm that decouples multi-task training, significantly improving efficiency and flexibility.

1. 서론

이 연구는 다단계 SFT에서 과제 간 충돌이 발생하는 반면, RL은 근사적으로 직교하는 업데이트를 통해 과제 전반에서 안정적인 성능 향상을 이룬다는 점을 밝힌다. 이 분석을 바탕으로 과제를 독립적으로 학습한 뒤 업데이트를 병합하는 Parallel-RL을 제안한다.

1. 서론

  • SFT와 RL은 서로 다른 학습 관행을 보이지만, 다중 과제 학습에서의 차이는 아직 충분히 연구되지 않았다.SFT는 일반적으로 여러 과제를 혼합한 데이터셋을 사용하는 반면(Dong et al., 2023), RL에서는 단일 과제별로 단계를 나누어 학습하는 방식도 널리 쓰인다(Narvekar et al., 2020).출처: §1 · p. 1
  • 다단계 SFT는 기본 모델 대비 평균 23.1%의 성능 하락을 보이는 반면, 다단계 RL은 24.9%의 성능 향상을 달성한다.단일 과제 SFT는 대상 과제의 성능을 높이지만 학습하지 않은 과제의 성능을 크게 떨어뜨린다. RL은 학습하지 않은 과제의 성능을 유지하면서 대상 과제의 성능을 높인다.출처: §1 · p. 1, Figure 1 · p. 1
  • RL의 평균 업데이트 크기는 SFT보다 두 자릿수 넘게 작으며, 과제 간 업데이트 유사도는 RL이 약 10^-5, SFT가 약 10^-1이다.거의 직교하는 RL 업데이트는 과제 간에 공존할 수 있어, SFT에서 관찰되는 충돌 없이 여러 학습 단계에 걸쳐 안정적인 향상이 가능하다.출처: §1 · p. 2
  • 이론 분석에서 SFT의 간섭은 기울기의 절대 크기로 제한되는 반면, RL의 간섭은 롤아웃 기울기의 분산으로 제한된다.어드밴티지 함수와 온폴리시 최적화는 RL의 희소한 매개변수 업데이트와 낮은 과제 간 간섭을 설명한다.출처: §1 · p. 2
  • Parallel-RL은 과제를 독립적으로 병렬 학습한 뒤 업데이트를 병합하여, 단일 과제 학습과 동등한 성능을 유지하면서 학습 효율을 높인다.제거 실험은 과제별 능력을 분리할 수 있음을 뒷받침한다. 이 프레임워크에는 모델 병합 외에도 과제 선택과 단일 과제 학습 기법이 필요하다.출처: §1 · p. 2

2. 기초 사항

다단계 SFT는 성능을 기본 모델보다 떨어뜨리는 반면, RL은 누적적인 성능 향상을 가능하게 한다. 단일 과제 학습에서도 SFT는 다른 과제의 성능 저하를, RL은 긍정적 전이를 보인다.

2.1. 실험 설정

  • 수학, 과학, 코딩, 논리 과제에 걸쳐 DeepSeek-R1-Distill-Qwen-1.5B를 LoRA로 미세 조정하며, RL에는 GRPO (Guo et al., 2025)를 사용한다.각 영역의 벤치마크는 수학의 MATH500, 과학의 MMLU, 코딩의 LiveCodeBench, 논리의 Knights & Knaves다.출처: §2.1 · p. 2

2.2. 학습 패러다임의 차이

  • 기본 모델 대비 다단계 RL의 평균 성능은 24.9% 향상되는 반면, 다단계 SFT의 평균 성능은 23.1% 하락한다.Multi-Stage는 과제를 순차적으로 학습하는 반면, Mixed-Data는 여러 과제의 데이터셋을 합쳐 공동 학습한다. Mixed-Data SFT와 RL은 기본 모델 대비 각각 평균 7.4%, 12.6%의 성능 향상을 달성한다.출처: Table 1 · p. 2, §2.2 · p. 2

2.3. 단일 과제 학습의 일반화

  • 단일 과제 학습 후 RL은 학습 대상 과제에서 평균 6.8%, 학습하지 않은 과제에서 평균 2.3%의 성능 향상을 보이는 반면, SFT는 학습 대상 과제에서 평균 4.0% 향상되고 학습하지 않은 과제에서 평균 5.1% 하락한다.저자들은 이 대비를 ‘SFT의 충돌’과 ‘RL의 공존’으로 명명한다. SFT는 다른 능력을 저하시키는 반면, RL은 기존 능력을 보존하면서 새 과제를 학습한다.출처: Table 2 · p. 3, §2.3 · p. 3

3. 매개변수 수준의 실증 분석

매개변수 업데이트의 L2 노름과 태스크 간 코사인 유사도를 분석한 결과, RL 업데이트는 SFT 업데이트보다 작고 희소하며 직교에 더 가깝다. 이러한 특성은 RL의 태스크 간 간섭이 미미하고 다단계 학습이 안정적인 이유를 설명한다.

관찰 1: RL 업데이트의 크기는 매우 작다

  • RL의 평균 업데이트 L2 노름은 약 3×10^-2로, SFT의 7.4와는 백 배 넘게 차이 난다.과제별 매개변수 업데이트 벡터를 계산하고 그 크기와 벡터 쌍 간 코사인 유사도를 비교한다.출처: Observation 1: The magnitude of RL… · p. 3, §3 · p. 3
  • 업데이트 크기가 10^-5를 넘는 매개변수의 비율은 RL에서 20%, SFT에서 93%로, RL 업데이트가 훨씬 더 희소함을 보여준다.고차원 매개변수 공간에서 작고 희소한 매개변수 변화는 서로 다른 태스크의 학습이 서로에 미치는 영향을 줄인다.출처: Observation 1: The magnitude of RL… · p. 3
  • RL의 태스크별 업데이트 간 평균 쌍별 코사인 유사도는 약 10^-5인 반면, SFT에서는 10^-1에서 1.0 수준이다.Math와 Code 사이에서 관찰되듯, 일부 SFT 업데이트는 서로 반대 방향을 가리키기도 한다.출처: Observation 1: The magnitude of RL… · p. 3
  • RL의 희소하고 매우 작으며 거의 직교하는 매개변수 업데이트는 태스크별 최적화를 분리해, 태스크 간 간섭이 미미하고 다단계 학습이 안정적인 이유를 설명한다.반면 SFT는 최적화 방향이 겹쳐 상호 간섭과 파국적 망각을 일으킨다.출처: Observation 1: The magnitude of RL… · p. 3

4. 이론적 분석

암묵적 KL 최소화, on-policy 샘플링, 합이 0인 어드밴티지를 통해 RL의 과제별 업데이트가 희소하고 작으며 거의 직교하는 이유를 설명한다. SFT의 간섭은 노름에 의해 제한되는 반면 RL의 간섭은 분산에 의해 제한되며, 정량적 측정도 더 낮은 간섭과 더 뚜렷한 과제 간 분리를 뒷받침한다.

4.1. RL 업데이트의 희소성과 작은 크기

  • 이진 보상과 적절한 정칙 조건에서 RL’s Razor (Shenfeld et al., 2025)는 KL 발산 기준으로 초기 정책에 가장 가까운 최적 정책을 선택한다.출력 집합이 유한하고 실행 가능한 정책 집합이 볼록하면, 보상 기반 정보 사영과 on-policy 모멘트 사영은 모두 KL 발산을 최소화한다. 논문은 외부 전문가 분포를 맞추는 SFT와 달리, 정책 이탈의 제한이 희소하고 작은 업데이트로 이어진다고 설명한다.출처: §4 · p. 3, §4.1 · p. 4

4.2. 다중 과제 기울기의 정성적 분석

  • 합이 0인 GRPO 어드밴티지는 평균 기울기 방향을 제거하고 잔차 간 내적만 남겨 SFT보다 간섭을 줄인다.어드밴티지 함수는 밀집된 평균 기울기를 걸러내고, on-policy 생성은 남은 잔차를 작게 유지한다.출처: §4.2 · p. 5
  • 서로 독립이고 평균이 0이며 희소한 RL 잔차는 고차원에서 거의 직교하게 되는 반면, off-policy SFT는 밀집되고 서로 겹치는 업데이트를 필요로 한다.이 논증은 과제별 분포의 독립성을 가정한다. On-policy 롤아웃은 입력과 모델 파라미터를 고정해 동일 입력 내 잔차 변동을 제한한다.출처: §4.2 · p. 5

4.3. 기울기 직교성의 상한

  • Theorem 4.5는 SFT 간섭의 상한을 점수 함수의 절대적 노름으로, RL 간섭의 상한을 그룹 내 잔차 분산으로 제시한다.이 상한은 노름의 기댓값과 분산이 유계라고 가정한다. On-policy 롤아웃의 변동은 작고, 학습이 수렴할수록 잔차는 감소한다.출처: §4.3 · p. 6

4.4. 정량화와 시각화

  • 코사인 유사도가 RL은 약 10^-3, SFT는 약 10^-1이라는 결과는 RL 업데이트의 준직교성을 뒷받침한다. t-SNE에서도 RL 군집은 분리되지만 SFT 분포는 서로 겹친다.SFT의 점수 함수 크기 ||S||2는 약 7.1인 반면 RL의 잔차 크기 ||δS||2는 약 10^-2로, 노름에 의해 제한되는 간섭과 분산에 의해 제한되는 간섭의 차이를 뒷받침한다.출처: Table 3 · p. 6, §4.4 · pp. 6–7, Figure 3 · p. 6

5. 응용: Parallel-RL 프레임워크

Parallel-RL은 추론 과제를 독립적으로 학습하고 서로 근사적으로 직교하는 파라미터 업데이트를 병합한다. Adapted Parallel-RL은 대부분의 과제에서 가장 우수하며, 업데이트 제거 실험은 과제 수준의 분리를 뒷받침한다.

5.1. 방법론

  • Parallel-RL은 과제를 독립적으로 학습하고 파라미터 업데이트를 병합하며, 과제 간 근사적 직교성을 활용해 다단계 학습을 근사한다.완전한 사후 학습 패러다임에는 병합 함수 선택뿐 아니라 병렬 학습에 적합한 과제 선정과 과제별 학습 기법 도입도 포함된다.출처: §5.1 · p. 7

5.2. 주요 실험

  • 원래 학습 데이터셋 크기의 5%를 병합 후 적응에 사용한다. 이외에 합산, 평균, TIES (Yadav et al., 2023), rank-1 SVD 병합을 평가한다.적응은 Naive Parallel-RL (sum) 이후에 수행한다. 실험에서는 DeepSeek-R1-Distill-Qwen-1.5B와 7B 기반 모델에 전체 파라미터 GRPO 학습을 적용한다.출처: §5.2 · pp. 7–8

5.3. 주요 결과

  • Naive Parallel-RL (sum)은 단일 과제 학습의 성능 향상분 중 95%를 보존하는 반면, Parallel-SFT (sum)은 해당 단일 과제 SFT 성능의 66%를 유지한다.Naive Parallel-RL은 기반 모델 대비 평균 5.0%의 성능 향상을 보인다. TIES 및 SVD Parallel-RL은 해당 단일 과제 RL 성능의 98%와 96%를 각각 유지한다.출처: §5.3 · p. 8
  • Adapted Parallel-RL은 기반 모델 대비 9.4%의 성능 향상과 단일 과제 RL 성능의 평균 102.8% 유지율을 달성하며 대부분의 과제에서 가장 우수하다.개별 과제에 특화된 모델까지 능가한다.출처: §5.3 · p. 8

5.4. 제거 실험

  • 업데이트를 제거하면 해당 과제의 정확도는 평균 7.1% 하락하는 반면, 나머지 과제에서는 평균 0.6% 향상된다.이 업데이트 제거 실험은 능력 간 분리와 다양한 과제 상황에 맞춘 유연한 모듈식 구성을 뒷받침한다.출처: §5.4 · p. 8, Table 5 · p. 8

6. 관련 연구

선행 연구는 단일 과제 환경에서 SFT와 RL의 차이를 규명하고 망각을 분석했으나, 다중 과제 훈련에서 두 방법이 보이는 차이는 충분히 탐구되지 않았다. 이 논문은 이론적·실증적 분석으로 이 공백을 메운다.

6. 관련 연구

  • 이 논문은 다중 과제 훈련에서 SFT와 RL이 보이는 차이에 대한 최초의 체계적 연구로 자체 이론적·실증적 분석을 제시한다.단일 과제 학습이나 망각에 초점을 둔 선행 분석과 이 기여를 구분한다.출처: §6 · p. 8
  • RL’s Razor (Shenfeld et al., 2025)는 다중 과제 훈련의 근본적 차이를 분석하기보다, 매개변수 변화를 제한하는 암묵적 KL 제약으로 망각 감소를 설명한다.The Path Not Taken (Zhu et al., 2025)도 망각에 초점을 둔 유사한 분석을 제시한다.출처: §6 · p. 8
  • Chu et al. (2025)는 단일 과제 환경에서 SFT는 새로운 경로를 암기하는 반면 RL은 일반화를 개선한다고 주장한다.다른 연구는 SFT와 RL의 결합을 탐구한다 (Zhang et al., 2025; Fu et al., 2025).출처: §6 · p. 8
  • 선행 연구 (Mukherjee et al., 2025)는 SFT와 달리 RL은 작은 부분 네트워크만 미세 조정한다고 보고한다.이는 두 훈련 패러다임의 매개변수 수준 차이를 보여준다.출처: §6 · p. 8

7. 결론

다단계 학습에서 SFT는 상당한 과제 간 충돌을 보이는 반면, RL은 과제 간 최적화 방향이 근사적으로 직교하여 안정적인 성능 향상을 가능하게 한다. 이러한 결과를 바탕으로 제안한 Parallel-RL은 다중 과제 학습을 분리하여 효율적인 모듈식 학습을 구현하고, 최소한의 적응으로 우수한 성능을 달성한다.

7. 결론

  • 다단계 학습에서 SFT는 상당한 과제 간 충돌을 보이는 반면, RL은 과제 간 공존을 통해 안정적인 성능 향상을 가능하게 한다.출처: §7 · p. 8
  • Parallel-RL은 다중 과제 학습을 분리하여 효율적인 모듈식 학습을 가능하게 하며, 최소한의 적응으로 우수한 성능을 달성한다.이 방법은 RL의 과제 간 최적화 양상에 관한 실증적·이론적 결과를 바탕으로 한다.출처: §7 · p. 9
  • RL의 과제 간 최적화 방향은 SFT보다 서로 덜 유사하고 근사적으로 직교하며, 이론 분석은 advantage 함수와 on-policy 학습이 이러한 양상을 유도하는 원리를 설명한다.출처: §7 · pp. 8–9

영향 성명 · A. 실험 세부 사항 · A.1. 과제 및 데이터셋 설명

이 연구는 SFT와 RL에 맞춘 데이터셋과 평가 벤치마크 6개를 활용해 수학, 과학, 코드, 논리를 다룬다. 영향 성명에서는 효율적인 다중 과제 학습 중에도 각 과제의 안전성과 신뢰성을 유지해야 함을 강조한다.

영향 성명

  • 저자들은 과제별 안전성과 신뢰성을 강조하며, 이 연구가 상세한 논의가 필요한 별도의 윤리적 위험이나 사회적 영향을 초래하지 않는다고 판단한다.다양한 상황에서 다중 과제 학습의 효율성과 효과를 높여 AGI의 비전 실현에 기여하는 것을 목표로 한다.출처: Impact Statements · p. 9

A.1. 과제 및 데이터셋 설명

  • SFT는 수학, 코드, 과학에 각각 OpenR1-Math-220k (Hugging Face, 2025), AM-DeepSeek-Distilled-40M (Tian et al., 2025b), AM-Thinking-v1-Distilled 의 부분집합을 사용한다.이 세 과제는 논리 추론과 함께 이 연구의 대표적인 추론 과제 네 가지를 구성한다.출처: §A.1 · p. 13
  • RL은 수학과 코드에 각각 DeepScaleR-Preview-Dataset (Meng et al., 2023)과 DeepCoder-Preview-Dataset 의 부분집합을 사용한다.과학 학습에는 AM-Thinking-v1-Distilled의 과학 영역 중 일부를 사용한다.출처: §A.1 · p. 13
  • SFT의 논리 학습에는 knights-and-knaves (Xie et al., 2024)를 사용하며, DeepSeek-R1 API로 LongCoT를 증류하고 Logic-RL (Xie et al., 2025)로 답을 검증한다.증류를 통해 원본 데이터에 없는 사고 과정을 보완하며, 검증은 규칙 기반으로 수행한다. RL은 Logic-RL 프로토콜에 따라 knights-and-knaves의 부분집합을 사용한다.출처: §A.1 · p. 13
  • AIME2025는 문항 수가 적어 16회 평가 평균 정확도(avg@16)를 보고하며, 수학 평가에는 MATH500 (Lightman et al., 2023)도 포함한다.반복 평가의 평균을 내어 무작위 변동을 줄이고자 한다.출처: §A.1 · p. 13
  • 과학 평가는 GPQA-Diamond (Rein et al., 2023)와 선별한 MMLU 과목을 사용하며, MMLU 전체 벤치마크는 사용하지 않는다.선별한 과목은 고등학교 물리학, 고등학교 화학, 대학 화학, 대학 생물학, 천문학, 전문 의학이다. 이는 MMLU의 규모와 과학적 추론에 직접 관련되지 않은 과제가 포함되어 있다는 점을 고려한 제한이다.출처: §A.1 · p. 13
  • 코드 생성은 주로 LiveCodeBench (Jain et al., 2024)로 평가하고, 논리 추론은 knights-and-knaves로 평가한다.이로써 네 가지 과제 범주에 걸친 평가 벤치마크 6개가 모두 구성된다.출처: §A.1 · p. 13

A.2. 학습 세부 설정 … C.3. 다른 RL 알고리즘으로의 일반화

부록에서는 SFT의 노름 제한형 간섭과 RL의 분산 제한형 간섭을 유도하고, 후자의 메커니즘을 PPO를 비롯해 advantage 정규화를 사용하는 on-policy 알고리즘으로 확장한다. 실험 설정과 관련 연구도 정리한다.

A.2. 학습 세부 설정

  • NVIDIA A100 GPU 8개에서 DeepSeek-R1-Distill-Qwen-1.5B와 7B를 교사 CoT 기반 SFT와 GRPO 기반 RL로 학습한다.학습률은 SFT에서 10^-5, RL에서 3 × 10^-6이며, RL은 프롬프트당 롤아웃 16개를 생성하고 KL 페널티를 사용하지 않는다. 두 방식 모두 토큰 수를 8K로 제한한다. LoRA의 랭크는 64, 스케일링은 32이며, 다단계 학습은 Math, Science, Code, Logic 순으로 진행한다.출처: §A.2 · p. 13

A.3. 평가 세부 설정

  • 대부분의 과제는 lighteval 로, 논리 추론은 Logic-RL 평가 도구 모음으로 평가한다.모든 평가용 응답은 NVIDIA A100 (80GB) GPU에서 샘플링 온도 0.6, top-p 0.95로 생성한다.출처: §A.3 · p. 13

B. 추가 관련 연구

  • 관련 연구 검토에서는 RL에서 망각이 적다는 기존 보고(Shenfeld et al., 2025; Zhu et al., 2025)와 대비해 본 논문의 체계적인 다중 과제 분석이 갖는 의의를 설명한다.CoT 기반 SFT와 결과 보상 기반 RL을 비교하고, 암기와 일반화의 차이(Chu et al., 2025)를 검토하며, 과제에 따라 달라지는 전이 효과(Li et al., 2025c; Cheng et al., 2025)를 짚는다. 모델 병합 연구로는 가중치 평균, 태스크 산술, 가지치기와 부호 선택으로 충돌을 줄이는 TIES-Merging (Yadav et al., 2023), 무작위 제거와 재스케일링을 사용하는 DARE 를 다룬다.출처: B. More Related Works · p. 14

C.1. RL 내적 분해

  • GRPO에서는 합이 0인 표준화된 advantage가 공통 평균 스코어 방향을 제거하므로, 과제 간 기울기 내적은 그룹 내 롤아웃 차이에 의해 결정된다.각 롤아웃의 스코어를 그룹 평균과 잔차로 분해하면 간섭에는 잔차의 기여만 남는다.출처: §C.1 · p. 15

C.2. Theorem 4.5의 증명 (기울기 간섭의 상한)

  • Theorem 4.5는 옌센 부등식과 코시–슈바르츠 부등식으로 SFT와 RL의 간섭 상한을 유도하며, 과제별 독립 표본 추출을 통해 기댓값을 인수분해한다.RL에서는 서로 다른 과제 간 데이터 표본 추출과 롤아웃 생성 모두에 독립성을 가정한다.출처: §C.2 · p. 15, §C.2.1 · p. 15, §C.2.2 · p. 16

C.2.1. SFT의 증명 (노름 제한형)

  • |ISFT(i, j)| ≤ Mi · Mj는 Assumption 4.4의 스코어 노름 상한을 이용해 노름 제한형 SFT 간섭 상한을 제시한다.과제 간 독립 표본 추출 덕분에 곱의 기댓값을 개별 기댓값의 곱으로 분해할 수 있다.출처: §C.2.1 · pp. 15–16

C.2.2. RL의 증명 (분산 제한형)

  • 그룹별로 표준화한 advantage의 평균제곱이 1이고 그룹 내 스코어 분산의 기댓값이 유계이면, Vi · Vj가 GRPO 간섭의 상한이 된다.Advantage 표준화는 advantage의 기여를 제어하므로, 간섭 상한은 스코어의 절대 크기가 아니라 잔차 스코어의 변동성에 의해 결정된다.출처: §C.2.2 · pp. 16–17

C.3. 다른 RL 알고리즘으로의 일반화

  • |IPPO(i, j)| ≤ Vi · Vj는 배치 잔차 스코어가 유계라는 가정하에 분산 제한형 간섭을 PPO로 확장한다.그룹 정규화를 적용한 GSPO (Zheng et al., 2025)와 DAPO (Yu et al., 2025)에도 동일한 유도가 성립한다. PPO는 평균이 영이고 분산이 일인 배치 advantage를 사용해 공통 배치 점수 방향을 제거한다. 논의에서는 프롬프트 내부가 아닌 배치 전체에 걸친 필터링으로 인해 PPO가 GRPO보다 더 큰 교란을 일으킨다고 주장하며, 가능한 개선 방안으로 프롬프트 내 정규화를 제안한다.출처: §C.3 · pp. 17–18

C.4. 보충 분석: 다중 과제 기울기의 코사인 유사도 · D. Parallel RL · D.1. 과제 간 호환성 판단 방법

추가적인 고차원 가정하에서 SFT는 공통 기울기 방향을 보존하지만, RL은 이를 상쇄하며 잔차 결합이 약할 때 거의 직교하는 기울기를 만든다. Parallel-RL에서도 과제 간 호환성이 필요하다. 점수 함수 시각화는 호환성을 가늠하는 예비 휴리스틱을 제공하며, Game 과제와의 병합에서는 간섭이 나타난다.

C.4. 보충 분석: 다중 과제 기울기의 코사인 유사도

  • 방향 비교에서는 점수 함수가 공통 우세 방향과, 노름이 특정 값에 집중되고 그 크기가 훨씬 작은 과제별 잔차로 분해된다고 가정한다.잔차 노름은 σ = ηMµ를 만족하며 η ≪ 1이다. 과제 간 잔차 결합은 [0, 1] 범위의 γi,j로 나타낸다.출처: §C.4 · pp. 18–19
  • SFT에서는 균등 평균이 공통 우세 방향을 보존하므로 과제 간 기울기 방향이 정렬된 상태를 유지하며, 코사인 유사도에 양의 하한이 주어진다.공통 방향의 노름 대비 잔차 노름의 비율 η가 1보다 훨씬 작으면 하한은 1에 가깝게 유지된다.출처: §C.4 · p. 19
  • RL에서는 합이 0인 advantage 가중치가 공통 방향을 정확히 상쇄하므로 과제 간 코사인 유사도는 잔차 결합에 의해 결정되며, 결합이 약하면 기울기는 거의 직교한다.이는 관찰된 과제 공존을 방향 관점에서 설명하며, 본문의 기울기 내적 분석을 보완한다.출처: §C.4 · pp. 18, 21

D. Parallel RL

  • Parallel-RL은 과제 선택에 민감하다. 잔차 결합이 반드시 작은 것은 아니며, 간섭이 강한 과제 쌍은 병렬 학습에 적합하지 않다.따라서 이 분석이 모든 RL 과제 쌍에 간섭이 없음을 입증하는 것은 아니다.출처: §D.1 · p. 21, §C.4 · p. 21

D.1. 과제 간 호환성 판단 방법

  • t-SNE 공간에서 과제별 점수 함수 분포가 분리되는지를 실용적인 호환성 휴리스틱으로 제안하며, 이것이 공존을 보장하지는 않는다.주요 실험에 선정된 과제들은 비교적 분리되지만, Game 분포는 Math 및 Code 분포와 겹치며 성능 저하도 나타나 이 기준을 예비적으로 뒷받침한다.출처: §D.1 · p. 21, Figure 4 · p. 22
  • Game–Math Parallel-RL 병합 결과, 각 과제에 대응하는 단일 과제 모델 대비 수학 성능은 4.0%, 게임 성능은 6.0% 낮아졌다.Game–Code 병합에서도 성능이 저하되었다. 이 반례에는 SynLogic (Liu et al., 2025b)의 논리 게임으로 학습한 DeepSeek-R1-Distill-Qwen-1.5B를 사용했다.출처: §D.1 · p. 21, Figure 4 · p. 22

D.2. 단일 과제 학습 기법: Parallel RL의 절충 관계 · E. 추가 실험 결과

Parallel-RL에는 탐색–간섭 간 절충 관계가 있다. 탐색을 늘리면 단일 과제 학습은 개선되지만 그래디언트 간섭이 커져 병합 후 성능이 저하될 수 있다. Parallel-RL의 효과, 강건성, 추론 한계를 평가하기 위한 추가 실험을 개괄한다.

D.2. 단일 과제 학습 기법: Parallel RL의 절충 관계

  • RL의 그래디언트 간섭은 그룹 내 롤아웃 분산에 의해 제한되므로, 탐색을 늘리면 과제 간 충돌과 병합 시 성능 저하가 커질 수 있다.상한은 |I_RL(i, j)| ≤ V_i · V_j이며, 동일한 프롬프트에 대한 롤아웃의 다양성이 커지면 그룹 내 분산도 증가한다.출처: §D.2 · p. 23
  • 단일 과제 탐색은 생성 확률은 낮지만 보상이 높은 추론 경로를 발견하는 데 도움이 되며, 출력 다양성이 높을수록 수렴과 성능이 개선되는 경우가 많다 (Guo et al., 2025).이러한 이점은 탐색을 단순히 최소화하는 것만으로는 다중 과제 간섭을 충분히 해결할 수 없는 이유를 설명한다.출처: §D.2 · p. 23
  • τ ≈ 0.65에서 단일 과제 역량과 다중 과제 간섭이 균형을 이루어 Parallel-RL이 가장 높은 성능을 보인다.롤아웃 온도가 높아지면 Naive Parallel-RL의 MATH500 정확도는 처음에는 상승하다가 이후 하락한다.출처: Figure 5 · p. 23, §D.2 · p. 23
  • 데이터 부분집합을 사용한 LoRA 학습에서 다른 과제의 설정은 고정하고 Math Model의 롤아웃 온도를 바꾸며 τ ∈ [0.4, 0.8]을 시험했다.자원 제약하에 수행한 이 절제 실험에서는 Naive Parallel-RL의 MATH500 정확도와 그룹 내 분산의 음의 로그값인 −log V를 측정했다.출처: §D.2 · p. 23
  • 롤아웃 온도가 높아지면 Math Model의 성능은 개선되지만 −log V는 감소하며, 이는 그룹 내 분산 증가와 더 높은 간섭 상한을 뜻한다.낮은 온도는 단일 과제 학습을 제한하는 반면, 높은 온도는 단일 과제 성능을 개선하지만 병합된 모델에 과도한 간섭을 유발한다.출처: §D.2 · p. 23, Figure 5 · p. 23

E. 추가 실험 결과

  • 추가 실험은 주요 결과 전체, 역량 분리 절제 실험, 과제 간 점수 함수 분포, Pass@k를 통한 추론 한계 평가를 다룬다.Sections E.1 and E.2에서는 Tables 4 and 5와 관련된 실험을 확장하고, E.3에서는 점수 함수를 시각화하며, E.4에서는 Pass@k로 Parallel-RL을 평가한다.출처: E. More Experimental Results · p. 24

E.1. 추가 주요 실험 결과 … E.4. Pass@K 분석

Parallel-RL은 LoRA와 PPO에서도 효과적이며, 업데이트 제거 실험과 점수 함수 시각화는 과제 간 간섭이 적다는 근거를 제시한다. Pass@k 결과는 Pass@1이 낮아질 수는 있지만 병합 모델이 단일 과제 추론 능력을 대체로 보존함을 보여준다.

E.1. 추가 주요 실험 결과

  • 1.5B 모델에서 LoRA와 GRPO를 사용한 Adapted Parallel-RL은 평균적으로 Single Task RL 성능의 103%를 달성한다.Naive Parallel-RL (sum)은 대응하는 단일 과제 모델 정확도의 98%를 유지해, 과제별 LoRA 업데이트를 병합할 때 간섭이 매우 적음을 보여준다.출처: Table 6 · p. 24, §E.1 · p. 24
  • 전체 파라미터 PPO를 적용한 Adapted Parallel-RL은 기본 모델 대비 평균 9.1%의 성능 향상을 달성하며, Naive Parallel-RL은 5.3%의 향상을 보인다.Naive Parallel-RL (sum)은 PPO에서 단일 과제 성능의 92.9%를 유지하고 GRPO에서는 94.2%를 유지해, GRPO에서 간섭이 더 적음을 뒷받침한다.출처: Table 6 · p. 24, §E.1 · p. 24

E.2. 추가 절제 실험 결과

  • Naive Parallel-RL에서 특정 과제의 업데이트를 제거하면 해당 과제의 평균 성능 변화는 -6.0%인 반면, 나머지 과제에서는 +0.9%다.과제별 업데이트는 주로 해당 과제의 능력에 영향을 미치며, 이는 병합 모델의 모듈성과 과제 간 분리를 뒷받침한다.출처: Table 7 · p. 25, §E.2 · p. 25

E.3. 추가 시각화

  • RL의 점수 함수 군집은 겹침이 거의 없이 과제별로 명확히 분리되는 반면, SFT 군집은 상당히 겹쳐 업데이트 간섭의 차이를 시각적으로 보여준다.추가 t-SNE 시각화는 수학, 코드, 논리 과제를 다룬다.출처: Figure 6 · p. 26, §E.3 · p. 26

E.4. Pass@K 분석

  • 문제당 응답 64개를 생성해 비편향 pass@k 추정으로 네 가지 추론 벤치마크에서 Naive Parallel-RL, Single-Task RL, 기본 모델을 비교한다.Pass@k는 k개 샘플 중 하나 이상이 정답인지를 측정하며, 비편향 추정은 Chen et al., 2021; Yue et al., 2025를 따른다. 벤치마크는 AIME2025, GPQA Diamond, Knights & Knaves, LiveCodeBench이며, DeepSeek-R1-Distill-Qwen 1.5B/7B 전체 파라미터 GRPO 모델과 1.5B LoRA 모델을 평가한다.출처: §E.4 · p. 26
  • Naive Parallel-RL은 Pass@1에서 Single-Task RL보다 낮은 성능을 보일 수 있지만, 샘플 수가 늘면 두 모델의 pass@k 곡선이 수렴해 추론 능력의 범위가 거의 동일함을 보여준다.저자들은 이러한 수렴을 단순한 파라미터 평균이 개별 RL 모듈이 학습한 추론 메커니즘을 보존한다는 근거로 해석한다.출처: Figure 7 · p. 27, §E.4 · p. 27
  • 대부분의 과제에서 Naive Parallel-RL과 Single-Task RL 간 Pass@16 격차는 무시할 수준으로 줄어들어 Adapted Parallel-RL의 실현 가능성을 뒷받침한다.적응 단계에서는 프롬프트당 G = 16회의 rollout을 사용한다. 저자들은 병합 후에도 능력이 보존되므로 5%와 같은 소규모 적응 데이터셋으로 성능을 회복할 수 있다고 보며, 이를 주요 실험에서 확인한다.출처: Figure 7 · p. 27, §E.4 · p. 27

F. 사례 연구 · G. 프롬프트 템플릿

Naive Parallel-RL은 과제별로 학습한 네 모델을 직접 평균한 뒤에도 제시된 수학·논리 문제에 정확히 답한다. 학습과 평가에는 과제별 프롬프트 설정을 사용하며, 수학·과학 평가에는 Lighteval 템플릿을 사용한다.

F. 사례 연구

  • 기반 모델은 제시된 두 과제 모두에서 실패하며, 과제별 모델은 학습한 영역에서는 성공하지만 학습하지 않은 과제에서는 오류를 보인다.제시된 논리 응답에서 기반 모델과 수학 모델은 모두 오답으로 표시되며, 논리 모델은 정답을 낸다.출처: F. Case Study · pp. 27, 32, 33, Figure 12 · p. 32
  • Naive Parallel-RL은 제시된 MATH500 문제와 Knights and Knaves 문제에 모두 정확히 답한다.이 비교는 벤치마크 전체 성능이 아닌 개별 테스트 사례를 다룬다.출처: F. Case Study · pp. 27, 34, Figure 11 · p. 31, Figure 14 · p. 34
  • Naive Parallel-RL은 과제별로 학습한 네 모델을 직접 평균하며, 사례 연구에서는 이를 DeepSeek-R1-Distill-Qwen-1.5B 및 수학·논리 특화 모델과 비교한다.이 사례 연구는 Section 5.2에 설명된 단순 통합 방식을 사용한다.출처: F. Case Study · pp. 27, 31, Figure 14 · p. 34

G. 프롬프트 템플릿

Related papers

Loading 2608.03573v2…