PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

When Bad Data Leads to Good Models

Kenneth Li, Yida Chen, Fernanda Viégas, Martin Wattenberg

arXiv:2505.04741v1cs.LGcs.AIcs.CL

TL;DR

독성 데이터 필터링은 데이터 다양성과 후속 과제 수행 능력을 낮출 수 있으며, 사전학습 모델의 독성만으로는 사후학습 후의 행동을 파악할 수 없다. 이 논문은 사전학습과 독성 저감을 함께 살펴본다. 독성 데이터는 사전학습 모델의 독성을 높일 수 있지만, 독성을 더 쉽게 낮추고 독성 저감과 능력 간의 절충을 개선할 수 있음을 보인다.

  • 문제

    이 논문은 사후학습으로 모델을 맞춤화할 경우 데이터 다양성과 후속 과제 수행 능력이 저하될 가능성을 고려해, 독성 사전학습 데이터를 필터링해야 하는지 묻는다.

    출처: §1 · p. 1

  • 방법

    저자들은 표현 공간을 살펴보는 장난감 실험과 깨끗한 데이터 및 독성 데이터를 사용한 통제된 Olmo-1B 사전학습을 결합한 뒤, 독성 저감을 위한 프롬프팅과 추론 시점 개입을 평가한다.

    출처: §1 · p. 1, §2.1 · p. 2, §5.3 · p. 6

  • 결과

    독성 데이터는 사전학습 모델의 독성을 높이지만 독성을 더 쉽게 완화할 수 있게 하며, 사후학습을 통해 독성 저감과 능력 간의 절충을 개선한다.

    출처: §1 · p. 2, §7 · p. 9

  • 시사점 및 한계

    사전학습 데이터 선택은 경험적으로 판단해야 하며, 사전학습과 사후학습을 종단 간 시스템으로 평가해야 한다.

    출처: §7 · p. 9

    실험은 독성에 초점을 맞추며, 독성 사전학습 데이터의 최적량은 아직 밝혀지지 않았다. 너무 많으면 조정 가능성이 낮아질 수 있다.

    출처: §7 · p. 9

Abstract

from arXiv · show

In large language model (LLM) pretraining, data quality is believed to determine model quality. In this paper, we re-examine the notion of "quality" from the perspective of pre- and post-training co-design. Specifically, we explore the possibility that pre-training on more toxic data can lead to better control in post-training, ultimately decreasing a model's output toxicity. First, we use a toy experiment to study how data composition affects the geometry of features in the representation space. Next, through controlled experiments with Olmo-1B models trained on varying ratios of clean and toxic data, we find that the concept of toxicity enjoys a less entangled linear representation as the proportion of toxic data increases. Furthermore, we show that although toxic data increases the generational toxicity of the base model, it also makes the toxicity easier to remove. Evaluations on Toxigen and Real Toxicity Prompts demonstrate that models trained on toxic data achieve a better trade-off between reducing generational toxicity and preserving general capabilities when detoxifying techniques such as inference-time intervention (ITI) are applied. Our findings suggest that, with post-training taken into account, bad data may lead to good models.

1. 서론

논문은 사전 학습과 후속 학습을 공동 설계된 시스템으로 보고, 독성 데이터가 모델의 탈독성화를 더 쉽게 하는지 묻는다. 실험 결과, 독성 데이터로 사전 학습하면 기본 모델의 독성은 높아지지만 일반 능력을 보존하면서 탈독성화하는 성능은 향상될 수 있다.

1. 서론

  • 독성 데이터를 필터링하면 데이터 다양성이 줄어들 수 있다. Longpre et al. (2023)은 대부분의 QA 분야에서 독성 식별 능력과 후속 성능도 저하된다고 밝혔다.출처: §1 · p. 1
  • 논문은 프롬프팅과 activation steering을 적용한 뒤 모델을 평가하며, 기본 모델의 행동만 판단하는 대신 사전 학습과 후속 학습을 통합 시스템으로 다룬다.저자들은 독성 데이터의 비중을 늘리면 특정 임계점까지 기본 모델의 정렬 가능성이 향상될 수 있다고 가정한다.출처: §1 · p. 1
  • 저자들이 이 연구에 착수한 이유는 정렬 방법이 독성 생성 결과를 낳는 메커니즘을 학습 해제하기보다 우회할 수 있으며, 그 메커니즘이 나중에 다시 사용될 수 있기 때문이다.출처: §1 · p. 1
  • 장난감 설정에서는 학습 데이터에서 특정 특성이 차지하는 비중을 늘리면 그 특성이 덜 얽힌 표현을 갖는 경향이 있다.이 결과를 바탕으로 독성 데이터를 추가하면 독성을 더 쉽게 식별하고 제어할 수 있는지 검증한다.출처: §1 · p. 1
  • 4chan 데이터 비중을 늘려 학습한 Olmo-1B 모델은 여러 층에 걸쳐 독성 프로브 정확도가 높아졌으며, 저자들은 이를 독성에 관한 내부 지식이 강화된 것으로 해석한다.저자들은 이 지식이 후속 학습 중 탈독성화에 도움이 될 수 있다고 제안한다.출처: §1 · p. 2
  • 독성 데이터로 사전 학습하면 기본 모델의 독성이 높아지지만, 후속 학습을 거치면 해당 모델의 독성이 낮아지며 비교 기준선보다 탈독성화와 능력 간 절충이 더 나아진다.비교 대상에는 프롬프팅과 steering뿐 아니라 supervised finetuning, DPO, MEDA, INST도 포함된다.출처: §1 · p. 2

2. 동기 부여 실험

동기 부여 실험은 학습 데이터에서 어떤 특징이 드물거나 더 흔할 때 그 특징의 표현이 어떻게 달라지는지 살펴본다. 장난감 transformer에서는 특징의 비중이 커질수록 얽힘이 줄어들며, 이는 독성 제거 전에 독성 데이터를 추가하자는 논문의 제안에 동기를 부여한다.

2. 동기 부여 실험

  • 이 실험은 누락되거나 부족한 데이터가 표현에 미치는 영향을 살펴보고, 얽힘 척도를 도입하기 위해 중첩 이론을 활용한다.특징 수가 뉴런 수보다 많으면 여러 특징의 표현이 활성화 공간의 한 차원을 공유해야 한다.출처: §2 · p. 2

2.1. 특징의 얽힘

  • 얽힘은 특징 방향 간 절대 코사인 유사도로 측정한다. 중첩으로 인해 한 특징을 편집하면 다른 특징에도 투영되어 부작용이 생긴다.얽힘이 낮은 특징은 더 두드러지는 반면, 다른 특징은 더 얽히게 된다.출처: §2.1 · p. 2

2.2. 장난감 실험 설정

  • 장난감 설정에서는 순환 Markov chain의 각 고유 시퀀스를 하나의 특징으로 간주하고, 과소 대표된 chain의 데이터셋 내 표본 비중을 달리한다.4차원 residual stream을 갖는 4-layer transformer를 사용하며, 각 데이터셋 구성은 10개의 무작위 시드로 학습한다.출처: §2.2 · pp. 3–4

2.3. 실험 결과

  • 과소 대표된 특징에 더 많은 학습 데이터를 제공할수록 얽힘은 다른 특징의 평균 얽힘에 가까워지며 감소한다.Figure 3은 급격한 감소를 보여준다. 4차원 residual stream에 특징을 압축할 때 보고된 자연 얽힘은 약 0.8이다.출처: Figure 3 · p. 4, §2.3 · p. 4
  • 저자들은 장난감 실험의 결과를 독성과 연결한다. C4에는 독성 데이터가 거의 없으므로 독성이 흔한 개념과 얽혀 있을 수 있으며, 따라서 강한 조향은 일반 능력을 저해할 수 있다.이 결과는 사전학습에 독성 데이터를 추가하자는 제안의 동기가 된다.출처: §2.3 · p. 4

3. 독성 데이터로 사전 학습

이 절에서는 사전 학습 중 독성 데이터 노출 비율을 조절하고 기본 모델의 역량과 독성 탐지 성능을 평가한다. 독성 데이터가 많아질수록 독성 탐지 성능은 일관되게 향상되며, 적정량의 독성 데이터는 일반 역량도 높일 수 있다.

3. 독성 데이터로 사전 학습

  • 독성 데이터에 적정 수준으로 노출하면 MMLU 역량이 향상될 수 있으며, ToxiGen에서의 독성 탐지 성능은 독성 데이터가 늘어날수록 일관되게 향상된다.그림은 사전 학습 데이터셋에서 독성 데이터가 늘어날 때 두 지표가 어떻게 변하는지 보여 준다.출처: Figure 4 · p. 4, §3 · p. 5
  • 통제된 데이터 스펙트럼은 거의 깨끗한 C4와 거의 전적으로 독성인 4chan을 결합하며, 독성 데이터 비율을 0%에서 25%까지 5%씩 높인다.깨끗한 데이터의 양은 일정하게 유지된다. 25%는 최적점을 포착하기 위해 설정한 과장된 비율이지 권장 비율이 아니다.출처: §3 · pp. 4–5
  • 4chan을 추가하면 probe-accuracy 분포에서 독성을 전문적으로 처리하는 어텐션 헤드가 늘어나고, 오른쪽 꼬리가 두꺼워진다.출처: Figure 5 · p. 5

4. 독성 데이터는 개념 형성을 개선한다

저자들은 모델 활성값에 선형 분류기를 학습시켜 Olmo-1B의 독성 표현을 조사한다. 4chan 데이터 25%로 학습한 모델은 프로브 정확도가 더 높고 독성에 특화된 헤드가 더 많다.

4. 독성 데이터는 개념 형성을 개선한다

  • 각 attention head의 마지막 토큰 활성값을 사용해 ToxiGen의 독성 및 비독성 예시를 분류하며, 학습-검증 데이터는 4:1로 나눈다.검증 정확도는 각 헤드의 독성 표현이 얼마나 분리 가능한지를 측정한다.출처: §4 · p. 5
  • 독성 데이터로 학습한 25% 4chan 모델의 프로브 검증 정확도는 C4만으로 학습한 모델보다 유의하게 높았으며(p = 0.0002), 차이의 95% 신뢰구간은 [0.67, 1.18]이었다.출처: §4 · p. 5
  • 추론 시 개입에서는 전반적인 능력 손상을 최소화하면서 행동을 바꾸기 위해 정확도가 높은 헤드를 표적으로 삼는 것이 중요하다.출처: §4 · p. 5
  • 단어화 실험에서 C4만으로 학습한 모델은 독성 토큰 약 6개, 독성 데이터로 학습한 모델은 11개가 확인되었다.토큰은 비임베딩 벡터와 가장 정확한 층의 프로브 방향 사이의 근접도를 기준으로 선택했다.출처: §4 · p. 5

5. 유해 데이터가 정렬 용이성을 높인다

이 절에서는 ITI와 다른 유해성 완화 기법을 사용해 사후 학습에서 독성을 얼마나 효과적으로 줄일 수 있는지 평가한다. 유해 데이터 비율이 높아지면 개입 전 독성은 증가하지만, ITI와 다른 사후 학습 기법을 적용하면 독성을 더 쉽게 낮출 수 있다.

5.3. 실험 결과

  • 개입이 없으면 4chan 데이터 비율이 높을수록 독성이 증가하지만, ITI를 적용하면 10%까지 낮아지고 그 이상에서는 다시 증가하되 클린 데이터 모델보다는 낮게 유지된다.보고된 10% 최적점은 비교적 작은 모델과 데이터 규모에서 나타난 결과이므로, 실제 적용 시에는 적정 비율을 경험적으로 찾아야 한다.출처: Figure 6 · p. 6, §5.3 · pp. 6–7

5.1. 추론 시점 개입의 배경

  • ITI는 디코딩 중 속성 방향을 따라 어텐션 헤드 활성값을 이동시킨다. 실험에서는 30개 헤드에 약한(4), 중간(8), 강한(12) 강도로 개입한다.개입 강도와 헤드 수는 일반 능력과 목표 속성 간 균형을 맞추도록 조정한다.출처: §5.1 · p. 6

5.2. 실험 기준선 비교

  • 기준선에는 독성을 낮추는 지시문 프롬프트, MEDA 및 INST 독성 주석, SFT와 DPO가 포함된다. 후자의 두 방법에는 Tulu V2와 선호도 데이터셋 또는 지시 데이터셋을 사용한다.MEDA는 Perspective API 독성 점수를 덧붙이고, INST는 자연어 독성 레이블을 앞에 붙인다.출처: §5.2 · p. 6

5.3. 실험 결과

  • 4chan 데이터가 10%인 경우, 프롬프팅과 조향은 클린 데이터 모델보다 정렬 용이성이 높다. 약한 조향은 가장 낮은 교차 엔트로피 손실을 보이며 독성 완화에서 모든 기준선을 앞선다.비교에는 Figure 6에서 선택한 독성 데이터 10% 모델을 사용한다. 독성을 더 크게 낮춰야 한다면 더 강한 개입을 적용할 수 있다.출처: Table 1 · p. 7, §5.3 · p. 7
  • 유해 사전 학습 데이터를 추가하면 SFT와 DPO의 독성 완화 효과도 높아지며, ITI의 미소 모양 곡선과 비슷한 경향을 보인다.이 결과가 선형 조향 이외의 방법에도 적용될 수 있음을 시사한다.출처: §5.3 · p. 7, Table 2 · p. 8

5.4. 레드팀 실험

  • ITI를 적용하지 않으면 두 모델 모두 GCG 공격 성공률이 80%를 넘는다. 강한 ITI를 적용하면 두 모델의 성공률이 모두 낮아지며, 독성 데이터 10%로 학습한 모델이 38.5%로 가장 낮은 성공률을 보인다.출처: §5.4 · p. 7, Table 3 · p. 8

6. 관련 연구

기존 독성 완화 접근법은 모델을 파인튜닝하거나 디코딩 시점에 생성을 제어하며, 능력 보존과 견고성 측면에서 상충 관계가 보고되어 왔다. 본 연구는 상대적으로 덜 연구된 사전 학습과 후속 학습의 공동 설계에 주목해, 사전 학습 데이터의 빈도가 선형 표현 및 독성 완화의 상충 관계와 어떻게 연관되는지 살펴본다.

파인튜닝 기반 독성 완화

  • RLHF와 DPO를 포함한 파인튜닝 기반 독성 완화는 기존 능력을 저하시킬 수 있다. DPO 방어는 무력화될 수 있으며, 의도하지 않은 파인튜닝조차 정렬을 약화할 수 있다.제안하는 접근법은 학습 단계를 어느 정도 통합하며, 독성 표현이 더 잘 형성되면 배포 시 이를 더 효과적으로 억제할 수 있다는 가설을 세운다.출처: §6 · p. 8

제어 생성을 통한 독성 완화

  • 제어 생성 방법은 추론 비용을 높이거나 유창성과 능력을 저하시킬 수 있다. ITI와 같은 활성화 기반 방법은 충분히 발달한 선형 표현에 의존한다.본 연구는 이러한 선형성이 더 효과적으로 나타나는 조건을 살펴본다.출처: §6 · p. 8

사전 학습과 후속 학습의 공동 설계

  • 공동 설계 연구는 상대적으로 드물다. 본 연구는 사전 학습 빈도와 선형 표현에 관한 연구를 확장하고, 텍스트 독성 주석보다 더 나은 독성–유창성 상충 관계를 보고한다.해당 주석 방식과 달리, 독성 데이터를 사전 학습에 직접 추가한다.출처: §6 · p. 8

7. 결론 및 향후 연구

독성 사례 연구에서 독성 사전학습 데이터가 많을수록 독성 표현이 개선되고 학습 후 독성을 완화하기 쉬워진다는 점을 확인한다. 연구는 사전학습과 후속 학습을 함께 평가해야 한다고 주장하는 한편, 적용 범위와 데이터 양, 작동 메커니즘에 관한 미해결 질문을 제기한다.

7. 결론 및 향후 연구

  • 독성 사전학습 데이터가 많을수록 독성 콘텐츠 분류 성능이 향상되고 독성 표현의 얽힘이 줄어들며, 후속 학습 중 독성을 완화하기도 쉬워진다.논문은 이를 전통적으로 기피해 온 사전학습 데이터의 사례 연구로 제시한다.출처: §7 · p. 9
  • 사전학습 데이터 선택은 경험적으로 검증할 문제로 다뤄야 하며, 전체 목표를 기준으로 사전학습과 후속 학습을 하나의 시스템으로 평가해야 한다.논문은 두 단계 사이에 가능한 시너지를 보여주는 사례 연구로 독성을 다룬다.출처: §7 · p. 9
  • 이 결과가 독성에서 다른 정렬 관련 특성으로 일반화되는지는 향후 연구 과제로 남는다.출처: §7 · p. 9
  • 독성 사전학습 데이터의 최적량은 아직 밝혀지지 않았으며, 지나치게 많이 포함하면 조정 가능성이 낮아질 수 있다.논문은 특성 빈도와 후속 학습에서의 조정 가능성 사이의 관계를 정확히 규명할 것을 촉구한다.출처: §7 · p. 9
  • 특성 개수와 은닉 공간 크기가 얽힘 감소와 어떤 관계인지 등, 결과를 낳은 메커니즘은 아직 충분히 연구되지 않았다.출처: §7 · p. 9

영향 진술

이 논문은 유해 콘텐츠 생성을 줄이는 방법을 연구하며, 그에 따른 사회적 이점을 살펴본다.

영향 진술

  • 모델이 유해 콘텐츠를 생성할 가능성을 낮추는 것은 자연스럽게 사회적 이점을 가져온다.출처: Impact Statement · p. 9

A. 사전학습 모델의 역량 평가

역량 평가 결과, 독성 데이터 비율이 높아져도 전반적인 성능 저하는 거의 없었다. MMLU 정확도는 독성 데이터 비율을 달리해 학습한 체크포인트들 사이에서 소폭만 변했다.

A. 사전학습 모델의 역량 평가

B. 어텐션 헤드 정확도 히트맵

The appendix compares attention-head validation accuracies for Olmo-1B trained with C4 alone and with C4 plus 4chan. Its heatmaps show a slight overall accuracy increase with 4chan, while the accompanying bar plot presents Figure 5 in a different style.

B. 어텐션 헤드 정확도 히트맵

C. 독성 방향의 언어화

이 절에서는 C4만으로 학습한 모델과 C4 및 4chan으로 학습한 모델에서 독성 방향에 가장 가까운 토큰 50개를 제시한다. 두 목록에는 서로 다른 토큰이 포함되어 있으며, C4만으로 학습한 모델의 목록에는 “hate”가, C4와 4chan으로 학습한 모델의 목록에는 “Jew”와 “Jews”가 있다.

C. 독성 방향의 언어화

  • C4만으로 학습한 모델의 목록은 독성 방향에 가장 가까운 토큰 50개를 제시한다.예를 들면 “hate”, “negro”, “fool”이 있다.출처: C. Verbalization of Toxicity Directions · p. 14
  • 두 모델의 목록에서 독성 방향에 가장 가까운 토큰은 서로 같지 않다.예를 들어 “hate”는 C4만으로 학습한 모델의 목록에 나타나고, “Jew”와 “Jews”는 C4와 4chan으로 학습한 모델의 목록에 나타난다.출처: C. Verbalization of Toxicity Directions · p. 14
Loading 2505.04741v1…