PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

Training language models to follow instructions with human feedback

Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, Ryan Lowe

arXiv:2203.02155v1cs.CLcs.AIcs.LG

TL;DR

언어 모델은 사용자의 의도를 일관되게 따르지 못하므로, 이 논문은 사람의 시범 데이터로 GPT-3를 미세조정한 뒤 사람의 선호에 기반한 강화학습을 적용한다. 평가자들은 매개변수가 1.3B개인 InstructGPT의 출력을 매개변수가 175B개인 GPT-3의 출력보다 선호하며, InstructGPT는 존중하는 태도로 응답하도록 지시했을 때 진실성이 향상되고 독성이 줄어든다.

  • 문제

    언어 모델은 사용자의 지시를 일관되게 따르지 못하며, 사용자의 명시적·암묵적 의도에 맞추는 정렬은 여전히 미해결 과제다.

    출처: §1 · pp. 1–2

  • 방법

    사람의 시범 데이터로 GPT-3를 지도 미세조정한 뒤, 사람의 선호에서 도출한 보상으로 강화학습을 수행한다.

    출처: §1 · p. 2, §3.5 · p. 9

  • 결과

    평가자들은 매개변수가 1.3B개인 InstructGPT의 출력을 매개변수가 175B개인 GPT-3의 출력보다 선호하며, InstructGPT는 존중하는 태도로 응답하도록 지시했을 때 진실성이 향상되고 독성이 줄어든다.

    출처: §1 · p. 3

  • 시사점과 한계

    이 결과는 사람의 피드백을 활용한 미세조정이 다양한 과제에서 언어 모델을 사용자의 의도에 맞게 정렬하는 유망한 방향임을 뒷받침한다.

    출처: §1 · p. 4

    InstructGPT는 완전히 정렬되지도, 완전히 안전하지도 않으며, 여전히 유해하거나 편향된 출력을 생성하고 사실을 지어낸다.

    출처: §5.3 · p. 19

Abstract

from arXiv · show

Making language models bigger does not inherently make them better at following a user's intent. For example, large language models can generate outputs that are untruthful, toxic, or simply not helpful to the user. In other words, these models are not aligned with their users. In this paper, we show an avenue for aligning language models with user intent on a wide range of tasks by fine-tuning with human feedback. Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations of the desired model behavior, which we use to fine-tune GPT-3 using supervised learning. We then collect a dataset of rankings of model outputs, which we use to further fine-tune this supervised model using reinforcement learning from human feedback. We call the resulting models InstructGPT. In human evaluations on our prompt distribution, outputs from the 1.3B parameter InstructGPT model are preferred to outputs from the 175B GPT-3, despite having 100x fewer parameters. Moreover, InstructGPT models show improvements in truthfulness and reductions in toxic output generation while having minimal performance regressions on public NLP datasets. Even though InstructGPT still makes simple mistakes, our results show that fine-tuning with human feedback is a promising direction for aligning language models with human intent.

1 서론

인간의 시연과 선호 피드백으로 GPT-3를 미세 조정한 InstructGPT는 평가자들이 GPT-3보다 선호하며, 사실성이 높고 독성이 낮다. 그러나 이러한 개선에도 오류는 여전하며, 더 폭넓은 사용자의 선호를 뒷받침하는 근거는 제한적이다.

1 서론

  • 175B InstructGPT는 175B GPT-3와의 비교에서 85 ± 3%, 퓨샷 175B GPT-3와의 비교에서 71 ± 4%의 선호율을 보인다.학습에 사용하지 않은 고객 프롬프트에서는 1.3B InstructGPT도 매개변수가 100x 넘게 적음에도 175B GPT-3보다 선호된다. InstructGPT는 명시적인 지시 제약도 더 일관되게 따른다.출처: Figure 1 · p. 2, §1 · pp. 2–3
  • InstructGPT는 시연을 통한 지도 학습, 인간 선호 기반 보상 모델링, PPO를 이용한 강화 학습으로 GPT-3를 미세 조정해 사용자 의도를 더 잘 따르게 한다.다음 토큰 예측은 유용하고 정직하며 무해하게 지시를 따르는 것과 다르며(Askell et al., 2021), 언어 모델은 사실을 지어내거나 편향되거나 유해한 텍스트를 생성할 수 있다. 시연에는 주로 영어로 된 API 프롬프트와 평가자 작성 프롬프트를 사용한다. 이 절차는 광범위한 인간 가치가 아니라 평가자와 연구자가 명시한 선호를 목표로 한다.출처: §1 · pp. 1–2
  • 폐쇄형 도메인 API 과제의 환각 발생률은 InstructGPT와 GPT-3가 각각 21% 대 41%로 InstructGPT가 더 낮으며, TruthfulQA에서 사실에 부합하고 유익한 답변도 약 두 배 더 자주 나온다.폐쇄형 도메인의 출력에는 입력에 없는 정보가 포함되어서는 안 된다. GPT-3의 약점을 겨냥해 적대적으로 선별하지 않은 질문에서도 TruthfulQA의 개선 폭은 동일하게 유지된다.출처: §1 · p. 3
  • 정중하게 답하도록 요청하면 InstructGPT는 GPT-3보다 유해한 출력을 약 25% 적게 생성하지만, 평가에 사용한 편향 데이터셋에서는 유의미한 개선이 없다.독성은 RealToxicityPrompts (Gehman et al., 2020)에서 자동 평가와 인간 평가로 측정한다. 편향 평가에는 Winogender (Rudinger et al., 2018)와 CrowSPairs (Nangia et al., 2020)를 사용한다.출처: §1 · p. 3
  • PPO 갱신에 사전 학습 우도 기반 갱신을 혼합하면 평가자 선호 점수를 떨어뜨리지 않으면서 공개 NLP 데이터셋의 성능 저하를 크게 줄인다.이러한 PPO-ptx 갱신은 SQuAD (Rajpurkar et al., 2018), DROP (Dua et al., 2019), HellaSwag, WMT 2015 프랑스어-영어 번역에서 관찰된 정렬 비용을 완화한다.출처: §1 · pp. 3–4
  • InstructGPT는 학습에 참여하지 않은 평가자에게도 일반화되며, 미세 조정 분포를 벗어난 지시도 따르는 모습을 정성적으로 보인다.학습에 참여하지 않은 평가자도 학습에 참여한 평가자와 비슷한 비율로 GPT-3보다 InstructGPT를 선호하지만, 더 폭넓은 사용자층과 의견 불일치에 대해서는 추가 연구가 필요하다. InstructGPT는 직접적인 지도 학습이 거의 없었음에도 코드를 요약하고 코드 관련 질문에 답하며 때로는 다른 언어의 지시도 따르지만, GPT-3에는 더 세심한 프롬프트 설계가 필요하다.출처: §1 · p. 4
  • 기준 모델 대비 승률은 InstructGPT가 73.4 ±2%인 반면, T0는 26.8 ±2%, FLAN은 29.8 ±2%다.API 프롬프트에서 T0의 T0++ 변형(Sanh et al., 2021)과 FLAN (Wei et al., 2021)을 사용해 저자들이 학습한 모델은 저자들의 SFT 기준 모델보다 성능이 약간 낮다.출처: §1 · p. 4
  • InstructGPT는 여전히 지시를 따르지 못하고, 사실을 지어내며, 간단한 답에도 지나치게 유보적인 표현을 쓰고, 잘못된 전제를 놓치므로 안전성과 신뢰성을 위한 과제가 많이 남아 있다.따라서 보고된 행동 개선이 단순한 오류까지 없애지는 못한다.출처: §1 · p. 4

2 관련 연구

이 논문은 광범위한 과제에 RLHF를 적용한 연구를 지시문 튜닝 연구, 언어 모델의 유해성 평가·완화 방법과 연결해 설명한다.

정렬과 인간 피드백 기반 학습 연구

지시를 따르도록 언어 모델 훈련하기

언어 모델의 유해성 평가

유해성 완화를 위한 언어 모델의 행동 수정

3 방법 및 실험 세부사항

사람이 작성한 시범 예시, 선호 기반 보상 모델링, PPO로 GPT-3를 미세조정하며, PPO-ptx에서는 사전학습 그래디언트를 추가한다. 평가는 별도로 분리한 API 프롬프트에 대한 인간 선호도 평가와 진실성, 독성, 편향, 전통적 NLP 과제의 공개 벤치마크를 결합한다.

3.1 방법 개요

  • 사람이 작성한 시범 예시로 GPT-3를 지도학습하고, 출력 비교로 보상 모델을 학습하며, PPO (Schulman et al., 2017)로 이 모델의 스칼라 보상을 최적화한다.개선된 정책에서 얻은 비교 데이터를 이용해 보상 모델링과 정책 최적화를 반복할 수 있다. 비교 데이터 대부분은 지도학습 정책에서, 일부는 PPO 정책에서 얻었다.출처: §3.1 · p. 6

3.2 데이터셋

  • 프롬프트는 주로 초기 InstructGPT Playground 사용자에게서 수집했으며, 학습 초기 기반을 마련하기 위해 평가자가 작성한 프롬프트로 보완했다.SFT는 시범 예시가 있는 프롬프트 약 13k개, RM은 출력 순위가 매겨진 프롬프트 33k개, PPO는 레이블 없는 API 프롬프트 31k개를 사용한다. 실제 서비스의 API 데이터는 제외한다. 보호 조치로는 접두부 기반 중복 제거, 사용자당 프롬프트 200개 제한, 사용자 간 중복 없는 데이터 분할, 학습 프롬프트의 개인 식별 정보 필터링을 적용한다.출처: §3.2 · pp. 6–7

3.3 과제

  • 데이터셋에서 영어의 비중은 96%를 넘으며, 생성, 질의응답, 대화, 요약, 추출 등 다양한 자연어 과제를 포함한다.과제는 명시적 지시, few-shot 예시, 암묵적 이어쓰기로 제시될 수 있다. 평가자는 사용자의 의도를 추론하고, 지나치게 불명확한 과제는 건너뛰며, 진실성과 편향되거나 유해한 출력의 회피에 대한 암묵적 기대를 고려한다.출처: §3.3 · p. 7

3.4 인간 피드백 데이터 수집

  • 학습에 참여한 평가자 간 일치도는 72.6 ± 1.5%, 학습에 참여하지 않은 평가자 간 일치도는 77.3 ± 1.3%로, 평가자 간 일치도가 상당히 높았다.계약직 평가자 약 40명이 시범 예시, 비교 데이터, 주요 평가를 제공했으며, 인구집단별 선호와 유해한 출력에 대한 민감도를 기준으로 선발했다. 학습에서는 유용성을, 최종 평가에서는 진실성과 무해성을 우선했다.출처: §3.4 · pp. 7–8

3.5 모델

  • 각 프롬프트의 모든 비교를 하나의 배치 원소로 묶으면 보상 모델의 과적합을 방지하면서 계산 효율, 검증 정확도, 로그 손실을 개선할 수 있다.SFT는 16 에포크 동안 수행하고 검증 보상 점수로 체크포인트를 선택한다. 검증 손실은 한 에포크 이후 과적합을 보이지만, 추가 학습은 보상 점수와 인간 선호도를 높인다. 175B 모델의 학습은 불안정할 수 있어 보상 모델에는 6B개의 매개변수를 사용하며, RL 전에 시범 예시의 평균 보상이 0이 되도록 보상을 이동시킨다.출처: §3.5 · pp. 8–9
  • PPO-ptx는 공개 NLP 벤치마크의 성능 저하를 완화하기 위해 PPO에 사전학습 그래디언트를 혼합하며, 이 논문에서 기본으로 사용하는 InstructGPT 변형이다.PPO는 보상 모델에 대한 과도한 최적화를 완화하기 위해 SFT를 기준으로 토큰별 KL 페널티를 적용하며, 가치 함수는 보상 모델로 초기화한다. 비교 기준 모델에는 SFT, GPT-3, 지시 프롬프트를 적용한 GPT-3와, FLAN (Wei et al., 2021) 또는 T0 (Sanh et al., 2021)의 예제 약 1백만 개로 각각 미세조정하고 검증 보상 점수로 체크포인트를 선택한 175B GPT-3가 포함된다.출처: §3.5 · p. 9

3.6 평가

  • 진실성은 폐쇄형 도메인에서의 환각과 TruthfulQA (Lin et al., 2021)로 평가하며, 유해성은 전반적 피해에 대한 추측성 판단 대신 구체적인 행동 대리지표로 평가한다.이 지표들은 진실성의 일부만 포착하며, 모델의 믿음을 추론할 수 없으므로 정직성을 입증하지는 못한다. 유해성 대리지표는 보조자로서 부적절한 응답, 보호 대상 집단에 대한 비하, 성적·폭력적 콘텐츠, RealToxicityPrompts (Gehman et al., 2020)와 CrowS-Pairs (Nangia et al., 2020) 등의 벤치마크를 포함한다.출처: §3.6 · p. 10
  • 주요 평가는 별도로 분리한 API 프롬프트에 대한 인간 선호도를 측정하되, 평가자가 사용자의 의도를 잘못 해석할 수 있음을 인정한다.출력은 175B SFT 기준 모델과 비교하며, 전반적 품질을 1-7 리커트 척도로 평가한다. 평가에는 학습에서 보지 못한 사용자, GPT-3 기준 모델에 분포상 불이익이 있을 가능성을 고려한 GPT-3 대상 프롬프트, 안전성과 zero-shot NLP 성능을 다루는 공개 벤치마크가 포함된다.출처: §3.6 · p. 10

4 결과

InstructGPT는 API 프롬프트에서 사람의 선호도와 지시 이행 능력을 높였다. 공개 데이터셋 평가에서는 진실성이 향상되고 프롬프트에 따라 유해성이 감소했지만, 편향은 개선되지 않았다. 사전 학습 업데이트로 벤치마크 성능 저하를 완화했으며, 정성적으로 확인된 일반화 능력과 단순한 실패가 공존했다.

4.1 API 분포에서의 결과

  • 직접 비교에서 175B InstructGPT를 선호한 비율은 GPT-3 대비 85 ± 3%, few-shot GPT-3 대비 71 ± 4%였다.선호도는 few-shot 프롬프팅, 지도 미세 조정, PPO를 거치며 차례로 높아졌고, 사전 학습 업데이트를 추가해도 거의 달라지지 않았다. InstructGPT는 고객 응대 도우미로 더 적합했고, 지시와 명시적 제약을 더 잘 따랐으며, 폐쇄형 도메인 과제에서 환각이 적었다.출처: Figure 3 · p. 11, §4.1 · p. 11, §4.2 · p. 13
  • 175B InstructGPT의 일대일 비교 선호율은 FLAN (Wei et al., 2021) 대비 78 ±4%, T0 (Sanh et al., 2021) 대비 79 ± 4%였다.두 기준 모델은 모두 기본 GPT-3보다 우수했고, 프롬프트를 잘 설계한 GPT-3와 비슷했으며, SFT보다는 성능이 낮았다. 저자들은 이 격차를 제한된 입력 다양성과 과제 불일치 때문으로 보았다. API 사용에서 분류와 질의응답은 약 18%인 반면, 개방형 생성과 아이디어 발상은 약 57%를 차지했다.출처: Figure 5 · p. 12, §4.1 · pp. 12–13
  • 학습에서 제외한 평가자의 선호 예측 정확도는 69.6 ± 0.9%로, 학습에 참여한 평가자의 72.4 ± 0.4%와 비교해 보상 모델의 일반화 능력을 뒷받침했다.다섯 평가자 집단과 세 시드로 5분할 교차 검증을 수행했으며, 학습에서 제외한 평가자도 GPT-3 기준 모델보다 InstructGPT를 강하게 선호했다. InstructGPT 대신 GPT-3에 제출된 프롬프트에서도 결과는 거의 달라지지 않았지만, 규모가 큰 PPO-ptx 모델의 성능은 약간 낮아졌다.출처: §4.1 · pp. 11–12, Figure 3 · p. 11

4.2 공개 NLP 데이터셋에서의 결과

  • PPO 모델은 진실하게 답하라는 명시적 지시 없이도 TruthfulQA에서 GPT-3보다 진실성과 정보성이 작지만 유의하게 향상되었다.예외적으로 1.3B PPO-ptx 모델은 같은 규모의 GPT-3보다 성능이 약간 낮았다. 비적대적 프롬프트에서도 향상 효과는 유지됐지만, 향상 폭은 두 퍼센트포인트가량 줄었다. Lin et al. (2021)의 불확실하면 답변을 유보하도록 하는 프롬프트를 사용했을 때, PPO 모델은 GPT-3보다 확신에 찬 거짓 응답 대신 진실하지만 정보가 없는 응답을 더 잘 선택했다.출처: Figure 6 · p. 13, §4.2 · p. 13
  • InstructGPT는 정중한 응답을 지시하는 프롬프트가 있을 때만 유해성이 감소했고, 유해한 응답을 명시적으로 요구하면 유해성이 증가했으며, GPT-3 대비 편향은 개선되지 않았다.사람의 평가와 Perspective API 평가 결과는 일치했다. 유해성 수준별 층화 표집으로 절대 점수가 부풀려졌고, 모든 모델의 유해성은 프롬프트에 기반한 예상보다 낮았다. SFT는 유해성이 가장 낮았지만 선호도와 연속성도 가장 낮았다. 문장 쌍 평가에서 PPO-ptx와 GPT-3의 편향은 비슷했으나, 정중한 응답을 지시하면 엔트로피가 낮아져 PPO-ptx의 측정된 편향이 증가했다. 다만 뚜렷한 고정관념 패턴은 없었다.출처: Figure 7 · p. 14, §4.2 · p. 14
  • PPO에 사전 학습 업데이트를 추가하면 여러 데이터셋에서 공개 벤치마크 성능 저하가 완화되고 HellaSwag에서는 GPT-3를 능가했지만, DROP, SQuADv2, 번역에서는 성능 격차가 남았다.일반 PPO는 여러 공개 NLP 데이터셋에서 정렬에 따른 성능 비용을 초래했다. 사전 학습 혼합 비율을 조정하면 검증 보상을 거의 줄이지 않고도 SQuADv2와 DROP의 성능 저하를 되돌릴 수 있었다. 반면 KL 계수를 높이면 보상이 크게 감소했지만 성능은 완전히 회복되지 않았다.출처: §4.2 · pp. 14–15

4.3 정성적 결과

  • 정성적 사례에서 InstructGPT는 미세 조정 데이터 중 극히 일부만 해당 영역에 속했음에도 비영어 지시를 따르고 코드를 요약하거나 코드 관련 질문에 답했다.이러한 행동은 정량화하지 않았으며, 예시 프롬프트는 선별했지만 출력은 선별하지 않았다. 출력은 여전히 영어인 경우가 많았고, 코드 관련 답변 하나는 불완전했다. GPT-3는 이러한 과제에서 더 세심한 프롬프팅이 필요했다.출처: §4.3 · pp. 15–16, Figure 8 · p. 15
  • InstructGPT는 여전히 거짓 전제를 받아들이고, 단순한 질문에도 지나치게 유보적으로 답하며, 여러 개이거나 어려운 명시적 제약을 따르는 데 어려움을 겪었다.저자들은 인식론적 겸손에 보상을 주면서 유보적 답변이 늘어났고, 거짓 전제를 담은 학습 프롬프트가 부족해 잘못된 가정을 받아들이게 되었다고 추정했다. 두 행동의 해결책으로 적대적 데이터 수집(Dinan et al., 2019b)을 제안했다.출처: §4.3 · pp. 16–17

5 논의

RLHF는 비교적 적은 비용으로 정렬을 개선하는 방법이지만, InstructGPT에는 여전히 중요한 안전성 문제가 있으며 특정 기준 집단의 선호가 반영되어 있다. 이 절에서는 유해한 지시, 대표성 있는 정렬, 성능 저하, 배포 시 안전장치에 관한 미해결 문제를 논의한다.

5.1 정렬 연구에 대한 시사점

  • 배포된 모델을 반복적으로 정렬하면 실증적 피드백을 얻을 수 있지만, 초인적 시스템에 고유한 정렬 문제를 직접 해결하지는 못한다.저자들은 비영어 및 코드 과제처럼 지도 학습을 하지 않은 환경으로도 지시 이행 능력이 일반화되며, 미세 조정에 따른 성능 저하도 대부분 완화되었다고 보고한다. 실제 서비스에 정렬 기법을 적용하면 그 효과와 한계에 관한 피드백을 얻을 수 있다.출처: §5.1 · pp. 17–18
  • 고객의 자연어 과제 분포에서는 모델 크기를 100x 늘리는 것보다 RLHF가 유용성 개선에 더 효과적이었다.175B SFT 모델과 PPO-ptx 모델의 학습에는 각각 4.9 petaflops/s-days와 60 petaflops/s-days가 필요했으며, GPT-3에는 3,640 petaflops/s-days가 필요했다(Brown et al., 2020). 따라서 저자들은 이 분포에서 현재로서는 더 큰 모델을 학습하는 것보다 정렬에 투자하는 편이 비용 효율적이라고 주장한다.출처: §5.1 · p. 17

5.2 누구에게 맞춰 정렬하는가?

  • 정렬에는 학습 데이터 평가자, 연구자가 작성한 지침, API 고객의 선호가 반영되며, 모델의 영향을 받는 모든 사람의 선호를 대표하지는 않는다.평가자는 대부분 미국이나 동남아시아에 거주하는 영어 사용자였으며, 평가자 간 일치율은 약 73%였다. 고객 선정은 OpenAI의 인적 네트워크에 편중되어 있었고, 고객의 이해관계는 최종 사용자의 이해관계와 충돌할 수 있다. 어떤 시스템도 모든 사람의 선호를 동시에 충족할 수는 없다. 집단별 조건부 모델이 대안일 수 있지만, 대표성, 참여 거부권, 더 넓은 사회적 영향은 여전히 미해결 문제다.출처: §5.2 · p. 18

5.3 한계

  • 선별된 외부 계약 인력 약 40명이 피드백을 제공했고, 대부분의 비교에는 평가가 단 한 건만 부여되어 대표성이 제한되고 의견 불일치를 파악하기 어려웠다.소규모 팀 덕분에 긴밀한 소통이 가능했지만, 평가자는 주로 영어 사용자였고 지침도 거의 전부 영어로 작성되었다. 반복 평가로 의견 불일치를 드러낼 수 있으며, 출력이 소수 집단에 불균형하게 큰 영향을 미치는 경우 선호를 평균내는 것은 부적절할 수 있다.출처: §5.3 · p. 19
  • InstructGPT는 여전히 완전히 정렬되지도, 완전히 안전하지도 않으며, 유해한 지시를 따르면 같은 크기의 GPT-3보다 더 유해한 출력을 생성할 수 있다.모델은 여전히 사실을 지어내고 편향되거나 유해하거나 성적이거나 폭력적인 콘텐츠를 생성하며, 때로는 합리적인 출력을 생성하지 못한다. 최대한 편향되도록 명시적으로 지시하면 같은 크기의 GPT-3 모델보다 더 유해한 출력을 생성한다.출처: §5.3 · p. 19

5.4 미해결 문제

  • RLHF에 사전 학습 데이터를 섞어도 성능 저하는 부분적으로만 완화되며 바람직하지 않은 행동이 다시 나타날 수 있다. 유해한 지시 거부도 여전히 미해결 과제다.개선 방안으로는 유해 데이터 필터링(Ngo et al., 2021), 합성 지시, 적대적 라벨링(Dinan et al., 2019b), WebGPT 같은 진실성 향상 기법(Nakano et al., 2021)이 제안된다. 거부 행동을 학습할 때는 배포 맥락을 고려해야 한다. 다른 상황에서는 유해한 출력도 유익하게 쓰일 수 있기 때문이다.출처: §5.4 · pp. 19–20
  • 미해결 문제로는 투명하고 대표성 있는 정렬과, 현재의 지시 이행 접근법을 넘어서는 더 나은 피드백·최적화·행동 유도 기법이 있다.이 논문은 추론된 사용자 의도를 목표로 삼지만, 의도·선호·이해관계·가치를 폭넓게 구분하는 일도 여전히 중요하다(Gabriel, 2020). 대안으로는 응답 수정이나 비평, expert iteration(Anthony et al., 2017; Silver et al., 2017), 행동 복제, 제약 최적화(Achiam et al., 2017), 제어 코드(Keskar et al., 2019), 추론 시점의 행동 유도(Dathathri et al., 2019)가 있다.출처: §5.4 · pp. 19–20

5.5 더 넓은 영향

  • 지시 이행 능력이 향상되면 허위 정보 유포와 악용도 쉬워질 수 있으므로, 정렬은 완전한 해결책이 아니라 더 넓은 안전 생태계의 한 구성 요소다.위험 부담이 큰 응용 분야에서는 특히 주의해야 한다. 공개 배포는 유해한 용도를 제한하기 어렵게 하지만, 접근 제한은 많은 사람을 배제한다. API 안전장치는 용도 제한, 오용 감시, 접근 권한 회수, 사용 규모 제한을 가능하게 하지만 투명성을 낮추고 권력을 집중시킨다. 누구의 선호를 기준으로 정렬하는지도 순효과에 영향을 미친다.출처: §5.5 · p. 20

A 추가 프롬프트 데이터 세부 사항 … B.2 라벨링 지침

이 절에서는 프롬프트 데이터 수집과 다양성, 개인정보 보호 조치, 외주 작업자 선별, 라벨링 지침을 설명하고 프롬프트 범주와 형식의 예시를 제시한다. 학습용 라벨링에서는 유용성을, 최종 평가에서는 진실성과 무해성을 중시했음을 구분한다.

A.1 라벨러 작성 프롬프트

  • 라벨러는 다양한 일반 과제, few-shot 예시, API 애플리케이션 활용 사례에 기반한 프롬프트로 지시 따르기 학습의 초기 데이터를 마련했다.Brown et al. (2020)을 따라 질의-응답 쌍 K개로 학습 예시 K개를 만들고, 각 예시에서 나머지 K-1개 쌍을 맥락으로 사용했다.출처: §A.1 · p. 26
  • 별도의 라벨러가 애플리케이션에서 도출한 과제를 익명화한 뒤, 이 데이터로 첫 InstructGPT 모델을 지도 학습했다.애플리케이션을 구체성이 낮은 상위 수준의 과제로 바꾸어 애플리케이션별 정보를 제거했다. 이렇게 학습한 모델은 2021년 초 API 베타로 제공되었다.출처: §A.1 · p. 26

A.2 API 사용자 프롬프트

  • API 프롬프트는 실제 서비스 운영 고객이 아닌 Playground에서만 수집했으며, 학습 활용을 고지하고 학습 프롬프트에서 개인 식별 정보를 제거했다.사용자가 InstructGPT 모델로 전환할 때마다 알림을 표시했다. 베타 출시 때도 개발자 Slack을 통해 학습 활용을 알렸다.출처: §A.2 · p. 26
  • 조직당 약 200개의 프롬프트 수집, 긴 공통 접두부에 기반한 중복 제거, 조직 단위 데이터셋 분할로 활용 사례의 다양성을 확보하고 학습 조직을 검증·테스트 조직과 분리했다.중복 제거에는 휴리스틱을 사용했으며, 검증 조직은 학습 조직과 다른 활용 사례를 제공하도록 선정했다.출처: §A.2 · p. 26

A.2.1 InstructGPT 분포의 사용자 프롬프트 예시

  • InstructGPT 프롬프트 예시는 생성, 개방형 QA, 폐쇄형 QA, 아이디어 발상, 대화, 재작성, 요약, 분류, 추출, 기타의 10개 활용 범주로 나뉜다.예시는 가상이지만 현실적으로 구성했다. 재작성 예시 중 하나는 브로드웨이 연극의 줄거리를 광고 개요로 바꾸는 과제다.출처: §A.2 · p. 26, §A.2.1 · p. 28

A.2.2 GPT-3 분포의 사용자 프롬프트 예시

  • GPT-3 프롬프트 예시는 대체로 지시문 형식이 덜 두드러지고, 프롬프팅을 더 명시적으로 하며, 때로는 사용자 의도가 불분명하다.예를 들어, 초등학교 이학년 수준의 요약 과제는 부모가 지문을 풀어 설명하던 문장을 완성하는 형태로 제시된다.출처: §A.2.1 · p. 30, §A.2.2 · p. 32

A.3 데이터셋 크기; A.2.2 GPT-3 분포의 사용자 프롬프트 예시

  • SFT에는 고객 프롬프트보다 라벨러 작성 프롬프트가 훨씬 많았는데, 지시문 템플릿에 서로 다른 few-shot 예시 묶음을 적용해 여러 학습 예시를 합성했기 때문이다.데이터셋 집계에서는 라벨러 작성 프롬프트와 API 프롬프트를 구분했다. GPT-3 사용자 입력 예시에는 미완성 인용문과 Call of Duty를 플레이한다는 반복 진술이 포함되었다.출처: §A.2.2 · pp. 32–33, §A.3 · p. 33

A.3 데이터셋 크기

  • RM 프롬프트마다 출력 4개에서 9개의 순위를 매겨, 프롬프트 수의 약 열 배에 달하는 순위 기반 학습 쌍을 얻었다.데이터셋 크기는 이러한 순위 기반 쌍의 수가 아니라 프롬프트 수로 보고했다.출처: §A.3 · p. 33, Table 6 · p. 33

A.4 데이터 다양성

  • 데이터셋(데이터 110k개)의 약 96%가 영어로 분류되었지만, 저자들은 실제 비율이 99% 이상이라고 추정했다.RM 데이터는 다양한 활용 사례를 포괄했고 PPO의 범주 분포도 유사했으며, 주석 항목의 변경으로 메타데이터는 불완전했다. 소수의 프롬프트는 영어 외에 최소 20개 언어로 작성되었다.출처: §A.4 · pp. 33, 35

B.1 라벨러 선정

  • Upwork와 Scale AI의 외주 작업자는 민감성 감지, 완성문 순위 매기기, 미묘한 차이를 반영한 시범 답변 작성, 민감한 주제나 문화 집단에 대한 친숙도의 자기평가를 통해 선별했다.민감성 표시와 완성문 순위는 연구자의 판단과 비교했으며, 민감한 내용의 시범 답변은 1–7점 Likert 척도로 평가했다.출처: §B.1 · p. 36
  • 라벨러 선정에서는 민감성 표시와 비교 평가의 일치율 75%, 시범 답변 점수 6/7을 유연하게 적용하는 기준으로 삼았다.선정에는 익명화된 데이터를 사용했지만, 특히 주제와 문화 집단에 대한 친숙도가 자기평가에 기반했기 때문에 최종 선택에는 주관성이 남았다.출처: §B.1 · p. 36

B.2 라벨링 지침

  • 학습 라벨러는 진실성과 무해성보다 유용성을 우선한 반면, 최종 평가 라벨러는 진실성과 무해성을 우선했다.지침은 피드백, 메타데이터 변경, 혼란스럽거나 일관되지 않은 안내의 수정을 거치며 발전했다.출처: §B.2 · p. 36
  • 거부 기반 학습은 여전히 탐색 단계였으며, 용도별로 다른 위험 때문에 거부 동작의 설정 가능성이 요구되는 한편 모델이 무해한 지시까지 거부할 수 있다는 우려도 있었다.저자들은 학습 중 때에 따라 유용성보다 진실성과 무해성을 우선하는 방법을 탐색하고 있었다.출처: §B.2 · p. 36

B.3 라벨링 작업자 인구통계 자료 … C 추가 모델 세부 사항

라벨링 작업자 설문에 따르면 대다수가 35세 미만이고 주로 미국이나 동남아시아 출신이며, 작업에 대한 반응은 대체로 긍정적이다. 이 절들은 평가 지침, 점수 및 순위 부여 절차, GPT-3 기반 모델의 구현 세부 사항도 기술한다(Brown et al., 2020).

B.3 라벨링 작업자 인구통계 자료

  • 논문은 자체 프롬프트 분포에 대한 최종 평가 지침의 발췌문과 RealToxicityPrompts 독성 평가 지침 전문을 제공한다.출처: Figure 10 · p. 37, Figure 11 · p. 38

B.4 라벨링 작업자 만족도 설문

  • 설문 응답자 19명은 대체로 라벨링 작업을 즐기고, 보수가 공정하다고 여기며, 연구진과의 소통을 긍정적으로 평가했으나 작업의 반복성에 대해서는 의견이 갈렸다.일부는 작업이 반복적이라고 느꼈지만, 다른 이들은 흥미와 몰입을 유지할 만큼 변화가 충분하다고 답했다.출처: §B.4 · p. 38

B.5 웹 인터페이스

  • 각 출력의 전반적 품질을 1–7 리커트 척도로 평가하고 메타데이터 레이블도 부여했다.모든 라벨링 작업자와 연구자가 라벨링 인터페이스를 사용했다.출처: §B.5 · p. 38, Figure 12 · p. 39
  • 라벨링 작업자는 각 프롬프트의 출력을 개별적으로 평가한 뒤 순위를 매겼으며, 출력의 품질이 비슷해 보이면 동점 처리를 권장했다.출처: Figure 12 · p. 39

B.3 라벨링 작업자 인구통계 자료

  • 설문에 응답한 라벨링 작업자의 75%는 35세 미만이었고, 남녀 비율은 비교적 균형을 이루었으며, 대부분 미국이나 동남아시아 출신이었다.자발적 익명 인구통계 설문에는 19명이 응답했다.출처: §B.3 · pp. 36, 38, Table 12 · p. 40

C 추가 모델 세부 사항

  • 모든 모델은 GPT-3 구조를 사용하며(Brown et al., 2020), 보상 모델과 가치 함수에서는 언임베딩 층을 스칼라 투영으로 대체한다.모델은 fp16 가중치와 활성값, fp32 마스터 가중치, Brown et al. (2020)의 바이트 쌍 인코딩, β1 = 0.9 및 β2 = 0.95로 설정한 Adam을 사용한다. 언어 모델과 RL 정책의 문맥 길이는 2k 토큰이다. 1k 토큰을 초과하는 프롬프트는 제외하고 응답은 1k 토큰으로 제한한다.출처: C Additional model details · p. 40

C.1 SFT 학습 세부 사항

SFT 모델에는 모델 크기별 하이퍼파라미터와 코사인 학습률 스케줄을 사용했다. 최종 모델은 검증 손실보다 인간 선호도를 더 잘 예측하는 보상 모델 점수를 기준으로 선정했다.

C.1 SFT 학습 세부 사항

  • 16에포크의 SFT 학습에 잔차 드롭아웃 0.2와 워밍업 없는 코사인 학습률 스케줄을 사용했다.이 스케줄은 학습률을 초기값의 10%까지 낮췄다.출처: §C.1 · p. 40
  • 1.3B/6B 모델에는 학습률 9.65e-6과 배치 크기 32를, 175B에는 학습률 5.03e-6과 배치 크기 8을 사용했다.기하급수적 탐색으로 1.3B와 6B 모델에서는 학습률 일곱 개를, 175B에서는 다섯 개를 평가했다.출처: §C.1 · p. 40
  • 최종 모델은 검증 손실보다 인간 선호도 평가 결과를 더 잘 예측하는 보상 모델 점수를 기준으로 선정했다.학습률과 학습 에포크 수는 기하급수적 탐색으로 조정했다.출처: §C.1 · pp. 40–41

C.2 RM 학습 세부 사항 … C.5 FLAN과 T0 모델

RLHF 학습에는 지도 학습 기반 초기화, 공통 6B 보상 모델, PPO, 사전 학습 데이터 혼합을 함께 사용했다. FLAN과 T0 비교 모델은 GPT-3에서 각각 미세 조정하고 보상 모델 점수로 선택했다.

C.2 RM 학습 세부 사항

  • 예비 실험에서 6B 보상 모델은 175B 보상 모델의 불안정성과 더 큰 연산 요구량을 피하면서도 동등한 성능의 PPO 모델을 만들었다.175B 보상 모델은 더 낮은 검증 손실을 달성할 가능성이 있었지만, 불안정성 때문에 PPO 가치 함수 초기화에는 덜 적합했다. 6B 모델은 넓은 학습률 범위에서 안정적이었다.출처: §C.2 · p. 41
  • 최종 보상 모델은 1 에포크 동안 학습했으며, 추가 에포크에서는 과적합과 검증 손실 악화가 빠르게 나타났다.공개 NLP 데이터셋으로 미세 조정한 6B GPT-3 모델로 초기화했지만, GPT-3와 SFT로 초기화해도 결과는 비슷했다. 학습률은 9e-6, 코사인 감쇠의 최종 학습률은 초기값의 10%였으며, 배치마다 서로 다른 프롬프트 64개를 사용했다. 학습률을 최대 50% 변경해도 성능은 비슷했다.출처: §C.2 · p. 41

C.3 RLHF 초기화 모델 세부 사항

  • 사전 학습된 GPT-3에 사전 학습 데이터 10%를 섞어 지도 학습 2 에포크를 수행해 RLHF를 초기화했으며, 이 데이터 혼합은 이후 PPO 학습에 도움이 되었다.시연 데이터와 사전 학습 데이터 모두의 검증 손실을 기준으로, 1.3B, 6B, 175B 모델의 학습률을 각각 5e-6, 1.04e-5, 2.45e-6으로 선택했다. 배치 크기는 1.3B와 6B에서 32, 175B에서 8이었으며, 코사인 감쇠로 학습률을 최댓값의 10%까지 낮췄다.출처: §C.3 · p. 42

C.4 RLHF 학습 세부 사항

  • 각 RL 정책은 지도 학습 모델로 초기화해 256k 에피소드 동안 학습했으며, 이 초기 모델은 β = 0.02인 KL 페널티의 기준 모델로도 사용했다.PII 필터링과 접두사 기반 중복 제거 후 약 31k개의 고유 프롬프트를 사용했다. 크기 512의 배치를 8개 미니배치로 나누어 내부 학습 1 에포크를 수행했다. PPO에는 클리핑 비율 0.2, 롤아웃 온도 1, 할인 없는 advantage 추정, 10회 반복에 걸친 학습률 워밍업, 감쇠율 0.992의 가중치 평균화를 사용했다.출처: §C.4 · p. 42
  • 모든 정책 크기에 공통으로 6B 보상 모델과 가치 모델을 사용해 정책 크기의 영향을 더 쉽게 비교할 수 있도록 했다.가치 함수는 보상 모델로 초기화했다. 가치 함수의 고정 학습률은 1.3B와 6B 정책에서 9e-6, 175B 정책에서 5e-6이었다.출처: §C.4 · p. 42
  • 공개 NLP 데이터셋에서의 성능 저하를 완화하기 위해 PPO 학습 중 RL 에피소드 수의 8배에 해당하는 사전 학습 예제를 사용했다.초기에는 SQuADv2와 DROP 등에서 성능이 저하되었다. 각 미니배치에서 연속된 단계에 걸쳐 PPO 기울기와 사전 학습 기울기를 누적했으며, 사전 학습 기울기에는 γ = 27.8을 곱했다.출처: §C.4 · p. 42

C.5 FLAN과 T0 모델

  • 학습 데이터 양이 비슷한 비교 모델을 구축하기 위해 175B GPT-3를 FLAN과 T0++로 미세 조정했다.T0에는 96M개, FLAN에는 1.2M개의 데이터가 있었으므로 T0에서 1백만 개를 부분 표본 추출했다. 원래 모델들의 에포크 구성과 달리, SFT 비교 모델의 학습 방식에 더 잘 맞추기 위해 각 에포크에서 모든 데이터를 중복 없이 한 번씩 순회했다.출처: §C.5 · p. 42
  • 보상 모델 점수로 선택한 FLAN과 T0 체크포인트는 모두 학습 예제 896k개를 처리한 시점의 모델이었다.FLAN의 보상은 처음 400k개 예제 이후 포화되었다. 선택된 체크포인트의 학습률은 4e-6이었으며, 6B 보상 모델로 점수를 매겼다. 선택된 T0 체크포인트는 배치 크기 128, 학습률 4e-6을 사용한 실험에서 나왔다.출처: §C.5 · pp. 42–43

D 자동 평가 세부 사항 … E 추가 결과

175B PPO 모델은 공개 NLP 데이터셋에서 제로샷 성능이 저하되지만, 미세 조정 중 사전 학습 데이터로 추가 업데이트를 수행하면 이러한 저하가 완화된다. 평가 세부 사항에는 과제 형식, 디코딩 규칙, 편향 및 독성 측정에 쓰이는 지시문 변형이 명시되어 있다.

D 자동 평가 세부 사항

  • 모든 평가용 응답은 T = 0으로 샘플링하며, 첫 줄바꿈에서 잘라낸다.퓨샷 예시는 최종 질의와 동일한 형식을 유지한다.출처: D Automatic evaluation details · p. 44
  • 객관식 평가에서는 T = 1에서 토큰당 평균 로그 확률이 가장 낮은 답을 선택한다.이는 제공된 본문에 명시된 선택 규칙이다.출처: D Automatic evaluation details · p. 44
  • 평가 과제는 선택적으로 포함되는 과제 공통 지시문, 질의별 문맥, 샘플링한 응답 또는 객관식 응답으로 구성된 템플릿을 공유한다.벤치마크 모음은 행동 측정과 표준 NLP 과제를 포괄한다.출처: D Automatic evaluation details · p. 44

D.1 독성 및 편향 평가 세부 사항

  • 편향 및 독성 평가에서는 기본형, 존중형, 편향형 프롬프트를 비교한다.편향 과제에서는 평균 선택 엔트로피도 비트 단위로 보고한다. 이진 선택 엔트로피는 어느 선택지도 선호되지 않을 때 최댓값 1에 도달한다.출처: §D.1 · p. 44

D.2 각 평가 데이터셋의 프롬프트 구조와 평가 특성

  • 데이터셋별 문서는 편향, 독성, 진실성, 언어 이해, 번역, 요약 벤치마크의 프롬프트, 검증 데이터 크기, 평가 지표를 명시한다.함께 제시된 그림에는 프롬프트 예시와 데이터셋 특성이 담겨 있으며, CNN/DM과 TL;DR 요약에 관한 설명도 각각 제공된다.출처: §D.2 · p. 44, D Automatic evaluation details · p. 44, Figure 26 · p. 49

E 추가 결과

  • 175B PPO 모델은 공개 NLP 벤치마크에서 제로샷 성능이 일관되게 저하되지만, 미세 조정 중 사전 학습 데이터로 추가 업데이트를 수행하면 이러한 저하가 완화된다.평가 소프트웨어가 번역 평가의 오차 막대를 보고하지 않아 이를 제시하지 못한다.출처: Figure 28 · p. 51

E.1 공개 NLP 데이터셋에서의 성능 · E.2 평가자 집단 간 보상 모델의 일반화

PPO-ptx는 사전학습 데이터를 혼합하지 않은 PPO에서 나타나는 공개 NLP 성능 저하를 완화하며, 특히 few-shot 평가에서 효과가 두드러진다. 보상 모델은 학습에 참여한 평가자와 동일한 집단에서 추출하되 학습에서는 제외한 평가자에게도 잘 일반화된다.

E.1 공개 NLP 데이터셋에서의 성능

  • 자동 평가는 편향, 유해성, 진실성과 다양한 자연어 처리 능력을 종합적으로 측정한다.평가 결과는 Table 14에 제시되어 있다.출처: §E.1 · p. 51
  • 공개 NLP 성능은 zero-shot 평가와 few-shot 평가로 나누어 각각 Figure 28과 Figure 29에 제시한다.Figure 29는 다양한 공개 NLP 데이터셋에서의 성능을 보여준다.출처: §E.1 · p. 51, Figure 29 · p. 52
  • PPO-ptx는 여러 공개 NLP 데이터셋에서 사전학습 데이터를 혼합하지 않은 PPO의 성능 저하를 완화하며, 특히 few-shot 평가에서 효과가 두드러진다.이러한 완화가 모든 성능 저하의 해소를 의미하지는 않는다.출처: §E.1 · p. 51, Figure 29 · p. 52

E.2 평가자 집단 간 보상 모델의 일반화

  • 사람이 선호하는 출력을 예측하는 검증 정확도는 집단 간 72.4±0.4%, 집단 내 69.6±0.9%로, 보상 모델이 학습에서 제외한 평가자에게도 일반화됨을 시사한다.학습에서 제외한 평가자는 학습에 참여한 평가자와 동일한 집단에서 추출했다.출처: §E.2 · p. 52
  • 학습에 참여한 평가자에 대한 과적합을 평가하기 위해, 비교 데이터를 학습 데이터 양이 대략 같도록 다섯 평가자 집단으로 나눈다.평가자 일부의 데이터로 보상 모델을 학습하고, 학습에서 제외한 평가자의 데이터로 평가한다.출처: §E.2 · p. 52
  • 5분할 교차검증에서는 네 평가자 집단의 데이터로 6B 보상 모델을 학습하고 나머지 집단의 데이터로 검증한다.실험에는 Appendix C.2에 명시된 하이퍼파라미터를 사용한다.출처: §E.2 · p. 52

E.3 모델 크기에 따른 메타데이터 결과 · E.4 리커트 점수 · E.5 편향 측정

모델 유형과 크기별 메타데이터 평가 점수를 제시하며, 리커트 점수는 선호도 결과와 대체로 일치한다. InstructGPT는 Winogender와 CrowS-Pairs에서 GPT-3 대비 유의미한 개선을 보이지 않는다.

E.3 모델 크기에 따른 메타데이터 결과

E.4 리커트 점수

  • 저자들의 프롬프트 분포에서 각 모델의 리커트 점수는 Section 4.1의 선호도 결과와 대체로 일치한다.출처: §E.4 · p. 53

E.5 편향 측정

  • InstructGPT는 편향 평가 데이터셋인 Winogender와 CrowS-Pairs에서 GPT-3 대비 유의미한 개선을 보이지 않는다.출처: §E.5 · p. 53

E.6 공개 NLP 데이터셋의 성능 저하 해소 … E.10 입력 독성에 따른 RealToxicityPrompts 결과

사전학습 데이터 혼합은 KL 정규화 강화만으로 해소하지 못하는 공개 NLP 데이터셋의 성능 저하를 회복할 수 있지만, 학습이 길어지면 성능이 다시 저하될 수 있다. 추가 실험에서는 PPO 조정과 초기화, 학습률 안정성, 프롬프트와 출력 독성 간 상관관계를 살펴본다.

E.6 공개 NLP 데이터셋의 성능 저하 해소

  • KL 보상 계수를 기본값의 100배인 2.0으로 높여도, 사전학습 데이터 혼합 없이는 1.3B 모델의 공개 NLP 성능 저하를 해소하지 못한다.계수 탐색에서는 사전학습된 GPT를 KL 기준 모델로 사용하고 사전학습 손실 계수를 0으로 설정했다. KL을 높여도 DROP과 SQuAD의 성능 저하를 완전히 완화하지 못했다. 과도한 KL 페널티는 검증 보상을 급격히 낮췄으며, 이는 사전학습으로 얻은 능력을 유지하는 데 사전학습 데이터 분포가 중요함을 뒷받침한다.출처: §E.6 · p. 53, Figure 34 · p. 55
  • 사전학습 손실 계수가 20 이상이면 1.3B 모델의 공개 NLP 성능 저하를 회복하며, 27.8은 1.3B–175B 모델 전반에서 좋은 성능을 보인다.민감도는 과제마다 다르며, 적절한 계수는 검증 보상을 거의 떨어뜨리지 않으면서 DROP과 SQuAD 성능을 크게 개선한다. 계수를 높이면 검증 보상이 낮아지는 반면, 사람의 Likert 점수는 정확한 계수 값에 민감하지 않은 것으로 나타났다.출처: §E.6 · p. 53, Figure 33 · p. 55
  • 사전학습 데이터를 혼합한 1.3B PPO 학습을 256k가 아닌 512k 에피소드까지 진행하면, DROP과 SquadV2 성능이 GPT-3보다 높은 수준에서 약간 낮은 수준으로 떨어진다.실험에는 사전학습 데이터를 혼합하는 기본 PPO 방법과 세 개의 무작위 시드를 사용했다.출처: §E.6 · p. 56, Figure 35 · p. 57

E.7 최적 KL 보상 계수

  • 사전학습 데이터를 혼합해도 사람의 Likert 점수에 거의 최적인 KL 보상 계수는 0.01과 0.02이며, 계수가 0이나 2이면 성능이 낮다.따라서 사전학습 데이터 혼합이 KL 보상 계수 조정의 필요성을 없애지는 않는다.출처: §E.7 · p. 56, Figure 36 · p. 57

E.8 PPO 초기화 모델

  • PPO 초기화에는 사전학습 데이터 10% 혼합과 사람의 시연 데이터를 이용한 두 에포크 학습을 선택했지만, PPO 성능은 이러한 선택에 민감하지 않은 것으로 나타났다.초기화 조건 탐색에서는 한 에포크와 두 에포크, 사전학습 데이터 혼합 비율 0%, 10%, 50%를 비교했다. 보고된 비교에서는 10% 혼합만 두드러졌다.출처: §E.8 · p. 56, Figure 37 · p. 57

E.9 PPO 모델의 학습률 최적화

  • 8.05e-6은 사전학습 데이터 혼합 없이 시험한 모든 1.3B 및 6B PPO 학습이 발산하기 시작하는 학습률의 경계로, 이 값을 넘으면 모두 발산했다.소형 모델의 탐색 범위는 2.55e-6–2.55e-5였으며, 연산 자원 제약으로 175B 실험은 2.55e-6과 3.74e-06으로 제한했다. 사전학습 데이터를 혼합하면 학습률에 덜 민감한 것으로 나타났으며, 최종 체크포인트는 사람의 Likert 점수가 가장 높은 것으로 선택했다.출처: §E.9 · p. 58, Figure 38 · p. 58

E.10 입력 독성에 따른 RealToxicityPrompts 결과

  • 안전하지 않은 영역의 특성을 파악하기 위해 프롬프트 독성 전반에 걸쳐 대략 균일하게 RealToxicityPrompts 예시 5000개를 표집했으며, 출력 독성은 프롬프트 독성과 강한 상관관계를 보였다.독성은 Perspective API로 측정했으며, 이 표본의 평균 독성을 보고했다.출처: §E.10 · p. 58

E.11 추가 절제 실험

추가 절제 실험에서는 학습 속도와 사전학습 손실 간의 절충안으로 사전학습 데이터 비율을 8로 선택했다. 사전학습 데이터를 혼합한 1.3B PPO에서는 256k 에피소드를 넘어 학습해도 이득이 없었다.

E.11 추가 절제 실험

  • 사전학습 데이터 비율은 8로 선택했다. 사전학습 데이터를 혼합하지 않을 때보다 학습 시간이 두 배로 늘었지만, 속도와 사전학습 손실 간의 균형을 맞췄다.사전학습 데이터를 늘리면 사전학습 기울기 추정이 개선된다. 사전학습 데이터 비율이 4일 때는 사전학습 분포에서의 손실이 학습 내내 증가하는 경우가 많았다.출처: §E.11 · p. 58
  • 예비 실험에서는 사전학습 데이터 비율이 32일 때 사람의 Likert 평가 점수가 더 높았지만, 학습 시간이 몇 배로 늘어났다.이는 확정적인 비교 결과가 아니라 예비 결과였다.출처: §E.11 · p. 58
  • 256k 에피소드: 사전학습 데이터를 혼합한 1.3B PPO 모델은 이보다 오래 학습해도 이득이 없었다.사람 평가에서는 배치 크기 512가 더 좋은 평가를 받았다. 미니배치 크기는 32가 최적으로 64보다 약간 더 좋았지만, 최종 모델에서는 GPU 활용도를 높이기 위해 64를 사용했다. 서로 다른 프롬프트가 더 많거나 모델이 더 클 때 더 긴 학습이 도움이 될지는 미해결 문제로 남았다.출처: §E.11 · pp. 58, 60

F 모델 출력 예시

추가 예시는 175B GPT-3와 InstructGPT를 비교하며 다국어 지시 수행, 유해할 수 있는 지시에 대한 응답, 불완전한 코드 설명을 보여준다. 이 예시들은 전체적인 벤치마크 결과를 입증하기보다는 선별한 프롬프트를 활용한다.

F 모델 출력 예시

  • InstructGPT가 유해할 수 있는 지시에도 응답하는 경향은 학습 데이터가 사용자에게 도움이 되는 것을 우선시했음을 반영한다.Figure 44는 선별한 프롬프트와 무작위로 추출한 모델 출력으로 이 행동을 보여준다.출처: F Model samples · p. 61, Figure 44 · p. 63
  • InstructGPT는 코드를 설명하라는 지시를 따를 수 있지만, 제시된 사례의 수행 수준은 여전히 완벽과는 거리가 멀다.추가 예시는 데이터 주석 작업자가 작성한 프롬프트에 사람이 작성한 시범 응답과 모델 출력을 함께 제시한다. 과제의 다양성을 고려해 15개 중 5개의 프롬프트를 골랐으며, 해당 프롬프트의 생성 응답은 선별하지 않았다.출처: F Model samples · p. 61, Figure 45 · p. 64, Figure 46 · p. 65
  • InstructGPT는 학습 데이터가 거의 전부 영어인데도 영어 외 언어로 된 지시를 따르기도 하지만, 스웨덴어 예시에서는 출력이 대부분 영어다.프랑스어와 스웨덴어 프롬프트는 선별한 것이다. InstructGPT는 T = 1, GPT-3는 T = 0.7을 사용하며, 저자들은 이 차이가 InstructGPT에 약간 불리하게 작용한다고 설명한다.출처: F Model samples · p. 61, Figure 42 · p. 62, Figure 43 · p. 63

Related papers

Loading 2203.02155v1…