Language Models are Few-Shot Learners

동기

• 과제별 fine-tuning에는 수천 개에서 수십만 개에 이르는 레이블된 예제가 필요해 적용 범위가 제한되고, 편향되고 피상적인 일반화를 부추길 가능성이 있다.사람은 짧은 지시나 몇 가지 시연만으로 과제를 익히는 경우가 많으며, 이는 더 유연하고 범용적인 언어 시스템을 개발해야 할 동기가 된다.출처: §1 · pp. 3–4
• 초기 meta-learning의 성능이 fine-tuning에 크게 못 미쳤으며 Natural Questions에서 4%, CoQA에서 55 F1에 그친 뒤, Transformer 언어 모델의 규모를 키우는 것이 더 강력한 in-context learning을 위한 방안으로 제시된다.더 큰 모델은 매개변수에 더 많은 기술과 과제를 담고 추론 시점에 이를 활용할 수 있다는 가설을 논문은 세운다.출처: §1 · p. 4

평가 설정

• GPT-3는 fine-tuning 없이 zero-shot, one-shot, few-shot 조건에서 평가되며, 자연어 지시와 문맥 내 최대 보통 10–100개의 시연을 사용한다.시연 수와 모델 규모를 늘리면 gradient update 없이도 성능이 향상된다.출처: §1 · p. 5

결과

• GPT-3는 few-shot 조건에서 CoQA에서 85.0 F1, TriviaQA에서 71.2% accuracy를 기록했으며, TriviaQA 결과는 비교 가능한 closed-book fine-tuned 모델 가운데 최고 수준이다.GPT-3는 CoQA에서 zero-shot/one-shot 조건으로 81.5/84.0 F1, TriviaQA에서 64.3%/68.0% accuracy도 기록한다.출처: §1 · p. 5
• GPT-3는 단어 뒤섞기, 산술, 신조어 사용, 합성 뉴스 생성에서 one-shot 및 few-shot 능력을 보이며, 평가자들은 생성된 글과 인간이 쓴 글을 구별하기 어려워한다.이 과제들은 표준 NLP 벤치마크를 넘어 빠른 적응이나 즉석 추론 능력을 시험한다.출처: §1 · p. 5

범위와 한계

• 논문은 데이터 오염, 모델 규모에 따른 확장 양상, 사회적 영향도 살펴본다. 데이터 오염은 대체로 영향이 미미하지만 일부 데이터셋의 결과를 부풀릴 수 있으며, ANLI, RACE, QuAC에서 약점도 확인한다.소형 모델과의 비교에서는 대체로 완만한 확장 양상이 나타나며, zero-shot/one-shot/few-shot 간 성능 격차는 모델 용량이 커질수록 종종 벌어진다.출처: §1 · pp. 5–6

2 접근

• 이 연구는 fine-tuning, few-shot, one-shot, zero-shot 설정을 벤치마크 성능, 샘플 효율성, 인간의 과제 수행 방식과의 유사성 사이의 서로 다른 절충으로 비교한다.Fine-tuning은 일반적으로 수천 개에서 수십만 개의 레이블된 예시로 가중치를 업데이트하는 반면, in-context 설정은 순전파만 사용한다. few-shot은 보통 2048-token context window 안에서 10–100개의 시연 예시를 사용한다.출처: §2 · pp. 6–7, Figure 2.1 · p. 7

2.1 Model and Architectures

• GPT-3 uses a GPT-2 architecture with alternating dense and locally banded sparse attention, and spans eight models from 125 million to 175 billion parameters.All models use a 2048-token context window; the range enables testing how validation loss and downstream performance depend on model size.출처: §2.1 · p. 8

2.2 학습 데이터셋

• 학습 코퍼스는 필터링 및 중복 제거한 Common Crawl과 선별된 WebText, Books1, Books2, Wikipedia를 결합하며, 데이터셋 크기에 비해 품질이 높은 데이터셋을 더 자주 샘플링한다.This mixture uses roughly 400 billion filtered Common Crawl byte-pair-encoded tokens, while accepting limited overfitting to increase data quality.출처: §2.2 · p. 8, Table 2.2 · p. 9
• 필터링 버그로 인해 일부 벤치마크 개발 또는 테스트 예시가 사전 학습 데이터와 중복되었으며, 저자들은 남아 있는 오염을 규명하고 재학습이 불가능했음을 인정한다.저자들은 중복 항목을 제거하려고 시도했으며, 향후 연구에서는 더 적극적인 필터링을 계획했다.출처: §2.2 · p. 9

2.3 학습 과정

• 학습에는 gradient noise scale을 고려한 배치 크기, 대형 모델일수록 더 작은 학습률, V100 GPU에서의 intra-layer 및 inter-layer model parallelism을 적용한다.이러한 선택으로 메모리 제약 내에서 더 큰 모델을 학습할 수 있으며, 자세한 설정은 Appendix B에 제시되어 있다.출처: §2.3 · p. 9

2.4 평가

• 평가에서는 각 테스트 항목에 conditioning 예시를 샘플링하고, K를 0에서 context limit까지 변화시키며, 이용 가능한 경우 개발 데이터로 K를 선택한다.객관식 과제에는 길이 정규화한 완성문의 우도를 사용하고, 일부 과제에는 비조건부 확률 정규화를 추가 적용한다. 자유 형식 과제는 F1, BLEU 또는 exact match로 점수를 매기는 beam search를 사용한다.출처: §2.4 · p. 10

3 결과

• 교차 엔트로피 검증 손실은 학습 연산량이 두 자릿수 규모 더 커지는 동안 멱법칙을 따르며, 예측 곡선에서 벗어나는 정도는 작다.결과는 손실이 낮을수록 다양한 자연어 과제에서 일관된 성능 향상이 나타남을 보여준다.출처: §3 · p. 10, Figure 3.1 · p. 11

3.1.1 언어 모델링

• GPT-3는 PTB 언어 모델링에서 퍼플렉시티 15포인트 차이로 새로운 최고 성능을 세우며, zero-shot 설정에서 20.50을 기록한다.PTB에는 one-shot 또는 few-shot 평가를 위한 예시의 명확한 분할이 없으므로 zero-shot 평가만 사용한다.출처: §3.1.1 · p. 11

3.1.2 LAMBADA

• LAMBADA에서 GPT-3는 zero-shot 정확도 76%, few-shot 정확도 86.4%를 달성해 이전 최고 성능보다 각각 8%와 18% 넘게 향상된다.빈칸 채우기 형식의 few-shot 프롬프트를 사용하면 모델은 지문을 완성할 단어가 정확히 하나임을 추론할 수 있다. one-shot 형식은 zero-shot보다 성능이 낮다.출처: §3.1.2 · p. 12, Figure 3.2 · p. 12

3.1.3 HellaSwag / 3.1.4 StoryCloze

• GPT-3는 HellaSwag에서 fine-tuned 1.5B 모델을 앞서지만 ALUM에는 미치지 못한다. StoryCloze에서는 few-shot 정확도 87.7%를 기록해 fine-tuned 최고 성능보다 4.1% 낮다.HellaSwag 점수는 one-shot에서 78.1%, few-shot에서 79.3%다. StoryCloze는 이전 zero-shot 결과보다 약 10% 향상된다.출처: §3.1.3 · p. 13, §3.1.4 · p. 13

3.2 폐쇄형 질의응답

• 폐쇄형 QA에서 GPT-3의 one-shot TriviaQA 성능은 개방형 도메인 fine-tuning 최고 성능과 맞먹으며, 세 데이터셋 모두에서 few-shot 결과는 폐쇄형 QA 최고 성능에 근접한다.성능은 모델 크기에 따라 꾸준히 향상된다. few-shot 점수는 TriviaQA에서 71.2%, WebQuestions에서 41.5%, Natural Questions에서 29.9%에 이른다.출처: §3.2 · pp. 13–14, Figure 3.3 · p. 14

3.3 번역

• Few-shot 번역은 각 과제의 성능을 7 BLEU 넘게 높이고, 완전한 few-shot 설정에서 추가로 4 BLEU를 얻어 이전 비지도 NMT와 비슷한 평균 성능에 도달한다.성능은 모델 용량에 따라 꾸준히 향상된다. GPT-3는 영어로 번역할 때 이전 비지도 NMT를 앞서지만, 반대 방향에서는 뒤처지며 En-Ro는 10 BLEU 넘게 낮다.출처: §3.3 · p. 16

3.4 Winograd 유형 과제

• GPT-3는 Winogrande에서 few-shot 정확도 77.7%를 기록해 fine-tuned RoBERTA의 79%와 T5 최고 성능인 84.6%에 미치지 못하지만, 원래 Winograd에서는 최고 성능에 근접한다.원래 Winograd 점수는 zero-shot 88.3%, one-shot 89.7%, few-shot 88.6%다. Winogrande는 zero-shot 70.2%에서 few-shot 77.7%로 향상된다.출처: Figure 3.5 · p. 16, §3.4 · p. 17

3.5 상식 추론

• 상식 추론 결과는 엇갈린다. GPT-3는 PIQA에서 SOTA를 달성하고, ARC Challenge에서는 fine-tuned RoBERTa에 근접하며, ARC Easy에서는 이를 앞선다. OpenBookQA에서는 종합 SOTA보다 20포인트 넘게 뒤처진다.PIQA 성능은 사람보다 여전히 10% 넘게 낮다. ARC few-shot 정확도는 Challenge에서 51.5%, Easy에서 70.1%다.출처: §3.5 · p. 18

3.7 SuperGLUE

• GPT-3는 COPA와 ReCoRD에서 최고 성능에 근접하고, 여러 SuperGLUE 과제에서 fine-tuned BERT-Large와 맞먹으며 8개 과제 중 4개에서는 이를 앞선다.It achieves 80.1% on WSC and 75.6% on CB in few-shot evaluation; COPA ranks second behind fine-tuned T5.출처: §3.7 · p. 20
• SuperGLUE 성능은 모델 크기와 문맥 예시 수가 늘수록 향상되며, 과제당 예시가 8개 미만이어도 전체적으로 fine-tuned BERT-Large를 앞선다.실험에서는 과제당 예시를 32개까지 늘렸으며, 그 이상은 문맥에 안정적으로 들어가지 않는다.출처: §3.7 · p. 20

3.8 NLI

• NLI는 여전히 어렵다. 작은 모델은 RTE와 ANLI에서 우연 수준에 머무는 반면, GPT-3 175B는 비로소 성능을 높이기 시작해 ANLI Round 3에서 우연 수준과 최고 성능 사이 격차의 거의 절반을 좁힌다.RTE에서 GPT-3는 few-shot 설정의 단일 과제 fine-tuned BERT-Large와 비슷한 성능을 보이지만, 무작위 추측보다 확실히 높은 성능을 내는 것은 가장 큰 모델뿐이다.출처: §3.8 · p. 21, Figure 3.9 · p. 21

3.9 합성 및 정성 과제

• 합성 평가와 정성 평가는 과제별 학습 없이 few-shot 계산, 새로운 기호 조작, 유추 풀이, 새 단어 사용, 문법 교정, 뉴스 생성을 평가한다.저자들은 추론 시점의 언어 모델 동작에 관한 후속 연구를 지원하기 위해 합성 데이터셋을 공개한다.출처: §3.9 · p. 21

3.9.1 산술

• 2자리 덧셈에서 100% 정확도, 2자리 뺄셈에서 98.9%를 기록해 few-shot 산술 능력이 뛰어나지만, 5자리 연산에서는 9–10%로 하락한다. 다만 곱셈과 복합식 연산도 수행한다.GPT-3 175B는 3자리 덧셈에서 80.2%, 3자리 뺄셈에서 94.2%, 2자리 곱셈에서 29.2%, 한 자리 복합 연산에서 21.3%를 달성한다.출처: §3.9.1 · p. 22, Figure 3.10 · p. 22

3.9.2 단어 뒤섞기 및 조작 과제

• Few-shot GPT-3는 규모가 커질수록 인공적인 단어 변환을 학습해 무작위 삽입에서 66.9%에 도달하지만, 어떤 모델도 단어를 거꾸로 뒤집지 못하며 zero-shot 성능도 거의 성공적이지 않다.one-shot 및 zero-shot에서 성능이 급격히 떨어지고 학습 세트와 일치하는 사례가 거의 없다는 점은 암기가 아니라 추론 시점의 과제 학습을 시사한다. 과제는 문자 수준 조작과 일대일 대응이 아닌 변환을 탐색하는 능력을 요구한다.출처: §3.9.1 · p. 23, §3.9.2 · p. 24

3.9.3 SAT 유추

• GPT-3 175B는 few-shot 평가의 SAT 유추 문제에서 65.2%를 기록해 대학 지원자 평균인 57%를 넘고, GPT-3 13B보다 10% 넘게 향상된다.성능은 one-shot에서 59.1%, zero-shot에서 53.7%로, 무작위 추측의 20%와 비교된다.출처: §3.9.3 · p. 24, Figure 3.12 · p. 25

3.9.4 뉴스 기사 생성

• ~500단어 분량의 뉴스 기사에서 GPT-3 175B가 생성한 글을 인간이 탐지한 정확도 평균은 ~52%로, 우연 수준을 간신히 웃돌았다. 반면 의도적으로 품질을 낮춘 대조 기사에서는 ~88%였다.사실 오류, 반복, 비약, 부자연스러운 표현은 모델이 생성한 텍스트의 단서가 될 수 있지만, 이러한 단서는 대개 미묘하다.출처: §3.9.4 · p. 26

3.9.5 새 단어 학습 및 사용

• GPT-3는 새로운 단어 예시 6개 모두에 대해 정확하거나 그럴듯한 용례를 생성했지만, 활용형 하나와 용례 하나는 약간 어색했다.과제에는 사람이 만든 정의와 사람이 작성한 조건부 답변 하나를 사용했다. 이후 답변은 누락이나 프롬프트 반복 없이 GPT-3가 연속해서 생성했다.출처: §3.9.5 · p. 29
• 새 단어 과제에서는 존재하지 않는 각 단어를 정의하고 그 단어를 사용한 문장을 요청했다. 따라서 전체 과제는 few-shot이고 각 단어에 대해서는 one-shot이었다.예시에는 “whatpu”, “farduddle”, “yalubalu”가 포함되며, 각각 정의와 용례 문장이 제시됐다.출처: §3.9.5 · p. 29

3.9.6 영어 문법 교정

• GPT-3의 영어 문법 교정 능력은 사람이 만든 교정 예시 하나를 제공한 뒤, 서툰 영어와 올바른 영어를 짝지은 프롬프트로 교정문 다섯 개를 추가 생성하게 해 평가했다.결과는 Figure 3.17에 제시되지만, 제공된 본문에는 그림의 결과가 보고되어 있지 않다.출처: §3.9.6 · p. 29

오염 측정

• 오염되지 않은 벤치마크를 구성하기 위해 13-gram이 겹치는 예시를 보수적으로 제거하고, 더 짧은 항목은 예시 전체가 겹치는 경우 제거한 뒤, 정제된 하위 집합의 점수를 원래 점수와 비교했다.훈련 데이터 제거 과정의 버그로 사전 중복 제거가 완전히 이뤄지지 않았기 때문에, 저자들은 GPT-3를 재학습하는 대신 남은 중복을 평가했다.출처: §4 · p. 31

전반적인 오염 결과

• 보수적으로 정제한 뒤 대부분의 벤치마크 점수는 거의 변하지 않았고, 오염 수준과 성능 차이 사이의 상관관계도 없었다. 다만 PIQA와 Winograd에서는 결과에 별표를 붙일 만한 근거가 나타났다.Potential contamination exceeded 50% for a quarter of benchmarks, but the authors conclude it was either overestimated or usually had little effect.출처: §4 · p. 31, Figure 4.2 · p. 32

세부 조사

• 분석에서는 검토가 필요한 벤치마크 그룹 여섯 개, 즉 단어 섞기, 독해, PIQA, Winograd, 언어 모델링, 독일어-영어 번역을 지목했다.중복 판별 절차는 의도적으로 보수적으로 설계되어 오탐이 발생할 수 있었으므로, 지목된 그룹을 수동으로 검사했다.출처: §4 · pp. 31–32
• 정제된 하위 집합에서 PIQA 성능은 3퍼센트포인트, 상대적으로는 4% 하락했고, Winograd 성능은 2.6% 하락했다. 두 결과 모두 별표로 표시했다.수동 검사에서 훈련 데이터에 Winograd 스키마 132개가 포함된 것을 확인했다. PIQA의 변화는 25x 더 작은 모델에서도 나타났으며, 암기보다는 통계적 편향을 반영했을 수 있다.출처: §4 · p. 32
• 언어 모델링 벤치마크는 결과에서 제외했다. GPT-2의 Wikipedia 데이터셋 네 개와 Children’s Book Test가 훈련 데이터에 거의 전부 포함된 반면, Penn Tree Bank는 영향을 받지 않았다.독일어 번역에서는 예시의 25%가 잠재적으로 오염되어 BLEU 점수가 1-2만큼 달라졌지만, 검사 결과 대응 문장 쌍의 누출은 없었다. 독해 데이터의 중복은 답이 아니라 원문 텍스트를 노출했다.출처: §4 · pp. 32–33

한계와 시사점

• 오염 분석만으로는 정제된 하위 집합이 원래 데이터의 분포와 일치한다고 보장할 수 없다. 그러나 거의 0에 가까운 변화가 다수 관찰됐고 소형 모델에서도 비슷한 변화가 나타나, 편향이 상쇄됐을 가능성은 낮다.LAMBADA는 오염된 것처럼 보이는 데이터가 상당했지만, 정제된 하위 집합의 점수는 전체 데이터셋 점수에서 0.5% 이내였다. 저자들은 문제가 있는 결과를 문서화하거나 제거했으며, 더 폭넓은 방법론적 연구가 여전히 필요하다고 밝혔다.출처: §4 · p. 33

• GPT-3는 여전히 같은 내용을 반복하고 긴 글에서 일관성을 잃으며 스스로 모순되기도 하고 때때로 엉뚱한 문장을 생성하는 한편, 상식적 물리 추론과 여러 벤치마크 과제에서 어려움을 겪는다.다른 과제에서는 강한 성능을 보이지만, WIC와 ANLI를 비롯한 일부 one-shot 또는 few-shot 비교 과제와 독해 과제 일부에서는 무작위 추측에 가까운 성능을 보인다.출처: §5 · p. 33
• 자기회귀 아키텍처를 사용하면 양방향 목적 함수를 사용할 수 없으며, 비교, 재독, 장문맥 이해가 필요한 WIC, ANLI, QuAC, RACE 등의 과제에서 성능이 저하될 수 있다.저자들은 양방향 모델이 fine-tuning을 개선하고, 더 나아가 few-shot 또는 zero-shot 성능을 높일 수 있다고 제안한다.출처: §5 · p. 33
• 자기지도 예측을 확장하는 데는 근본적인 한계가 있을 수 있다. 모든 토큰에 동일한 가중치를 부여하고 과제 목표를 예측으로 환원하며, 물리적 경험이나 멀티모달 경험에 기반을 두지 못하기 때문이다.제안된 해결책으로는 관심 엔티티에 맞춘 예측 [RRS20], 인간으로부터 목적 함수 학습, 강화학습, 그라운딩을 위한 이미지 추가 [CLY+19] 등이 있다.출처: §5 · pp. 33–34
• GPT-3는 사전학습보다 추론 시 표본 효율성이 높지만, 인간의 평생 읽기량보다 훨씬 많은 텍스트를 소비하며 few-shot 과제를 완전히 무에서 학습하지 못할 수도 있다.few-shot 행동은 학습 중 본 과제를 인식하는 것부터 형식에 적응하거나 기술을 새롭게 습득하는 것까지 다양할 수 있으며, 그 작동 원리는 여전히 중요한 미해결 문제다.출처: §5 · p. 34
• GPT-3 규모의 모델은 실행 비용이 높고 다루기 불편해, 수천억 매개변수 규모에서 해결되지 않은 과제가 있는데도 과제별 증류를 적극 추진할 필요가 있다 [HVD15] [LHCG19a].대규모 모델에는 특정 과제에 불필요한 기술이 많이 포함되므로, 저자들은 상당한 압축이 가능하다고 주장한다.출처: §5 · p. 34
• GPT-3의 판단은 해석하기 어렵고, 새로운 입력에 대한 예측은 보정이 부정확할 수 있으며, 학습 데이터의 편향은 고정관념이나 편견이 담긴 콘텐츠를 생성할 수 있다.저자들은 편향을 특히 중요한 사회적 우려로 지목하며, 이에 대한 더 폭넓은 논의는 Section 6으로 미룬다.출처: §5 · p. 34

6 광범위한 영향

• GPT-3의 향상된 텍스트 품질과 적응성은 글쓰기 지원과 검색부터 허위 정보, 피싱, 사기, 사회공학에 이르기까지 다양한 활용을 촉진할 수 있다.저자들은 완화 노력을 촉진하기 위해 잠재적 피해에 초점을 맞추면서도 언어 모델이 사회에 폭넓은 이점을 제공한다는 점을 인정한다.출처: §6 · p. 34

6.1 언어 모델의 오용

• 고품질 텍스트 생성은 과거에는 사람이 글을 써야 가능했던 허위 정보 유포, 스팸, 피싱, 사기 및 기타 사회적으로 해로운 활동의 진입 장벽을 낮출 수 있다.저자들은 활용 사례, 위협 행위자, 외부 유인을 중심으로 오용을 평가한다.출처: §6.1.1 · p. 35, §6.1 · p. 35

6.1.2 위협 행위자 분석

• 저숙련 및 중간 숙련 행위자가 가하는 위협은 당장 현실화되지는 않지만 신뢰성이 향상되면 상당해질 수 있는 것으로 평가된 반면, APT는 현재 모델을 도입할 설득력 있는 유인이 부족했다.모니터링 결과 GPT-2 이후 관련 논의는 있었으나 성공적인 배포는 없었다. 분석가들은 이점이 약하고 콘텐츠 타기팅이나 제어가 미성숙하다고 지적했다.출처: §6.1.2 · p. 35

6.1.3 외부 유인 구조

• 확률적 출력과 필수적인 사람의 필터링은 현재 확장성을 제한하지만, 일관성과 조정 가능성이 더 높은 모델은 배포 비용을 낮추고 악의적 관심을 높일 수 있다.저자들은 향후 역량 향상으로 완화 연구, 프로토타이핑, 협력이 필요한 과제가 생길 것으로 예상한다.출처: §6.1.3 · p. 35

6.2.4 향후 편향 및 공정성 과제

• 편향 분석은 예비적이고 주관적이므로, 완화를 위해서는 공통의 규범적·기술적·경험적 어휘, 공동체의 참여, 지표 중심의 편향 제거를 넘어서는 총체적 접근이 필요하다.이 연구는 성별, 인종, 종교 중 일부 측면만 살펴보며, 지속적인 방법론 및 개입 연구를 촉진하기 위한 것이다 [QMZH19] [HZJ+19] [BBDIW20] [GG19] [NvNvdG19].출처: §6.2 · p. 36, §6.2.4 · p. 39

6.2.1 성별

• 인터넷 데이터로 학습한 모델은 인터넷 규모의 고정관념을 반영한다. 검사한 직업 388개 중 83%는 남성 쪽으로 치우쳤으며, GPT-3 175B의 Winogender 정확도는 64.17%였다.직업 편향은 중립 프롬프트에서 −1.11, 유능함 프롬프트에서 −2.14, 무능함 프롬프트에서 −1.15였다. 여성에 대한 묘사는 외모를 강조하는 경우가 더 많았다.출처: §6.2.1 · pp. 36–37, §6.2 · p. 36

6.3 에너지 사용량

• GPT-3 175B의 학습에는 수천 페타플롭/초-일이 소요된 반면 GPT-2 1.5B에는 수십 페타플롭/초-일이 들었지만, 학습 후 100페이지를 생성하는 데 드는 비용은 약 0.4 kW-hr이다.증류 [LHCG19a]와 알고리즘의 발전은 초기 연산량이 상당하더라도 전 생애주기 효율을 개선할 수 있다.출처: §6.3 · p. 39

언어 모델 규모 확장

• GPT-3는 매개변수와 계산량을 직접 함께 확장하는 접근을 따르며, 이 전략을 사용한 기존 모델보다 10x 큰 규모에 도달한다.초기 접근법은 mixture-of-experts 모델을 통해 계산량에 비례하지 않게 매개변수 수를 늘리거나, adaptive computation 방식으로 매개변수 수를 늘리지 않고 계산량을 늘렸다.출처: §7 · p. 39

스케일링 법칙

• 언어 모델의 loss는 규모에 따라 매끄러운 멱법칙을 따르며, 세 자릿수 규모에 걸쳐 하위 과제 성능도 대체로 매끄럽게 향상되지만 예외가 없는 것은 아니다.선행 연구는 멱법칙에 따른 loss 추세를 보고했으며, 저자들은 loss 곡선이 다소 휘어질 가능성은 있지만 규모 확장 추세가 이어짐을 관찰했다.출처: §7 · p. 39

압축과 증류

• 모델 압축과 증류는 더 작은 언어 모델에서도 높은 성능을 내는 것을 목표로 하며, 거대 모델의 지연 시간과 메모리 사용량을 줄여 GPT-3를 보완할 수 있다.관련 접근법에는 ALBERT와 일반 또는 과제별 언어 모델 증류가 포함된다.출처: §7 · pp. 39–40

평가와 질의응답

• 미세조정 모델이 인간 수준의 성능에 가까워짐에 따라 연구자들은 더 어려운 질의응답, 독해, 적대적 데이터셋을 개발해 왔으며, GPT-3는 그중 다수를 평가한다.Question-answering work includes fine-tuned 11-billion-parameter models and attending over large corpora at test time, whereas GPT-3 emphasizes in-context learning that could later be combined with these methods.출처: §7 · p. 40

메타학습과 few-shot 학습

• GPT-3의 few-shot 방법은 메타학습 및 기존의 few-shot 또는 준지도 접근법과 관련되지만, 가중치를 갱신하지 않고 여러 시점에 걸친 활성값을 통해 적응한다.구조상 가장 유사한 방법은 RL2이며, 관련 연구에는 few-shot 밀도 추정, 저자원 번역, 그래디언트 기반 적응, 준지도 미세조정이 포함된다.출처: §7 · p. 40

지시문, 다중 과제 학습, 아키텍처

• 자연어 과제 지시문과 다중 과제 학습은 더 폭넓은 전이를 추구하지만, 기존 방법은 지도 학습, 선별된 데이터셋 또는 학습 커리큘럼을 필요로 한다. 반면 GPT-3는 대규모 텍스트 사전 학습으로 다양한 과제를 수행한다.저자들은 구현을 단순하게 하기 위해 순수 자기회귀 아키텍처를 유지하면서, 디노이징, 인코더-디코더 구조, 샘플링, 데이터, 임베딩의 발전이 특히 미세조정에서 GPT-3의 성능을 높일 수 있다고 언급한다.출처: §7 · p. 40

Conclusion

• The 175-billion-parameter model shows strong zero-shot, one-shot, and few-shot performance across many NLP tasks and benchmarks, sometimes nearly matching state-of-the-art fine-tuned systems.It also generates high-quality samples and performs strongly on tasks defined on the fly.출처: §8 · pp. 40–41

결론

• 파인튜닝 없이도 성능은 대체로 예측 가능한 방식으로 확장되지만, 모델에는 여전히 중요한 한계와 약점이 남아 있다.결론에서는 이러한 유형의 모델이 미치는 사회적 영향도 논의한다.출처: §8 · p. 41
• 이러한 결과는 초대형 언어 모델이 적응력 있고 범용적인 언어 시스템을 개발하는 데 중요한 요소일 수 있음을 시사한다.출처: §8 · p. 41

모델 및 인프라

• 연구를 뒷받침하기 위해 대규모 모델, 학습 인프라, 모델 병렬화, 반정밀도 최적화, 클러스터 효율화 기술을 개발했다.기여자들은 모델과 인프라를 구현하고, 초기 모델 병렬화 전략을 개발하고, 클러스터를 최적화했으며, 빠른 GPU 커널을 만들었다.출처: Contributions · p. 42

학습 및 데이터

• 학습 데이터를 수집·필터링·중복 제거하고 중복 여부를 분석했으며, 사전학습 실험과 비복원 추출을 구현했다.팀은 손실 스케일링도 실험했으며, 학습에서 가중치 감쇠의 이점을 보였다.출처: Contributions · p. 42

후속 평가

• 팀은 합성 과제, 빔 서치, 과제별 평가 지원을 포함해 후속 과제와 이를 위한 소프트웨어 프레임워크를 구현했다.이러한 기여에는 벤치마크 구현과 과제 결과를 생성하고 평가하는 보조 방법이 모두 포함됐다.출처: Contributions · p. 42

스케일링 및 소수 예시 학습

• 스케일링 법칙 분석을 통해 모델과 데이터의 스케일링 방향을 정했으며, 연구진은 문맥 내 학습, 프롬프팅, 평가 방법, 대규모 모델의 성능이 계속 향상될 것이라는 예측을 연구했다.이 연구는 소수 예시 학습을 언어 모델 및 메타 학습 연구와 연결했으며, 소수 예시 학습의 초기 시연도 포함했다.출처: Contributions · p. 42

윤리 및 사회적 분석

• 연구진은 모델의 공정성, 표상, 사람의 판단, 악의적 사용 위협, 정책적 함의, 더 광범위한 윤리적 영향을 평가했다.윤리적 영향 분석에는 공정성과 표상, 사람의 평가, 광범위한 영향, 위협 분석, 정책 레드팀 평가가 포함됐다.출처: Contributions · p. 42

연구 주도 및 논문 작성

• Dario Amodei는 연구를 설계하고 주도했으며, 기여자들은 기술 및 NLP 관점에서 프로젝트에 자문했고, 더 넓은 저자진이 논문을 작성했다.Ilya Sutskever는 여러 기여자에게 자문했고, Alec Radford는 프로젝트에 자문하며 결과를 위한 과제와 맥락을 제안했다.출처: Contributions · p. 42

자동 필터링

• 선별된 말뭉치와 필터링되지 않은 Common Crawl을 대조해 학습한 분류기는 품질이 더 높다고 예측된 문서를 우선해 재표본화했다.로지스틱 회귀 분류기는 Spark tokenizer와 HashingTF의 10개 특성을 사용했으며, WebText, Wikipedia, 웹 도서 데이터를 양성 예시로 삼았다.출처: A Details of Common Crawl Filtering · p. 43
• α = 9는 높은 점수를 받은 문서를 강조하면서도 분포 외 문서를 일부 유지해, WebText에서 관찰된 분류기 점수 분포와 일치시켰다.이 재가중치는 분포 외 생성 텍스트 샘플 여러 종류에 대한 손실을 기준으로 품질을 높였다.출처: A Details of Common Crawl Filtering · p. 43

퍼지 중복 제거

• 퍼지 중복 제거는 각 데이터셋 내에서 중복도가 높은 문서를 제거하고 Common Crawl에서 WebText도 제거해, 데이터셋 크기를 평균 10% 줄였다.모델 용량이 커질수록 과적합을 방지하는 데 일부 목적을 두고, 분류에 사용한 것과 동일한 특성 및 10개의 해시를 사용하는 Spark의 MinHashLSH 구현을 활용했다.출처: A Details of Common Crawl Filtering · p. 43

벤치마크 중복 제거

• 품질 필터링과 중복 제거를 거친 뒤, 벤치마크 데이터셋에 포함된 텍스트를 일부 제거했다.출처: A Details of Common Crawl Filtering · p. 43

최적화와 정규화

• 모든 GPT-3 버전은 Adam, 그래디언트 클리핑, 워밍업을 포함한 코사인 학습률 감쇠, 점진적인 배치 크기 증가, 비복원 샘플링, 가중치 감쇠 0.1을 사용한다.학습은 260 billion개의 토큰에 걸쳐 진행된 뒤 원래 학습률의 10%로 계속된다. 학습률은 375 million개의 토큰에 걸쳐 warmup되며, 배치 크기는 모델 크기에 따라 4–12 billion개의 토큰 동안 점진적으로 증가해 최댓값에 도달한다.출처: B Details of Model Training · p. 43

컨텍스트 구성

• 학습에는 항상 전체 nctx = 2048토큰 컨텍스트 윈도우를 사용하며, 짧은 문서를 이어 붙이고 특수 마스킹 대신 텍스트 종료 토큰으로 구분한다.이러한 이어 붙이기 전략은 계산 효율을 높이는 동시에, 구분자로 나뉜 컨텍스트들이 서로 무관하다고 모델이 추론할 수 있게 한다.출처: B Details of Model Training · p. 43

초기 학습 세트 필터링

• 필터링 절차는 충돌하는 N-gram과 주변 200자 구간을 제거하고, 짧은 조각을 버렸으며, 10개가 넘는 조각으로 분할된 문서를 제거했다.흔한 구절, 법률 문서의 상투적 문구, 문화적으로 널리 퍼진 텍스트를 제거하지 않도록 10개가 넘는 학습 문서에서 발견된 매우 빈번한 일치는 무시했다.출처: C Details of Test Set Contamination… · pp. 43–44

Overlap methodology

• Exact Apache Spark searches measured dataset overlap using N-gram lengths from the fifth-percentile example length, bounded between 8 and 13 words for non-synthetic tasks.The analysis compared every validation and test set with the full training corpus, despite training on only 40% of filtered Common Crawl documents.출처: C Details of Test Set Contamination… · p. 44

중복 분석 결과

• 학습 문서와 N-gram 충돌이 하나라도 발생한 예시는 오염으로, 그 외는 비오염으로 표시한 뒤, 비오염 점수와 원래 점수를 비교하기 위해 각각 따로 평가했다.비오염 점수가 전체 점수보다 1–2% 넘게 낮으면 과적합을 시사할 수 있고, 더 높으면 쉬운 예시가 우선적으로 오염 표시됐음을 시사할 수 있다.출처: C Details of Test Set Contamination… · p. 44

한계

• 오염 추정은 웹에서 가져온 문맥과 짧은 예시에서 위양성을 낳았으며, DROP의 94% 오염률은 부정행위보다 분포 변화에 따른 결과였을 가능성이 높다.필터링 버그로 책과 같은 긴 문서가 충분히 필터링되지 않아, 거의 완전히 중복되는 언어 모델링 벤치마크 여러 개와 Children’s Book Test는 제외됐다.출처: C Details of Test Set Contamination… · p. 44

중복 분석 결과

• 오염이 증가해도 GPT-3의 성능에서 뚜렷한 편향은 나타나지 않았으며, 비오염/전체 성능의 분산이 더 커지는 가운데 오염에 상대적으로 둔감한 것으로 보였다.Figure 4.2는 오염이 증가해도 성능이 체계적으로 개선되거나 저하되지 않음을 보여준다.출처: C Details of Test Set Contamination… · p. 44

• 분석 대상 모델에서 attention은 일반적으로 전체 연산량의 10% 미만을 차지하므로 연산량 추정에서 제외한다.출처: D Total Compute Used to Train Language… · p. 46
• T5는 encoder-decoder 구조를 사용하므로 토큰마다 매개변수의 절반만 활성화된다.출처: Table D.1 · p. 46
• 이 방법은 순전파에서 활성 매개변수당 덧셈 한 번과 곱셈 한 번을 계산하고, 역전파 계산에 3배 계수를 적용한 다음 학습 토큰 수와 전체 매개변수 수를 곱해 총 FLOPs를 구한다.결과는 FLOPs와 페타플롭/초-일 단위로 모두 보고하며, 페타플롭/초-일 하나는 8.64e+19 FLOPs와 같다.출처: Table D.1 · p. 46, D Total Compute Used to Train Language… · p. 46

참가자

• 인터넷 확인 질문에 실패한 참가자 97명을 제외하고, 여섯 가지 실험에 모집된 참가자 621명을 분석했다.참가자들은 미국에 거주했으며 Positly를 통해 모집되었고, 한 가지 실험에만 참여할 수 있었다.출처: E Human Quality Assessment of… · p. 46, Table E.1 · p. 47

절차 및 설계

• 약 200단어 분량의 실험에서는 125M부터 GPT-3 200B 파라미터까지 다양한 모델의 출력을 동일한 인간 및 모델 생성 퀴즈와 비교했다.newser.com 기사 25편을 사용했다. 각 모델은 프롬프트당 다섯 개의 출력을 생성했고, 인간 기사와 길이가 가장 가까운 완성문을 선택했다.출처: E Human Quality Assessment of… · pp. 46–47

소요 시간 통계

• 모델 규모가 커질수록 인간이 쓴 글과 구별하기 어려운 뉴스 기사가 생성되었다. 참가자들이 판단에 더 많은 시간을 썼는데도 정확도는 감소했다.문항 묶음에 소요된 평균 시간은 모델 규모가 커짐에 따라 증가했고, 정확도가 낮아진 점은 큰 모델이 더 판별하기 어려운 기사를 생성했다는 결론을 뒷받침했다.출처: Figure E.1 · p. 47, E Human Quality Assessment of… · pp. 47–48

약 500단어 기사에 대한 예비 조사

• 예비 연구에서는 미국 거주 참가자 160명을 모집해 GPT-3 175B와 대조 모델 160M이 생성한 약 500단어 분량의 로이터 스타일 기사를 평가했다.참가자들은 모델별로 12문항 퀴즈 두 개를 풀었으며, 독해를 유도하기 위해 이해도 질문을 포함하고 기사를 단계적으로 제시했다.출처: E Human Quality Assessment of… · p. 48, Table E.2 · p. 48

과제 형식

• 부록은 GPT-3가 생성한 샘플이 아니라 정답 데이터를 사용해 논문의 과제 데이터셋에 대한 형식화된 예시를 제공한다.예시는 독해, 추론, 분류, 완성, 지식 및 기타 과제 형식을 아우른다.출처: G Details of Task Phrasing and… · p. 50, Figure G.1 · p. 50, Figure G.2 · p. 51

평가 관례

• RACE, OpenBookQA, ARC 및 관련 데이터셋을 포함한 여러 객관식 과제에서는 각 답의 점수를 무조건부 확률로 정규화한다.부록은 Winograd와 Winogrande의 부분 평가 및 MultiRC의 질문 단위 정답 판정도 명시한다.출처: Figure G.1 · p. 50, Figure G.3 · p. 51, Figure G.8 · p. 53

언어 과제

• 번역 과제에서는 원문 맥락과 번역문 완성 프롬프트를 사용하며, zero-shot 번역은 목표 언어로 번역하도록 요청하는 직접적인 질문 형식으로 제시한다.그림에는 독일어–영어, 영어–독일어, 영어–프랑스어, 프랑스어–영어, 영어–루마니아어, 루마니아어–영어 형식이 제시된다.출처: G Details of Task Phrasing and… · p. 60, Figure G.37 · p. 60, Figure G.38 · p. 60

산술 과제

• 산술 과제 예시에서는 뺄셈, 덧셈, 곱셈 유형을 포함해 한 자리부터 다섯 자리까지의 연산에 서로 다른 프롬프트 형식을 지정한다.이 형식은 Arithmetic 1DC부터 Arithmetic 5D− 및 5D+ 과제까지 예시된다.출처: Figure G.42 · p. 61, Figure G.43 · p. 61, Figure G.44 · p. 61

• Table H.1은 논문에서 조사한 모든 과제, 설정, 모델의 점수를 보고한다.출처: Table H.1 · p. 63
• Figures H.1–H.4는 SuperGLUE, SAT, Winograd, 산술 과제의 결과를 정리한다.출처: Figure H.1 · p. 64, Figure H.2 · p. 64, Figure H.3 · p. 64
• Figures H.5–H.8은 클로즈 및 문장 완성, 상식 추론, QA, 독해 과제의 결과를 정리한다.출처: Figure H.5 · p. 65, Figure H.6 · p. 66, Figure H.7 · p. 66
• Figures H.9–H.11은 ANLI의 모든 라운드, 단어 뒤섞기 과제, 번역 과제의 결과를 정리한다.출처: Figure H.9 · p. 66, Figure H.10 · p. 67, Figure H.11 · p. 67