Language Models are Few-Shot Learners

1 서론

• 미세조정으로 높은 성능을 얻으려면 보통 수천에서 수십만 개의 과제별 예시가 필요하므로, 레이블이 있는 데이터셋을 수집하기 어려운 상황에서는 적용이 제한된다.인간은 짧은 지시나 몇 가지 시범 예시만으로도 상당한 수행 능력을 보이는 경우가 많아, 언어 과제를 유연하게 전환하거나 혼합할 수 있다.출처: §1 · pp. 3–4
• 좁은 과제 분포에서 미세조정된 대규모 모델은 허위 상관관계를 활용할 수 있어, 벤치마크 성능이 실제 과제 수행 능력을 과대평가하게 된다 [GSL+18] [NK19].모델 규모가 크다고 분포 밖 일반화가 반드시 더 나은 것은 아니다 [HLW+20]. 일반화 성능 저하가 학습 분포에 대한 과도한 특화와 관련된다는 근거가 있다 [YdC+19] [MPL19].출처: §1 · p. 3
• Natural Questions의 4%와 CoQa의 55 F1은 초기 문맥 내 학습이 미세조정에 크게 못 미쳤음을 보여준다.인용된 CoQa 결과는 당시 최고 성능보다 35점 넘게 낮았으며, 이 접근법을 실용화하려면 상당한 개선이 필요함을 시사했다.출처: §1 · p. 4
• 규모가 큰 모델은 대체로 성능이 더 높고 문맥 내 시범 예시의 이점도 더 크게 얻으며, few-shot 성능은 zero-shot 성능보다 빠르게 향상된다.비교 대상에는 매개변수가 125백만 개에서 13십억 개에 이르는 더 작은 모델들이 포함된다. 예시로 제시된 기호 제거 과제에서는 과제 설명과 추가 시연도 성능을 높인다. Figure 1.3은 정확도로 측정한 42개 벤치마크의 결과를 종합하지만, 저자들은 이 종합 결과 자체가 엄밀하거나 유의미한 벤치마크는 아니라고 주의를 준다.출처: Figure 1.3 · p. 5, §1 · pp. 5–6
• 175십억 개의 매개변수를 갖춘 GPT-3는 미세조정 대신 zero-shot, one-shot, few-shot 프롬프팅으로 스무 개가 넘는 NLP 데이터셋과 새로운 과제에서 평가된다.In-context learning은 기울기 업데이트 없이 지시문과 시연 예시를 조건으로 예측한다. Few-shot 프롬프트에는 보통 10에서 100개의 시연 예시가 포함된다. 이러한 구분은 추론 시 제공되는 시연 예시의 수를 나타낼 뿐, 모델이 새로운 과제를 학습하는지 아니면 학습 시점의 패턴을 인식하는지를 판정하지는 않는다.출처: §1 · pp. 4–5
• 외부 자료를 참조하지 않는 closed-book TriviaQA에서 few-shot 정확도 71.2%로 미세조정 모델 대비 최고 성능을 달성한다. GPT-3는 때로 미세조정된 시스템과 동등하거나 더 나은 성능을 보인다.TriviaQA 정확도는 zero-shot에서 64.3%, one-shot에서 68.0%다. CoQA F1은 zero-shot에서 81.5, one-shot에서 84.0, few-shot에서 85.0이다.출처: §1 · p. 5
• GPT-3는 뒤섞인 글자로 단어 복원하기, 산술, 새로운 단어 사용에서 빠른 적응을 보이며, few-shot으로 생성한 뉴스 기사는 인간 평가자도 사람이 쓴 글과 구별하기 어려워한다.논문은 편향, 공정성, 더 넓은 사회적 영향도 논의하며 GPT-3의 특성에 대한 예비 분석을 제시한다.출처: §1 · pp. 5–6
• Few-shot GPT-3는 ANLI, RACE, QuAC에서 여전히 어려움을 겪으며, 학습 데이터로 인한 오염이 일부 데이터셋의 결과를 부풀릴 가능성이 있다.체계적인 오염 분석 결과, 대부분의 데이터셋에서는 영향이 미미했다. 오염 정도에 따라 영향이 의심되는 결과는 공개하지 않거나 별표로 표시한다.출처: §1 · pp. 5–6

2 접근법

• One-shot은 시연 예시 하나와 과제 설명을 제공하고, zero-shot은 지시문만 제공하므로 과제 형식이 모호할 수 있다.One-shot은 사람에게 과제를 전달하는 일부 방식과 유사하다. zero-shot은 편의성과 잠재적 견고성이 가장 높지만, 예시가 없으면 부당하게 어려울 수 있다. 저자들은 one-shot, 때로는 zero-shot이 인간 수행 능력과 가장 공정하게 비교하는 방식이라고 본다.출처: §2 · pp. 6–7
• GPT-3는 zero-shot, one-shot, few-shot 추론을 성능과 표본 효율 사이의 절충 관계로 비교하며, 많은 few-shot 결과가 미세 조정한 최첨단 모델에 약간 뒤처지는 수준임을 강조한다.Few-shot 추론은 일반적으로 가중치 갱신 없이 2048토큰 문맥 내의 시연 예시 10–100개를 조건으로 사용한다. 반면 미세 조정은 수천에서 수십만 개의 레이블로 가중치를 갱신하므로, 분포 외 일반화 성능 저하 [MPL19]와 허위 상관 특징 활용 [GSL+18] [NK19]의 위험이 있다.출처: §2 · pp. 6–7, Figure 2.1 · p. 7

2.1 모델과 아키텍처

• 매개변수가 125백만 개에서 175십억 개에 이르는 여덟 모델은 GPT-2 를 바탕으로, Sparse Transformer 와 유사하게 dense attention과 국소 띠 형태의 sparse attention을 번갈아 사용한다.아키텍처는 GPT-2의 수정된 초기화, 사전 정규화, 가역적 토큰화를 유지하며, 모든 모델이 2048토큰 문맥을 사용한다. 다양한 모델 크기를 통해 예측된 검증 손실의 멱법칙 스케일링 과 다운스트림 언어 과제에서의 스케일링을 검증한다.출처: §2.1 · p. 8

2.2 학습 데이터셋

• 학습에는 품질 필터링과 문서 중복 제거를 거친 Common Crawl 및 선별된 말뭉치를 함께 사용하며, 데이터셋 크기에 비례해 표집하는 대신 품질이 높은 데이터셋을 더 자주 표집한다.엄선한 자료에는 에서 처음 기술한 확장 WebText, Books1, Books2, 영어 Wikipedia가 포함된다. 학습에는 300십억 토큰을 사용하며, 일부 데이터셋은 최대 3.4회 보지만 Common Crawl과 Books2는 한 차례도 완전히 보지 않는다. 이는 더 높은 품질의 데이터를 위해 어느 정도의 과적합을 감수하는 선택이다.출처: §2.2 · p. 8, Table 2.2 · p. 9
• 제거를 시도했음에도 필터링 버그로 일부 벤치마크 개발·테스트 세트와 겹치는 데이터가 사전 학습 데이터에 남아 데이터 오염 우려가 생겼다.학습 비용 때문에 재학습은 불가능했으며, Section 4에서 남아 있는 중복 데이터의 영향을 분석한다.출처: §2.2 · p. 9

2.3 학습 과정

• 학습은 그래디언트 잡음을 기준으로 배치 크기를 정하고, Microsoft의 고대역폭 V100 GPU 클러스터에서 행렬 곱셈 내부와 층 간에 모델 병렬화를 적용한다.큰 모델은 일반적으로 더 큰 배치를 사용할 수 있지만 더 작은 학습률이 필요하다. 모델을 깊이와 너비 방향으로 나누어 여러 GPU에 배치하면 노드 간 데이터 전송을 최소화할 수 있다.출처: §2.1 · p. 8, §2.3 · p. 9

2.4 평가

• 평가에서는 각 평가 예제에 사용할 시연 예시를 무작위로 표집하고, 가능하면 개발 데이터로 예시 수를 조정하며, 테스트 세트에 접근할 수 있으면 테스트 결과를 보고한다.LAMBADA와 Storycloze는 개발 세트의 시연 예시를 사용하고 테스트 세트에서 평가한다. 원본 Winograd는 유일한 데이터셋에서 시연 예시를 뽑는다. 비공개 테스트 과제는 서버의 모델 크기 제한 때문에 대체로 개발 세트 결과를 사용하지만, SuperGLUE, TriviaQA, PiQa에서는 few-shot 테스트 결과를 성공적으로 제출했다.출처: §2.4 · p. 10
• 객관식 과제는 완성문의 우도를 비교하고, 이진 과제는 의미 있는 선택지 레이블을 사용하며, 자유 형식 과제는 빔 탐색을 사용하고 데이터셋의 표준 지표로 평가한다.대부분의 객관식 과제는 토큰 수로 정규화한다. ARC, OpenBookQA, RACE에서는 무조건부 답변 우도로 정규화하면 성능이 향상된다. 자유 형식 디코딩은 에 따라 빔 너비 4와 길이 페널티 0.6을 사용하며, F1 유사도 점수, BLEU 또는 완전 일치로 평가한다.출처: §2.4 · p. 10

3 결과 / 3.1.1 언어 모델링

• Penn Tree Bank에서 zero-shot perplexity 20.50으로 이전 결과를 15포인트 개선하며 최고 성능을 경신했다.교차 엔트로피 검증 손실은 에서 관찰된 연산량 멱법칙을 백 배 더 넓은 범위까지 작은 편차만으로 따르며, 다양한 다운스트림 과제에서도 성능 향상이 나타난다. Penn Tree Bank는 제로샷으로만 평가하며, 위키백과 기반 벤치마크와 십억 단어 벤치마크는 학습 데이터와의 중복 때문에 제외한다.출처: §3 · p. 10, Table 3.1 · p. 11, §3.1.1 · p. 11

3.1.2 LAMBADA / 3.1.3 HellaSwag / 3.1.4 StoryCloze

• LAMBADA의 few-shot 정확도는 86.4%로 이전 최고 성능을 18% 넘게 웃돌며, 모델이 커질수록 성능 향상 폭도 크게 증가한다.빈칸 채우기 시연으로 한 단어 완성을 지정하지만, one-shot 형식은 zero-shot보다 성능이 낮다. 탐지된 학습 데이터 오염의 영향은 미미한 것으로 보인다. HellaSwag의 few-shot 정확도는 79.3%로 미세조정 기준 모델의 75.4% [ZHR+19]를 웃돌지만 ALUM의 85.6%에는 못 미친다. StoryCloze는 K = 70에서 87.7%로, 미세조정 SOTA [LDL19]보다 4.1% 낮다.출처: Table 3.2 · p. 12, §3.1.2 · pp. 12–13, §3.1.3 · p. 13

3.2 외부 자료 없이 수행하는 질의응답

• TriviaQA의 few-shot 성능은 71.2%로, GPT-3의 one-shot 결과 68.0%가 대등한 수준을 보인 오픈 도메인 미세조정 최고 성능을 넘어선다 [LPP+20].WebQuestions의 few-shot 성능은 41.5%로 미세조정한 T5-11B+SSM의 44.7%와 비교되며, Natural Questions는 29.9%로 미세조정한 T5 11B+SSM의 36.6%와 비교된다. 세 데이터셋 모두 미세조정 없이 모델 규모에 따라 성능이 매끄럽게 향상된다. WebQuestions와 Natural Questions에서 시연의 효과가 더 크다는 점은 분포 차이에 대한 적응을 시사한다.출처: Table 3.3 · p. 13, §3.2 · pp. 13–14

3.3 번역

• Few-shot 번역은 기존 비지도 NMT와 평균적으로 비슷한 성능을 보이며, 영어로 번역할 때는 더 우수하지만 반대 방향에서는 뒤처진다.Zero-shot 성능은 기존 비지도 NMT보다 낮다. 시연 하나로 7 BLEU 넘게 향상되고, 전체 few-shot 프롬프트를 사용하면 추가로 4 BLEU 향상되지만, 대응 예시를 사용하므로 비지도 방법과 엄밀히 비교할 수는 없다. 모델 용량에 따라 성능이 매끄럽게 향상되지만, 영어→루마니아어는 기존 비지도 연구보다 여전히 10 BLEU 넘게 낮으며, 이는 영어 중심 토크나이저 때문일 수 있다. 루마니아어→영어는 전체 SOTA [LHCG19b]와의 차이가 0.5 BLEU 이내다.출처: §3.3 · pp. 14, 16, Table 3.4 · p. 15

3.4 Winograd 유형 과제

• Winogrande의 few-shot 정확도는 77.7%로 zero-shot의 70.2%보다 높지만, 미세조정한 RoBERTa의 79%와 최고 성능인 T5의 84.6%에는 못 미친다.Winogrande에서 사람의 성능은 94.0%다. 원본 Winograd 점수는 zero-shot, one-shot, few-shot에서 각각 88.3%, 89.7%, 88.6%로, 뚜렷한 in-context 성능 향상은 없다. 탐지된 데이터 오염의 영향은 작은 것으로 보인다.출처: Table 3.5 · p. 16, §3.4 · p. 17

3.5 상식 추론

• PIQA의 few-shot 정확도는 82.8%로 기존 최고 성능인 미세조정 RoBERTa의 79.4%를 넘어섰지만, 데이터 오염 가능성 때문에 결과 해석에 주의가 필요하다.PIQA는 모든 평가 설정에서 SOTA를 달성하지만, PIQA와 ARC 모두 in-context 성능 향상이 작고 일관되지 않다. ARC Challenge와 Easy의 few-shot 정확도는 각각 51.5%, 70.1%로 UnifiedQA [KKS+20]보다 각각 27%, 22% 낮다. OpenBookQA는 시연으로 성능이 크게 향상되지만 전체 SOTA보다 여전히 20포인트 넘게 낮으며, 미세조정한 BERT Large 기준 모델과 대략 비슷하다.출처: Table 3.6 · p. 17, §3.5 · pp. 17–18

3.6 독해

• SQuAD 2.0의 few-shot 성능은 69.8 F1로 zero-shot보다 거의 10 F1 높지만, 독해 성능은 데이터셋별로 큰 차이를 보인다.CoQA는 사람 기준 성능과의 차이가 3포인트 이내지만, QuAC는 ELMo 기준 모델보다 13 F1 낮다. DROP은 원래의 미세조정 BERT 기준 모델을 넘어섰지만 사람과 기호적 기법을 결합한 SOTA [RLL+19]에는 크게 못 미치며, RACE는 SOTA보다 여전히 45% 낮다.출처: Table 3.7 · p. 18, §3.6 · p. 18

3.7 SuperGLUE

• GPT-3는 SuperGLUE의 COPA와 ReCoRD에서 최고 성능에 근접하며, BoolQ, MultiRC, RTE에서는 미세조정한 BERT-Large와 대략 비슷한 성능을 보인다.평가에는 과제당 예시 32개를 사용하며 그래디언트 갱신은 하지 않는다. COPA에서는 미세 조정한 T5에 이어 두 번째로 높은 성능을 보인다. 퓨샷 점수는 WSC에서 80.1%, CB에서 75.6%로, 과제별로 상당한 차이를 보인다.출처: Table 3.8 · p. 19, §3.7 · p. 20
• 과제당 여덟 개 미만의 예시만으로 GPT-3는 SuperGLUE 전체 성능에서 미세조정한 BERT-Large를 앞섰지만, WiC의 few-shot 정확도는 무작위 수준인 49.4%에 머물렀다.모델 규모와 예시 수가 늘수록 점수가 향상됐으며, 과제당 최대 32개 예시까지 평가했다. GPT-3는 여덟 과제 중 네 과제에서 미세조정한 BERT-large를 앞섰지만, 문장이나 짧은 글을 비교하는 데 어려움을 겪었다.출처: §3.7 · p. 20

3.8 NLI

• Few-shot GPT-3 175B는 ANLI [NWD+19] Round 3에서 무작위 수준과 최고 성능 사이의 격차를 거의 절반 줄였지만, 작은 모델들은 무작위 수준에 머물렀다.가장 큰 모델만 RTE의 무작위 기준 성능(56%)을 뚜렷하게 넘어섰으며, few-shot 성능은 단일 과제로 미세조정한 BERT Large와 비슷했다. 작은 모델들은 ANLI에서 약 33%를 기록했다. ANLI Round 3 평가는 개발 예시 1,500개를 사용했으며, 추정 표준편차는 1.2%다.출처: Figure 3.9 · p. 21, §3.8 · p. 21

3.9.1 산술

• 두 자릿수 덧셈 100%, 두 자릿수 뺄셈 98.9%, 세 자릿수 덧셈 80.2%, 세 자릿수 뺄셈 94.2%의 정확도로 GPT-3의 few-shot 산술 능력을 입증했다.정확도는 네 자릿수 연산에서 25–26%, 다섯 자릿수 연산에서 9–10%로 떨어졌다. 두 자릿수 곱셈은 29.2%, 한 자릿수 혼합 연산은 21.3%에 도달했다. 파라미터가 13십억 개인 모델은 두 자릿수 덧셈과 뺄셈을 절반만 맞혔고, 다른 연산의 정답률은 10% 미만이었다.출처: Figure 3.10 · p. 22, §3.9.1 · p. 22
• 평가한 세 자릿수 덧셈 문제의 0.8%, 뺄셈 문제의 0.1%만 학습 데이터에서 검색한 패턴과 일치해, 암기로 설명되는 정답은 극히 일부임을 시사한다.“1”을 올림하지 못하는 등의 오류도 계산을 시도했음을 시사했다. 산술 성능은 zero-shot, one-shot, few-shot 순으로 향상됐지만, 전체 규모 GPT-3의 zero-shot 성능은 모든 소형 모델의 few-shot 성능보다 높았다.출처: §3.9.1 · pp. 22–23, Table 3.9 · p. 23

3.9.2 단어 뒤섞기 및 조작 과제

• 무작위 삽입 문자 제거의 few-shot 정확도는 66.9%인 반면, 문자 순환 이동은 38.6%, 쉬운 애너그램은 40.2%, 어려운 애너그램은 15.1%였으며, 어느 모델도 단어를 역순으로 뒤집지 못했다.One-shot 성능은 절반 이하로 떨어졌고 zero-shot에서는 거의 성공하지 못했다. 이는 평가 시점의 학습을 시사하지만 입증하지는 않는다. 이 과제들은 서브워드 토큰 구조의 조작을 요구하며, 답이 모호한 순환 이동과 애너그램 과제에는 탐색도 필요하다.출처: §3.9.2 · pp. 23–24, Table 3.10 · p. 23, Figure 3.11 · p. 24

3.9.3 SAT 유추

• SAT 유추 문제 374개 에서 few-shot 정확도는 65.2%로 대학 지원자 평균인 57% 를 넘어섰다. One-shot과 zero-shot 정확도는 각각 59.1%, 53.7%였다.파라미터가 175십억 개인 전체 모델은 파라미터가 13십억 개인 모델보다 성능이 10% 넘게 향상되었다.출처: §3.9.3 · p. 24, Figure 3.12 · p. 25

3.9.4 뉴스 기사 생성

• GPT-3가 생성한 약 200단어 및 500단어 뉴스 기사를 사람이 판별한 정확도는 52%로 무작위 수준에 근접한 반면, 의도적으로 품질을 낮춘 대조 기사에서는 각각 86%, 88%였다.앞선 기사 세 개를 조건으로 제시하고 주어진 제목과 부제에서 기사를 생성했다. 사실 오류, 반복, 논리적 비약, 부자연스러운 표현이 판별 단서가 될 수 있었지만, 대체로 미묘했다.출처: §3.9.4 · pp. 25–26, Table 3.11 · p. 26, Table 3.12 · p. 27

3.9.5 새로운 단어의 학습과 사용

• GPT-3에 존재하지 않는 단어의 정의와 선행 예시 한 개에서 다섯 개를 제시한 뒤, 그 단어를 문장에서 사용하는 능력을 정성적으로 평가했다.대표적인 완성 예시는 제시된 in-context 조건만 사용했으며, 과제별 추가 정보는 제공하지 않았다.출처: §3.9.5 · p. 26, Figure 3.16 · p. 29
• GPT-3가 생성한 문장은 모든 사례에서 새로 정의된 단어를 정확하거나 그럴듯하게 사용한 것으로 보였다.“screeg”에 대해 그럴듯한 활용형 “screeghed”를 생성했지만, 문장 내 쓰임은 다소 어색했다.출처: §3.9.5 · p. 29
• 새로운 단어 과제는 전체 과제 차원에서는 few-shot이지만 개별 단어에 대해서는 one-shot이었다.여섯 예시에는 사람이 작성한 정의와 첫 답변을 사용하고, 이어서 GPT-3가 답변을 생성했다. 예시 생략이나 프롬프트 반복 없이 한 번에 연속해서 생성했다.출처: §3.9.5 · p. 29

3.9.6 영어 문법 교정

• 사람이 작성한 교정 예시 하나를 조건으로 제시하자 GPT-3는 생략이나 재시도 없이 영어 문장 5개를 추가로 교정했다.프롬프트는 “잘못된 영어 입력”과 “올바른 영어 출력”을 짝지어 제시했다. 해당 대목은 평가 절차만 보고하며 결과는 기술하지 않는다.출처: §3.9.6 · p. 29

탐지 방법

• 제거 과정의 버그로 인터넷 수집 학습 데이터에 벤치마크와 중복되는 내용이 남아, 약 13-gram 일치를 기준으로 걸러낸 비오염 부분집합과 비교했다.짧은 예제는 예제 전체의 중복 여부를 확인했으며, 비용 때문에 재학습은 불가능했다. 데이터셋과 모델 규모가 GPT-2보다 약 백 배 컸음에도 GPT-3는 중복을 제거한 검증 데이터에서 유의한 과적합을 보이지 않았다.출처: §4 · pp. 29, 31

전반적 분석

• 벤치마크의 사분의 일에서 50%를 초과하는 잠재적 오염이 탐지되었지만, 대부분의 정제 부분집합 점수는 거의 변하지 않았고 오염 수준과 성능 차이 사이에 상관관계도 없었다.저자들은 보수적인 탐지 방법이 오염을 크게 과대평가했거나, 오염이 성능에 미치는 영향이 작았다고 결론 내린다.출처: §4 · p. 31, Figure 4.2 · p. 32

그 밖에 오염 가능성이 표시된 과제

• QuAC, SQuAD2, DROP 예제의 >90%가 오염 가능성이 있는 것으로 표시됐지만, 확인한 중복 내용은 질문/답변 쌍이 아닌 원문이었다.WMT16 독일어-영어에서는 25%가 표시됐고 관련된 전체 효과 크기는 1-2 BLEU였지만, 확인한 일치 내용은 번역 쌍이 아닌 단일 언어 텍스트였다. 순서 뒤집기/애너그램 필터링에는 2-gram을 사용했으며, 주로 회문이나 쉽게 복원할 수 있는 단어가 표시되어 정제된 부분집합의 난도가 높아졌다. 기호 삽입 과제에서는 중복 탐지가 문자가 아닌 기호를 무시해 잘못된 일치가 발생했다.출처: §4 · p. 32

PIQA

• 정제 부분집합에서 PIQA 성능은 절대적으로 3 퍼센트포인트 하락했으며, 이는 상대적으로 4% 감소한 것이다. 예제의 29%가 잠재적 오염으로 표시되었다.규모가 25x 작은 모델에서도 유사한 하락이 나타나 암기보다는 통계적 편향 때문일 가능성을 시사했지만, 이를 입증하지는 못했다. 원본 웹페이지가 학습 데이터에 포함되어 있어 PIQA 결과에는 잠재적 오염을 나타내는 별표를 붙였다.출처: §4 · p. 32

Winograd

• Winograd는 예제의 45%가 오염 가능성이 있는 것으로 표시됐고 비오염 부분집합에서 성능이 2.6% 낮았다. 수작업 검토로 학습 세트에서 스키마 132개가 확인되어 보고된 결과에 별표를 붙였다.이 스키마들은 평가 프롬프트와 다른 형식으로 포함되어 있었다.출처: §4 · p. 32

언어 모델링

• Wikipedia 언어 모델링 벤치마크 4개와 Children’s Book Test는 거의 전부가 학습 데이터에 포함되어 신뢰할 만한 비오염 부분집합을 추출할 수 없었으며, 이에 결과를 생략했다.Penn Tree Bank는 오래된 데이터셋이어서 영향을 받지 않았고, 주된 언어 모델링 벤치마크로 사용됐다.출처: §4 · p. 33

LAMBADA

• LAMBADA의 비오염 부분집합 점수는 전체 데이터셋 점수와의 차이가 0.5% 이내로, 상당한 실제 오염에도 성능 영향은 작았다.빈칸 채우기 형식이므로 가장 단순한 형태의 암기는 불가능하다. 그럼에도 보고된 성능 향상 폭이 컸기 때문에 결과에 잠재적 오염 가능성을 함께 명시했다.출처: §4 · p. 33

한계

• 비오염 부분집합의 분포 차이가 암기 효과를 가릴 수 있지만, 변화가 거의 없는 사례가 많고 작은 모델에서도 유사한 변화가 나타났다는 점은 이 설명에 반하는 근거다.저자들은 오염 측정이 가능한 범위에서 최선을 다한 시도였다고 설명하며, 벤치마크 설계와 모델 학습에 관한 추가 연구가 필요하다고 강조한다.출처: §4 · p. 33

5 한계

• GPT-3는 같은 말을 반복하거나 일관성을 잃고, 자기모순이나 맥락에 맞지 않는 말을 생성할 수 있다. 일부 비교·독해 과제에서는 few-shot 성능이 우연 수준에 머문다.비교 과제의 실패 사례로는 WIC와 ANLI가 있다. 비공식적 관찰에서는 PIQA [BZB+19]에서의 성공에도 불구하고 상식적 물리 추론에 어려움을 보인다.출처: §5 · p. 33
• 자기회귀 방식만 사용한 실험은 양방향 구조와 잡음 제거 학습 목표를 제외하므로, 비교·빈칸 채우기·독해 과제에 불리할 수 있다.기존 문헌은 이러한 접근법이 표준 언어 모델보다 미세조정 성능을 높인다고 보고한다. GPT-3 규모의 양방향 모델과 그 few-shot·zero-shot 학습을 탐구하는 것이 향후 과제로 제안된다.출처: §5 · p. 33
• 자기지도 예측의 규모 확대는 한계에 부딪힐 수 있다. 학습 목표가 모든 토큰에 동일한 가중치를 부여하고, 과제를 예측 문제로만 다루도록 강제하며, 다른 경험에 기반하지 않기 때문이다.개체 중심 예측의 이점은 입증되었지만 [RRS20], 물리적 경험이나 영상에 기반한 그라운딩의 부재는 세계에 대한 맥락을 제한한다 [BHT+20]. 대안으로는 인간에게서 학습 목표를 배우는 방식, 강화학습 기반 미세조정, 이미지 추가 [CLY+19]가 제안된다.출처: §5 · pp. 33–34
• GPT-3는 테스트 시 표본 효율이 향상되었음에도 사전학습의 표본 효율은 여전히 낮아, 인간이 평생 접하는 양보다 많은 텍스트를 소비한다 [Lin20].사전학습의 표본 효율을 높이는 방안으로 물리적 경험에 기반한 그라운딩과 알고리즘 개선이 제안된다.출처: §5 · p. 34
• Few-shot 성능만으로는 GPT-3가 추론 중 새 과제를 학습하는지, 아니면 사전학습에서 접한 과제를 인식하고 상황에 맞게 적용하는지 판단할 수 없다.두 방식의 비중은 과제마다 다를 수 있다. 뒤섞인 글자로 단어 복원하기와 무의미 단어의 정의 학습은 새로운 학습의 사례로 볼 만하지만, 번역은 사전학습 중에 학습했음이 틀림없다.출처: §5 · p. 34
• GPT-3 규모의 추론은 비용이 많이 들고 사용이 불편해 실제 활용이 제한된다. 과제별 지식 증류로 모델 크기를 줄일 수 있다 [HVD15].다양한 능력을 갖추고 있다는 점에서 과제별로 대폭 압축할 여지가 있지만, 수천억 매개변수 규모에서 지식 증류를 검증한 적은 없다.출처: §5 · p. 34
• GPT-3의 판단은 해석하기 어렵고, 새로운 입력에 대한 예측 확률이 반드시 잘 보정되어 있는 것은 아니다. 또한 학습 데이터에서 물려받은 편향으로 인해 고정관념이나 편견이 담긴 내용을 생성할 수 있다.확률 보정에 대한 우려는 인간보다 큰 벤치마크 성능의 변동성과 관련된다. 편향된 출력은 특히 중요한 사회적 우려 사항으로 지적된다.출처: §5 · p. 34

6.1.1 잠재적 오용 방식

• 사람처럼 글을 생성하는 능력은 허위정보, 피싱, 사기 등 텍스트 기반 위해의 진입 장벽을 낮출 수 있다.GPT-3가 생성한 여러 문단의 글은 사람이 쓴 글과 구별하기 어려우므로, 보안 위험 평가를 통해 활용 방식, 행위자, 유인을 검토할 필요가 있다. 유익한 용도로는 글쓰기 지원과 질의응답이 있다. 위해에 초점을 맞추는 것은 위해가 편익보다 크다고 주장하기보다 완화 방안을 모색하려는 취지다.출처: §6 · p. 34, §6.1.1 · p. 35, §6.1 · p. 35

6.1.2 위협 행위자 분석

• 모니터링에서는 낮거나 중간 수준의 숙련도를 지닌 행위자의 성공적 활용 사례가 발견되지 않았고, 전문가 자문에서도 GPT-2 이후 APT 활동에 뚜렷한 변화가 확인되지 않았다. 다만 신뢰성 향상은 위험을 바꿀 수 있다.관찰된 오용 관련 논의는 언론 보도와 상관관계를 보였다. 분석가들은 기존 텍스트 생성 방법 대비 뚜렷한 이점이 없고 콘텐츠 표적화·제어 기술이 미성숙하다는 점을 대규모 투자에 나서지 않는 이유로 꼽았다.출처: §6.1.2 · p. 35

6.1.3 외부 유인 구조

• 활용 비용이 줄어들 가능성은 있지만, 확률적으로 생성된 출력을 사람이 선별해야 하므로 악의적 활용의 규모 확대에는 한계가 있다.경제적 유인은 피싱처럼 규모를 늘리기 쉽고 손쉽게 실행할 수 있는 전술에 유리하게 작용한다. 저자들은 일관되고 제어 가능한 모델에 대한 악의적 관심이 커질 것으로 예상하며, 완화 연구, 시제품 개발, 개발자 간 공조를 제안한다.출처: §6.1.3 · p. 35

6.2.1 성별

• 검사한 388개 직업 중 83%에서 GPT-3는 여성보다 남성을 지칭하는 표현을 부여할 가능성이 높았다.이분법적 성별 대명사 검사에서는 능력 관련 프롬프트에서 남성 연관성이 더 강했고, 여성에 대한 묘사는 외모에 더 치중했다. Winogender [RNLVD18]에서 GPT-3 175B는 평가한 모델 중 가장 높은 정확도(64.17%)를 기록했다. 여성과 남성의 Occupant-sentence 정확도는 각각 81.7%와 76.7%로, 더 큰 모델의 강건성이 더 높다는 예비 근거를 제공한다.출처: §6.2.1 · pp. 36–37, §6.2.2 · p. 37

6.2.2 인종

• 7개 모델 중 5개에서 ‘흑인’의 감성 순위가 가장 낮았고, 7개 중 3개에서는 ‘아시아인’이 가장 높았다. 모델 규모가 커지면서 차이는 소폭 줄었다.이 결과는 인종을 명시적으로 제시한 생성에 관한 것이며, 그러한 유도 없이 나타나는 행동을 다루지는 않는다. 함께 등장하는 단어의 Senti WordNet 점수는 노예제 논의의 부정적 감성 등 사회·역사적 맥락을 반영할 수 있다.출처: §6.2.2 · p. 37, Figure 6.1 · p. 38

6.2.3 종교

• GPT-3는 다른 종교보다 이슬람을 ‘폭력적’, ‘테러’, ‘테러리스트’와 더 강하게 연관 지었다.이 표현들은 이슬람에 대해 선호도가 가장 높은 상위 40개 단어에 포함됐다. 라마단, 예언자, 모스크 같은 일반적인 종교 용어도 유독 자주 함께 등장했다. 이 분석에서는 여섯 종교 범주에 관한 프롬프트의 후속 텍스트를 생성했다.출처: §6.2.3 · p. 38

6.2.4 향후 편향과 공정성 과제

• 편향 완화는 지표만으로 편향을 제거하려 하기보다 규범적·기술적·경험적 관점을 결합해야 한다.성별·인종·종교에 대한 탐색은 Model Cards for Model Reporting 에서 착안한 것으로, 예비적이고 비포괄적이며 주관적인 문제 지점 제시다. 향후 개입은 영향을 받는 공동체의 실제 삶의 경험을 반영하고 [BBDIW20], 지표 중심 접근의 사각지대를 다뤄야 한다 [GG19] [NvNvdG19].출처: §6.2 · p. 36, §6.2.4 · p. 39

6.3 에너지 사용

• GPT-3 175B는 사전학습에 수천 petaflop/s-days의 연산량이 필요하지만, 0.4 kW-hr로 약 100페이지를 생성할 수 있다.GPT-2 1.5B에는 수십 petaflop/s-days가 필요했다. 훈련 비용은 모델의 전체 사용 수명에 걸쳐 고려해야 한다. 지식 증류 [LHCG19a]와 알고리즘 발전으로 효율성을 더 높일 수 있다.출처: §6.3 · p. 39

7 관련 연구

• GPT-3는 파라미터와 연산량을 함께 늘려 기존 모델보다 10x 더 큰 규모로 확장했으며, 조건부 연산이나 연산량만 늘리는 접근 대신 단순한 모델 대형화를 따른다.조건부 연산 [BLC13]은 연산량을 늘리지 않고 파라미터 용량을 늘리는 반면, 적응적 연산 시간 [Gra16]과 universal transformer 는 파라미터를 늘리지 않고 연산량을 늘린다.출처: §7 · p. 39
• 규모를 3자릿수만큼 확장하면 모든 다운스트림 과제는 아니지만 많은 과제에서 비교적 매끄러운 성능 향상이 나타나며, 손실의 멱법칙 추세도 대체로 이어진다.선행 연구는 멱법칙을 따르는 매끄러운 손실 추세를 보고했다 [HNA+17]. 본 연구는 약간의 굴곡이 관찰될 가능성은 있지만 이 추세가 대체로 이어짐을 시사한다.출처: §7 · p. 39
• ALBERT [LCG+19]와 지식 증류를 비롯한 압축 기법은 거대 모델의 지연 시간과 메모리 사용량을 줄여 규모 확장을 보완할 수 있다.관련 접근에는 범용 언어 모델 지식 증류 [HVD15]와 과제별 지식 증류 [SDCW19] [JYS+19] [KR16]가 있다.출처: §7 · pp. 39–40
• GPT-3는 더 어려운 벤치마크에서 평가되며, 파인튜닝이나 테스트 시점의 코퍼스 어텐션 대신 in-context learning으로 질의응답에 접근한다.벤치마크에는 질의응답 [CCE+18] [MCKS18], 독해 [CHI+18] [RCM19], 적대적 데이터셋 [NWD+19]이 포함된다. 이 접근법은 파라미터 11십억 개 규모 모델의 미세조정 [RRS20] 및 테스트 시점의 코퍼스 어텐션 [GLT+20]과 다르지만, [GLT+20] [LPP+20]과 결합할 수 있다.출처: §7 · p. 40
• In-context learning은 RL2 및 과 유사하다. 가중치 갱신 없이 활성값을 통해 적응하고, 언어 모델 사전학습이 외부 루프 역할을 한다.기존의 언어 모델 메타학습 은 성과가 더 제한적이었고 체계적으로 연구되지 않았다. 반면 경사 기반 퓨샷 학습 [SS20]과 UDA 같은 준지도 접근은 소량의 레이블 데이터로 파인튜닝하는 방법을 탐구한다.출처: §7 · p. 40
• 대규모 사전학습은 다양한 과제를 암묵적으로 제공하는 것으로 보이며, 이는 수작업으로 구성한 데이터셋과 학습 커리큘럼이 필요한 다중 과제 파인튜닝 과 대비된다.자연어 지시는 가중치 갱신 없는 in-context learning이 아니라 지도학습 [MKXS18], 언어 모델링, 다중 과제 파인튜닝 에서 사용되었다. 더 폭넓은 명시적 과제 분포를 구성하려면 절차적 생성, 인간과의 상호작용, 능동학습 을 활용할 수 있다.출처: §7 · p. 40
• GPT-3는 in-context learning에 집중하고 구현을 단순화하기 위해 순수 자기회귀 모델링을 유지한다. 알고리즘 개선을 도입하면 특히 파인튜닝을 할 때 다운스트림 성능을 높일 수 있다.추가할 수 있는 요소로는 잡음 제거 기반 양방향성 [DCLT18], 인코더-디코더 구조 [LLG+19], 무작위 학습 순열 [YDY+19], 개선된 데이터 및 학습 절차 [LOG+19]가 있다.출처: §7 · p. 40

8 결론

• 175십억 개의 파라미터: 이 모델은 zero-shot, one-shot, few-shot NLP 과제 전반에서 뛰어난 성능을 보이며, 때로는 미세 조정된 최첨단 시스템에 근접한다.이러한 결과는 다양한 NLP 과제와 벤치마크에 걸쳐 나타난다.출처: §8 · pp. 40–41
• 미세 조정 없이도 성능은 대체로 예측 가능한 스케일링 추세를 따른다.출처: §8 · p. 41
• 이 모델은 고품질 샘플을 생성하며, 즉석에서 정의된 과제에서도 정성적으로 우수한 성능을 보인다.출처: §8 · p. 41
• 저자들은 사회적 영향을 논의하며, 한계와 약점에도 불구하고 초대형 언어 모델이 적응력 있는 범용 언어 시스템에 기여할 가능성을 제시한다.출처: §8 · p. 41

기여

• Tom Brown, Ben Mann, Prafulla Dhariwal, Dario Amodei, Nick Ryder, Daniel M Ziegler, Jeffrey Wu는 대규모 모델, 학습 인프라, 모델 병렬화 전략을 구현했다.Prafulla Dhariwal은 초기 코드베이스와 전체 반정밀도 학습을 위한 메모리 최적화도 구현했다. Rewon Child와 Mark Chen은 초기 모델 병렬화 전략을 개발했고, Rewon Child와 Scott Gray는 희소 Transformer에 기여했다.출처: Contributions · p. 42
• Tom Brown, Dario Amodei, Ben Mann, Nick Ryder는 사전학습 실험을 수행했고, Ben Mann과 Alec Radford는 학습 데이터를 준비하고 분석했다.Mann과 Radford는 학습 데이터를 수집·필터링하고 중복을 제거했으며, 데이터 중첩을 분석했다. Radford는 자연어 처리 관련 조언과 과제 제안을 제공하고, 결과를 맥락에 비추어 해석했으며, 가중치 감쇠가 학습에 주는 이점도 입증했다.출처: Contributions · p. 42
• Melanie Subbiah와 동료들은 다운스트림 과제, 지원 소프트웨어, 합성 과제를 구현했다. 다른 기여자들은 빔 탐색을 구현·시험하고 SuperGLUE 관련 작업을 수행했다.다운스트림 구현팀에는 Ben Mann, Dario Amodei, Jared Kaplan, Sam McCandlish, Tom Brown, Tom Henighan, Girish Sastry도 참여했다. Subbiah와 Arvind Neelakantan은 빔 탐색을 구현하고 실험·시험했으며, Pranav Shyam은 SuperGLUE와 few-shot 학습 및 메타학습 문헌과의 연관성을 연구했다.출처: Contributions · p. 42
• Jared Kaplan과 Sam McCandlish는 스케일링 법칙을 바탕으로 모델과 데이터의 규모 확장 방향을 정하고, 더 큰 모델이 문맥 내에서 더 빠르게 학습함을 보였다.두 사람은 인컨텍스트 학습 곡선, 프롬프팅, 평가를 연구했다. McCandlish는 스케일링 분석을 이끌고 Tom Henighan과 Kaplan에게 조언했다. Alec Radford는 언어 모델의 few-shot 학습을 처음 입증했으며, Ilya Sutskever는 대규모 생성 우도 모델의 규모 확장을 지지하고 기여자들에게 조언했다.출처: Contributions · p. 42
• 클러스터 최적화와 고속 GPU 커널은 최대 규모 모델의 효율적인 학습을 뒷받침했다.Benjamin Chess, Clemens Winter, Eric Sigler, Christopher Hesse, Mateusz Litwin, Christopher Berner는 클러스터를 최적화했고, Scott Gray는 고속 학습 커널을 개발했다. Aditya Ramesh는 사전학습 손실 스케일링을 실험했고, Ben Mann은 비복원 추출을 구현했다.출처: Contributions · p. 42
• Dario Amodei는 연구를 설계하고 이끌었으며, Jack Clark은 공정성, 사람에 의한 평가, 광범위한 영향을 다루는 윤리적 영향 분석을 이끌었다.Sandhini Agarwal은 공정성과 대표성을 분석했고, Girish Sastry와 Amanda Askell은 사람에 의한 평가를 수행했다. Ariel Herbert-Voss는 악용 위협을 분석했고, Gretchen Krueger는 정책 관련 절을 편집하고 레드팀 검토를 수행했다. Amodei, Alec Radford, Tom Brown, Sam McCandlish, Nick Ryder, Jared Kaplan, Agarwal, Askell, Sastry, Clark은 논문을 집필했다.출처: Contributions · p. 42

A Common Crawl 필터링 세부 사항

• 로지스틱 회귀 분류기는 선별된 텍스트를 양성 예시로, 필터링하지 않은 Common Crawl을 음성 예시로 사용해 품질이 높은 Common Crawl 문서를 우선 선별했다.양성 예시에는 WebText, Wikipedia, 웹 도서 코퍼스가 포함되었으며, 특징은 Spark의 표준 토크나이저와 HashingTF로 추출했다.출처: A Details of Common Crawl Filtering · p. 43
• α = 9는 점수가 높은 문서를 우선하면서도 일부 분포 외 문서를 유지하도록 했다. 재가중은 분포 외 생성 텍스트 표본의 손실로 측정한 품질을 개선했다.이 매개변수는 WebText의 분류기 점수 분포와 일치하도록 선택했다.출처: A Details of Common Crawl Filtering · p. 43
• 데이터셋 내부의 근사 중복 제거와 Common Crawl에서 WebText와 근사 중복되는 텍스트 제거로 데이터셋 크기가 평균 10% 감소했다.품질을 높이고 과적합을 방지하기 위해 Spark의 MinHashLSH는 해시 10개와 분류기의 특징을 사용해 중복도가 높은 문서를 제거했다. 품질 필터링과 중복 제거 후에는 벤치마크 텍스트도 일부 제거했다.출처: A Details of Common Crawl Filtering · p. 43

B 모델 학습 세부 사항

• 모든 GPT-3 버전은 β1 = 0.9, β2 = 0.95, ϵ = 10^-8로 설정한 Adam을 사용한다.전체 기울기 노름은 1.0에서 클리핑하며, 가중치 감쇠 0.1로 약한 규제를 적용한다 [LH17].출처: B Details of Model Training · p. 43
• 학습률은 260십억 토큰에 걸쳐 코사인 감쇠로 초깃값의 10%까지 낮아지며, 이후에는 그 수준을 유지한다.처음 375백만 토큰 동안 학습률을 선형으로 예열한다.출처: B Details of Model Training · p. 43
• 배치 크기는 모델 크기에 따라 처음 4–12십억 토큰 동안 32k 토큰에서 최종 크기까지 선형으로 증가한다. 학습에는 항상 길이 2048 토큰의 시퀀스를 사용한다.짧은 문서들은 서로 무관한 문맥임을 나타내는 텍스트 종료 구분자로 구분해 함께 묶으므로, 시퀀스별 특수 마스킹 없이 효율적으로 학습할 수 있다. 과적합을 최소화하기 위해 에포크 경계에 도달할 때까지 데이터를 비복원 추출한다.출처: B Details of Model Training · p. 43

초기 학습 세트 필터링

• 초기 벤치마크 필터링에서는 문서 전체를 자동으로 버리는 대신 일치하는 13-gram과 그 주변 200자 구간을 제거해 긴 문서에서 발생하는 오탐의 영향을 줄였다.각 gram은 소문자로 변환하고 구두점을 제거한 뒤 공백으로 구분한 단어로 구성했다. 200자 미만의 조각과 10개 넘는 조각으로 분할된 문서는 버렸다. 10개 넘는 학습 문서에서 발견된 일치 항목은 대부분 흔한 구절이나 상용 문구였으므로 무시했다.출처: C Details of Test Set Contamination… · pp. 43–44

중복 분석 방법

• Apache Spark로 정확 일치를 검출해 학습 말뭉치와 N-gram이 하나라도 겹치는 예제를 오염 예제로 분류했으며, N은 데이터셋마다 별도로 정했다.N은 구두점, 공백, 대소문자 구분을 무시한 예제 길이의 다섯 번째 백분위수로 정했으며, 하한은 비합성 과제에 대해 여덟, 상한은 13으로 설정했다. 학습에는 필터링된 Common Crawl 문서의 40%만 사용했지만, 분석은 전체 학습 코퍼스를 대상으로 했다.출처: C Details of Test Set Contamination… · p. 44
• 긴 문서 처리 시 발생한 필터링 버그로 여러 언어 모델링 벤치마크와 Children’s Book Test에서 거의 전면적인 중복이 나타나, 이들을 분석에서 제외했다.수정된 데이터로 재학습하는 것은 비용상 불가능했다. 일부 테스트 분할에는 정답 레이블이 없었지만, 테스트 분할과 검증 분할의 오염 수준은 비슷했다.출처: C Details of Test Set Contamination… · p. 44

중복 분석 결과

• 오염 없는 예제만을 대상으로 한 평가에서는 전체 예제 대비 상대적 점수 변화를 측정해 중복이 후속 과제 성능을 부풀렸는지 확인했다.오염 없는 예제의 점수가 1% 또는 2% 넘게 낮으면 과적합 가능성을 시사했다. 반대로 점수가 상당히 높으면 쉬운 예제가 우선적으로 오염 예제로 분류되었을 가능성이 있었다.출처: C Details of Test Set Contamination… · p. 44
• DROP 예제의 94%가 오염 예제로 분류되었지만, 일치하는 학습 문서에는 질문이나 답이 아니라 원문 지문이 들어 있었다.저자들은 오염 없는 예제만 평가했을 때 성능이 낮아진 원인으로 정답을 미리 본 효과보다 나머지 6%의 분포 차이가 더 그럴듯하다고 보았다. 중복 지표는 웹에서 가져온 배경 정보와 8단어 미만의 예제에서도 많은 오탐을 냈다.출처: C Details of Test Set Contamination… · p. 44
• GPT-3는 오염에 비교적 둔감한 것으로 나타났다. 오염이 증가하면 오염 없는 예제/전체 예제 성능비의 분산은 커졌지만, 성능이 향상되거나 저하되는 쪽으로 뚜렷하게 치우치지는 않았다.이 결론은 오염 없는 예제에서의 성능과 전체 예제에서의 성능을 비교해 도출했다.출처: C Details of Test Set Contamination… · p. 44

D 언어 모델 학습에 사용된 총 연산량

• 분석 대상 모델에서 어텐션은 일반적으로 총 연산량의 10% 미만을 차지하므로 추정에서 어텐션 연산을 제외한다.이러한 근사 계산은 Figure 2.2의 학습 연산량 추정에 사용된다.출처: D Total Compute Used to Train Language… · p. 46
• 순전파와 역전파를 합친 연산량은 순전파 연산량의 3x로 계산한다. 총 학습 flops는 파라미터당·토큰당 연산 비용에 파라미터 수와 학습 토큰 수를 곱해 구한다.순전파에서는 토큰마다 활성 파라미터당 덧셈 한 번과 곱셈 한 번이 필요하다. 총량은 flops와 petaflop/s-day로 보고하며, 1 petaflop/s-day는 8.64e+19 flops에 해당한다.출처: Table D.1 · p. 46, D Total Compute Used to Train Language… · p. 46
• T5는 인코더-디코더 구조를 사용하므로 순전파 또는 역전파 시 각 토큰에 대해 T5의 매개변수 중 절반이 활성화된다.계산 시 활성 매개변수 수를 이에 맞게 조정한다.출처: Table D.1 · p. 46

참가자 및 퀴즈 설계

• 여섯 차례 실험에서 97명을 제외한 뒤 참가자 621명이 남았으며, 무작위로 구성된 상호 보완적 퀴즈에는 사람이 쓴 기사와 모델이 생성한 기사가 거의 같은 수로 포함되었다.참가자는 Positly에서 모집한 미국 거주자로, 한 번만 참여할 수 있었다. 각 퀴즈는 기사 25개로 구성되었으며, 기사 순서는 참가자마다 독립적으로 섞었다.출처: E Human Quality Assessment of… · pp. 46–47

절차 및 설계

• 2020년 초 Newser 기사 25개의 제목과 부제목을 바탕으로 모델이 뒷부분을 생성했으며, 기사 길이를 통제하도록 출력을 선택했다.각 모델은 기사마다 출력 다섯 개를 생성했으며, 사람이 쓴 기사의 단어 수에 가장 가까운 완성문을 자동으로 선택했다.출처: E Human Quality Assessment of… · p. 46

소요 시간 통계

• 모델이 클수록 구별하기 어려운 뉴스 기사를 생성했으며, 사람이 기사 판단에 더 많은 시간을 들였음에도 판별 정확도는 낮아졌다.Figure E.1은 모델 크기가 커질수록 판단 시간이 늘어남을 보여준다.출처: Figure E.1 · p. 47, E Human Quality Assessment of… · pp. 47–48

통계 검정

• 독립집단 두 표본 t-검정으로 각 모델을 대조 모델과 비교했으며, 모델 크기에 따른 참가자의 평균 정확도를 멱법칙으로 모형화했다.95% 신뢰구간은 표본평균의 t-분포로 추정했다.출처: E Human Quality Assessment of… · p. 47

∼500단어 기사에 대한 예비 조사

• GPT-3 175B와 160M 대조 모델을 비교한 두 차례 예비 실험에서 미국 거주 참가자 160명이 약 500단어 분량의 기사를 평가했다.프롬프트에는 Reuters 기사 12개의 제목과 장소를 사용했으며, 별도의 Reuters 기사를 GPT-3의 문맥으로 제공했다. 두 유형의 기사 수를 맞춘 12문항 퀴즈에는 독해 문항을 포함했고, 기사는 30초 간격으로 세 단계에 걸쳐 공개했다.출처: E Human Quality Assessment of… · p. 48

GPT-3의 추가 생성 예시

• 입력 문맥에는 요청한 시의 제목과 작가명(월리스 스티븐스) 머리말 앞에 C. P. 카바피와 존 애슈버리의 작품으로 명시된 시들이 포함된다.카바피의 “The City”는 에드먼드 킬리가 번역한 것으로 명시되며, 애슈버리의 시 제목은 “Some Trees”다.출처: F Additional Samples from GPT-3 · p. 49
• 생성된 시에는 그림자, 숲, 빛, 고독의 심상이 반복해서 등장한다.고립된 소도시, 황량한 산을 마주한 여행자, 색채를 벗으로 묘사하는 화자 등이 그 예다.출처: F Additional Samples from GPT-3 · p. 49
• 선별하지 않은 생성 결과 네 편은 월리스 스티븐스의 시풍으로 “Shadows on the Way”라는 제목의 시를 요청한 프롬프트에 GPT-3가 어떻게 응답하는지 보여 준다.저자들은 여러 프롬프트를 실험한 뒤, temperature 1과 P = 0.9의 nucleus sampling [HBFC19]을 사용해 추가 편집이나 선별 없이 이 예시들을 생성했다. 새로운 제목과 작가명 머리말 또는 산문 해설이 시작되면 생성 결과를 잘랐다.출처: F Additional Samples from GPT-3 · p. 48, Figure F.1 · p. 49

• 그림은 GPT-3 생성 예시 없이 데이터셋의 정답 예시로 모든 과제의 제시 형식과 문구를 보여준다.출처: G Details of Task Phrasing and… · p. 50
• RACE-h, RACE-m, OpenBookQA, ARC Challenge, ARC Easy는 예측 시 각 답의 무조건부 확률로 정규화한다.출처: Figure G.1 · p. 50, Figure G.3 · p. 51, Figure G.8 · p. 53
• ReCoRD는 데이터셋의 제시 방식과 평가 스크립트에 맞춰, 제시된 문맥을 하나의 문제로 취급한다.출처: Figure G.6 · p. 52
• Winograd와 Winogrande는 올바른 문맥과 잘못된 문맥이 주어졌을 때의 완성문 확률을 비교하는 부분 평가를 사용한다.출처: Figure G.13 · p. 53, Figure G.14 · p. 54
• MultiRC는 모든 답을 올바르게 분류해야 해당 질문을 정답으로 채점하며, K는 문맥에 제시된 질문 수를 뜻한다.구성은 지문, 질문, 답의 세 수준으로 나뉜다.출처: Figure G.15 · p. 54
• TriviaQA는 여러 유효한 완성문을 허용한다.출처: Figure G.34 · p. 59
• 번역 예시는 one-shot과 few-shot 형식을 보여주며, zero-shot 프롬프트는 명시적인 번역 질문과 답을 사용한다.zero-shot 템플릿은 “Q: {sentence}의 {language} 번역은 무엇인가? A: {translation}.”이다.출처: Figure G.36

H 모든 모델 크기의 모든 과제 결과

• Table H.1은 논문에서 조사한 모든 과제, 설정, 모델의 점수를 모아 제시한다.제공된 캡션은 다루는 범위를 명시하지만 수치 점수나 모델 간 비교는 제시하지 않는다.출처: Table H.1 · p. 63
• SuperGLUE, Winograd, 상식 추론, ANLI의 모든 라운드 결과를 각각 별도의 그림으로 제시한다.이 결과는 각각 Figures H.1, H.3, H.6, and H.9에 제시된다.출처: Figure H.1 · p. 64, Figure H.3 · p. 64, Figure H.6 · p. 66
• 추가 그림은 SAT, 산술, Scramble 과제의 결과를 제시한다.이 결과는 각각 Figures H.2, H.4, and H.10에 제시된다.출처: Figure H.2 · p. 64, Figure H.4 · p. 65, Figure H.10 · p. 67
• 질의응답, 독해, 빈칸 채우기 및 이어 쓰기, 번역 과제의 결과를 각각 별도의 그림으로 제시한다.이 결과는 각각 Figures H.7, H.8, H.5, and H.11에 제시된다.출처: Figure H.5 · p. 65, Figure H.7 · p. 66, Figure H.8 · p. 66