BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

1 서론

• 특징 기반 방법은 사전 학습된 표현을 과제별 구조에 통합하는 반면, 미세 조정은 과제별 요소를 최소한으로 추가하고 사전 학습된 모든 매개변수를 조정한다.ELMo (Peters et al., 2018a)는 특징 기반 방법의 대표 사례이고, OpenAI GPT 는 미세 조정의 대표 사례다. 두 접근법 모두 사전 학습에 단방향 언어 모델 목적함수를 사용한다.출처: §1 · p. 1
• 단방향 언어 모델은 사전 학습 구조를 제한하며, 저자들은 이 제약이 문장 수준 과제에 최적이 아니고 토큰 수준 질의응답에는 해로울 수 있다고 주장한다.질의응답에서는 양방향 문맥이 핵심적으로 필요하다.출처: §1 · p. 1
• BERT의 마스크 언어 모델링 목적함수는 좌우 문맥을 모두 활용해 무작위로 마스킹한 토큰을 예측함으로써 심층 양방향 사전 학습을 가능하게 한다.추가적인 다음 문장 예측 과제로 텍스트 쌍 표현도 함께 사전 학습한다.출처: §1 · pp. 1–2
• BERT는 Radford et al. (2018)의 단방향 사전 학습이나, 독립적으로 학습한 방향별 언어 모델을 얕게 연결하는 Peters et al. (2018a)의 방식과 대조된다.마스크 언어 모델링을 통해 BERT는 이와 달리 심층 양방향 표현을 학습한다.출처: §1 · p. 2
• BERT는 열한 개 NLP 과제에서 최고 성능을 달성하며, 문장 수준과 토큰 수준 과제 전반에서 다수의 과제별 구조를 능가한다.저자들은 BERT가 두 유형의 광범위한 과제군 모두에서 최고 성능을 달성한 최초의 미세 조정 기반 표현 모델이라고 밝힌다.출처: §1 · p. 2

2.1 비지도 특징 기반 접근법

• 사전 학습된 단어 임베딩은 수십 년간의 비신경망·신경망 표현 연구를 바탕으로, 처음부터 학습한 임베딩보다 NLP 시스템의 성능을 높인다.학습 목표에는 왼쪽에서 오른쪽으로의 언어 모델링 과 좌우 문맥을 이용한 올바른 단어와 잘못된 단어의 구별 (Mikolov et al., 2013)이 있다.출처: §2.1 · p. 2
• 선행 연구는 표현의 단위를 확장해 문장 임베딩 (Kiros et al., 2015; Logeswaran and Lee, 2018)과 문단 임베딩 (Le and Mikolov, 2014)을 제안했다.문장 표현의 학습 목표에는 다음 문장 후보의 순위화 (Jernite et al., 2017; Logeswaran and Lee, 2018), 이전 문장 표현을 조건으로 다음 문장의 단어를 왼쪽에서 오른쪽으로 생성하기 (Kiros et al., 2015), 잡음 제거 오토인코더에서 파생된 목표 (Hill et al., 2016)가 있다.출처: §2.1 · p. 2
• ELMo와 그 선행 모델 (Peters et al., 2017, 2018a)은 왼쪽에서 오른쪽 및 오른쪽에서 왼쪽으로 처리하는 언어 모델의 표현을 이어 붙여 문맥 의존적 토큰 특징을 제공한다.ELMo는 과제별 구조에 통합되어 질의응답, 감성 분석, 개체명 인식 벤치마크의 성능을 높인다 (Peters et al., 2018a). Melamud et al. (2016)은 심층 양방향 구조가 아닌 특징 기반 LSTM으로 양쪽 문맥에서 단어를 예측하며, Fedus et al. (2018)은 빈칸 채우기 학습으로 텍스트 생성의 견고성을 높인다.출처: §2.1 · p. 2

2.2 비지도 미세 조정 접근법

• 비지도 미세 조정은 레이블 없는 텍스트로 문맥을 반영하는 문장 또는 문서 인코더를 사전 학습하므로, 후속 과제에서 처음부터 학습할 매개변수가 적다.초기 접근법은 단어 임베딩만 사전 학습했으나, 이후 인코더는 왼쪽에서 오른쪽으로의 언어 모델링과 오토인코더 목표를 사용했다 (Howard and Ruder, 2018; Dai and Le, 2015). OpenAI GPT 는 여러 문장 수준 GLUE 과제 (Wang et al., 2018a)에서 당시 최고 성능을 달성했다.출처: §2.2 · pp. 2–3

2.3 지도 학습 데이터를 활용한 전이 학습

• 지도 전이 학습도 대규모 자연어 추론 데이터셋 (Conneau et al., 2017)과 기계 번역 데이터셋 (McCann et al., 2017)을 활용해 성과를 거둔다.컴퓨터 비전에서도 ImageNet으로 사전 학습한 모델을 미세 조정하는 효과적인 전이 학습 방식을 활용한다.출처: §2.3 · p. 3

3 BERT

• BERT는 왼쪽 문맥만 사용하는 GPT의 셀프 어텐션과 달리, Vaswani et al. (2017)에 기반한 다층 양방향 Transformer 인코더를 사용한다.BERTBASE는 12개 층, 은닉 차원 768, 어텐션 헤드 12개, 매개변수 110M개로 구성되며, BERTLARGE는 24개 층, 은닉 차원 1024, 헤드 16개, 매개변수 340M개로 구성된다. BERTBASE는 비교를 위해 OpenAI GPT와 모델 크기를 맞췄다.출처: §3 · p. 3
• BERT는 단일 텍스트 구간이나 텍스트 쌍을 하나의 시퀀스로 표현하며, 각 토큰의 토큰·세그먼트·위치 임베딩을 합산한다.WordPiece 임베딩(Wu et al., 2016)은 토큰 30,000개로 된 어휘를 사용하며, [SEP]와 학습된 A/B 세그먼트 임베딩으로 쌍을 이루는 구간을 구분한다. 모든 시퀀스는 [CLS]로 시작하며, 이 토큰의 최종 은닉 상태를 분류용 통합 표현으로 사용한다.출처: §3 · p. 4, Figure 2 · p. 5

3.1 BERT 사전 학습

• 마스크 언어 모델링에서는 WordPiece 위치의 15%를 무작위로 선택하고 해당 위치의 원래 토큰만 예측하여 양방향 표현을 학습한다.선택된 토큰은 80%의 경우 [MASK]로, 10%는 무작위 토큰으로 바꾸고, 10%는 그대로 둔다. 이는 미세 조정 시 [MASK]가 나타나지 않아 생기는 불일치를 완화한다. 사전 학습에는 BooksCorpus(800M 단어) 와 영어 Wikipedia(2,500M 단어)를 사용한다. Wikipedia에서는 목록·표·제목 대신 본문을 사용하며, 길고 연속된 시퀀스를 확보하기 위해 문서 단위 말뭉치가 필요하다.출처: §3.1 · pp. 4–5
• 다음 문장 예측의 학습 예시 중 50%는 실제 다음 문장을, 50%는 무작위 문장을 사용하여 QA와 NLI에 유용한 문장 간 관계를 학습한다.[CLS] 벡터로 IsNext와 NotNext를 예측하며, 최종 모델의 NSP 정확도는 97%-98%다. 미세 조정 없이는 이 벡터가 유의미한 문장 표현이 되지 않는다.출처: §3.1 · p. 4, §3 · p. 4

3.2 BERT 미세 조정

• BERT는 레이블이 있는 다운스트림 데이터로 전체 매개변수를 종단 간으로 미세 조정하며, 동일한 사전 학습 매개변수에서 과제별 모델을 각각 초기화한다.Self-attention은 이어 붙인 텍스트 쌍을 양방향 cross-attention으로 함께 인코딩한다. 과제별 출력층은 태깅이나 질의응답에 토큰 표현을, 분류에 [CLS]를 사용한다. 동일한 사전 학습 모델에서 시작하면 보고된 모든 결과를 단일 Cloud TPU에서 최대 1시간, GPU에서 몇 시간 내에 재현할 수 있다.출처: §3 · p. 3, §3.2 · p. 5

4.1 GLUE

• GLUE 미세 조정은 최종 [CLS] 표현을 사용하며, 분류층 가중치만 추가해 표준 분류 손실로 학습한다.동일한 표현으로 단일 문장 입력과 문장 쌍 입력을 모두 처리한다.출처: §4.1 · p. 5
• BERTLARGE의 공식 GLUE 점수는 80.5로, OpenAI GPT의 72.8보다 높다.WNLI를 제외하면 BERTBASE와 BERTLARGE는 기존 최고 성능 대비 평균 정확도를 각각 4.5%, 7.0% 높인다. BERT는 MNLI에서 정확도를 절대 4.6% 높인다. BERTLARGE는 모든 과제에서 BERTBASE를 능가하며, 특히 학습 데이터가 적은 과제에서 우세하다.출처: Table 1 · p. 6, §4.1 · p. 6

4.2 SQuAD v1.1

• SQuAD v1.1 미세 조정은 질문과 지문을 함께 입력하고, 시작 벡터와 끝 벡터만 도입해 정답 구간을 예측한다.토큰과 벡터의 내적으로 시작점과 끝점의 확률을 구하고, 정답 시작점과 끝점의 로그우도로 학습한다. 예측 시 끝점이 시작점보다 앞서지 않는 구간 중 점수가 가장 높은 구간을 선택한다.출처: §4.2 · p. 6
• BERT는 SQuAD v1.1 순위표의 해당 부문 최고 시스템 대비 앙상블에서 +1.5 F1, 단일 시스템에서 +1.3 F1의 성능 향상을 보인다.단일 BERT 모델도 최고 앙상블을 능가한다. BERT 앙상블은 사전 학습 체크포인트와 미세 조정 시드가 서로 다른 일곱 시스템을 결합한다. TriviaQA (Joshi et al., 2017)로 먼저 미세 조정했을 때의 기여는 0.1-0.4 F1에 그치며, 이를 사용하지 않아도 BERT는 기존 시스템을 능가한다.출처: §4.2 · pp. 6–7, Table 2 · p. 7

4.3 SQuAD v2.0

• BERT는 SQuAD v2.0에서 기존 최고 시스템 대비 +5.1 F1의 성능 향상을 보인다.답할 수 없는 질문은 [CLS] 토큰을 구간의 시작점과 끝점으로 사용한다. 예측 시 개발 세트에서 F1을 최대화하는 임곗값을 사용해 최적 정답 구간과 이 무응답 구간을 비교한다. 이 모델은 TriviaQA 데이터를 사용하지 않는다.출처: Table 3 · p. 7, §4.3 · p. 7

4.4 SWAG

• BERTLARGE의 SWAG 정확도 향상 폭은 ESIM+ELMo 대비 +27.1%, OpenAI GPT 대비 8.3%다.주어진 문장에 이어질 네 후보를 각각 해당 문장과 쌍으로 구성한다. 과제별 벡터 하나로 각 [CLS] 표현의 점수를 계산하고, softmax로 선택지 점수를 정규화한다.출처: Table 4 · p. 7, §4.4 · p. 7

5.1 사전 학습 과제의 영향

• NSP를 제거하면 QNLI, MNLI, SQuAD 1.1 성능이 크게 하락하며, 마스크 언어 모델링을 왼쪽에서 오른쪽으로 진행하는 모델링으로 대체하면 평가한 모든 과제의 성능이 저하된다.BERTBASE 변형들은 동일한 사전 학습 데이터, 미세 조정 방식, 하이퍼파라미터를 사용한다. 왼쪽에서 오른쪽으로 진행하는 변형은 NSP를 제외하고, 미세 조정 중에도 왼쪽 문맥만 사용한다는 제약을 유지한다. 성능 하락은 MRPC와 SQuAD에서 가장 크다.출처: Table 5 · p. 8, §5.1 · p. 8
• 무작위로 초기화한 BiLSTM을 추가하면 왼쪽에서 오른쪽으로 처리하는 BERT의 SQuAD 성능은 개선되지만, 사전 학습된 양방향 모델에는 여전히 크게 못 미치며 GLUE 성능은 저하된다.추가한 BiLSTM은 왼쪽에서 오른쪽으로 처리한 토큰 표현에 오른쪽 문맥이 없는 문제를 보완하려는 시도다.출처: §5.1 · p. 8
• ELMo처럼 왼쪽에서 오른쪽으로 처리하는 모델과 오른쪽에서 왼쪽으로 처리하는 모델을 별도로 사용하면 양방향 모델 하나보다 계산 비용이 두 배 들지만, 모든 층에서 양쪽 문맥을 함께 활용하지는 못한다.두 모델의 토큰 표현을 연결해도 오른쪽에서 왼쪽으로 처리하는 모델은 질의응답에서 질문을 조건으로 답변을 표현할 수 없다.출처: §5.1 · p. 8

5.3 BERT를 이용한 특성 기반 접근법

• 특성을 고정한 BERT는 과제별 구조를 지원하며, 계산 비용이 큰 표현을 한 번만 미리 계산해 두고 비용이 적게 드는 후속 모델로 실험을 반복할 수 있게 한다.반면 미세 조정 방식은 단순한 분류층을 추가하고 모든 모델 매개변수를 함께 갱신한다.출처: §5.3 · p. 9

5.2 모델 크기의 영향

• BERT 모델이 커질수록 데이터가 적은 MRPC를 포함해 평가한 모든 GLUE 데이터셋에서 정확도가 일관되게 높아진다.네 데이터셋에서 미세 조정을 다섯 번 새로 시작해 개발 세트 평균 정확도를 측정한다. MRPC의 레이블이 있는 학습 예시는 3,600개뿐이다. 저자들은 충분한 사전 학습을 강조하며, 새 매개변수를 거의 추가하지 않는 직접 미세 조정 덕분에 데이터가 적은 과제에서도 더 큰 표현을 활용할 수 있다고 가정한다.출처: §5.2 · pp. 8–9, Table 6 · p. 9

5.3 BERT를 이용한 특성 기반 접근법

• 가장 우수한 특성 기반 BERT 변형은 CoNLL-2003 NER에서 상위 네 개 은닉층을 연결하며, 전체 모델 미세 조정보다 0.3 F1 낮다.고정된 BERT의 활성값을 무작위로 초기화한 2층, 768차원 BiLSTM에 입력한 뒤 분류한다. BERTLARGE는 최고 성능 기법들과 견줄 만한 성능을 낸다.출처: Table 7 · p. 9, §5.3 · p. 9

• 핵심 기여는 언어 모델 전이 학습을 심층 양방향 아키텍처로 확장하여, 하나의 사전 학습 모델로 폭넓은 NLP 과제를 성공적으로 수행할 수 있게 한 것이다.출처: §6 · p. 9
• 언어 모델 전이 학습으로 얻은 실험적 성능 향상은 풍부한 비지도 사전 학습이 많은 언어 이해 시스템의 필수 요소임을 보여준다.출처: §6 · p. 9
• 기존 언어 모델 전이 학습 결과는 저자원 과제에서도 심층 단방향 아키텍처가 도움이 될 수 있음을 보여준다.출처: §6 · p. 9

A BERT의 추가 세부 사항

• 부록 A는 BERT의 추가 구현 세부 사항을 제시한다.출처: Appendix for “BERT: Pre-training of… · p. 12

“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”의 부록

• 부록 B는 실험의 추가 세부 사항을 제시한다.출처: Appendix for “BERT: Pre-training of… · p. 12
• 부록 C는 학습 스텝 수와 서로 다른 마스킹 절차를 다루는 추가 ablation study를 제시한다.출처: Appendix for “BERT: Pre-training of… · p. 12

Masked LM과 마스킹 절차

• 단어를 80%의 확률로 [MASK]로 바꾸고, 10%는 무작위 단어로 바꾸며, 10%는 그대로 유지하여 표현이 실제로 관측된 단어에 치우치도록 한다.출처: §A.1 · p. 12
• 어떤 단어를 예측해야 하는지, 어떤 단어가 무작위로 대체되었는지 알 수 없으므로 인코더는 모든 입력 토큰의 분포적 문맥 표현을 유지해야 한다.전체 토큰의 1.5%가 무작위로 대체되지만, 이는 언어 이해를 저해하지 않는 것으로 보인다.출처: §A.1 · p. 12
• Masked LM은 왼쪽에서 오른쪽으로 진행하는 학습보다 수렴이 약간 느리지만, 실험적 성능 향상이 늘어난 학습 비용을 상쇄하고도 남는다.Masked LM은 각 배치에서 토큰의 15%를 예측하는 반면, 왼쪽에서 오른쪽으로 진행하는 학습은 모든 토큰을 예측한다.출처: §A.1 · pp. 12–13

A.2 사전 학습 절차

• 다음 문장 예측을 위한 학습 쌍의 50%는 실제로 이어지는 텍스트 구간을, 50%는 무작위 구간을 사용한다.각 구간에 A/B 임베딩을 부여하며, 두 구간을 합쳐 최대 512개 토큰으로 구성한다. 여기서 ‘문장’은 개별 문장과 일치할 필요가 없다. WordPiece 토큰화 후 전체 토큰에 균일하게 15%의 마스킹 확률을 적용하며, 단어의 일부인 조각을 별도로 처리하지 않는다.출처: §A.2 · p. 13
• 1,000,000회의 사전 학습 단계에서 시퀀스 256개로 구성된 배치를 사용하며, 이는 3.3십억 단어 규모의 코퍼스를 약 40 에포크 학습하는 양에 해당한다.학습 손실은 마스크 언어 모델의 평균 우도와 다음 문장 예측의 평균 우도를 합한 값이다.출처: §A.2 · p. 13
• 사전 학습에는 Adam을 사용하며, 학습률 1e-4, 준비 단계 10,000회, 선형 학습률 감소, 드롭아웃 0.1을 적용한다.Adam은 β1 = 0.9, β2 = 0.999와 L2 가중치 감쇠 0.01을 사용한다. OpenAI GPT와 마찬가지로 BERT는 relu 대신 gelu 를 사용한다.출처: §A.2 · p. 13
• 사전 학습 단계의 90%에서는 시퀀스 길이 128을 사용하고, 나머지 10%에서는 위치 임베딩 학습을 위해 길이 512를 사용한다.어텐션 비용은 시퀀스 길이의 제곱에 비례해 증가하므로, 이 일정은 학습 비용을 줄인다.출처: §A.2 · p. 13

A.3 미세 조정 절차

• 미세 조정에서는 배치 크기 16 또는 32, Adam 학습률 5e-5, 3e-5 또는 2e-5, 에포크 수 2, 3 또는 4를 탐색한다.드롭아웃 0.1을 비롯한 대부분의 다른 하이퍼파라미터는 사전 학습 설정을 유지한다. 전수 탐색으로 개발 세트에서 가장 좋은 모델을 선택한다. 레이블이 있는 예제가 100k+개인 데이터셋은 더 작은 데이터셋보다 하이퍼파라미터 선택에 훨씬 덜 민감했다.출처: §A.3 · pp. 13–14

A.4 BERT, ELMo, OpenAI GPT 비교

• BERT와 GPT는 의도적으로 유사하게 설계했지만, 학습 데이터, 사전 학습된 특수 임베딩, 배치 크기, 미세 조정 학습률 선택 방식이 다르다.GPT는 BooksCorpus(800M 단어)를 사용하고, BERT는 Wikipedia(2,500M 단어)도 사용한다. 둘 다 1M단계 학습하며, 배치 크기는 각각 32,000단어와 128,000단어다. BERT는 미세 조정 시에만 특수 토큰을 도입하는 대신 사전 학습 중 [SEP], [CLS], A/B 임베딩을 학습하며, GPT의 고정 학습률 5e-5 대신 과제별 개발 세트에서 학습률을 선택한다.출처: §A.4 · p. 14
• 절제 실험은 성능 향상의 대부분이 OpenAI GPT와의 다른 학습 방식 차이보다는 BERT의 두 사전 학습 과제와 이를 통해 가능한 양방향성에서 비롯됨을 보여준다.GPT는 왼쪽에서 오른쪽으로 처리하는 Transformer 언어 모델을 사용한다. BERT와 GPT는 미세 조정 기반 접근법인 반면, ELMo는 특징 기반 접근법이다.출처: §A.4 · p. 14

A.5 다양한 과제의 미세 조정 예시

• BERT는 출력층 하나를 추가해 시퀀스 수준과 토큰 수준 과제를 지원하며, 처음부터 학습하는 매개변수를 최소화한다.[CLS]는 분류 출력을 제공하고, [SEP]는 서로 이어지지 않는 토큰 시퀀스를 구분한다.출처: §A.5 · p. 14

B.1 GLUE 벤치마크 실험 상세 설명.

• MNLI는 문장 쌍을 함의, 모순, 중립으로 분류하며, RTE는 학습 데이터가 더 적은 이진 함의 분류 과제다.MNLI는 크라우드소싱으로 구축한 대규모 과제다.출처: §B.1 · pp. 14–15
• QQP는 Quora 질문들의 의미적 동등성을 판별하며, MRPC는 뉴스 문장 쌍의 의미적 동등성을 분류한다.MRPC 문장 쌍은 온라인 뉴스에서 자동으로 추출한 뒤 사람이 주석을 단다.출처: §B.1 · pp. 14–15
• QNLI는 SQuAD 질의응답(Rajpurkar et al., 2016)을 문장의 정답 포함 여부에 대한 이진 분류로 변환한다(Wang et al., 2018a).양성 질문–문장 쌍에는 정답이 포함되며, 음성 쌍에는 같은 문단에서 정답을 포함하지 않는 문장을 사용한다.출처: §B.1 · p. 14
• SST-2는 사람이 감정 주석을 단 영화 리뷰 문장을 사용하는 단일 문장 이진 감정 분류 과제다.출처: §B.1 · p. 15
• CoLA는 영어 문장이 언어학적으로 수용 가능한지 예측하는 단일 문장 이진 분류 과제다(Warstadt et al., 2018).출처: §B.1 · p. 15

B.1 GLUE 벤치마크 실험의 상세 설명.

• 뉴스 헤드라인과 기타 출처의 STS-B 문장 쌍에 1에서 5까지의 의미 유사도 점수가 부여된다.점수는 문장 간 의미가 얼마나 유사한지를 나타낸다.출처: §B.1 · p. 15

B.1 GLUE 벤치마크 실험 상세 설명.

• WNLI에서는 다수 클래스 기준선 정확도 65.1이 GLUE에 제출된 모든 학습 모델의 정확도를 웃돌았으며, BERT는 OpenAI GPT와의 공정한 비교를 위해 WNLI를 제외한다.WNLI는 소규모 추론 데이터셋으로, GLUE 웹페이지에 구축상의 문제가 지적되어 있다.출처: §B.1 · p. 15
• MNLI를 함께 사용하는 다중 과제 학습이 RTE 성능을 크게 높였지만, 보고된 결과는 단일 과제 미세 조정만 사용한다.저자들은 다중 과제 미세 조정으로 성능을 더 높일 수 있다고 제안한다.출처: §B.1 · p. 15

C.1 학습 스텝 수의 영향

• 서로 다른 스텝 수만큼 사전 학습한 체크포인트를 미세 조정한 뒤 MNLI 개발 세트 정확도를 측정한다.Figure 5에 이 비교를 제시한다.출처: §C.1 · p. 16
• BERTBASE를 500k 스텝보다 긴 1M 스텝 동안 사전 학습하면 MNLI 정확도가 거의 1.0% 더 높아진다.전체 사전 학습은 배치당 128,000개 단어로 1,000,000 스텝 동안 진행한다.출처: §C.1 · p. 16
• MLM 사전 학습은 LTR 사전 학습보다 수렴이 약간 느리지만, 절대 정확도에서는 거의 즉시 앞서기 시작한다.MLM은 각 배치에서 단어의 15%만 예측하지만, LTR은 모든 단어를 예측한다.출처: §C.1 · p. 16

C.2 마스킹 방식별 비교 실험

• 파인튜닝 중에는 [MASK]가 전혀 나타나지 않으므로, 마스킹 전략은 사전 학습과 파인튜닝 간 불일치를 줄이는 데 목적이 있다.저자들은 특징 기반 접근법에서는 모델이 표현을 조정할 수 없어 불일치가 더 클 것으로 예상한다.출처: §C.2 · p. 16
• MNLI와 NER의 개발 세트 평가 결과를 보고하며, NER에는 파인튜닝과 특징 기반 접근법을 모두 포함한다.특징 기반 접근법은 Section 5.3에서 확인한 최상의 방법을 따라 BERT의 마지막 네 개 층을 이어 붙인다.출처: §C.2 · p. 16
• 마스킹 전략이 달라도 파인튜닝은 강건하다. 반면 특징 기반 NER은 MASK만 사용하는 사전 학습에 민감하다.RND만 사용해도 BERT의 혼합 전략보다 성능이 훨씬 낮다.출처: Table 8 · p. 16, §C.2 · p. 16
• 80% MASK, 10% SAME, 10% RND가 MLM 사전 학습을 위한 BERT의 혼합 마스킹 전략을 구성한다.MASK는 대상 토큰을 [MASK]로 대체하고, SAME은 그대로 유지하며, RND는 무작위로 선택한 다른 토큰으로 대체한다.출처: §C.2 · p. 16