BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

1 서론

• BART는 양방향 인코더와 왼쪽에서 오른쪽으로 생성하는 디코더를 결합해 훼손된 텍스트를 복원하며, 특정 최종 과제에 특화된 사전학습 방법의 제한적인 적용 범위를 극복한다.표준 Transformer 기반 번역 구조를 사용하며, 인코더를 통해 BERT를, 디코더를 통해 GPT를 일반화한다.출처: §1 · p. 1
• 문장 순서 섞기와 텍스트 채우기를 결합한 방식이 평가한 노이즈 적용 방법 중 가장 좋은 성능을 보인다.텍스트 채우기는 길이가 0인 구간을 포함해 임의 길이의 구간을 하나의 마스크 토큰으로 대체하므로, 텍스트 길이를 바꾸는 훼손이 가능하다. 이는 BERT의 단어 마스킹 및 다음 문장 예측 목적함수를 일반화하며, 문장 길이와 더 넓은 범위의 입력 변환에 대한 추론을 요구한다.출처: §1 · p. 1
• XSum (Narayan et al., 2018)에서 기존 연구 대비 6 ROUGE 향상을 달성한 결과는 BART의 뛰어난 생성 성능을 보여준다.BART는 생성형 대화, 질의응답, 요약에서 최고 성능을 달성한다. 비슷한 학습 자원을 사용할 때 GLUE (Wang et al., 2018)와 SQuAD (Rajpurkar et al., 2016)에서 RoBERTa (Liu et al., 2019)에 필적하는 성능을 보인다.출처: §1 · p. 1
• WMT 루마니아어-영어 번역에서 강력한 역번역 기준 모델 대비 1.1 BLEU 향상을 달성해, BART를 사전학습된 목표 언어 모델로 활용할 수 있음을 보여준다.BART 아래에 추가한 Transformer 층들은 BART를 통한 역전파로 외국어 입력을 노이즈가 섞인 영어로 번역하도록 학습된다.출처: §1 · pp. 1–2
• 다른 사전학습 목적함수를 재현하고 조건을 통제한 제거 실험에서, BART가 평가한 과제 전반에 걸쳐 가장 일관되게 높은 성능을 보인다.비교 실험에서는 데이터와 최적화 매개변수를 통제한다. 이 요인들은 학습 목적함수 선택만큼 중요하다고 보고되었다 (Liu et al., 2019).출처: §1 · p. 2

2 모델

• BART는 손상된 텍스트를 처리하는 양방향 인코더와 왼쪽에서 오른쪽으로 생성하는 자기회귀 디코더로 원본 문서를 복원하는 잡음 제거 sequence-to-sequence 오토인코더다.사전학습은 원본 문서의 음의 로그 우도를 최소화한다.출처: §2 · p. 2

2.1 아키텍처

• BART는 sequence-to-sequence Transformer (Vaswani et al., 2017)를 사용하며, base 모델은 인코더와 디코더가 각각 6개 층, large 모델은 각각 12개 층으로 구성된다.GPT를 따라 ReLU를 GeLU (Hendrycks & Gimpel, 2016)로 대체하고 매개변수를 N(0, 0.02)에서 초기화한다. BERT와 달리 디코더 층에 인코더의 최종 상태에 대한 교차 어텐션을 추가하고 BERT의 예측 직전 추가 순전파 신경망을 생략해, 같은 크기에서 매개변수가 약 10% 더 많다.출처: §2.1 · p. 2

2.2 BART 사전학습

• BART는 임의의 문서 손상을 지원하며, 디코더 출력과 원본 문서 사이의 교차 엔트로피를 통해 복원을 학습한다.손상 과정에서 원본 정보가 모두 제거되면 BART는 언어 모델과 동등해진다.출처: §2.2 · p. 2
• 그 밖의 조합 가능한 손상 방식으로는 무작위 토큰을 마스크로 대체하기, 토큰 삭제하기, 문장 순서 섞기, 균등하게 추출한 토큰에서 시작하도록 문서를 회전하기가 있다.토큰 마스킹은 BERT (Devlin et al., 2019)를 따르지만, 삭제 방식에서는 입력의 누락 위치를 알아내야 한다. 문장 순열은 마침표로 문장을 구분하며, 문서 회전은 모델이 문서의 시작점을 찾도록 학습시킨다.출처: §2.2 · pp. 2–3, Figure 2 · p. 3
• 텍스트 인필링은 추출한 각 스팬을 단일 [MASK] 토큰으로 대체해, BART가 누락된 토큰 수를 예측하도록 학습시킨다.스팬 길이는 푸아송 분포(λ = 3)를 따르며, 길이가 0인 스팬은 마스크를 삽입한다. 길이 범위를 제한한 기하분포와 스팬 길이만큼의 마스크 시퀀스를 사용하는 SpanBERT (Joshi et al., 2019)와 달리, BART는 스팬마다 마스크 하나를 사용한다.출처: §2.2 · p. 3

3.1 시퀀스 분류 과제

• 시퀀스 분류에서는 BART의 인코더와 디코더에 동일한 입력을 넣고, 마지막 디코더 토큰의 은닉 상태를 새로운 다중 클래스 선형 분류기에 전달한다.추가 토큰은 맨 끝에 배치해, 해당 토큰의 디코더 표현이 전체 입력의 디코더 상태를 참조할 수 있게 한다.출처: §3.1 · p. 3

3.2 토큰 분류 과제

• 토큰 분류에서는 전체 문서를 인코더와 디코더 모두에 입력하고, 각 단어의 최상위 디코더 은닉 상태로 해당 토큰을 분류한다.SQuAD의 정답 시작점과 끝점 분류 등이 여기에 해당한다.출처: §3.2 · p. 3

3.3 시퀀스 생성 과제

• BART는 입력 시퀀스를 인코딩하고 출력을 자기회귀적으로 생성해 추상적 질의응답과 요약을 비롯한 시퀀스 생성 과제를 직접 지원한다.이 과제들은 입력 정보를 복사하고 변형하므로 BART의 잡음 제거 사전학습 목적과 밀접하게 연관된다.출처: §3.3 · p. 3

3.4 기계 번역

• BART의 인코더–디코더 전체를 영어 번역용 사전학습 디코더로 활용하고, 병렬 코퍼스로 학습한 새 원문 인코더를 추가한다.무작위로 초기화한 원문 인코더가 BART의 인코더 임베딩 층을 대체하며, 별도의 어휘 집합을 사용할 수 있다. 이 인코더는 외국어 단어를 BART가 잡음을 제거해 영어로 복원할 수 있는 입력으로 매핑한다. 학습 초기에는 이 인코더, BART의 위치 임베딩, BART 인코더 첫 번째 층 self-attention의 입력 투영 행렬만 갱신한 뒤, 짧은 기간 동안 모든 매개변수를 갱신한다. 전 과정에서 출력 교차 엔트로피 손실을 사용한다.출처: §3.4 · p. 3

4.2 과제

• 기본 크기 모델로 SQuAD (Rajpurkar et al., 2016)의 추출형 질의응답과 MNLI (Williams et al., 2017)의 문장 함의 관계 판별을 평가한다.모델은 인코더 6개 층, 디코더 6개 층, 은닉 차원 768을 사용한다. SQuAD에서는 정답 구간의 경계를 예측하고, MNLI에서는 EOS 토큰 표현으로 문장 간 관계를 분류한다. 두 과제 모두 입력을 인코더와 디코더에 통과시킨다.출처: §4 · p. 3, §4.2 · p. 4

4.1 비교할 목적함수

• 조건을 통제한 재구현으로 판별형 목적함수와 생성형 목적함수를 비교한다. BART에는 표준 인코더–디코더 미세 조정이, 다른 모델에는 디코더에 원문을 접두부로 제공하는 조건화 방식이 더 효과적이다.학습률과 층 정규화 사용 여부는 목적함수별로 따로 조정한다. 원문을 접두부로 제공하는 조건화 방식에서는 목표 텍스트 부분에만 손실을 적용한다.출처: §4.1 · p. 4

4.2 과제

• 생성 평가는 장문 질의응답, 뉴스 요약, 페르소나 조건부 대화의 perplexity를 보고한다.ELI5 (Fan et al., 2019)는 질문과 근거 문서로부터 답변을 생성하고, ConvAI2 (Dinan et al., 2019)는 대화 맥락과 페르소나로부터 응답을 생성한다. XSum (Narayan et al., 2018)은 추상성이 높은 뉴스 요약을 사용하는 반면, CNN/DM (Hermann et al., 2015)의 요약은 원문 문장을 충실히 따른다.출처: §4.1 · p. 4, §4.2 · p. 4

4.3 결과

• 텍스트 인필링을 사용하는 BART 모델은 ELI5를 제외한 과제 전반에서 가장 일관되게 우수한 성능을 보인다.모델 크기는 서로 비슷하며, 책과 Wikipedia로 1M 단계의 사전 학습을 수행한다. 재구현한 목적함수들과 BART 변형들은 학습 데이터, 코드베이스, 미세 조정 절차를 공유한다.출처: Table 1 · p. 5, Left-to-right pre-training improves… · p. 5

왼쪽에서 오른쪽으로의 사전 학습은 생성 성능을 높인다

• 순수 언어 모델은 ELI5에서 가장 우수하지만 SQuAD에서는 가장 낮은 성능을 보여, 과제 의존성이 크다는 점을 드러낸다.ELI5는 다른 과제보다 perplexity가 훨씬 높고, 다른 모델이 BART를 능가하는 유일한 생성 과제다. 이는 입력이 출력에 주는 제약이 약할 때 BART의 효과가 떨어짐을 시사한다.출처: §4.3 · p. 5, Left-to-right pre-training improves… · p. 5

4.3 결과

• 토큰 손상이 핵심이다. 문서 회전과 문장 순열은 단독으로 사용하면 성능이 낮고, 생성에서는 삭제가 마스킹보다 나은 것으로 보인다.성능이 좋은 목적함수는 토큰 삭제, 토큰 마스킹 또는 셀프 어텐션 마스크를 사용한다.출처: §4.3 · p. 5

왼쪽에서 오른쪽으로의 사전 학습은 생성 성능을 높인다

• 왼쪽에서 오른쪽으로의 사전 학습은 생성에 유리하고, 양방향 맥락은 SQuAD에 핵심적이다.Masked Language Model과 Permuted Language Model은 왼쪽에서 오른쪽으로의 자기회귀 사전 학습이 없어 생성 성능이 더 낮다. BART는 양방향 층 수가 절반인데도 SQuAD에서 비슷한 성능을 달성한다. 단순화한 Permuted Language Model은 XLNet (Yang et al., 2019)보다 성능이 낮으며, 이는 상대 위치 임베딩과 세그먼트 수준 순환을 생략했기 때문일 수 있다.출처: Left-to-right pre-training improves… · p. 5

5.1 실험 설정

• 대형 모델은 인코더와 디코더가 각각 12개 층이며, 은닉 차원은 1024, 배치 크기는 8000, 사전 학습은 500000단계다.사전 학습에서는 토큰의 30%를 마스킹하고 모든 문장의 순서를 섞으며, GPT-2 바이트 쌍 인코딩을 사용한다. Liu et al. (2019)와 동일한 160Gb 말뭉치를 사용하고, 마지막 10%의 학습 단계에서는 드롭아웃을 끈다.출처: §5.1 · pp. 5–6

5.2 판별 과제

• 동일한 사전 학습 자원으로 비교하면 BART는 SQuAD와 GLUE에서 RoBERTa와 비슷한 성능을 보이며, 대부분의 과제에서 차이가 작다.따라서 생성 성능 향상이 분류 성능을 희생한 결과는 아니다.출처: Table 2 · p. 6, §5.2 · p. 6

5.3 생성 과제

• BART는 모든 ROUGE 지표에서 기존 최고 BERT 기반 XSum 시스템보다 약 6.0점 높으며, CNN/DailyMail에서도 기존의 모든 연구를 능가한다.CNN/DailyMail의 요약은 원문 문장과 유사한 경향이 있지만, XSum은 추상성이 매우 높아 추출형 모델의 성능이 낮다.출처: Table 3 · p. 6, §5.3 · p. 6
• 생성 과제의 미세 조정에는 레이블 평활화를 적용한 교차 엔트로피를 사용하는 표준 sequence-to-sequence 학습을 적용한다(Pereyra et al., 2017).평활화 계수는 0.1이다. 생성 시 빔 크기는 5로 설정하고, 중복 트라이그램을 제거하며, 검증 데이터에서 길이 설정을 조정한다(Fan et al., 2017).출처: §5.3 · p. 6
• BART는 CONVAI2 대화 응답 생성에서 두 가지 자동 평가 지표 모두 기존 연구를 능가한다.응답은 이전 대화와 텍스트로 명시된 페르소나를 모두 조건으로 생성한다.출처: Table 4 · p. 6, §5.3 · p. 6
• BART는 ELI5 추상적 질의응답에서 기존 최고 성능보다 1.2 ROUGE-L 높다.ELI5는 긴 자유 형식 답변 생성을 평가하며, 질문만으로는 답변이 충분히 구체화되지 않아 여전히 어렵다.출처: Table 5 · p. 7, §5.3 · p. 7

5.4 번역

• 역번역으로 보강한 WMT16 루마니아어-영어 번역에서, 6개 층의 원문 인코더가 루마니아어를 표현으로 변환하면 BART가 이를 잡음 제거 방식으로 영어로 복원한다.실험에서는 BART를 고정한 경우와 미세 조정한 경우를 Transformer 기준 모델과 비교한다(Vaswani et al., 2017). 역번역을 사용하지 않은 예비 실험은 효과가 낮고 과적합에 취약했다.출처: §5.4 · p. 7

6 정성 분석

• 요약 평가 지표에서 기존 최고 성능을 최대 6점 웃돈 결과를 바탕으로, 자동 평가 점수를 넘어 정성 분석을 수행한다.생성된 요약을 살펴보며 BART의 성능을 더 깊이 이해하고자 한다.출처: §6 · p. 7
• WikiNews 예시 기사는 사전 학습 말뭉치 구축 이후에 작성되었으며, 손쉬운 추출 요약을 막기 위해 Narayan et al. (2018)에 따라 첫 문장을 제거한다.기사에 서술된 사건이 모델의 학습 데이터에 포함되지 않도록 기사 날짜를 선택했다.출처: §6 · p. 7
• 유창하고 문법적으로 올바르며 추상화 수준이 높고 대체로 사실에 부합하는 요약은 BART 사전 학습이 뛰어난 언어 이해 및 생성 능력을 함께 길러 줌을 시사한다.생성 결과는 문서 전반의 근거와 배경지식을 결합해 이름을 완성하고 PG&E가 캘리포니아에서 사업을 운영한다는 점을 추론하기도 한다.출처: §6 · p. 7
• 한 요약은 물고기가 지구 온난화로부터 산호초를 보호한다는 단순하지 않은 추론을 하지만, Science에 게재되었다는 원문이 뒷받침하지 않는 주장도 잘못 덧붙인다.이 예시는 대체로 정확한 요약에도 근거 없는 사실적 내용이 추가될 수 있음을 보여 준다.출처: §6 · p. 7

7 관련 연구

• GPT 는 왼쪽 문맥만 모델링하며, ELMo (Peters et al., 2018)는 방향별 표현을 결합하지만 이들 간의 상호작용은 사전학습하지 않는다.Radford et al. (2019)는 매우 큰 언어 모델이 비지도 다중 과제 모델로 작동할 수 있음을 보였다.출처: §7 · p. 7
• BERT (Devlin et al., 2019)는 마스킹 언어 모델링으로 좌우 문맥 간의 상호작용을 학습하지만, 비자기회귀 예측으로 인해 생성에서의 효과가 떨어진다.학습 기간 연장 (Liu et al., 2019), 층 간 매개변수 공유 (Lan et al., 2019), 구간 마스킹 (Joshi et al., 2019)으로도 높은 성능을 얻는다.출처: §7 · p. 7
• UniLM (Dong et al., 2019)과 달리 BART는 자기회귀 예측을 수행하고 손상되지 않은 문맥으로 디코더를 학습해 사전학습과 생성 간의 불일치를 줄인다.MASS 는 마스킹된 연속 구간을 복원하지만, 인코더와 디코더의 입력이 서로 겹치지 않아 판별 과제에서의 효과가 제한된다. XL-Net (Yang et al., 2019)은 양쪽 문맥을 사용해 마스킹된 토큰을 순열 순서에 따라 자기회귀적으로 예측하는 반면, BART의 좌우 순방향 디코딩은 생성 방식과 일치한다.출처: §7 · pp. 7–8
• BART는 사전학습된 표현의 이득이 인코더보다 제한적이었던 기계 번역 디코더의 성능을 개선한다 (Edunov et al., 2019).기존에 가장 큰 성능 향상을 보인 방법들은 원문 언어와 목표 언어를 모두 사전학습했으므로 (Lample & Conneau, 2019), 대상 언어마다 사전학습이 필요했다.출처: §7 · p. 8

• BART는 판별 과제에서 RoBERTa와 유사한 성능을 달성하면서 여러 텍스트 생성 과제에서 새로운 최고 성능을 기록한다.출처: §8 · p. 8
• BART는 사전 학습을 통해 손상된 문서를 원래 문서로 복원하는 법을 학습한다.출처: §8 · p. 8
• 향후 연구에서는 사전 학습을 위한 새로운 문서 손상 방법을 탐색해야 하며, 특정 최종 과제에 맞춰 설계하는 방안도 고려할 수 있다.출처: §8 · p. 8