Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

1 서론

• 매개변수 기반 언어 모델은 메모리를 수정하기 어렵고 예측 근거를 쉽게 파악할 수 없으며 환각을 일으킬 수 있다 [38]. 반면 검색 기반 메모리는 지식을 수정하고 살펴볼 수 있다.REALM 과 ORQA [31]은 개방형 도메인 추출형 질의응답에서만 혼합형 메모리를 탐구했으나, RAG는 이를 seq2seq 모델로 확장한다.출처: §1 · pp. 1–2
• RAG는 DPR [26]과 BART [32]를 공동 미세 조정하며, Wikipedia 밀집 벡터 인덱스와 검색된 문서 및 입력을 조건으로 하는 seq2seq 생성기를 결합한다.최대 내적 검색으로 top-K 문서를 검색하고, 각 문서에 따른 예측을 출력 시퀀스 단위 또는 토큰 단위로 주변화한다. 두 메모리 구성 요소와 접근 메커니즘은 모두 사전 학습되어 있어 추가 학습 전에도 지식에 접근할 수 있다.출처: §1 · p. 2, Figure 1 · p. 2
• RAG는 Natural Questions, WebQuestions, CuratedTrec 에서 최고 성능을 달성하며, TriviaQA [24]에서는 특화된 사전 학습 접근법을 능가한다.이 과제들은 추출형임에도 제약 없는 생성 방식이 기존 추출형 접근법보다 뛰어난 성능을 보인다.출처: §1 · p. 2
• RAG는 MS-MARCO [1]와 Jeopardy 질문 생성 실험에서 BART보다 사실성이 높고 더 구체적이며 다양한 응답을 생성한다.이 실험들은 평가 범위를 추출형 질의응답에서 지식 집약적 생성으로 확장한다.출처: §1 · p. 2
• FEVER 사실 검증에서 최고 성능의 파이프라인 모델과 보고된 성능 격차는 4.3%이며, 이 파이프라인들은 검색에 강한 지도 신호를 사용한다.RAG는 최고 성능과의 격차가 이 범위 이내다.출처: §1 · p. 2
• RAG의 비매개변수 메모리를 교체하면 세상의 변화에 맞춰 모델의 지식을 갱신할 수 있다.이 논문은 메모리 교체를 통한 지식 갱신을 시연한다.출처: §1 · p. 2

2.1 모델

• RAG-Sequence는 검색된 상위 K개 문서에 대해 전체 시퀀스 확률을 주변화하며, 시퀀스의 모든 토큰을 동일한 잠재 문서에 조건화한다.검색기가 문서를 제공하면 생성기가 각 문서에 대한 출력 시퀀스 확률을 계산한 뒤 주변화한다.출처: §2.1 · p. 3
• RAG-Token은 생성 단계마다 문서에 조건화된 다음 토큰 분포를 주변화하므로, 여러 검색 문서의 내용을 활용해 답변을 생성할 수 있다.목표 출력이 단일 토큰인 시퀀스 분류에서는 RAG-Token과 RAG-Sequence가 동등하다.출처: §2.1 · p. 3

2.2 검색기: DPR

• DPR [26]은 BERTBASE [8] 질의 및 문서 인코더로 상위 K개 문단을 검색하며, 문서 색인은 비모수 메모리 역할을 한다.bi-encoder는 TriviaQA [24]와 Natural Questions 에서 정답을 포함한 문서를 검색하도록 학습된 DPR로 초기화한다. 검색에는 선형 미만의 시간에 근사적으로 풀 수 있는 최대 내적 탐색을 사용한다 [23].출처: §2.2 · p. 3

2.3 생성기: BART

• 400M개 매개변수로 구성된 BART-large [32]는 RAG의 모수 메모리로, 입력과 검색된 문단 텍스트를 이어 붙여 출력을 생성한다.BART는 잡음 제거 목적함수와 여러 잡음 주입 함수를 사용해 사전 학습되었으며, 다른 인코더-디코더 생성기도 사용할 수 있다.출처: §2.3 · p. 3

2.4 학습

• RAG는 문서 수준의 지도 신호 없이 질의 인코더와 생성기를 공동 미세 조정하며, 문서 인코더와 색인을 고정한 채 Adam [28]으로 음의 주변 로그우도를 최소화한다.문서 인코더를 고정하면 비용이 큰 주기적 색인 갱신을 피할 수 있다.출처: §2.4 · pp. 3–4

2.5 디코딩

• RAG-Sequence는 문서별로 빔 탐색을 수행한다. Thorough Decoding은 누락된 문서–후보 쌍의 점수를 계산하는 반면, Fast Decoding은 해당 쌍의 생성기 확률을 0으로 근사한다.Thorough Decoding은 후보 확률에 검색 확률을 가중치로 곱한 뒤 문서 전체에 걸쳐 합산하므로, 출력이 길면 순전파가 많이 필요할 수 있다. 반면 RAG-Token은 표준 자기회귀 seq2seq 생성기처럼 동작한다.출처: §2.5 · p. 4

3 실험

• Lee et al. [31]과 Karpukhin et al. [26]을 따라 December 2018 덤프를 사용하며, 서로 겹치지 않는 100단어 Wikipedia 청크 21M개가 공통 비모수 지식원을 구성한다.문서 인코더 임베딩으로 Hierarchical Navigable Small World 근사 [37]를 적용한 FAISS [23] 최대 내적 검색 인덱스 하나를 구축한다. 학습 시 k ∈ {5, 10}으로 상위 k개 문서를 검색하며, 테스트 시 사용할 k는 개발 데이터로 결정한다.출처: §3 · p. 4

3.1 오픈 도메인 질의응답

• 오픈 도메인 QA에서는 Exact Match (EM)로 RAG를 추출형 검색 방식 [5] [7] [31] [26] 및 매개변수만 사용하는 Closed-Book QA [52]와 비교한다.Natural Questions (NQ), TriviaQA (TQA) [24], WebQuestions (WQ), CuratedTrec (CT) 에서 정답의 음의 로그 우도로 RAG를 학습한다. DPR [26]을 따라 CT와 WQ 모델은 NQ에서 학습한 RAG로 초기화한다. 기존 데이터 분할 [31] [26]로 평가하며, T5 [52]와 비교하기 위해 TQA Wiki에서도 추가로 테스트한다.출처: §3.1 · p. 4

3.2 생성형 질의응답

• MSMARCO NLG v2.1 에서 제공된 정답 근거 지문을 제외하고 질문과 답변만 사용해 오픈 도메인 생성형 QA 평가를 구성한다.일부 참조 답변은 정답 근거 지문이 있어야 도출할 수 있으므로, 이를 제외하면 성능이 낮아질 것으로 예상된다. 일부 질문은 Wikipedia가 다루는 범위를 벗어나므로, RAG는 타당한 답변을 위해 매개변수에 저장된 지식에 의존해야 한다.출처: §3.2 · pp. 4–5

3.3 Jeopardy 질문 생성

• Jeopardy 질문 생성에서는 RAG가 정답 개체를 조건으로 정확하고 사실에 부합하는 질문을 생성하는지 검증하고, BART와 비교해 생성 품질, 사실성, 구체성을 평가한다.SearchQA [10]의 학습 예제 100K개, 개발 예제 14K개, 테스트 예제 27K개를 사용한다. 평가에는 SQuAD에 맞춰 조정하고 개체에 가중치를 부여한 Q-BLEU-1 [42]을 사용하며, 이는 표준 지표보다 사람의 판단과 상관성이 높다. 사람의 쌍별 비교 평가 [34]에서는 신뢰할 수 있는 출처의 뒷받침 여부와 입력–출력 간 상호 의존성 [33]을 평가하며, 평가자는 RAG, BART, 둘 다, 둘 다 아님 중에서 선택할 수 있다.출처: §3.3 · p. 5

3.4 사실 검증

• FEVER 에서는 검색 근거에 대한 지도 없이 RAG가 근거를 검색하고 Wikipedia를 바탕으로 주장을 지지됨, 반박됨, 검증 불가로 분류하는 능력을 평가한다.클래스 레이블을 단일 출력 토큰으로 표현하고 주장–클래스 쌍으로 직접 학습한다. 레이블 정확도로 표준 3개 클래스 분류와 Thorne and Vlachos [57]에서 연구한 지지/반박 이진 분류를 평가한다.출처: §3.4 · p. 5

4.1 오픈 도메인 질의응답

• RAG는 네 가지 오픈 도메인 QA 과제 모두에서 최고 성능을 달성한다. 단, TriviaQA에서는 T5와 비교 가능한 분할에 한정된 결과다.생성 방식은 정답이 그대로 제시되지 않아도 단서를 활용하며, 검색된 문서에 정답이 전혀 없는 경우에도 NQ 정확도 11.8%를 달성한다. 추출 방식의 정확도는 0%다. RAG는 Natural Questions와 TriviaQA로 지도학습한 DPR로 검색기를 초기화하지만, 재순위화 모델, 추출형 리더, 특화된 핵심 구간 마스킹 사전학습 없이 이러한 결과를 달성한다.출처: §4.1 · pp. 5–6, Table 1 · p. 6

4.2 추상적 질의응답

• Open MS-MARCO NLG에서 RAG-Sequence는 BART보다 Bleu 2.6점, Rouge-L 2.6점 높다.정답 문단이 필요하거나 Wikipedia만으로는 답할 수 없는 질문이 있음에도, RAG는 정답 문단을 제공받는 시스템에 근접한다. 정성적 비교에서는 BART보다 환각이 적고 사실적으로 올바른 텍스트가 더 많다.출처: Table 2 · p. 6, §4.2 · p. 6

4.4 사실 검증

• RAG는 검색 중간 단계의 지도 신호 없이도 최고 성능의 FEVER 3중 분류기와 4.3% 이하의 격차를 보인다.이진 분류에서 RAG는 근거를 직접 검색하면서도, 정답 근거를 사용하는 Thorne and Vlachos [57]와의 정확도 차이가 2.7% 이내다. 정답 근거 문서가 검색 결과 최상위에 나타나는 비율은 71%이며, 상위 10개 안에 나타나는 비율은 90%다.출처: Table 2 · p. 6, §4.4 · pp. 6–7

4.3 Jeopardy 질문 생성

• 사람이 수행한 비교의 42.7%에서 RAG-Token의 사실성이 더 높다고 평가한 반면, BART를 더 높게 평가한 비율은 7.1%였다. 평가자들은 RAG의 생성 결과가 더 구체적이라고도 판단했다.생성 결과 452쌍 중 별도의 17%에서는 두 모델 모두 사실에 부합했다. RAG-Token은 RAG-Sequence보다 우수했고, 두 모델 모두 Q-BLEU-1에서 BART를 능가했다. 문서 사후확률 예시는 RAG-Token이 여러 문서의 정보를 결합할 수 있음을 시사한다. 검색된 단서가 제목 생성을 이끌고, 매개변수에 저장된 지식이 이를 완성할 수 있다.출처: Table 2 · p. 6, §4.3 · p. 6, Figure 2 · p. 7

4.5 추가 결과

• RAG-Sequence는 RAG-Token보다 더 다양한 텍스트를 생성하며, 두 모델 모두 다양성을 높이는 디코딩 없이도 BART보다 유의하게 높은 다양성을 보인다.다양성은 전체 n-gram 수 대비 고유 n-gram 수의 비율로 측정하며, Table 5에는 tri-gram 결과를 제시한다.출처: §4.5 · p. 7, Table 5 · p. 8
• 학습된 검색은 검색기를 고정한 경우보다 모든 과제의 성능을 높이며, 미분 가능한 검색은 FEVER를 제외한 모든 과제에서 고정된 BM25 보다 우수하다.BM25로 대체한 모델은 검색 점수를 p(z|x)의 로짓으로 사용한다. FEVER에서의 우위는 개체 중심 주장의 특성을 반영한 것일 수 있다. 미분 가능한 검색은 특히 개방형 도메인 QA에서 중요하다.출처: §4.5 · p. 7, Table 6 · p. 8
• RAG의 인덱스를 교체해 2016년과 2018년 세계 지도자에 대해 각각 70%와 68%의 정확도를 달성하며, 지식 갱신이 가능함을 보여준다.이 실험은 December 2016과 December 2018의 Wikipedia 색인 사이에 재임자가 바뀐 82개 지도자 직위에 관해 NQ RAG 모델에 질문한다. 시점이 맞지 않는 색인을 사용하면, 2018 색인으로 2016년 지도자를 답할 때 정확도는 12%이며, 2016 색인으로 2018년 지도자를 답할 때는 4%다.출처: §4.5 · pp. 7–8
• RAG-Token의 오픈 도메인 QA 성능은 문서 10개를 검색할 때 최대인 반면, RAG-Sequence의 성능은 검색 문서 수가 늘수록 단조 증가한다.문서 5개와 10개로 학습한 경우 성능에 유의한 차이가 없지만, 테스트 시 문서 수는 성능과 실행 시간에 영향을 준다. MS-MARCO에서 검색 문서 수를 늘리면 RAG-Token의 Rouge-L은 높아지지만 Bleu-1은 낮아지며, RAG-Sequence에서는 이러한 영향이 덜 뚜렷하다.출처: Figure 3 · p. 8, §4.5 · p. 8

단일 과제 검색

• RAG는 기존에 개별 과제에 특화되었던 검색 기법의 성과를 여러 NLP 과제에서 높은 성능을 낼 수 있는 하나의 아키텍처로 통합한다.기존 응용 분야로는 개방형 질의응답 [5], 사실 검증, 번역, 언어 모델링 [19] [27]이 있다.출처: §5 · p. 8

NLP를 위한 범용 아키텍처

• RAG는 사전 학습된 생성 언어 모델에 학습된 검색을 결합하여, BART [32]와 T5 [51] [52]처럼 검색을 사용하지 않는 범용 아키텍처를 확장한다.BART [32]와 T5 [51] [52]는 판별 및 생성 과제를 위해 양방향 어텐션을 갖춘 사전 학습된 인코더-디코더 모델을 사용한다.출처: §5 · p. 9

학습 기반 검색

• RAG는 미세 조정 가능한 단일 아키텍처를 사용해 과제별로 특화된 학습 기반 검색을 여러 과제로 확장한다.기존에는 다운스트림 과제에 맞춰 검색을 최적화하기 위해 탐색 [46], 강화 학습, 잠재변수 접근법 [31]을 사용했다. RAG도 잠재변수 접근법을 사용한다.출처: §5 · p. 9

메모리 기반 아키텍처

• RAG의 원문 텍스트 문서 메모리는 사람이 읽고 쓸 수 있어 해석 가능성을 지원하며, 문서 인덱스를 편집해 동적으로 갱신할 수 있다.동시기 연구 [14]는 원문 텍스트 대신 학습된 개체 임베딩을 검색한다. 초기 대화 시스템은 종단 간 학습된 검색 대신 TF-IDF로 원문 텍스트를 검색한다 [9].출처: §5 · p. 9

검색 후 편집 접근법

• RAG는 검색된 학습 입력-출력 쌍을 조금 수정하는 데 중점을 두기보다 잠재변수 기반 검색과 근거 문서의 종합을 결합한다.검색 후 편집 기법은 기계 번역 과 의미 파싱 [21]에서 성과를 거두었다. 이들 과제에 RAG를 적용하는 것은 향후 연구 과제로 남아 있다.출처: §5 · p. 9

6 논의

• RAG 모델은 오픈 도메인 질의응답에서 최고 성능을 달성한다.이 하이브리드 생성 모델은 매개변수 기반 메모리와 비매개변수 메모리에 모두 접근한다.출처: §6 · p. 9
• 사람들은 매개변수만 사용하는 BART보다 RAG의 생성 결과를 더 사실에 부합하고 구체적이라고 평가하며 선호한다.출처: §6 · p. 9
• 검색 인덱스를 실행 중 교체해 재학습 없이 모델을 갱신할 수 있다.출처: §6 · p. 9
• 학습된 검색 구성요소를 분석해 그 효과를 확인한다.출처: §6 · p. 9
• 향후에는 두 구성요소를 처음부터 공동 사전학습하고, 매개변수 기반 메모리와 비매개변수 메모리가 어떻게 상호작용하며 효과적으로 결합될 수 있는지 탐구할 수 있다.저자들은 BART와 유사한 잡음 제거 목적함수나 다른 목적함수를 제안하며, 다양한 NLP 과제에 이 접근법을 적용할 가능성에도 주목한다.출처: §6 · p. 9

사회적 파급효과

• RAG가 Wikipedia와 같은 사실에 기반한 지식을 활용하면 환각을 줄이고, 사실에 더 부합하는 텍스트를 생성하며, 제어 가능성과 해석 가능성을 높일 수 있다.출처: Broader Impact · p. 10
• 의료 인덱스를 활용한 오픈 도메인 의료 질의응답과 업무 효율 향상 지원 등이 잠재적으로 유익한 활용 사례다.출처: Broader Impact · p. 10
• Wikipedia와 기타 외부 지식 출처가 언제나 완전히 사실에 부합하거나 편향에서 자유로울 가능성은 낮다.출처: Broader Impact · p. 10
• RAG에도 GPT-2 에 대해 제기된 오용 우려가 있으며, 여기에는 유해하거나 오해를 유발하는 콘텐츠, 사칭, 자동화된 스팸/피싱 이 포함된다.저자들은 이러한 우려가 RAG에는 상대적으로 덜 적용될 수 있다고 보며, 오해를 유발하는 콘텐츠와 자동화된 스팸/피싱에 대응하기 위해 AI 시스템을 활용할 것을 제안한다.출처: Broader Impact · p. 10
• 고도화된 언어 모델은 향후 수십 년에 걸쳐 다양한 직무를 자동화할 수 있다 [16].출처: Broader Impact · p. 10

• 발췌문은 지식 집약적 NLP 과제를 언급하지만, 부록의 방법, 결과, 뒷받침하는 세부 내용은 제시하지 않는다.출처: Appendices for Retrieval-Augmented… · p. 17

A 구현 세부 사항

• 오픈 도메인 QA 평가에서 RAG-Token은 검색 문서 15개를 사용하고, RAG-Sequence는 50개를 사용한다.답변이 대체로 짧으므로 RAG-Sequence는 Thorough Decoding을 사용한다.출처: A Implementation Details · p. 17
• Open-MSMarco와 Jeopardy 질문 생성에서는 두 RAG 변형 모델 모두 검색 문서 10개를 사용한다.비교 기준으로 BART-large 모델도 학습한다.출처: A Implementation Details · p. 17
• Open-MSMarco와 Jeopardy 생성에서는 RAG-Sequence의 Fast Decoding에 빔 4개를 사용하고, QA에서는 탐욕적 디코딩을 사용한다.빔 탐색은 QA 결과를 개선하지 못했고, Thorough Decoding은 생성 성능을 개선하지 못했다.출처: A Implementation Details · p. 17

B 인간 평가

• 화면 위치에 따른 편향을 방지하기 위해 예시마다 문장 A와 B에 대한 모델 배정을 무작위화했다.출처: B Human Evaluation · p. 17
• 평가자의 정확도를 측정하는 정답 문장에서 성과가 저조했던 평가자 두 명의 판단을 제외했다.출처: B Human Evaluation · p. 17
• 평가자에게 주제를 온라인으로 조사하도록 권장했으며, 평가 인터페이스에서 상세한 지침과 해설이 포함된 예시를 확인할 수 있게 했다.출처: B Human Evaluation · p. 17, Figure 4 · p. 17

C 학습 설정 세부 사항

• 압축된 Wikipedia 인덱스에는 기존 약 100GB 대신 36GB의 CPU 메모리면 충분하며, CPU 기반 FAISS 검색도 충분히 빠르다.학습에는 Fairseq [45], 혼합 정밀도 [40], 32GB NVIDIA V100 GPU 8개를 사용하지만, 학습과 추론 모두 GPU 하나에서도 가능하다. 오픈 소스 HuggingFace Transformers 구현은 더 간결하고 사용하기 쉬우면서도 동등한 성능을 달성한다.출처: C Training setup Details · p. 17

D 오픈 도메인 QA 추가 세부 사항

• 오픈 도메인 QA 학습에서는 정답별 개별 주석, 검색 결과로 필터링한 TriviaQA 정답, 정규식으로 도출한 CuratedTrec 학습 신호를 사용한다.Natural Questions와 WebQuestions의 각 정답을 따로 학습하면 정확도가 소폭 향상된다. TriviaQA의 학습 정답은 검색된 상위 1000개 문서 안에 나타나야 한다. CuratedTrec에서는 상위 1000개 문서에서 정규식과 일치하는 가장 빈번한 정답을 사용하며, 없으면 비결정적 기호를 공백으로 대체한 정규식의 순열을 열거한다.출처: D Further Details on Open-Domain QA · p. 18
• TriviaQA 성능은 통상적인 오픈 도메인 Web 개발 분할보다 공식 Wikipedia 테스트 세트에서 훨씬 높다.저자들은 Wikipedia 테스트 질문이 Wikipedia를 통해 답하기 더 쉽기 때문이라고 설명한다. 공정한 비교를 위해 DPR 방식의 분할 [26]과 Roberts et al. [52] 및 Févry et al. [14]이 사용한 공식 Wikipedia 테스트 세트 결과를 모두 보고한다.출처: D Further Details on Open-Domain QA · p. 18

E FEVER 추가 세부 사항

• FEVER 분류는 [32]를 따라 주장을 재생성하고 최종 은닉 상태로 분류한 뒤, 문서 전반에 걸쳐 예측을 주변화한다.평가 대상 레이블은 Supported, Refuted, Not Enough Info다. FEVER는 다른 Wikipedia 덤프를 사용하므로 근거 문장 추출은 향후 과제로 남긴다.출처: E Further Details on FEVER · p. 18

F 널 문서 확률

• REALM 과 유사한 널 문서 변형은 성능을 개선하지 못해 제외했다.이 변형들은 빈 문서를 추가하고 k + 1개 예측을 주변화하며, 임베딩, 고정 편향 또는 신경망으로 해당 문서의 로짓을 학습한다. Open MS-MARCO에서는 검색의 도움을 받기 어려운 질문이 오히려 반복적으로 같은 문서 집합을 불러와, 명시적인 널 문서 메커니즘이 불필요할 수 있음을 시사한다.출처: F Null Document Probabilities · p. 18

G 매개변수

• Natural Questions에서 RAG-Sequence는 44.5 EM을 달성하며, T5-large(매개변수 770M)는 28.9 EM을 기록한다 [52].RAG는 매개변수 110M의 DPR 질의 및 문서 인코더와 매개변수 406M의 BART-large를 결합하며, 문서 인코더는 학습하지 않는다. 비매개변수 인덱스는 728차원 벡터 21M개로 구성되며, 총 15.3B개의 값을 8-bit 부동소수점 정밀도로 저장할 수 있다.출처: G Parameters · pp. 18–19

H 검색 붕괴

• 검색이 때때로 입력과 무관한 문서로 붕괴하며, 이후 생성기는 검색을 무시하고 BART와 동등한 성능을 보인다.예비 이야기 생성 실험 [11]에서 이 현상이 나타났다. 제안된 원인으로는 사실성 요구가 낮다는 점과 긴 생성 목표가 검색기에 덜 유익한 기울기를 제공한다는 점이 있다. Perez et al. [46]도 후속 과제 성능에 맞춰 검색을 최적화할 때 무관한 검색이 발생함을 관찰했다.출처: H Retrieval Collapse · p. 19

I 데이터셋별 샘플 수

• Table 7은 학습·개발·테스트 샘플 수를 보고하며, 표시된 경우에는 비공개 부분집합을 평가에 사용한다.제공된 캡션에는 구체적인 수치가 없다.출처: I Number of instances per dataset · p. 19, Table 7 · p. 19