PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering

Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William W. Cohen, Ruslan Salakhutdinov, Christopher D. Manning

arXiv:1809.09600v1cs.CL

TL;DR

기존 QA 데이터셋은 다중 문서 추론 능력을 평가하는 데 한계가 있으며 근거 사실 주석이 없다. HotpotQA는 문서 간 추론이 필요한 Wikipedia 질문과 근거 사실, 사실형 비교 질문을 크라우드소싱으로 수집한다. 모델은 벤치마크 설정 전반에서 인간보다 현저히 낮은 성능을 보이며, 전체 Wikipedia 대상 질의응답은 방해 문서 설정보다 어렵다.

  • 문제

    기존 QA 데이터셋은 다중 문서 추론 능력을 평가하는 데 한계가 있으며, 추론 과정을 학습하고 예측을 설명하기 위한 근거 사실 주석이 없다.

    출처: §1 · pp. 1–2

  • 방법

    HotpotQA는 여러 문서에 걸친 추론이 필요한 Wikipedia 질문을 근거 사실 및 개체 속성을 비교하는 사실형 질문과 함께 크라우드소싱으로 수집한다.

    출처: §1 · p. 2, §7 · p. 9

  • 결과

    모델은 벤치마크 설정 전반에서 인간보다 현저히 낮은 성능을 보이며, 전체 Wikipedia 대상 질의응답은 방해 문서 설정보다 어렵다.

    출처: §5.2 · p. 7

  • 시사점 및 한계

    기존 신경망 구조도 충분한 학습 데이터가 있으면 일부 멀티홉 질문 유형에 답하도록 학습할 수 있다.

    출처: §3 · p. 4

    근거 사실을 지도 신호로 활용하는 제안 방식은 최적이 아닐 가능성이 높다.

    출처: §5.2 · p. 8

Abstract

from arXiv · show

Existing question answering (QA) datasets fail to train QA systems to perform complex reasoning and provide explanations for answers. We introduce HotpotQA, a new dataset with 113k Wikipedia-based question-answer pairs with four key features: (1) the questions require finding and reasoning over multiple supporting documents to answer; (2) the questions are diverse and not constrained to any pre-existing knowledge bases or knowledge schemas; (3) we provide sentence-level supporting facts required for reasoning, allowing QA systems to reason with strong supervision and explain the predictions; (4) we offer a new type of factoid comparison questions to test QA systems' ability to extract relevant facts and perform necessary comparison. We show that HotpotQA is challenging for the latest QA systems, and the supporting facts enable models to improve performance and make explainable predictions.

1 서론

HotpotQA는 사전에 정의된 지식 베이스 스키마 없이 여러 문서에 걸친 추론이 필요한 질문을 크라우드소싱으로 수집한 데이터셋이다. 설명 가능한 추론을 위한 근거 사실과 두 개체의 공통 속성을 비교하는 능력을 평가하는 비교 질문을 제공한다.

1 서론

  • 기존 QA 데이터셋은 단일 문장이나 인접한 문장만으로 답할 수 있는 경우가 많아, 문서 간 추론 능력을 평가하는 데 한계가 있다.SQuAD (Rajpurkar et al., 2016)는 단일 문단을 문맥으로 사용한다. TriviaQA (Joshi et al., 2017)와 SearchQA (Dunn et al., 2017)는 여러 문서를 검색하지만, 대부분의 질문은 여전히 한 문단 안에서 답할 수 있다.출처: §1 · pp. 1–2
  • QAngaroo (Welbl et al., 2018)와 COMPLEXWEBQUESTIONS (Talmor and Berant, 2018)는 멀티홉 추론에 초점을 맞추지만, 지식 베이스 스키마가 질문과 답변의 다양성을 제한한다.출처: §1 · p. 2
  • HotpotQA는 기존 지식 베이스 스키마를 강제하지 않고, 크라우드 작업자에게 제공된 모든 근거 문서에 걸친 추론이 필요한 질문을 만들도록 요청한다.이 데이터셋은 위키백과 문서와 세심하게 설계된 수집 절차를 활용해 고품질 멀티홉 질문을 확보한다.출처: §1 · p. 2
  • 작업자가 주석을 단 근거 사실은 추론과 설명 가능한 예측을 위한 강한 지도 신호를 제공해, 정답만으로 학습을 지도하던 기존 데이터셋의 한계를 보완한다.정답만으로 학습을 지도하면 모델이 정답을 도출하는 추론 과정을 학습하거나 예측을 설명하기 어렵다.출처: §1 · p. 2
  • HotpotQA는 두 개체의 공통 속성을 비교하도록 요구하는 비교 질문을 도입해, 시스템의 언어 이해와 수의 대소 같은 개념에 대한 이해를 평가한다.출처: §1 · p. 2

2 데이터 수집

HotpotQA의 수집 절차는 멀티홉 추론이 필요한 다양한 질문을 만들 수 있도록 위키백과 문단 쌍을 선정한다. 브리지 개체를 이용한 질문과 비교 질문을 결합하고, 지도 학습과 설명 평가를 위한 문장 단위 근거를 제공한다.

2 데이터 수집

  • 수집 과정은 지식베이스 관계에 제약된 질문이 아니라, 멀티홉 추론이 필요하고 텍스트 내 구간을 답으로 하는 다양한 질문을 목표로 설계되었다.예비 연구에서 임의로 구성한 문단 집합으로는 크라우드 작업자가 의미 있는 멀티홉 질문을 만들기 어려웠으므로, 문단 쌍을 신중하게 선정하도록 했다.출처: §2 · p. 2

위키백과 하이퍼링크 그래프 구축

  • 위키백과 문서의 첫 문단에 있는 하이퍼링크로 구축한 방향 그래프는 멀티홉 맥락을 구성하는 데 필요한 개체 간 관계를 제공한다.첫 문단에는 질문에 활용할 만한 정보가 많고, 하이퍼링크는 이미 중의성이 해소된 개체를 연결한다. 간선 (a, b)는 문서 a의 첫 문단에서 문서 b로 향하는 링크를 나타낸다.출처: §2 · p. 2

후보 문단 쌍 생성

  • 두 문단을 연결하는 브리지 개체를 수작업으로 선별하고, 이를 대상으로 하는 위키백과 하이퍼링크를 따라 후보 문단 쌍을 구성한다.브리지 개체를 제한하면 국가처럼 지나치게 일반적이거나, 너무 전문적이어서 의미 있는 질문을 만들기 어려운 대상을 피할 수 있다.출처: §2 · p. 3

비교 질문

  • 수작업으로 선별한 위키백과 목록 42개에서 비교 질문에 사용할 유사한 개체 쌍을 얻는다.같은 목록에서 문단 두 개를 무작위로 추출한다. 저자들은 텍스트 기반 비교 질문을 새로운 유형으로 제시한다. 이런 질문에 답하려면 대개 생년월일로 나이를 비교하는 등의 산술적 비교가 필요하다.출처: §2 · p. 3
  • 예/아니요 비교 질문은 다양성을 높이며, 한 개체의 문서만으로 답할 수 없고 두 문단을 모두 바탕으로 추론해야 한다.예를 들어 두 밴드의 출신 국가가 같은지 묻는 질문은 특정 국가 출신인 밴드가 어느 쪽인지 묻는 질문과 달리, 두 밴드를 모두 확인해야 한다.출처: §2 · p. 3

근거 문장 수집

  • 크라우드 작업자는 정답을 결정하는 문장을 근거 문장으로 지정하여, 강한 지도 신호와 모델 설명 평가를 위한 정답 데이터를 제공한다.모델은 답을 도출하는 데 필요한 근거 문장을 출력하도록 설계되며, 이를 통해 예측한 근거를 주석으로 제공된 근거와 비교할 수 있다.출처: §2 · p. 3

3 데이터 처리 및 벤치마크 설정

HotpotQA는 대부분 단일홉인 사례, 모델이 답할 수 있는 멀티홉 사례, 고난도 사례를 구분한다. 학습에는 이를 합쳐 사용하지만 평가는 고난도 사례로 한정한다. 두 벤치마크는 잡음이 섞인 후보 문단에서 답하거나 Wikipedia 전체에서 관련 근거를 찾는 능력을 평가한다.

3 데이터 처리 및 벤치마크 설정

  • ParlAI (Miller et al., 2017)를 활용해 Amazon Mechanical Turk에서 유효 사례 112,779개를 수집했으며, 대부분 단일홉인 사례 18,089개를 train-easy로 분류했다.저자들은 전체 데이터의 70% 이상을 작성한 상위 기여 작업자들에게서 각 3–10개가량의 질문을 표본으로 추출했다. 표본 질문 중 압도적 다수가 문단 하나만 필요로 하면 해당 작업자의 질문을 train-easy에 포함했다.출처: §3 · pp. 3–4
  • 남은 멀티홉 질문의 60%에 해당하는 56,814개 사례는 3분할 교차 검증에서 모델이 높은 확신도로 정답을 맞혀 train-medium으로 분류됐다.확신도는 모델 손실에 임곗값을 적용해 판정했다.출처: §3 · p. 4
  • 개발 및 테스트 세트에는 고난도 사례만 포함하며, 기본 학습 세트는 train-easy, train-medium, train-hard를 합쳐 구성한다.남은 고난도 사례는 train-hard, dev, test-distractor, test-fullwiki로 무작위 분할한다. 저자들은 세 학습 하위 집합을 모두 합쳤을 때 성능이 가장 좋았다고 보고한다.출처: §3 · p. 4, Table 1 · p. 4
  • full wiki 설정에서는 정답 근거 문단을 지정해 주지 않고, 모든 Wikipedia 문서의 첫 문단에서 답을 찾아야 한다.테스트 세트를 분리해 distractor 설정에서 노출된 정답 근거 문단이 full wiki 평가로 유출되지 않도록 한다.출처: §3 · p. 4, Table 1 · p. 4
  • bigram tf-idf 로 검색한 Wikipedia 방해 문단 8개를 정답 근거 문단 2개와 무작위로 섞어 distractor 설정을 구성한다.질문을 검색 질의로 사용하며, 모델은 잡음 속에서 뒷받침 사실을 찾아야 한다.출처: §3 · p. 4
  • 멀티홉 질문의 비율은 train-medium에서 93.3%, dev에서 92.0%로, 모델이 답할 수 있는 사례가 주로 단일홉인 것은 아니었다.유형 II 질문은 dev(15.0%)보다 train-medium(32.0%)에서 더 흔했으며, 이는 학습 데이터가 충분하면 기존 아키텍처도 일부 멀티홉 하위 집합을 학습할 수 있다는 결론을 뒷받침한다. 다만 정답 근거 문단만 제공하지 않는 경우, train-medium에서도 근거 검색은 고난도 사례만큼 어려웠다.출처: §3 · p. 4

4 데이터셋 분석

HotpotQA는 다양한 질문·답변 유형과 여러 멀티홉 추론 패턴을 포함하며, 표본으로 추출한 dev/test 질문의 42%는 연결 개체를 통한 연쇄 추론에 해당한다. 분석에서는 단일 홉 질문과 답할 수 없는 질문도 확인되었다.

질문 유형

  • 질문 유형은 개체, 장소, 사건, 날짜, 수치와 개체 간 예/아니요 비교를 아우른다.휴리스틱 분류는 처음 세 토큰 안에 의문사, 계사 또는 조동사가 있으면 그중 처음 등장하는 것을 선택하고, 없으면 마지막 의문사를 선택한다. 유형에는 뒤따르는 최대 두 토큰과, 해당하는 경우 앞에 오는 일반적인 전치사도 포함한다.출처: Figure 2 · p. 5, §4 · p. 5

답변 유형

  • 답변 유형을 분석한 100개 질문 표본 중 68%는 개체에 관한 질문이며, 나머지는 날짜, 수치, 형용사를 묻는다.날짜는 9%, 수치는 8%, 형용사는 4%를 차지한다.출처: Table 2 · p. 5, §4 · p. 5

멀티홉 추론 유형

  • 다른 추론 패턴으로는 개체 속성의 교집합 구하기, 연결 개체를 통한 속성 추론, 개체 간 비교가 있으며, 때로는 개수 세기나 수치 비교를 활용한다.Type II는 여러 속성을 동시에 만족하는 개체를 찾고, Type III는 연결 개체와 공유하는 속성을 추론한다. 일부 질문은 세 개 이상의 근거 사실을 요구한다.출처: §4 · p. 5
  • Table 3의 모든 예시에서 작업자가 제공한 근거 사실이 관련 문맥과 정확히 일치하며, 이는 주석 품질이 높다는 저자들의 평가를 뒷받침한다.이 관찰은 표에 제시된 예시에 관한 것이며, 데이터셋 전체의 주석 품질을 검증한 결과는 아니다.출처: §4 · pp. 5–6
  • 표본으로 추출한 dev/test 질문 100개 중 42%는 두 번째 홉에 답하기 전에 연결 개체를 식별하는 연쇄 추론을 요구한다.대부분의 질문은 각 문단에서 근거 사실을 찾아야 한다. 연쇄 추론 질문은 연속된 단일 홉 질문으로 분해할 수 있다.출처: §4 · p. 5, Table 3 · p. 6
  • train-medium과 train-hard를 합쳐 무작위로 추출한 예시 100개의 추론 유형은 Type I 38%, Type II 29%, 비교 20%, 기타 7%, Type III 2%, 단일 홉 2%, 답변 불가 2%였다.본문은 또한 표본 질문의 약 6%는 두 문단 중 하나만으로 답할 수 있고 2%는 답할 수 없다고 추정하지만, 이 표본이 dev/test에서 추출되었는지는 명시하지 않는다.출처: §4 · p. 6

5 실험

HotpotQA 실험에서 강한 지도학습을 적용한 QA 기준 모델은 full-wiki 평가에서 distractor 평가보다 성능이 크게 낮았으며, 사람의 성능에도 미치지 못했다. 근거 문장을 이용한 지도학습은 답변 성능을 높이고 문장 수준의 근거 예측을 가능하게 한다.

5.1 모델 구조와 학습

  • Clark and Gardner (2017)의 기준 모델은 문자 수준 모델링, self-attention, bi-attention을 결합하고, 분류기로 예·아니요·텍스트 구간 답변 중 하나를 선택한다.분류기가 텍스트 구간 답변을 선택하면 디코딩 과정에서 확률이 가장 높은 텍스트 구간을 탐색한다.출처: §5.1 · p. 6
  • 종단 간 문장 분류기는 self-attention 표현으로 근거 문장을 예측하며, 하위 수준 표현을 공유하면서 이진 교차 엔트로피와 QA 목적함수를 공동 최적화한다.분류기는 각 문장의 첫 위치와 마지막 위치에 해당하는 self-attention 출력을 이어 붙여 근거 문장 예측을 직접 평가할 수 있게 한다.출처: §5.1 · p. 7

5.2 결과

  • Wikipedia 문단 5,000,000+개를 최대 5,000개 후보로 걸러낸 뒤, bigram tf-idf로 10개를 선택하여 distractor로 학습한 모델을 평가한다.후보 필터링에는 역색인을 사용한다. 답변, 근거 문장, 결합 EM/F1을 보고하며, 결합 EM은 두 과제 모두 정확히 일치해야 한다. 결합 지표는 어느 한 과제의 성능이 낮아도 불이익을 준다.출처: §5.2 · p. 7
  • 근거 문장에 대한 강한 지도학습에도 불구하고 full-wiki 성능은 distractor 성능보다 크게 낮으며, 두 설정 모두 사람의 성능에 미치지 못한다.근거 문장 예측 F1 60+와 결합 F1 ∼40은 설명 가능성을 개선할 여지가 크다는 점을 보여준다.출처: §5.2 · p. 7, Table 4 · p. 8
  • 비교 질문은 distractor 설정에서 연결 개체 질문보다 F1이 낮지만, full-wiki에서는 성능이 소폭만 하락하는 반면 연결 개체 질문의 성능은 크게 떨어진다.비교 질문은 대개 두 개체를 모두 명시하므로 검색이 더 쉽다. 저자들은 full-wiki 성능 저하의 상당 부분이 두 개체를 모두 검색하기 어려운 데서 비롯된다고 본다.출처: §5.2 · pp. 7–8, Table 6 · p. 8
  • 근거 문장만으로 구성한 오라클 문맥은 근거 문장을 사용하지 않을 때보다 F1 10+점 향상을 가져오지만, 근거 문장을 이용한 지도학습의 효과는 F1 ∼2점 향상이다.Self-attention과 문자 수준 모델도 상당히 기여하므로, 단일 홉 QA 기법이 여전히 유용함을 시사한다. train-easy, train-medium, train-hard를 함께 사용하면 성능이 가장 높으며, 이를 기본 설정으로 삼는다.출처: Table 7 · p. 8, §5.2 · p. 8

5.3 사람의 성능 측정

  • 방해 문단이 포함되면 답변과 근거 문장 예측에서 기준 모델과 크라우드 작업자 사이에 EM과 F1 모두 ∼30%의 격차가 나타난다.올바른 근거 문단을 제공하면 기준 모델의 근거 문장 예측 성능은 크라우드 작업자와 비슷해지지만, 답변 성능은 여전히 낮다.출처: Table 8 · p. 9, §5.3 · p. 9
  • 대부분의 지표에서 100%에 가까운 인간 성능 상한은 주석자 하위 집단 간의 일치도를 반영하며, 근거 문장에 대한 일치도는 더 낮다.사람 대상 평가에서는 개발/테스트 예시 1,000개를 표본으로 뽑고, 최소 3명의 추가 크라우드 작업자에게 주석을 수집한 뒤, 모호성을 줄이기 위해 F1을 최대화하는 참조 정답을 선택했다(Rajpurkar et al., 2016). 각 작업자를 나머지 작업자와 비교해 평가하면서 예시별 EM과 F1을 최대화하여 상한을 구한다.출처: §5.3 · pp. 8–9, Table 8 · p. 9

6 관련 연구

관련 연구는 단일 문서, 다중 문서, KB 기반 멀티홉, 자유 형식 답변 생성 데이터셋을 아우르며, 추론 필요성, 질문 다양성 또는 평가 신뢰성에 한계가 있다.

단일 문서 데이터셋

  • SQuAD (Rajpurkar et al., 2016, 2018)의 질문은 대개 문단 내 한 문장만으로 답할 수 있어 비교적 단순하다.출처: §6 · p. 9

다중 문서 데이터셋

  • TriviaQA (Joshi et al., 2017)와 SearchQA (Dunn et al., 2017)는 여러 문서를 맥락으로 제공하지만 문서 간 추론이 필요하다는 보장은 없다.긴 맥락은 QA 시스템에 어려움을 주지만, 근거 문서는 질문-답변 쌍을 수집한 뒤 검색한다.출처: §6 · p. 9

KB 기반 멀티홉 데이터셋

  • QAngaroo (Welbl et al., 2018)와 COMPLEXWEBQUESTIONS (Talmor and Berant, 2018)는 기존 지식 베이스와 사전 정의된 논리 규칙을 사용해 멀티홉 추론을 평가한다.고정된 KB 스키마나 논리 형식은 질문과 답변의 다양성을 제한한다. KB의 불완전성으로 인해 일부 질문은 한 문장만으로도 답할 수 있다.출처: §6 · p. 9

자유 형식 답변 생성 데이터셋

  • MS MARCO 는 Bing Search 사용자 질의 100k개를 바탕으로 자유 형식 답변 생성을 위한 사람이 작성한 답변을 제공한다.시스템은 ROUGE-L, BLEU-1 등의 지표로 평가하지만, 이 지표들은 사람의 판단과 상관관계가 낮아 신뢰성에 의문이 제기된다 (Novikova et al., 2017).출처: §6 · p. 9

7 결론

HOTPOTQA는 다양한 자연어를 대상으로 설명 가능한 멀티홉 추론을 지원하도록 설계된 대규모 QA 데이터셋이다. 또한 텍스트에서 개체 속성을 추출하고 비교하는 시스템의 능력을 평가하는 사실형 비교 질문을 도입한다.

7 결론

  • HOTPOTQA는 설명 가능한 멀티홉 추론을 수행하는 QA 시스템의 개발을 목표로 한다.출처: §7 · p. 9
  • 새로운 유형의 사실형 비교 질문은 텍스트에서 개체 속성을 추출하고 비교하는 시스템의 능력을 평가한다.출처: §7 · p. 9
  • HOTPOTQA는 다양한 자연어를 포괄하는 대규모 질의응답 데이터셋을 제공한다.출처: §7 · p. 9

A 데이터 수집 세부 사항 … A.3 크라우드 작업자 인터페이스

데이터 수집에는 위키백과 전처리, 선별된 문단 쌍의 표본 추출, 작업자 보너스, 피드백과 힌트를 제공하는 대화형 인터페이스를 결합했다.

A.1 데이터 전처리

  • 문장 경계는 근거 문장 수집에 활용했고, 토큰 경계는 작업자의 답변이 무의미한 단어 조각이 아닌 토큰 전체를 포함하는지 확인하는 데 활용했다.단어 및 문장 토큰화에는 Stanford CoreNLP 3.8.0 을 사용했다.출처: §A.1 · p. 11
  • October 1, 2017 영어 위키백과 덤프에서 WikiExtractor로 위키백과 본문과 하이퍼링크를 추출했다.출처: §A.1 · p. 11

A.2 데이터 수집 추가 세부 사항

  • 표본으로 추출한 문단 쌍이 멀티홉 질문에 적합한지 검토하고 적합도가 높은 범주를 선택해, 위키백과 범주 591개를 수작업으로 선별했다.범주는 WikiProject의 인기 문서 목록에서 가져왔으며, 문단 쌍 (a, b)는 b가 검토 대상 범주에 속하도록 그래프 G에서 표본 추출했다.출처: §A.2 · p. 11
  • Yang et al. (2018)을 따라, 예제 200개마다 상위 기여자에게 지급하는 보너스와 시간당 생성한 예제 수에 따른 보너스를 병행했다.첫 번째 방식은 예제 수로 작업자의 순위를 매겼으며, 두 방식 모두 데이터 품질과 생성 효율을 높이도록 유도하는 데 목적이 있었다.출처: §A.2 · p. 11

A.3 크라우드 작업자 인터페이스

  • 작업자 인터페이스는 ParlAI (Miller et al., 2017)를 수정해 시스템 주도 대화로 질문-답변 쌍을 수집하도록 했다.ParlAI는 대화 시스템 개발과 대화 기반 데이터 수집을 지원하는 오픈소스 프로젝트다.출처: §A.3 · p. 11
  • 대화형 인터페이스는 작업자 입력을 더 세밀하게 제어하고, 작업 중 피드백과 유용한 힌트를 제공해 과제 완료를 돕고 수집 속도를 높였다.출처: §A.3 · p. 11

B 추가 데이터 분석 · C 전체 위키 설정의 세부 사항 · C.1 역색인 필터링 전략

HotpotQA 질문은 길이 편차가 커 복잡성과 세부 수준이 다양함을 보여 준다. 전체 위키 검색에는 역색인 필터링을 사용하며, 평가 시 누락된 정답 문단에는 후보 집합 크기보다 하나 큰 순위를 부여한다.

B 추가 데이터 분석

  • HotpotQA 질문은 유형뿐 아니라 길이도 크게 달라 복잡성과 세부 수준이 다양함을 보여 준다.Figure 5는 질문 길이 분포를 시각화한다.출처: B Further Data Analysis · p. 11

C.1 역색인 필터링 전략

  • 전체 위키 설정에서 예비 문단 후보를 효율적으로 역색인 필터링하기 위해 실험에서 사용하는 제어 임계값 N은 5000이다.Algorithm 2는 필터링 절차를 명시한다.출처: §C.1 · pp. 11–12
  • 필터링 알고리즘은 질문에서 유니그램·바이그램 집합을 추출하고, ngram을 Wikidoc에 매핑하는 역색인을 입력으로 받는다.후보 수는 무한대로, Cgram은 0으로 초기화한다.출처: §C.1 · p. 12
  • 역색인 필터는 매 반복마다 중복 횟수 사전을 초기화하고 문서별 중복 횟수를 늘린 뒤 후보 집합을 구성한다.질문에서 추출한 ngram을 순회한다.출처: §C.1 · p. 12
  • 필터링 반복문은 후보 집합 크기가 N 이하가 될 때까지 Cgram을 늘리고 후보 집합 크기를 다시 계산한 뒤, 후보 집합을 반환한다.후보 집합을 구성한 후 후보 수를 |Scand|로 설정한다.출처: §C.1 · p. 12
  • 평가 시 누락된 정답 문단에 순위 |Scand| + 1을 부여하므로 MAP와 Mean Rank는 상한값으로 보고한다.필터가 출력한 후보 집합에 정답 문단이 없을 수 있다.출처: §C.1 · p. 12

C.2 train-medium 분할과 고난도 분할 비교

train-medium의 검색 성능은 dev 및 test와 비슷하며, 이는 검색이 필수적인 첫 단계인 full-wiki 설정에서 난도가 유사함을 시사한다.

C.2 train-medium 분할과 고난도 분할 비교

  • train-medium의 검색 성능이 dev 및 test와 비슷하다는 점은 full-wiki 설정에서 유사한 난도를 시사한다.이 비교는 검색 모델이 첫 처리 단계에 필요한 설정을 대상으로 한다.출처: Table 9 · p. 12, §C.2 · p. 12
  • Table 9의 full-wiki 검색 비교는 train-medium, dev, test 각각에서 무작위로 추출한 1,000개 표본을 바탕으로 한다.MAP는 백분율로 보고한다.출처: Table 9 · p. 12
  • Mean Rank는 두 정답 문단의 검색 순위를 평균한 값이며, CorAns Rank는 답이 포함된 정답 문단의 검색 순위를 측정한다.출처: Table 9 · p. 12

Related papers

Loading 1809.09600v1…