AI 요약 · 영어에서 AI 번역
The Factual Inconsistency Problem in Abstractive Text Summarization: A Survey
Yichong Huang, Xiachong Feng, Xiaocheng Feng, Bing Qin
TL;DR
Abstractive summarization 모델은 유창성과 가독성을 높이지만 원문 사실을 왜곡하거나 날조할 수 있으며, 기존 평가는 사실 정확성을 간과할 수 있다. 이 survey는 factual-consistency metric과 optimization method를 검토하며, semantic-similarity method와 human judgment의 상관이 0.5 이하에 그쳐 평가가 여전히 미해결 과제임을 보고하고, 문서화된 향상과 한계를 보이는 correction system을 검토한다.
문제
Neural abstractive summary는 원문 사실을 왜곡하거나 날조할 수 있으며, token-overlap 평가는 사실적 모순을 놓칠 수 있다.
출처: §1 · p. 1방법
이 survey는 summarization system을 위한 factual-consistency evaluation metric, meta-evaluation, factual-consistency optimization method를 검토한다.
출처: §1 · p. 2, Triple-based · p. 3결과
Semantic-similarity method는 parameter search 이후 XSum에서 factual-consistency evaluation 성능의 state of the art에 도달했지만, human evaluation과의 상관은 0.5 이하였다.
출처: §3.3 · p. 5시사점 및 한계
Factual-consistency evaluation은 여전히 미해결 과제이며, 검토한 correction method는 측정 가능한 성공을 보이지만 모든 오류 유형을 다루지는 못한다.
출처: §3.3 · p. 5, §4.3 · p. 6Post-editing method는 오염된 reference summary가 model-generated summary와 data distribution에서 다르기 때문에 제한적이다.
출처: §4.3 · p. 6
Abstract
from arXiv · showhide
Recently, various neural encoder-decoder models pioneered by Seq2Seq framework have been proposed to achieve the goal of generating more abstractive summaries by learning to map input text to output text. At a high level, such neural models can freely generate summaries without any constraint on the words or phrases used. Moreover, their format is closer to human-edited summaries and output is more readable and fluent. However, the neural model's abstraction ability is a double-edged sword. A commonly observed problem with the generated summaries is the distortion or fabrication of factual information in the article. This inconsistency between the original text and the summary has caused various concerns over its applicability, and the previous evaluation methods of text summarization are not suitable for this issue. In response to the above problems, the current research direction is predominantly divided into two categories, one is to design fact-aware evaluation metrics to select outputs without factual inconsistency errors, and the other is to develop new summarization systems towards factual consistency. In this survey, we focus on presenting a comprehensive review of these fact-specific evaluation methods and text summarization models.
1 서론
추상적 요약은 유창하고 사람이 읽기 쉬운 텍스트를 생성하지만, 원문의 사실을 왜곡하거나 조작할 수 있다. 이 survey는 이러한 문제를 다루는 사실 일관성 평가 및 최적화 방법에 초점을 둔다.
1 서론
- 텍스트 요약은 핵심 정보를 보존하면서 문서를 압축하며, 접근법은 extractive 또는 abstractive로 나뉜다.Extractive 시스템은 원문에서 중요한 문장을 선택하고 배열하는 반면, abstractive 시스템은 바꿔 쓰기나 새로운 단어를 통해 새로운 문장을 생성한다.출처: §1 · p. 1
- 신경망 abstractive 모델은 유창한 요약을 생성하지만, 제약 없는 생성으로 인해 사실 불일치를 일으킬 수 있다.이러한 오류는 원문의 사실을 왜곡하거나 조작한다. 예를 들어 규모 4.8의 지진을 강력한 지진으로 과장할 수 있다.출처: §1 · p. 1
- abstractive 모델이 생성한 요약의 최대 30%에 사실 불일치가 포함되며, 이는 시스템의 신뢰성과 사용성을 위협한다.이 survey는 원문이 뒷받침하는 사실과 일관성이 없는 생성 주장을 구분해 이 문제를 보여 준다.출처: §1 · p. 1, Figure 1 · p. 1
- N-gram 중복률 지표는 사실 오류를 놓칠 수 있다. 거의 동일한 단어를 포함한 요약이 서로 반대되는 의미를 표현할 수 있기 때문이다.예시인 “I am having vacation in Hawaii”와 “I am not having vacation in Hawaii”는 거의 모든 unigram과 bigram을 공유한다.출처: §1 · pp. 1–2
- 이 survey는 자동 사실 일관성 지표, 그 메타 평가, 그리고 요약 시스템에서 사실 일관성을 최적화하는 방법을 검토한다.또한 기존 방법에서 얻은 교훈을 종합하고 가능한 향후 연구 방향을 제시한다.출처: §1 · p. 2, Figure 2 · p. 2
2 배경
배경에서는 추상적 요약을 소개하고, neural generation이 faithfulness를 명시적으로 보상하지 않고도 유창한 텍스트를 생성할 수 있는 방식을 설명한다. 또한 factual inconsistency를 원문에 대한 모순 또는 근거 없는 내용으로 정의한다.
2 배경
- 이 survey에서는 먼저 abstractive summarization 방법과 factual inconsistency 범주를 소개하여 오류가 발생하는 이유를 설명한다.이 주제들은 이후의 evaluation 및 optimization 검토를 위한 배경을 제공한다.출처: §2 · p. 2
2.1 Abstractive Summarization 방법
- Neural sequence-to-sequence models는 문서를 encode하고 요약을 decode하여 가독성 높은 텍스트를 생성하지만, word-level likelihood training이 반드시 faithfulness를 보상하는 것은 아니다.RNNs, CNNs, Transformers는 encoder와 decoder를 구현할 수 있다.출처: §2.1 · p. 2
2.2 Factual Inconsistency Error
- Intrinsic errors는 원문과 모순되는 반면, extrinsic errors는 원문에서 지지되지도 반박되지도 않는 사실을 추가한다.이 survey에서는 optimization methods가 주로 intrinsic errors를 대상으로 하는 반면, evaluation metrics는 두 범주를 구분하지 않는다고 지적한다.출처: §2.2 · p. 2
3 사실 일관성 평가 지표
이 survey는 supervision과 underlying evaluation tool에 따라 사실 일관성 평가 지표를 분류한 뒤, 지표 간 비교를 위한 meta-evaluation을 논의한다. factual-consistency data로 학습한 비지도 지표와 약지도 지표를 구분한다.
3 사실 일관성 평가 지표
- 사실 일관성 평가 지표는 비지도 범주와 약지도 범주로 나뉜다.약지도 지표는 문서, 모델이 생성한 요약, 사실 일관성 점수로 학습한다.출처: §3 · p. 2
- 비지도 지표는 기존 도구를 재사용하며, triple 기반, textual entailment 기반, QA 기반 및 기타 접근법으로 구성된다.이 survey는 이러한 지표를 의존하는 도구에 따라 추가로 분류한다.출처: §3 · p. 2
- 메타 평가는 사실 일관성 평가 지표를 비교하며, 이 survey는 기존 지표를 Table 1에 정리한다.이 survey는 지표 분류 체계와 함께 두 편의 meta-evaluation 연구를 소개한다.출처: §3 · p. 2
3.1 비지도 Metrics
비지도 factual-consistency metrics는 triple, textual entailment, question answering 또는 similarity 기반 heuristic를 사용해 summary와 source document를 비교한다. 효과는 representation과 dataset의 abstractiveness에 좌우되며, QA 기반 방법은 해석 가능성과 computational cost를 맞바꾼다.
Triple 기반
- Fixed-schema relation extraction은 비특정 schema triple보다 source와 summary의 fact를 쉽게 비교하게 한다.Unspecified schema는 동등한 fact에 대해 불일치하는 triple을 생성할 수 있는 반면, fixed schema는 relation representation을 정규화한다.출처: Triple-based · p. 3
- Long-premise NLI training은 domain shift와 summarization의 reasoning 요구를 해결해 factual-consistency evaluation을 개선한다.더 긴 premise에는 coreference resolution과 abductive reasoning 같은 능력이 필요하다.출처: Triple-based · p. 3
QA 기반
- QA 기반 metrics는 summary에 대한 question을 생성하고 source에서 답을 찾은 뒤 answer similarity를 평가해 해석 가능한 entity-level checks를 제공하지만 computational cost가 높다.QAGS와 FEQA는 question generation과 question answering을 사용해 대응하는 answer를 비교한다.출처: QA-based · pp. 3–4, Figure 4 · p. 3
기타 방법
- Word-overlap metrics는 덜 abstractive한 CNN/DM에서 더 잘 작동하는 반면, semantic-similarity metrics는 더 abstractive한 XSum에서 더 잘 작동한다.두 접근법 모두 baseline effectiveness를 제공하며, overlap에는 ROUGE 또는 BLEU를, semantic similarity에는 BERTScore를 사용한다.출처: Other Methods · p. 4
3.2 약지도 Metrics
약지도 metrics는 자동 생성된 synthetic examples로 factual consistency models를 학습해 수작업으로 라벨링된 데이터에 대한 의존도를 줄인다. 문장, quantity-entity 또는 token granularity에서 작동하지만, 휴리스틱 examples는 실제 model-generated summaries와 여전히 불일치한다.
3.2 약지도 Metrics
- 약지도 metrics는 synthetic data를 사용해 문장·entity·token 수준의 factual consistency를 평가한다.자동화된 training-data 구축으로 factual-consistency annotations의 부족 문제를 우회한다.출처: §3.2 · p. 4
문장 수준
- FactCC는 CNN/DM에서 생성된 paraphrases와 변형된 claims로 학습한 BERT-based model을 사용해 문장 일관성을 분류한다.Negation과 entity swaps로 negative examples를 만들지만, rule-based transformations로 모든 inconsistency 유형을 모사할 수는 없다.출처: Sentence-level · p. 4
Entity 수준
- HERMAN은 변형된 XSum reference summaries로 학습한 sequence labeling을 사용해 numbers와 dates 같은 일관성이 없는 quantity entities를 라벨링한다.Positive summaries는 references이고, negative examples에서는 quantity entities를 대체한다.출처: Entity-level · p. 4
Token 수준
- Token 수준 평가는 더욱 세밀하고 설명 가능하며, human factual-consistency judgments와 더 높은 상관관계를 보인다.Synthetic negatives는 reference summaries의 일부를 재구성해 생성한다.출처: Token-level · p. 4
- 약지도 metrics는 비용이 많이 드는 human annotations와 실제 model이 생성한 summaries와 다른 synthetic examples로 인해 여전히 제한된다.따라서 학습 중 관찰된 effectiveness는 실제 factual-consistency evaluation에서 제한될 수 있다.출처: Token-level · p. 4
3.3 메타 평가
메타 평가는 서로 다른 주석 설정으로 인한 비교 가능성 문제를 줄이기 위해 공통 주석자 집단의 인적 점수와 사실 일관성 metric을 비교한다. Koto et al. [2020]은 조정된 semantic similarity가 XSum에서 state-of-the-art 성능에 도달하지만, 인간 평가와의 상관은 여전히 0.5 미만임을 보인다.
3.3 메타 평가
- 서로 다른 주석 설정과 주석자 간 불일치로 인해 보고된 metric 상관을 직접 비교하기 어렵다.메타 평가는 동일한 주석자 집단의 점수를 사용해 이 문제를 해결한다.출처: §3.3 · pp. 4–5
- 메타 평가는 동일한 주석자들이 부여한 사실 일관성 점수와 metric 점수의 상관을 계산해 metric 품질을 측정한다.이를 통해 여러 metric을 비교할 수 있는 공통 기반을 제공한다.출처: §3.3 · p. 5
- 추상화 수준이 높은 XSum에서 조정된 semantic similarity가 state-of-the-art 사실 일관성 평가 성능에 도달한다.Koto et al. [2020]은 BERTScore에 사용할 최적의 pretrained-language-model layer를 탐색한다.출처: §3.3 · p. 5
- 인간 평가와의 상관은 여전히 0.5 미만이므로, 사실 일관성 평가는 미해결 연구 문제로 남아 있다.보고된 상한은 여기서 설명한 메타 평가 사실 일관성 설정에 적용된다.출처: §3.3 · p. 5
4 사실 일관성 최적화
이 survey는 사실 일관성 최적화 방법을 사실 인코딩, textual entailment, post-editing 및 기타 접근법으로 분류한다. 이러한 방법은 사실 오류를 줄이기 위해 표현, 학습 목적함수, 생성 요약문, 데이터 또는 추론 제약을 수정한다.
4 사실 일관성 최적화
- 사실 일관성 최적화 방법은 fact encode 기반, textual entailment 기반, post-editing 기반 및 기타 방법으로 나뉜다.이 survey는 이러한 방법을 Figure 5와 Table 2에 정리한다.출처: §4 · p. 5
4.1 Fact-Encode 기반
- Fact-encode 방법은 relation triples를 추출하고 이를 순차적 또는 graph 기반 표현을 통해 요약 모델에 인코딩한다.순차 모델은 사실 설명을 연결하고, graph 기반 모델은 graph neural networks 또는 commonsense knowledge graphs를 사용해 개체와 관계를 표현한다.출처: §4.1 · p. 5, sequential fact encode · p. 5, graph-based fact encode · p. 5
4.2 Textual-Entailment 기반
- Textual-entailment 기반 모델은 요약문 생성을 위해 인코딩, 디코딩 및 reward 설계에 entailment 지식을 통합한다.Entailment-aware decoder는 RAML을 사용하며, reward는 생성된 요약문의 entailment score로 정의된다.출처: §4.2 · pp. 5–6
4.3 Post-Editing 기반
- Post-editing 방법은 생성된 요약문을 초안으로 간주하고, 원문과 초안을 입력으로 받아 수정된 요약문을 생성하는 fact correctors를 사용한다.SpanFact는 개체를 마스킹하고 원문에서 대체 span을 선택하며, end-to-end BART corrector는 더 다양한 오류 유형을 처리하도록 설계되었다.출처: §4.3 · p. 6
- 사실적으로 일관되지 않은 요약문의 26%는 SpanFact로 수정되었지만, 사실적으로 일관된 요약문 중 잘못 손상된 비율은 1% 미만이었다.SpanFact는 개체 오류 수정에 한정되며, end-to-end corrector는 human evaluation에서 SpanFact를 능가하지 못했다.출처: §4.3 · p. 6
- Post-editing 성능은 학습에 사용되는 자동 손상 reference 요약문과 테스트 중 마주하는 모델 생성 요약문 사이의 distribution gap으로 인해 제한된다.두 post-editing 접근법 모두 비용이 많이 드는 human annotation 대신 training data를 자동으로 인공 구성한다.출처: §4.3 · p. 6
4.4 기타
- 기타 접근법은 비충실한 학습 쌍을 필터링하거나, beam search 중 개체 및 keyphrase 제약을 부과하거나, domain-specific 요약 설정을 대상으로 한다.추론 시점 제약은 내부 구조를 수정하지 않고도 abstractive 모델에 추가할 수 있지만, 사실 일관성 향상과 최적 제약은 여전히 미해결 문제다.출처: §4.4 · p. 6
5 결론 및 향후 방향
이 서베이는 factual consistency 연구가 현재의 intrinsic error 중심 접근을 넘어 확장되어야 한다고 결론짓는다. 향후 방향으로 문단 수준 평가, extrinsic error 최적화, 그리고 다른 조건부 텍스트 생성 과제에서의 factual consistency를 제시한다.
5 결론 및 향후 방향
- 향후 최적화는 extrinsic error를 다뤄야 한다. 기존 방법은 주로 intrinsic error에 초점을 맞추며, maximum likelihood training은 문서와 요약 사이의 제약을 명시적으로 모델링하지 않기 때문이다.문서에 나타나야 하는 제약의 예로 entity와 quotation이 있으며, reinforcement learning은 생성 과정에서 이를 모델링하는 데 도움이 될 수 있다.출처: §5 · p. 7
- 문단 수준 factual-consistency metric은 각 문장을 독립적으로 평가하기보다 문장 간 관계를 고려해야 한다.이 서베이는 문단 수준 평가가 더 어렵고 가치 있다고 설명한다.출처: §5 · p. 7
- factual consistency 연구는 cross-modal consistency 문제가 있는 image captioning, visual storytelling 및 기타 조건부 텍스트 생성 과제로도 확장되어야 한다.이 서베이는 이러한 방향을 완전한 목록이 아니라 지침으로 제시한다.출처: §5 · p. 7