Source-linked AI summary
Pair-Level Essay-Scale Republication and Reuse from Fragmented Historical Text Reuse: A Workflow Study on Eighteenth-Century Books and Newspapers
Ke Shu, Kira Hinderks, Eetu Mäkelä, Mikko Tolonen
TL;DR
이 논문은 단편적인 text-reuse hit에서 essay-scale republication과 reuse를 복원하는 문제를 다룬다. 핵심 과제는 pair-level evidence를 transmission relation으로 통합하는 데 있다. staged rule-based workflow를 classifier, LLM, automated adaptation 접근법과 비교해 감사 가능한 compact candidate space를 구축하고, 신문 예측 176건이 모두 실제 사례임을 확인했다.
문제
이 연구는 단편화된 일치 항목을 전파 관계로 통합해야 할 때, 십팔세기 서적과 신문에 걸친 에세이 규모의 재출판과 재사용을 어떻게 복원할지 다룬다.
방법
이 논문은 공유된 pair-level evidence를 대상으로 staged rule-based workflow를 decision-tree, direct-LLM, automated rule-adaptation 접근법과 비교한다.
결과
staged workflow는 라벨이 있는 ECCO–ECCO 데이터에서 전반적으로 가장 우수한 precision-recall 균형을 제공하며, 신문 예측 176건이 수작업으로 실제 사례임이 확인된 compact candidate space를 산출한다.
시사점 및 한계
positive coverage가 불완전한 상황에서 감사 가능한 pair-level evidence 통합은 역사적 검토에 적합한 compact candidate space를 구축하는 실용적 기반을 제공한다.
시사점 및 한계
말뭉치가 Hume을 중심으로 구성되어 있으므로, 연구 결과를 다른 저자와 역사적 시기로 직접 일반화하는 데는 한계가 있다.
Abstract
from arXiv · showhide
This paper addresses the recovery of essay-scale republication and reuse from fragmented text-reuse evidence, a setting whose central challenge is pair-level evidence consolidation and not fragment retrieval alone. The study focuses on a candidate set centered on essays by eighteenth-century Scottish philosopher David Hume, spanning books from ECCO (Eighteenth Century Collections Online) and historical newspapers. Because the input consists of fragmented reuse hits instead of clean document pairs, and positive coverage is inherently incomplete, we formulate the task as pair-level evidence consolidation into plausible transmission relations and compare three methodological families: a staged rule-based workflow, baselines (a decision tree and two direct LLM settings), and automated rule adaptation. On labeled ECCO--ECCO slices, pair-level feature aggregation alone already reaches 0.948 F1 on the main labeled slice, while the final workflow gives the strongest overall precision-recall trade-off among the tested rule stages. On the full ECCO--ECCO candidate universe, direct LLM baselines flag up to 14,886 pairs as reprints compared to 771 for the final workflow, behaving in this direct-prompt setup as high-recall candidate expanders rather than precision-controlled deployment classifiers. On ECCO--Newspaper, manual audit confirms all 176 predicted positives as genuine cases of republication or reuse, while issue duplication and source-side multiplicity reveal additional provenance structure. Under incomplete ground truth, auditable pair-level evidence consolidation provides a practical way to produce compact candidate spaces for historical inspection.
1 서론
이 논문은 에세이 규모의 재간행 탐지를 단순한 fragment retrieval이 아니라, 십팔세기 서적과 신문에 걸친 fragmentary reuse evidence의 pair-level consolidation으로 규정한다. Hume의 에세이, ECCO 서적, 역사 신문을 대상으로 workflow를 연구하고, staged rules, baselines, automated rule adaptation을 비교한다.
- 1 서론: 이 연구는 문단 재배열, 축약, 개작, 매체 간 분절이 있더라도 Hume 원전 에세이의 상당 부분이 보존되는 경우를 중심으로 essay-scale reuse를 정의한다.이 operational definition은 짧은 중복이나 완전히 동일한 복사본을 넘어 실제 reuse를 포착하도록 설계되었다.
- 1 서론: 핵심 문제는 noisy한 high-recall fragment matches를 평가 가능한 transmission relations로 통합하는 것이다. 광범위한 overlap이 자동으로 reprint를 입증하지는 않기 때문이다.이 과제는 supervised classification이나 fragment retrieval이 아니라 evidence consolidation으로 규정된다.
- 1 서론: 이 workflow study는 ECCO의 Hume 서적 17권을 사용하고, ECCO 서적과 Burney Newspapers 전반에서 staged rules, decision tree, direct LLM settings, automated rule adaptation을 비교한다.모든 methodological families는 동일한 pair-level evidence space에서 작동하며, 자동화 수준이 점차 높아지는 구성을 나타낸다.
- 1 서론: 이 연구의 기여는 Passim 와 같은 fragment-level retrieval systems를 불완전한 positive coverage 상황에서의 pair-level transmission judgment로 확장하고, ECCO 서적과 십팔세기 신문을 연결하는 데 있다.Viral Texts와 Reception Reader [11]를 포함한 관련 시스템은 주로 retrieval과 exploration을 강조하며, pair-level evidence consolidation은 주된 초점으로 삼지 않는다.
2 과제, 데이터, 방법
이 연구는 BLAST-style text reuse hit를 pair-level evidence로 통합해 essay-scale republication과 reuse를 탐지한다. ECCO books와 newspapers를 대상으로 audit 가능한 staged rule workflow를 decision tree, direct LLM, automated adaptation 접근법과 비교한다.
- 과제와 Feature: coverage, span, section distribution, chaining, title·heading·quotation·paratext cue를 사용해 fragment-level hit를 document-pair evidence로 집계한다.개별 hit 하나만으로는 결정적이지 않더라도, 서로 인접한 여러 fragment가 하나의 reused passage를 함께 뒷받침할 수 있다.
- 과제와 데이터: 데이터셋은 Scottish philosopher David Hume의 17 books를 중심으로 하며, fragment signal을 사용해 수백만 개의 ECCO pair 가능성을 수만 개로 줄인다.이 축소를 통해 expert curation이 가능해지고, candidate-space control이 discovery quality의 핵심이 된다.
- Rule-based workflow: 채택한 workflow는 fixed하고 inspectable한 four-stage rule cascade로, 얕은 span heuristic에서 structural·context-aware rule을 거쳐 hard-case rescue와 suppression으로 진행된다.각 positive decision은 structural, coverage, context, rescue gate 중 하나로 추적 가능하다. rescue branch는 quotation이나 paratext cue가 없는 low-fanout near miss를 제한적으로 허용한다.
- Baseline: Baseline은 60 balanced discovery pairs로 한 번 학습한 decision tree와 두 가지 direct Qwen3-30B-A3B-Instruct-2507 [9] setting을 사용해 동일한 evidence space를 시험한다.LLM variant는 text-only이면서 structured하며, fixed feature를 넘어 pretrained knowledge를 사용할 수 있으므로 candidate-expansion reference condition으로 취급한다.
- Automated adaptation: Automated adaptation은 stage 간 hard-case 차이에서 bounded rescue 또는 suppression rule을 제안하며, broad LLM prompting과 노동집약적인 hand tuning 사이에서 재현 가능한 중간 지점을 제공한다.사용되는 경우 LLM은 candidate rule을 제안할 뿐 final classifier로 기능하지 않는다.
- 평가: 평가는 labeled ECCO–ECCO slice, full ECCO–ECCO universe에서의 deployment behavior, ECCO–Newspaper case를 포괄하며, hard slice는 fully held-out generalization이 아니라 boundary diagnostic으로 다룬다.최종 workflow의 rescue와 suppression rule은 해당 split과 겹치는 hard-case pool을 사용해 정교화했다.
3 결과
결과는 labeled ECCO–ECCO 데이터에서 pair-level evidence aggregation이 강하게 작동하며, 최종 workflow가 전반적으로 가장 균형 잡힌 결과와 통제된 deployment output을 제공함을 보여준다. ECCO–Newspaper에서는 불완전한 ground truth에도 불구하고 manual audit를 통해 예측된 모든 positive가 genuine republication 또는 reuse임을 확인했다.
- ECCO–ECCO labeled slices: 주요 labeled slice에서 structural-only aggregation의 0.948 F1은 pair-level feature aggregation이 이미 강력함을 보여주며, 최종 workflow는 전반적으로 가장 강한 균형을 제공한다.어려운 사례에서 decision-tree F1은 0.063까지 하락한 반면, naive 및 structural-only workflow는 0.171을 유지했다.
- Rule-based progression: contextual cues를 추가한 뒤의 0.263 hard-slice F1은 추가 전 0.171보다 높으며, context가 structural aggregation을 넘어서는 rule-based 성능 향상의 주된 원천임을 보여준다.최종 단계는 주로 boundary control을 추가해 precision을 0.312에서 0.333으로 높이고 deployment output을 1,265에서 771 positive로 줄인다.
- Method-family comparison: 0.455 hard-slice recall과 0.317 F1은 automated adaptation이 최종 workflow보다 더 확장적임을 보여준다. 최종 workflow의 recall은 0.227, F1은 0.270이다.decision tree는 전체적으로 유용한 정보를 제공하지만 어려운 사례에서는 여전히 취약하다.
- Full candidate-universe deployment: 전체 ECCO–ECCO candidate universe에서 최종 workflow의 771 final-workflow positives와 direct LLM baselines의 최대 14,886을 비교하면, 최종 방법이 가장 통제된 output을 보임을 알 수 있다.Direct LLM baselines는 모든 labeled split에서 가장 광범위한 output과 가장 높은 recall을 산출한 반면, 최종 workflow는 통제된 output을 유지했다.
- ECCO–Newspaper audit: republication 또는 reuse로 예측된 신문 사례 176 of 176건은 manual confirmation을 통해 genuine임이 확인되었으며, 예측된 negative 49건에 대한 diagnostic audit에서는 8 reprints와 38 non-reprints가 발견되었다.negative audit가 어려운 사례를 과대표집했으므로 그 false-negative rate는 모집단 유병률 추정치가 아니다. 이 설정에서는 기존 ground truth 없이 deployment-and-audit evaluation을 수행해야 했다.
4 분석
분석 결과, pair-level aggregation이 성능을 좌우하는 반면 staged rule refinement는 주로 모호한 pair의 경계 제어를 개선하는 것으로 나타났다. Domain-specific transmission pattern과 auditability가 결과를 한정하며, 결과는 Hume 중심 데이터와 annotation 제약의 영향도 받는다.
- 4 분석: 최종 workflow는 all-labeled F1과 hard-case precision에서 가장 높은 성능을 달성한 반면, automated adaptation은 precision을 희생하고 hard-case recall을 크게 높인다.얕은 decision tree는 main labeled slice에서 0.909 F1에 도달하지만 hard cases에서는 0.063으로 하락하며, direct LLM inference는 더 폭넓은 positive output을 생성한다.
- 4 분석: ECCO–ECCO 검토에서는 apparent false positive 104건 중 81건이 현재 ground truth 밖의 genuine case임을 확인했으며, 이는 strict full-corpus precision이 보수적임을 보여준다.확인율은 78%이며, uncertain case를 제외하면 86%다.
- 4 분석: 이 workflow는 coverage ratio, bundle structure, chain structure가 각 prediction에 대한 상호보완적 evidence를 드러내므로 auditable하다.이 signal들은 classification boundary와 독립적으로 source coverage, target concentration, fragment coherence를 나타낸다.
- 4 분석: Newspaper는 재사용된 essay가 embedded extract, recomposed digest, 또는 다른 source에 귀속된 verbatim reprint로 나타날 수 있으므로 historically specific interpretation이 필요하다.이러한 형태 때문에 essay-scale textual identity는 단순한 data-quality 문제가 아니라 historical transmission의 문제다.
- Limitations: Generalizability는 corpus가 Hume에 집중되어 있고, non-blind newspaper annotation, inter-annotator agreement의 부재, OCR variation, direct-prompt LLM 조건이 evaluation을 제약하므로 limited하다.따라서 이 연구는 author-independent benchmark라기보다 역사학적 동기에 기반한 stress test다.
5 결론
이 연구는 ECCO books와 eighteenth-century newspapers 전반에서 essay-scale republication 및 reuse detection을 수행하는 workflow를 제시하며, 유용한 recall을 유지하면서 pair-level evidence consolidation으로 후보를 줄인다.
- 결론: 이 workflow는 구조적으로 구별되는 두 historical environment, 즉 ECCO books와 eighteenth-century newspapers 전반에서 essay-scale republication 및 reuse detection을 다룬다.ECCO는 부분적으로 label된 pair에 대한 정량 평가를 지원하는 반면, newspapers는 사전 ground truth 없이 deployment-and-audit가 필요하다.
- 결론: 단계적 pair-level evidence consolidation은 유용한 recall을 유지하면서 compact하고 audit 가능한 candidate space를 산출했다.
- 결론: ECCO books는 부분적으로 label된 pair에 대한 정량 평가를 가능하게 하는 반면, eighteenth-century newspapers는 사전 ground truth가 없는 상황에서 deployment-and-audit가 필요하다.
생성형 AI 공개
저자들은 집필과 편집을 위해 ChatGPT와 Claude를 사용했지만, 논문의 과학적 내용과 결론에 대한 책임은 전적으로 저자들에게 있다.
- 생성형 AI 공개: ChatGPT와 Claude가 집필과 편집을 지원했지만, 과학적 내용, 실험 설계, 결과 및 결론에 대한 책임은 저자들에게만 있다.