ReMMD: Realistic Multilingual Multi-Image Agentic Verification for Multimodal Misinformation Detection

ReMMDBench

• ReMMDBench는 다국어·다중 이미지·다양한 길이의 샘플과 에이전트 중심 검증 설정을 사용해 현실적인 조건에서 멀티모달 허위정보를 평가한다.단일 텍스트와 다중 이미지로 구성된 샘플, 세 가지 길이 구간, 다섯 가지 단일 언어 평가, 두 가지 교차 언어 전이 설정을 포함한다.출처: Introduction · p. 2
• ReMMDBench는 사실 확인을 참·거짓 이분법으로 축소하지 않고, 5단계 진실성 레이블, 8개 왜곡 레이블, 근거 출처, 설명 근거를 제공한다.이 벤치마크는 텍스트·시각·교차 모달 왜곡 전반에서 단계별 판정과 세밀한 귀속을 포착하도록 설계됐다.출처: Introduction · pp. 1–2

ReMMD-Agent

• ReMMD-Agent는 게시물을 원자적 주장과 이미지 연결 관계로 분해하고, 멀티모달 근거를 검색하며, 판단에 앞서 재사용 가능한 지속 메모리 뱅크를 점진적으로 유지한다.구조화된 판정기는 누적된 근거 상태를 바탕으로 L1 진실성, L2 왜곡 레이블, L3 설명 근거를 예측한다.출처: Introduction · p. 2

ReMMD

• ReMMD는 ReMMDBench와 ReMMD-Agent를 결합해 멀티모달 허위정보 탐지를 위한 현실적인 다국어 다중 이미지 에이전트 검증 프레임워크를 구성한다.평가에는 세 가지 백본 계열과 총 다섯 가지 모델 규모에 걸친 폐쇄형 및 오픈소스 에이전트가 포함된다.출처: Introduction · p. 2

평가

• MMD-Agent보다 GPT-5.2 비용이 17.5% 낮고 T2-Agent보다 79.9% 낮은 동시에, ReMMD-Agent는 ReMMDBench에서 최고 성능을 보인다.또한 언어, 텍스트 길이, 왜곡, 전이, 비용에 따른 성능을 분석한다.출처: Introduction · p. 2

데이터셋과 벤치마크

• 다중모달 허위정보 벤치마크는 이미지 재사용, 단일 모달 편향, 공간 위치 파악, 의미 귀속을 포함해 시각적 조작과 모달 간 불일치를 평가한다.출처: Related Work · p. 2
• ReMMDBench는 증거 기반 검증에 앞서 언어, 텍스트 길이, 시각적 출처, 레이블 조건을 계획해 통제된 다국어 다중 이미지 샘플을 구성한다.포함 여부를 결정하기 전에 증거, 왜곡 주석, 텍스트-이미지 일관성, 이미지 출처를 검증한다.출처: Figure 2 · p. 3

LVLM과 에이전트 기반 검증

• 대규모 비전-언어 모델은 다중모달 검증자로 적합하지만, 그라운딩 오류, 오래되거나 적대적인 증거, 시간적 오염에 여전히 취약하다.출처: Related Work · p. 3
• 에이전트 기반 검증은 주장을 분해하고, 표적 질문을 던지며, 검색 또는 시각 도구를 호출해 강건성을 높인다.출처: Related Work · p. 3

데이터 구축

• ReMMDBench는 다양한 유행 주제와 팩트체크 출처에서 수집한 실제 게시물을 지정된 진실성, 왜곡, 언어 및 시각적 구성에 맞춘 통제 표본으로 변환한다.계획 담당자는 증거를 수집하고 시각 자료를 조작하는 텍스트·검색·이미지 작업자를 조율한다.출처: Benchmark Design and Construction · pp. 3–4

벤치마크 특성

• 이미지 수는 짧은 길이 구간에서 평균 2.35장, 긴 구간에서 10.05장이며, 두 가지 교차 언어 설정에서는 원본 자료와 시각 자료를 서로 다른 대상 언어로 옮긴다.파이프라인은 다국어 변환 과정에서 의미적 불일치와 맥락적 전위를 의도적으로 설계한다.출처: Table 2 · p. 3, Benchmark Design and Construction · p. 4

주석 체계

• 각 표본에는 계층형 L1 진실성, L2 왜곡, L3 근거 설명 주석이 있으며, 순서가 있는 다섯 가지 진실성 조건과 텍스트·시각·교차 모달 오류를 구분한다.분류 체계는 조작, 사실적 근거의 왜곡, 오해를 부르는 맥락, 합성 또는 편집된 시각 자료, 의미적·맥락적·화용적 불일치를 구별한다.출처: Annotation Schema · p. 4

품질 관리

• Cohen’s κ는 벤치마크 표본 500개 전체에서 독립된 전문 주석자 두 명과 비교해 0.91에 도달했으며, 이는 자동화된 품질 관리 파이프라인의 타당성을 뒷받침한다.검증 에이전트는 L1 판정이 핵심 주장에 부합하는지, L2 태그가 물리적 근거에 기반하는지 확인한다.출처: Quality Control · p. 4

에이전트 개요

• ReMMD-Agent는 명시적인 증거 상태를 바탕으로 추론한 뒤 5개 범주 진실성 레이블, 8차원 왜곡 벡터, 간결한 근거 설명을 출력한다.시스템은 멀티모달 묶음을 직접 판단하는 대신 분해된 원자 단위를 평가한다.출처: ReMMD-Agent · p. 4

파싱

• 파서는 텍스트와 이미지를 최소한의 주장 또는 시각적 관찰, 검색 질의, 시각 단서, 항목 유형을 담은 원자적 항목으로 변환한다.미리 정의된 필드는 개체, 시간 기준점, 위치, 사건, 핵심 주장을 포괄한다.출처: Atomic Representation · p. 4

증거 검색

• 검색 단계는 뉴스 집계 사이트와 팩트체크 도메인을 정기적으로 훑는 작업을 통해 비동기적으로 보강되는 샘플 수준 메모리 뱅크를 유지한다.추론 중에는 파싱된 질의와 시각 단서를 활용해 표적화된 웹 및 소셜 검색을 수행하고 증거를 가져온다.출처: Memory-Augmented Retrieval · pp. 4–5
• TopK는 20으로 설정되어 감사 가능한 지속 증거 상태를 만들며, 주장 간 증거 재사용을 지원한다.증거 관련성은 Qwen3-Embedding-8B 표현 간 코사인 유사도로 평가한다.출처: Memory-Augmented Retrieval · p. 5

구조화된 판정

• 구조화된 판정기는 각 원자 항목에 지지됨, 반박됨, 미검증 상태를 부여한 뒤 핵심 주장과 모달 간 연결을 바탕으로 전체 진실성을 추론한다.교차언어 검증은 지역 증거를 대상으로 검색 범위를 넓히고, 영어 또는 중국어 연결 질의를 추가하며, 번역으로 인한 의미 불일치를 점검한다.출처: Structured Evidence Judgment · p. 5, Implementation Details · p. 5

평가 설정

• 평가는 Manus, ChatGPT, MMD-Agent, T2-Agent, ReMMD-Agent를 대상으로 ReMMDBench의 전체 500개 표본 분할을 다룬다.모델 기반 에이전트는 GPT-5.2, Gemma4-31B, Qwen3.6-27B, Qwen3.5-9B, Qwen3.5-4B를 포함한 백본과 공통 Serper 검색을 사용한다.출처: Experimental Setup · p. 5, Table 4 · p. 6

주요 결과

• ReMMDBench는 모든 시스템에 여전히 어려운 과제인 한편, ReMMD-Agent는 백본 계열 전반에서 단계적 진실성 판별의 보정 성능을 높인다.범용 비서는 일부 L2 지표에서 경쟁력 있지만 L1에서는 약하며, GPT-5.2가 가장 우수한 L1 성능을 보인다.출처: Overall Results · p. 6
• 검색을 더 하는 것만으로는 충분하지 않다. MMD-Agent는 부분적 진실 라벨에서 어려움을 겪고, T2-Agent의 확장된 추론도 진실성 판별 성능을 일관되게 높이지 못한다.MMD-Agent는 왜곡 중심 비교에 여전히 유용하지만, 증거는 올바른 주장에 맞춰 정리해야 한다.출처: Overall Results · p. 6

절제 실험

• 원자적 파싱과 메모리 재사용은 정보 잡음을 줄이고, 출처 정보 통합 및 이미지 간 증거 재사용을 지원하며, L1과 L2 모두를 개선한다.시각적 보조 분석은 L2에서 특히 중요하다. 시각적 편집과 모달 간 불일치가 최종 진실성 판단에 앞서 왜곡을 진단할 수 있기 때문이다.출처: Overall Results · p. 6, Table 5 · p. 6

효율성

• MMD-Agent보다 표본당 비용이 17.5% 낮고 T2-Agent보다 79.9% 낮다는 결과는 계산 비용 증가가 아니라 아키텍처 효율성을 보여준다.원자적 주장 전반의 증거 재사용은 도구를 활용한 추론 경로를 반복적으로 확장하지 않게 하여, 동적 벤치마크와 높은 동시성의 배포를 지원한다.출처: Table 6 · p. 6, Cost and Transfer · p. 7

강건성

• ReMMD-Agent는 텍스트 길이 구간과 언어별 하위 집합 전반에서 기준선보다 안정적이지만, 저수준 포렌식과 담화 수준의 근거 제시는 여전히 상호 보완적인 과제로 남는다.원자적 파싱은 잡음이 섞인 긴 문맥의 개체와 지칭을 처리하고, 메모리 재사용은 표면적으로 관련 있어 보이지만 시간적·지리적으로 맞지 않는 검색 결과를 줄인다.출처: Fine-Grained Behavior · pp. 6–7, Figure 4 · p. 7

증거 선택

• 현실적인 MMD는 세밀한 레이블이 필요한 증거 선택 문제다. 실제 증거도 잘못된 결론을 뒷받침할 수 있기 때문이다.검색은 각 출처를 검증 대상인 주장이나 이미지와 연결할 때만 도움이 된다.출처: Discussion · p. 7
• 시각적 진위만으로는 충분하지 않다. 실제 이미지도 오용될 수 있고, 합성 이미지가 함께 제시된 텍스트를 자동으로 거짓으로 만들지는 않기 때문이다.검증은 이미지 진위만 따로 판단하지 말고 주장, 증거, 이미지 사이의 관계를 평가해야 한다.출처: Discussion · p. 7

모델 규모와 증거

• 동일한 ReMMD-Agent 파이프라인에서 Qwen3.5-9B가 여러 지표에서 Qwen3.6-27B보다 높은 성능을 보인다.논의에서는 이러한 양상이 모델 규모의 일반적인 역전이 아니라, 제공된 증거에 따른 스키마 준수, 부분 증거에 대한 보정, 불확실성 처리에서 비롯된다고 설명한다.출처: Discussion · p. 7

향후 방향

• 향후 시스템은 출처 인식 메모리, 시간 정보 기반 검색, 다국어 개체 연결, 시각적 편집·판정·오도 메커니즘을 각각 평가하는 지표를 개선해야 한다.근거 설명은 주장, 증거, 이미지와 텍스트의 관계를 밝혀야 하며, 다국어 사례에서는 번역을 넘어 현지 개체와 출처에 근거해야 한다.출처: Discussion · p. 7

결론

• ReMMDBench는 현실적인 검증을 위해 다국어 게시물, 여러 이미지, 세분화된 진위 판정, 왜곡 레이블, 근거 설명, 증거 중심 분석을 결합한다.ReMMD-Agent는 게시물을 검증 가능한 단위로 분해하고, 메모리를 통해 검색한 증거를 재사용하며, 명시적 증거를 바탕으로 진위와 왜곡을 판정한다.출처: Conclusion · p. 7

A 벤치마크 예시

• Figure 5는 다국어 텍스트, 여러 이미지, 계층형 레이블, 근거 설명, 증거 중심 분석을 포함하는 민감하지 않은 벤치마크 샘플을 제시한다.출처: A Benchmark Examples · p. 10

B 추가 벤치마크 통계

• 벤치마크는 6개 명시된 출처에서 수집한 초기 54,468개 게시물을 선별하고 통제된 재작성 과정을 거쳐 500개 샘플을 남겼다.The collection period ran from March 1, 2026, through May 10, 2026.출처: B Additional Benchmark Statistics · p. 10
• 5개의 L1 클래스는 대체로 균형을 이루지만, 평균 L2 레이블 수는 True에서 False까지 단조롭게 증가하며, 이는 심각한 허위정보에 왜곡이 누적되는 경우가 많음을 나타낸다.출처: B Additional Benchmark Statistics · p. 10

C 레이블 경계 참고사항

• L1은 진위 판정을 정확히 하나 부여하는 반면, L2는 해당하는 모든 왜곡 유형을 기록한다.T2는 주장 범위나 의미의 변형을, T3는 오해를 유발하는 맥락을 나타내며, 생성 콘텐츠가 포함된 편집된 실제 이미지에서는 V1–V2가 함께 나타날 수 있다.출처: C Label Boundary Notes · p. 10

D 인간–AI 주석 일치도

• 인간 주석자는 전체 벤치마크의 L1에서 0.96의 정확 일치도와 0.97의 선형 가중 κ를 달성했다.일치도 분석에서는 순서가 같은 판정의 경우 정확 일치도를, 우연 일치를 보정한 심각도 불일치의 경우 가중 κ를 사용한다.출처: 500 ReMMDBench · p. 10
• Annotator Agent는 인간 합의 판정과 비교해 0.90의 정확 일치도와 0.91의 가중 κ를 달성했으며, 에이전트–합의 판정 간 L2 정확 집합 일치는 0.77이었다.엄격한 다중 레이블 평가를 반영한 인간 간 L2 정확 집합 일치는 0.83이었다.출처: 500 ReMMDBench · p. 10

E 에이전트 적응 세부사항

• MMD-Agent와 T2-Agent는 추론 중 ReMMDBench 정답 레이블이나 근거 설명 없이 게시물 전체 텍스트를 변경하지 않은 채 입력받았다.MMD-Agent는 이미지를 중복 제거한 뒤 최대 10개로 제한하고, T2-Agent는 문서 순서대로 이미지를 유지하지만 기존 MCTS 및 도구 의미 체계에서는 첫 이미지를 시각적 기준점으로 사용한다.출처: E Agent Adaptation Details · p. 10

• 저장소에는 실험 재현을 위한 전체 코드와 정확한 프롬프트 템플릿이 포함되어 있다.출처: F Reproducibility Materials and… · p. 10
• 디코딩 설정, 실패 처리 규칙, 검색 예산이 제공된다.출처: F Reproducibility Materials and… · p. 10
• 논문에 보고된 모든 실험 결과는 세 번의 실행으로 계산한다.출처: F Reproducibility Materials and… · p. 10

전이 설정

• 전이 실험은 공식 MMFakeBench 테스트 분할 10,000개 인스턴스를 평가하며, 이 중 70%는 허위, 30%는 진실로 구성된다.비교 대상 에이전트는 모두 Qwen3.5-9B와 Serper API를 통한 Google Search를 사용한다.출처: G MMFakeBench Transfer Setting · pp. 10, 13

전이 결과

• 정확도 0.824, Macro-F1 0.871을 기록한 ReMMD-Agent는 정확도 0.592, Macro-F1 0.673인 MMD-Agent와 정확도 0.639, Macro-F1 0.715인 T2-Agent를 앞선다.전이 과제는 5-way 진실성과 8개 왜곡 라벨 대신 이진 허위 탐지를 사용한다.출처: G MMFakeBench Transfer Setting · p. 13

분석

• ReMMD-Agent의 이점은 ReMMDBench에 특화된 라벨 정의에만 국한되지 않음을 시사한다.T2-Agent는 검색을 더 많이 수행하지만, 더 작은 오픈소스 백본에서 근거 라우팅이 약해 추가 추론 루프가 이를 보완하지 못한다.출처: G MMFakeBench Transfer Setting · p. 13

짧은 텍스트 분석

• ReMMD-Agent는 짧은 텍스트 L1 결과에서 앞서며, 특히 GPT-5.2에서 두드러진다. 반면 국소 시각 단서에서는 assistant 기준 모델들도 L2에서 경쟁력을 유지한다.모든 시스템에서 exact match는 여전히 낮다.출처: H Additional Fine-Grained Results · p. 13

중간 길이 텍스트 분석

• ReMMD-Agent/GPT-5.2는 중간 길이 구간의 판정 성능이 가장 강한 반면, ReMMD-Agent/Qwen3.5-9B는 L2 macro-F1에서 최고 성능을 보인다.부분 증거를 올바른 심각도 등급에 배정해야 하므로 기준 모델의 L1 macro-F1은 여전히 불안정하다.출처: H Additional Fine-Grained Results · p. 13

긴 텍스트 분석

• ReMMD-Agent/Qwen3.5-9B는 긴 구간의 L1 및 L2 macro-F1에서 최고 성능을 보이는 반면, ReMMD-Agent/GPT-5.2는 가장 높은 정확도를 기록한다.긴 구간은 샘플당 평균 약 10장의 이미지를 포함하며, 주장·이미지·검색된 출처를 연결하는 능력을 평가한다.출처: H Additional Fine-Grained Results · p. 13

언어별 분석

• ReMMD-Agent는 모든 언어에서 판정 및 왜곡 성능을 개선하며, MMD-Agent가 가장 취약한 일본어와 프랑스어에서 L1 향상 폭이 가장 크다.T2Agent는 때때로 프랑스어 L1에서 MMD-Agent보다 나은 성능을 보이지만, L2에서는 급격히 하락한다.출처: H Additional Fine-Grained Results · p. 13

왜곡 라벨별 분석

• ReMMD-Agent는 증거 정렬 라벨인 T2 Distortion, V2 Visual Editing, C1 Semantic Inconsistency, C2 Contextual Inconsistency에서 가장 강하지만, V1 Synthetic Visual Content에서는 MMD-Agent가 앞선다.V1에서의 예외는 저수준 생성 아티팩트와 포렌식 단서가 증거 검색을 보완하는 요소로 남아 있음을 시사한다.출처: H Additional Fine-Grained Results · p. 13, Table 15 · p. 16

벤치마크 분포

• ReMMDBench에는 언어 간 사례, 빈번한 텍스트·시각·교차 모달 왜곡, 출처가 혼재된 이미지, 여러 텍스트 길이 구간이 포함된다.이러한 설계는 시스템이 단일 언어, 조작 유형, 출처 유형 또는 게시물 길이에 맞춰 최적화되는 것을 방지한다.출처: I Additional Benchmark Distributions… · p. 17, Figure 7 · p. 18

이미지 수 분포

• 이미지 수 분포에는 열 장과 열한 장을 향한 의도적인 긴 꼬리가 있으며, 이는 핵심 이미지, 장식용 이미지, 반복 이미지 또는 관련성이 낮은 이미지가 포함된 캐러셀 형식 게시물을 반영한다.에이전트는 전체 이미지 집합을 구분 없는 시각적 증거로 취급하지 말고, 어떤 이미지가 주장을 뒷받침하는지 식별해야 한다.출처: I Additional Benchmark Distributions… · p. 17, Figure 8 · p. 19

혼동 행렬

• 직접 프롬프팅과 T2-Agent는 확신에 찬 True 예측을 피하고 중간 레이블에 확률 질량을 집중하는데, 이는 허위정보의 불확실성 아래에서 보수적 편향을 보인다는 뜻이다.ReMMD-Agent는 뒷받침됨, 반박됨, 검증되지 않음으로 원자적 주장을 판단하도록 해 이러한 편향을 줄인다.출처: I Additional Benchmark Distributions… · p. 17, Figure 10 · p. 20
• 오류는 인접한 중간 레이블 사이에 집중되며, 이때 시스템은 의심스러운 단서를 단순히 탐지하는 데 그치지 않고 반박 증거의 핵심성을 평가해야 한다.히트맵에는 상당한 대각선 질량이 나타나지만, 부분적으로 참인 사례는 본질적으로 모호하다.출처: I Additional Benchmark Distributions… · p. 20, Figure 9 · p. 20, Figure 10 · p. 20