Source-linked AI summary
Self-Reflective Multi-modal Reasoning for Short-Video Fake News Detection
Pinjie Xu, Yuzhou Yang, Zhikai Tan, Qichao Ying, Zaiyang Yu, Ce Li, Zhenxing Qian
TL;DR
Short-video fake-news detector는 명시적 자기 교정 reasoning과 cross-sample verification이 부족한 경우가 많다. SRM-FND는 self-reflective multimodal reasoning, topic-adaptive fine-tuning, confidence-driven review를 통해 이를 해결하며, in-domain 및 cross-dataset 평가에서 강력한 baseline을 능가한다.
문제
기존 short-video fake-news detector는 명시적 자기 교정 reasoning이 부족한 경우가 많아 spurious pattern에 취약하고 해석 가능성이 제한된다.
방법
SRM-FND는 contrastive deliberation과 prompt refinement를 통해 reflective rationale을 반복적으로 구성하고, topic-adaptive VLM fine-tuning으로 이를 전이하며, 불확실한 사례를 샘플 간에 검토한다.
결과
cross-dataset transfer에서 76.20 및 72.24 overall accuracy를 기록해 가장 강력한 기존 baseline을 각각 13.70 및 9.24 point 상회했다.
시사점 및 한계
SRM-FND는 더 신뢰할 수 있고 해석 가능한 prediction을 제공하면서 in-domain 및 cross-dataset short-video fake-news detection 성능을 모두 향상한다.
시사점 및 한계
ground-truth topic label을 사용할 수 없으므로 topic-classification accuracy는 측정할 수 없다.
Abstract
from arXiv · showhide
Recent fake news detection pipelines increasingly leverage large language models and vision-language models for reasoning-based analysis. However, several challenges remain open: improving reasoning quality through self-reflection without ground-truth chain-of-thought supervision, using improved reasoning to benefit downstream model fine-tuning, and connecting single-sample fraudulent-pattern discovery with cross-sample verification. We propose SRM-FND, a self-reflective multimodal reasoning framework for short-video fake news detection. SRM-FND develops higher-quality reasoning through contrastive deliberation, iterative root-cause diagnosis, and corrective prompt refinement. A Blind Analyst, Counter-Conclusion Reasoner, and Self-Consistency Arbiter collaboratively identify and retain discriminative rationales. The framework also incorporates dual-phase, topic-adaptive vision-language model fine-tuning to improve multimodal grounding and enable lightweight topic specialization. For uncertain cases, it performs confidence-driven cross-sample review by retrieving credible and suspicious co-event examples. Experiments on FakeSV and FakeTT show that SRM-FND outperforms strong baselines, produces more reliable and interpretable predictions, and delivers noticeable improvements in cross-dataset performance.
1 서론
SRM-FND는 self-reflective multimodal reasoning, topic-adaptive fine-tuning, confidence-driven cross-sample review를 결합해 표면 수준의 short-video fake-news detection이 지닌 한계를 다룬다. FakeSV와 FakeTT에서 기존 baseline보다 전체 및 cross-dataset accuracy를 향상한다.
- 동기: 기존 supervised multimodal fusion 방법은 표면 수준의 상관관계를 포착하지만 short-video fake-news detection을 위한 명시적 reasoning capability가 부족한 경우가 많다.이러한 시스템은 일반적으로 visual, textual, metadata 신호를 결합해 veracity를 예측한다.
- Framework: SRM-FND는 ground-truth CoT label 없이 contrastive deliberation, iterative root-cause diagnosis, corrective prompt refinement를 통해 더 높은 품질의 reasoning을 구성한다.Blind Analyst, Counter-Conclusion Reasoner, Self-Consistency Arbiter가 contrastive reasoning 과정을 공동으로 지원한다.
- 실증 결과: SRM-FND는 FakeSV와 FakeTT에서 전체 accuracy 91.33과 92.31을 달성하며, 가장 강력한 기존 baseline보다 각각 1.11과 3.01 point 향상된다.이 결과는 두 dataset 모두에서 framework의 in-domain 우위를 확립한다.
- 실증 결과: cross-dataset transfer에서 SRM-FND는 전체 accuracy 76.20과 72.24를 달성하며, 가장 강력한 기존 baseline보다 각각 13.70과 9.24 point 높은 성능을 보인다.보고된 transfer 결과는 training dataset를 넘어서는 상당한 성능 향상을 보여준다.
- Framework: 이 framework는 dual-phase topic-adaptive VLM fine-tuning과 confidence-driven cross-sample review를 사용해 단일 sample 분석과 uncertain case의 event-level verification을 연결한다.이 구성요소들은 향상된 reasoning을 detector에 전달하고 경량 topic specialization을 제공한다.
2 관련 연구
기존 멀티모달 가짜뉴스 탐지 방법은 콘텐츠 중심 패러다임과 증거 기반 패러다임을 중심으로 구성되며, 최근의 추론 증강 접근법은 대규모 언어 모델을 활용해 검증을 위한 중간 근거를 생성한다. 그러나 기존 추론 방법은 자기 교정과 경험 축적이 부족하므로, 가짜뉴스 탐지를 위한 자기 성찰적 추론이 요구된다.
- 멀티모달 가짜뉴스 탐지: 멀티모달 가짜뉴스 탐지 방법은 멀티모달 표현으로부터 진위 예측기를 학습하는 콘텐츠 중심 방법과 증거 기반 방법으로 구성된다.콘텐츠 중심 접근법은 명시적인 증거 검색 없이 뉴스를 멀티모달 잠재 표현으로 변환한다.
- 추론 증강 검증: 추론 증강 방법은 입력을 레이블에 직접 매핑하는 대신, 대규모 언어 모델을 활용해 중간 근거와 구조화된 추론 절차를 생성한다.이러한 접근법은 명시적인 추론 과정을 통해 해석 가능성과 의사결정 품질을 향상하는 것을 목표로 한다.
- 연구 동기: 기존 추론 증강 방법은 자기 교정과 경험 축적이 부족해 모호하거나 이전에 관찰되지 않은 사례에서의 강건성이 제한되며, 이는 가짜뉴스 탐지를 위한 자기 성찰적 추론의 필요성을 제기한다.이러한 한계는 FND에서 자기 성찰적 추론을 탐구하는 동기를 제공한다.
3 제안 방법
SRM-FND는 short-video fake news detection을 위해 자기성찰적 추론 구성, topic-adaptive multimodal fine-tuning, confidence-driven cross-sample review를 결합한다. 각 sample을 video, text, metadata로 표현한 뒤, 관련 event 전반에서 prediction을 선택적으로 특화하고 검증한다.
- 접근법 개요: SRM-FND는 contrastive CoT construction을 RCCA, dual-phase topic-adaptive VLM fine-tuning, confidence-driven cross-sample review와 통합한다.세 구성 요소는 각각 reasoning quality, multimodal grounding과 topic specialization, borderline prediction의 targeted verification을 향상한다.
- Multimodal Input Preprocessing: 각 sample은 keyframes, titles, ASR transcripts, on-screen text, engagement 및 commenter information, publication time, publisher profiles를 결합한다.Sample에는 binary fake-news labels와 네 가지 topic 중 하나인 Social Safety, Hard News, Specialized Knowledge, Life & Trivia도 부여된다.
- Confidence-Driven Cross-Sample Review: Topic routing은 측정 가능한 ground-truth accuracy 없이 VLM classification을 사용하며, uncertain prediction이 발생하면 credible and suspicious co-event witnesses를 selective retrieval한다.동일한 VLM이 preparation과 inference 중 topic classification을 수행해 systematic bias consistency를 유지한다. Uncertainty는 aggregated real 및 fake scores가 모두 threshold τ보다 낮을 때 요구된다.
- RCCA를 활용한 Contrastive CoT Construction: RCCA는 Blind Analyst의 topic-specific verdict를 opposing Counter-Conclusion Reasoner와 대조한 뒤, Arbiter가 중복 argument를 제거하고 discriminative rationales를 유지하도록 한다.Blind Analyst는 ground-truth label을 받지 않으며, Counter-Conclusion Reasoner는 shared prompt를 사용해 반대 conclusion을 뒷받침한다.
- Dual-Phase Topic-Adaptive VLM Fine-Tuning: Dual-phase fine-tuning은 먼저 domain-specific multimodal structure를 재구성한 다음, conclusion-first verdict-and-CoT supervision으로 lightweight topic-routed branches를 학습한다.첫 번째 phase는 fake-news labels와 분리되어 frames, transcripts, on-screen text, metadata, publisher signals를 정렬하며, adaptation에는 LoRA를 사용한다.
4 실험
SRM-FND는 FakeSV와 FakeTT에서 도메인 내 및 데이터셋 간 설정으로 평가되며, 다양한 backbone과 주제에서 우수한 성능을 보인다. 반복적 refinement는 약 3회 반복 후 양호한 성능에 도달하며, 이후 반복은 주로 데이터셋 간 결과를 개선한다.
- Framework 설정: 이 framework는 deliberation 역할과 RCCA optimizer 전반에서 공유 underlying model을 사용하며, speech는 텍스트에 통합되기 전에 Qwen3-ASR로 전사된다.Backbone으로는 Qwen3-VL-8B-Thinking과 InternVL3.5-8B가 포함되며, analyst 역할과 RCCA에는 GPT-5.1 또는 Claude-4.5를 사용할 수 있다.
- Dataset 및 baseline 설정: CoT 구성과 refinement에는 training split만 사용하고, validation으로 checkpoint와 hyperparameter를 선택하며, framework 준비 과정에서는 test set을 사용하지 않는다.이 설계는 성능과 inference cost 사이의 균형을 유지하는 동시에 reasoning 생성 과정에서 test set이 관여하는 것을 방지한다.
- 도메인 내 결과: FakeSV에서 91.33 overall accuracy, FakeTT에서 92.31을 달성한 Qwen3-VL은 FakeSV-VLM보다 각각 1.11 및 3.01 point 높다.InternVL3.5를 사용하면 SRM-FND는 FakeSV에서 90.04, FakeTT에서 91.30을 달성해 기존 baseline을 능가한다.
- 도메인 내 결과: Qwen3-VL은 모든 FakeSV 주제에서 accuracy가 88%를 초과하고 모든 FakeTT 주제에서 90%를 초과하며, InternVL3.5는 각각 86%와 89%를 초과한다.Table 3은 두 backbone의 주제별 결과를 보고하며, 일관된 주제 수준 성능을 뒷받침한다.
- 반복에 따른 Accuracy 추이: 약 3회 반복 후 fine-tuned model은 도메인 내 및 데이터셋 간 성능이 양호한 수준에 도달하며, 이후 반복에서는 점점 더 한계적인 향상만 나타난다.Blind Analyst가 최고점에 도달하면, 이에 대응하는 fine-tuned model도 도메인 내 및 데이터셋 간 성능의 최고점에 도달한다.
5 결론
SRM-FND는 short-video fake news detection을 위한 self-reflective multimodal reasoning framework다. Reflective reasoning, topic-adaptive optimization, confidence-driven cross-sample review를 결합해 grounding과 inference reliability를 향상한다.
- 5 결론: SRM-FND는 short-video fake news detection을 위한 self-reflective multimodal reasoning framework를 제안한다.
- 5 결론: Contrastive deliberation, iterative root-cause diagnosis, corrective prompt refinement를 통해 더 높은 품질의 self-reflective chain of thought를 생성한다.
- 5 결론: Dual-phase topic-adaptive LoRA optimization과 confidence-driven cross-sample review는 multimodal grounding과 inference reliability를 향상한다.
- 5 결론: 광범위한 실험을 통해 SRM-FND의 effectiveness, robustness, interpretability를 입증한다.