Source-linked AI summary

LUNG-KGMM: Knowledge-Guided Multimodal Learning for Lung Cancer Incidence Prediction

Chunlei Yang, Shuyan Li, Zhong Cao

arXiv:2608.14657v1cs.LGcs.CV

TL;DR

기존 lung cancer risk prediction은 단일 modality 데이터와 구조화된 clinical knowledge의 활용 부족으로 제한된다. LUNG-KGMM은 longitudinal EHR, leakage-sanitized radiology reports, chest-radiograph representations, guideline-derived knowledge를 통합해 1-to-6-year prediction을 수행하며, MIMIC에서 macro AUROC 0.885, AUPRC 0.507, Brier score 0.034를 달성했다. 한편 cross-cohort validation은 local adaptation의 필요성을 보여준다.

  • 문제

    일상 진료 환경의 lung cancer risk prediction은 불완전한 multimodal evidence, 잠재적인 report leakage, 충분히 구조화되지 않은 clinical guidance로 인해 여전히 제한된다.

  • 방법

    LUNG-KGMM은 longitudinal EHR, leakage-sanitized radiology reports, multiview chest-radiograph representations, report-triggered guideline relations를 결합해 1-to-6-year incident lung cancer prediction을 수행한다.

  • 결과

    MIMIC에서 최종 LUNG-KGMM input stack은 macro AUROC 0.885, AUPRC 0.507, Brier score 0.034를 달성했다.

  • 시사점 및 한계

    이 framework는 재현 가능한 lung cancer incidence-risk 연구를 지원하지만, Xiamen validation은 실제 배포에 local adaptation과 prospective validation이 필요함을 보여준다.

  • 시사점 및 한계

    재학습 없이 수행한 cross-cohort performance는 크게 감소했으며, 이는 local terminology mapping, recalibration, 그리고 추가적인 retraining이 필요함을 시사한다.

Abstract

from arXiv · show

Early identification of lung cancer risk is critical for timely intervention, yet existing prediction models are limited by their reliance on single data modalities and their inability to leverage structured clinical knowledge. We propose LUNG-KGMM, a knowledge-guided multimodal framework that integrates longitudinal electronic health records, radiology reports, chest radiograph representations, and guideline-derived knowledge for 1-to-6-year incident lung cancer prediction. To address modality heterogeneity and potential data leakage, we develop a leakage-sanitized report processing pipeline and a horizon-masked cumulative training objective that handles incomplete follow-up. We further introduce a knowledge-graph representation of clinical guidance that encodes report-triggered finding-attribute-action relations as an auditable knowledge stream. We build a multimodal development cohort from the publicly available MIMIC databases and construct a real-world validation cohort from the Xiamen Medical Big Data Platform. Extensive experiments on the MIMIC cohort demonstrate that LUNG-KGMM achieves superior performance over state-of-the-art methods, and validation on the Xiamen cohort further characterizes its cross-cohort portability and the need for local adaptation. The MIMIC development cohort is publicly accessible; the Xiamen cohort is governed by local data privacy regulations.

1 서론

폐암은 전 세계와 중국 인구 건강에 중대한 부담을 초래하며, 일상 진료에서의 위험 식별은 프로토콜 기반 LDCT 선별검사와 구별된다. LUNG-KGMM은 EHR, 누출이 제거된 보고서, 흉부 방사선사진, 가이드라인 관계를 활용한 지식 유도 multimodal 종단 예측으로 이 간극을 다룬다.

  • 서론: 폐암은 전 세계적으로 암 사망의 주요 원인으로 남아 있으며, 중국에서도 인구 건강의 중대한 과제다. 또한 더 광범위한 경제적 부담과 보건의료 자원 배분에도 영향을 미친다.중국에서는 China Pulmonary Health 연구와 국가 통계에 나타나듯 호흡기 동반질환과 흡연 관련 위험이 흔하다.
  • 서론: LDCT 선별검사는 고위험군에서 폐암 사망률을 낮추며, 가이드라인은 적격성, 감시, 시행, 폐결절 추적 관찰을 규정한다.위험 예측 및 폐결절 악성도 모델은 CT 선별검사 대상 선정 기준을 더욱 정교화한다.
  • 서론: 일상 진료에서의 위험 식별은 프로토콜 기반 선별검사와 다르다. 흉부 방사선사진은 LDCT 검사가 아니며, 가이드라인 특징은 방사선사진 픽셀에 LDCT 임계값을 적용하지 않기 때문이다.흡연 노출, 결절 주석, 추적 관찰 결정, 영상 픽셀이 불완전할 수 있으며, 보고서에는 정당한 index-time 소견과 잠재적인 진단 병력 정보가 함께 포함될 수 있다.
  • 서론: 이 프레임워크는 연도별 누적 라벨과 추적 관찰 mask를 사용해 index-time multimodal 데이터로부터 1-6년 신규 폐암 위험을 예측한다.이전 폐암 환자를 제외하고 EHR, 보고서, 가이드라인 용어에는 Transformer encoder를, 흉부 방사선사진 특징에는 multiview TorchXRayVision을 결합한다.
  • 서론: LUNG-KGMM은 EHR, 누출이 제거된 방사선 판독 보고서, 흉부 방사선사진, 보고서에 의해 촉발된 가이드라인 관계를 통합해 비교된 MIMIC 모델 중 가장 강한 point estimate를 달성한다.또한 본 연구는 1-6년 신규 폐암 라벨을 포함한 대규모 real-world Xiamen cohort를 구축해 cohort 내 및 cohort 간 평가를 수행한다.

2 관련 연구

선행 연구는 폐암 위험 예측을 위해 longitudinal EHR 데이터와 chest radiograph representation을 활용해 왔으며, 엄격한 cohort 정의, modality 정렬, 추적 관찰 처리, external validation을 강조한다. 영상 연구는 single-task classifier에서 longitudinal 및 multimodal risk modeling으로 발전해 왔다.

  • EHR 기반 예측: EHR 모델은 진단, 처치, 약물, 검사실 수치, 방문 시퀀스를 recurrent, attention-based, Transformer-based architecture로 변환해 환자 수준의 폐암 위험 representation을 생성하며, Doctor AI, RETAIN, Med-BERT를 포함한다.
  • 방법론적 요구사항: 폐암 발생 예측에는 index time 정의, 기존 암 제외, modality 정렬, 추적 관찰 masking, external validation을 신중하게 수행해야 하며, PyHealth를 사용하는 경우에도 마찬가지다.
  • 의료 영상 AI: Chest radiograph 연구는 single-task classifier에서 longitudinal risk prediction과 multimodal clinical modeling으로 발전했으며, 재사용 가능한 pretrained representation과 확장성 있는 feature-learning encoder가 이를 뒷받침한다.

3 제안 방법

LUNG-KGMM은 index 이전 EHR 데이터, leakage-sanitized 방사선 판독문, multiview 흉부 X선 특징, report-triggered guideline knowledge를 통합한다. modality-specific architecture는 concat fusion과 불완전한 추적관찰을 위한 horizon-masked cumulative-risk training을 사용한다.

  • 방사선 판독문: Report processing은 직접적인 암 진단, 이전 암 병력, 치료 이력 관련 용어를 제거하는 한편 index 시점의 소견과 권고는 유지하며, 토큰 수는 256개로 제한한다.MIMIC과 Xiamen 판독문은 서로 다른 추출 용어 유형을 사용하며, 이는 cohort별 판독문 내용의 차이를 반영한다.
  • Image representation: Image branch는 1024차원의 TorchXRayVision DenseNet121 특징을 사용하고, 정면 PA/AP와 측면 embedding을 평균내어 study-level multiview 표현을 구성한다.기본 image baseline은 대신 grayscale 224픽셀 흉부 X선 입력을 사용하는 CNN을 사용한다.
  • Guideline knowledge: 최종 knowledge route는 guideline-derived knowledge-graph structure를 사용해 문서화된 report trigger를 finding-attribute-action relation token으로 확장한다.Relation은 nodule size와 density, persistence assessment, suspicious morphology, diagnostic-workup recommendation과 같은 개념을 인코딩한다. KG는 독립적으로 진료를 관찰하거나 권고하는 것이 아니라 report evidence를 재인코딩한다.
  • Model architecture: LUNG-KGMM은 EHR token, leakage-sanitized report token, multiview XRV image feature, knowledge-graph guideline term을 concat fusion으로 결합한다.Prediction head는 1년부터 6년까지의 lung cancer incidence에 대한 6개의 cumulative risk logit을 출력한다. 평가한 fusion 방식 중 concat fusion이 macro 1/3/6-year AUROC에서 가장 높은 성능을 보였다.
  • Training objective: Horizon-masked cumulative binary cross-entropy는 6개 logit 각각에 추적관찰 mask를 가중하고, 관찰 가능한 horizon에 대해 정규화하며, 관찰되지 않은 horizon은 제외한다.Training에는 learning rate 1e-3, weight decay 1e-5, gradient-norm limit 5.0, dropout 0.2, early stopping patience 4를 사용하는 Adam을 적용한다.

4 실험

MIMIC에서 LUNG-KGMM은 고전적 및 multimodal baseline을 능가해 macro AUROC 0.885, macro AUPRC 0.507, Brier score 0.034를 달성했다. Ablation 결과 sanitization된 report, knowledge graph guideline term, 상호보완적인 multimodal input의 중요성이 확인됐으며, Xiamen은 privacy restriction하의 실제 환경 검증을 뒷받침했다.

  • Cohort: 이 연구는 multimodal 개발과 방법 비교에 MIMIC을 사용했으며, Xiamen cohort는 privacy restriction의 적용을 받는 실제 환경 EHR 및 radiology-report validation data를 제공했다.MIMIC은 MIMIC-IV 3.1, MIMIC-IV Note, MIMIC-CXR image, MIMIC-CXR report 로 구성됐다.
  • 방법 비교: LUNG-KGMM은 MIMIC에서 macro AUROC 0.885, macro AUPRC 0.507, Brier score 0.034를 달성해 MLP 0.870, MedFuse-style 0.825, DrFuse-style 0.876을 능가했다.이 비교는 동일한 MIMIC test split과 1/3/6-year incidence endpoint를 사용했으며, 성능 향상은 point estimate상 소폭 개선일 뿐 clinical benefit을 확립하지는 않는다.
  • 임상 운용 특성: 상위 10% risk threshold에서 positive predictive value는 1-, 3-, 6-year risk에 대해 각각 0.135, 0.271, 0.510이었고, corresponding sensitivity는 0.764, 0.718, 0.541이었다.specificity >=0.95에서 sensitivity는 1-, 3-, 6-year risk에 대해 각각 0.709, 0.679, 0.541이었다.
  • 단일 modality: Report-only macro AUROC는 original report의 0.854에서 leakage-sensitive sanitization 후 0.873으로 상승했으며, EHR-only, CNN, multiview XRV model은 각각 0.743, 0.620, 0.787에 도달했다.Report는 nodule, mass-like lesion, ground-glass component, suspicious morphology, follow-up recommendation을 포함한 semantic risk information을 포착했으며, sanitization은 명시적인 cancer 및 treatment-history 표현을 제거했다.
  • Guideline representation: Knowledge-graph guideline term은 guideline term이 없을 때의 0.860에 비해 macro AUROC 0.885와 AUPRC 0.507을 달성했으며, structured term, retrieved text, executable path를 능가했다.Relation-aware route는 finding, risk modifier, management concept를 감사 가능한 representation으로 연결했지만, independent modality라기보다 report와 부분적으로 중복되는 상태로 남았다.

1/3/6 AURO · 1/3/6 AUPRC

보고된 1/3/6 AURO 및 AUPRC 평가 전반에서 knowledge-graph terms가 제시된 결과 중 가장 우수한 성능을 보였고, multimodal configurations와 대안적 guideline representations가 이에 대한 비교 결과를 제공했다. 재학습 없이 cohort 간 전이한 결과, task schema와 architecture는 이식 가능했지만 고정된 learned weights에는 local adaptation이 필요했다.

  • 1/3/6 AUPRC: EHR plus report는 0.845, 0.391, 0.039를 달성한 반면, EHR plus multiview XRV는 0.820, 0.357, 0.041을 달성했다.전체 입력은 EHR, leakage-sanitized report tokens, multiview XRV features, 그리고 지정된 guideline representation을 결합한다.
  • 1/3/6 AUPRC: guideline representations는 structured terms plus score에서 0.876, 0.475, 0.035, retrieved guideline text에서 0.873, 0.499, 0.034, executable path plus score에서 0.868, 0.497, 0.035를 산출했다.이는 평가에서 보고된 세 가지 대안적 guideline representations다.
  • 1/3/6 AUPRC: report-containing rows는 original report로 명시된 경우를 제외하고 leakage-sanitized report tokens를 사용했으며, complete input에는 EHR, report, multiview XRV features, 그리고 지정된 guideline representation이 포함됐다.이 조건은 modality 및 guideline 비교를 위한 입력 구성을 정의한다.
  • 4.4 Real-world Validation in Xiamen E-cohort: Table 4는 두 가지 no-retraining transfer settings를 평가했다. 하나는 EHR, leakage-sanitized report, KG terms를 사용한 primary no-image setting이고, 다른 하나는 XRV features를 추가한 negative sensitivity setting이다.image-enabled setting은 실제 MIMIC CXR embeddings를 사용했지만, Xiamen에서는 report-conditioned synthetic XRV features를 사용했으며 image-domain mismatch 때문에 성능이 더 낮았다.
  • 4.4 Real-world Validation in Xiamen E-cohort: transfer results는 task schema와 architecture가 cohort 간 실행될 수 있음을 보였지만, learned weights는 English 및 Chinese reports 또는 real 및 synthetic image representations 사이에서 not directly transportable했다.언어, 보고 방식, 의료 시스템, image availability의 차이 때문에 deployment에는 terminology harmonization, feature alignment, recalibration, 그리고 높은 가능성으로 site-specific retraining이 필요하다.

5 한계

이 연구는 LDCT가 아닌 chest radiographs를 사용하고, CXR pixels에 대한 적용 가능성이나 guideline-adherent decisions를 확립하지 않은 채 CT-oriented guidance를 knowledge structures에 통합했다는 한계가 있다. 또한 sanitized report-only model이 complete model의 성능에 근접해, 성능 향상을 multimodal integration의 효과로 귀속하는 데에도 한계가 있음을 보였다.

  • 5 한계: MIMIC-CXR는 LDCT가 아닌 chest radiographs를 포함하므로 multimodal framework의 직접적인 임상적 범위를 제한한다.knowledge graph는 radiology-report concepts를 문서화하지만 CT-oriented guidance에서 도출된 relations를 포함한다.
  • 5 한계: knowledge graph를 Lung-RADS 또는 Fleischner management criteria를 CXR pixels에 적용하거나 guideline-adherent clinical decisions를 입증한 것으로 해석해서는 안 된다.
  • 5 한계: Macro AUROC는 sanitized report-only model에서 0.873, complete model에서 0.885로, 두 모델의 성능이 근접하게 일치함을 보였다.

6 결론

LUNG-KGMM은 누출 제어, 추적 관찰 마스킹, 가이드라인에서 도출한 관계를 다중모달 임상 데이터와 통합해 1-to-6년 폐암 발생 예측을 수행하는 재현 가능한 프레임워크를 제공한다. 또한 이 과제 스키마를 데이터 거버넌스가 적용되는 실제 임상 환경에서 평가한다.

  • 6 결론: LUNG-KGMM은 1-to-6년 폐암 발생 위험을 예측하는 재현 가능한 프레임워크를 제공한다.
  • 6 결론: MIMIC에서 이 프레임워크는 longitudinal EHR, leakage-sanitized radiology reports, pretrained chest-radiograph representations, report-triggered guideline relations를 통합한다.명시적인 cohort construction, follow-up masking, modality ablation을 유지한다.
  • 6 결론: Xiamen 실제 임상 검증은 데이터 거버넌스가 적용된 임상 환경에서 task schema를 평가할 수 있음을 보여준다.

PRCV 2026 LUNG-KGMM 보충 부록 … Xiamen 보고서 조건부 합성 이미지 음성 대조 분석

보충 부록에서는 공개 MIMIC 코호트와 병원 기반 Xiamen 코호트에서 누출을 고려한 index-time 멀티모달 실험을 정의한 뒤, Xiamen 검증 및 합성 이미지 민감도 분석을 보고한다. EHR, 비식별화된 reports, guideline knowledge를 결합했을 때 LUNG-KGMM은 Xiamen 성능을 향상했지만, 합성 이미지는 제한적인 추가 가치만 제공했으며 실제 영상 근거로 간주하지 않았다.

  • 데이터셋 및 실험 설정: 실험에서는 index-time history, report tokens, 누적 1-6-year incidence labels, horizon-specific follow-up masks, 그리고 모델 선택을 위한 macro 1/3/6-year AUROC를 사용했다.Macro AUPRC와 Brier score는 보조 지표였으며, 공개 development cohort에는 MIMIC-IV, MIMIC-IV Note, MIMIC-CXR radiographs, radiology reports가 결합되었다. Xiamen 데이터에는 현지 승인과 보안 검토가 필요했다.
  • 코호트 내, 합성 이미지 및 코호트 간 실험: 코호트 내 분석에서는 환자 수준의 train/validation/test split을 사용했고, cross-cohort no-retraining test에서는 no-image KG transfer와 음성 image-domain sensitivity setting을 사용해 portability를 평가했다.MIMIC에는 실제 CXR-derived XRV features가 포함된 반면, 주요 Xiamen 실험에서는 EHR, 비식별화된 reports, KG terms를 사용했으며 Xiamen의 synthetic subset에서는 report-conditioned image features를 사용했다.
  • Radiology report 처리 및 누출 민감 비식별화: Radiology reports는 언어별 term extraction과 최대 256 tokens 길이를 적용한 index-time clinical interpretations로 처리했으며, 주요 report 포함 실험에서는 직접적인 diagnosis 및 treatment-history language를 제거했다.비식별화 과정에서는 정당한 index-time risk findings를 보존하고 cancer diagnosis, prior cancer, staging, treatment 및 관련 terms를 제외했다.
  • 문헌 기반 Baselines: MedFuse-style 및 DrFuse-style baselines에는 주요 실험과 동일한 splits, masks, 비식별화된 reports, 사용 가능한 CXR inputs, optimization, metrics를 적용했지만, 일반적으로 LUNG-KGMM 고유의 KG 및 multiview XRV 추가 요소는 포함하지 않았다.이 설정은 모든 비교 방법이 최종 모델의 domain-specific components로부터 이득을 얻는지를 평가하는 것이 아니라, 방법론 계열을 평가한다.
  • 보충 결과: MIMIC test set의 예측 위험도 상위 10% 집단에서 PPV는 1 year의 0.135에서 6 years의 0.510으로 증가했으며, 이는 더 긴 horizon에서 향후 lung-cancer events가 더욱 강하게 농축됨을 나타낸다.보충 operating-point 분석에서는 specificity를 0.95 이상으로 유지하는 thresholds도 검토했다.
  • Xiamen 코호트 내 검증: Xiamen EHR-plus-report modeling에 KG guideline terms를 추가하자 macro AUROC가 0.912에서 0.919로 향상되었고, AUPRC는 0.683, Brier score는 0.038을 기록했다.Table S2는 EHR-only 및 report-only macro AUROC가 각각 0.873과 0.870임을 보고한다. 주요 Xiamen 분석에서는 privacy 및 data-access restrictions 때문에 원본 imaging pixels를 사용하지 않았다.
  • Xiamen 보고서 조건부 합성 이미지 음성 대조 분석: Report-conditioned synthetic-image branch는 exploratory missing-image sensitivity analysis였으며, EHR plus synthetic-image features는 macro AUROC 0.810에 도달했고 KG-augmented multimodal modeling은 0.809 및 AUPRC 0.219에 도달했다.Synthetic image features만으로는 discrimination이 제한적이었으며, 이러한 결과는 generated images가 real imaging pixels를 대체하거나 original report text를 넘어 명확한 가치를 추가한다는 점을 입증하지 않는다.
Loading 2608.14657v1…