Source-linked AI summary
NeoRed: A Knowledge-Logic-Alignment Multimodal Large Language Model for Neonatal Respiratory Disease Diagnosis
Yinan Liu, Hongtai Xia, Haoran Xu, Jiankang Hong, Jingkuan Song, Ye Luo
TL;DR
기존 multimodal model은 신생아와 성인 간 domain gap을 보이고 임상 맥락을 충분히 통합하지 못하기 때문에 신생아 호흡기 진단은 여전히 어렵다. NeoRed는 신생아 datasets와 Knowledge-Logic-Alignment framework를 통해 이를 해결하며, 신생아 benchmark에서 주요 MLLM보다 우수한 성능을 보이는 동시에 외부 검증으로 일반화된다.
문제
기존 MLLM은 multimodal 신생아 호흡기 진단에서 신생아와 성인 간 domain gap과 임상 맥락 통합 부족이라는 문제를 보인다.
방법
NeoRed는 두 개의 real-world 신생아 multimodal dataset과 expert prior를 주입하고 진단 일관성을 강제하며 visual evidence와 결론을 정렬하는 Knowledge-Logic-Alignment module을 결합한다.
결과
NeoRed는 NeoCXR와 NeoCXR-EV에서 주요 MLLM 8개보다 우수하며, 외부 disease-distribution shift 상황에서도 최고 성능을 유지한다.
시사점 및 한계
결과는 신생아 호흡기 진단 보고서 생성을 위해 expert-informed alignment를 적용한 신생아 특화 multimodal modeling의 타당성을 뒷받침한다.
시사점 및 한계
진단 prior는 두 명의 neonatologist 간 합의로 결정된 disease–modality relevance에 의존한다.
Abstract
from arXiv · showhide
Neonatal respiratory diseases are a major cause of neonatal morbidity and mortality, posing substantial challenges in clinical practice. Despite recent advances, existing Multimodal Large Language Models (MLLMs) face two key limitations in neonatal diagnosis: (1) domain gap arising from predominantly adult training data; (2) insufficient integration of multidimensional clinical context for accurate diagnosis. To address these challenges, we collect two real-world clinical datasets (NeoCXR and NeoCXR-EV) and propose NeoRed, to the best of our knowledge, the first MLLM tailored for neonatal respiratory disease, filling the gap in neonatal diagnostic reports generation. To enhance joint diagnosis from heterogeneous clinical context and chest X-rays, we design a novel Knowledge-Logic-Alignment (KLA) framework which constrains model behavior from three perspectives: 1) Knowledge Prior Injection (KPI) incorporates neonatologist-inspired diagnostic priors into multimodal representations, guiding disease-specific attention across modalities; 2) Diagnostic Logic Constraint (DLC) aligns the semantics of generated reports with multimodal diagnostic logic; and 3) Visual Semantic Alignment (VSA) establishes semantic correspondence between visual features and imaging conclusions. Extensive experiments demonstrate that NeoRed enables accurate neonatal diagnostic reports generation, achieving ROUGE-L of 53.29% and Clinical Efficacy F1 score of 65.19% on NeoCXR, outperforming existing MLLMs. NeoRed also preserves competitive report generation performance on adult benchmarks (MIMIC-CXR and IU-Xray). Datasets will be available upon application.
서론
신생아 호흡기 질환은 조기·정확한 진단이 필요하지만, 기존 MLLM은 신생아–성인 도메인 격차와 임상 맥락 및 흉부 X-ray의 통합 부족에 직면한다. NeoRed는 새로운 멀티모달 데이터셋과 Knowledge-Logic-Alignment framework를 기반으로 이러한 한계를 해결하는 신생아 특화 진단 MLLM이다.
- 신생아 호흡기 질환은 신생아 이환율과 사망률의 주요 원인이므로, 적시 개입과 예후 개선을 위해 조기·정확한 진단이 필수적이다.
- 신생아와 성인 집단은 서로 다르며, 모델이 CXR과 맥락을 함께 해석할 때 임상 지표를 충분히 우선시하지 않기 때문에 기존 MLLM은 임상 적용에 여전히 어려움이 있다.
- NeoRed는 신생아 호흡기 질환 진단에 특화된 최초의 MLLM으로 제안되며, 신생아 CXR과 임상 맥락을 함께 활용해 진단 보고서를 생성한다.
- NeoRed는 흉부 X-ray와 임상 맥락을 활용한 멀티모달 공동 진단을 향상하기 위해 새로운 Knowledge-Logic-Alignment framework를 도입한다.
- 이 연구는 도메인 격차를 해소하고 신청 기반 접근을 통해 후속 연구를 지원하기 위한 실세계 멀티모달 신생아 보고서 생성 데이터셋인 NeoCXR과 NeoCXR-EV를 소개한다.
관련 연구
일반 MLLM은 대규모 image–text 사전학습에서 instruction-tuned 시각 추론으로 발전했으며, 의료 MLLM은 점차 radiology와 visual question answering 과제를 지원하고 있다. 그러나 제한적인 domain-specific knowledge와 성인 데이터 중심의 학습으로 인해 neonatal 진단 모델링은 아직 충분히 발전하지 못했다.
- 일반 MLLM: 일반 MLLM은 image–text 사전학습 multimodal representation에서 visual alignment와 reasoning이 향상된 instruction-tuned model로 발전했다.Flamingo와 BLIP은 대규모 image–text 사전학습을 확립했으며, LLaVA, Qwen-VL, InternVL, LLaVA-NeXT, LLaVA-OneVision은 language-space projection, instruction tuning, visual encoding, multi-stage training을 발전시켰다.
- 연구 공백: 이러한 발전에도 불구하고 기존 의료 MLLM은 domain-specific knowledge가 부족하고 주로 성인 데이터로 학습되었기 때문에 neonatal 진단에 신뢰성 있게 대응하지 못한다.이는 neonatal 특이적 질병 패턴과 진단 과정을 모델링하는 능력을 제한한다.
- 의료 MLLM: 의료 MLLM은 이제 general-purpose model과 task-specific model을 통해 radiology report generation과 medical visual question answering을 다룬다.BiomedGPT, LLaVA-Med, UMIT, HuatuoGPT-Vision, Lingshu는 multimodal alignment와 diagnostic reasoning을 강조하며, LLaVA-Ultra, LLaVA-Rad, RadFM은 2D 및 3D radiological understanding을 목표로 한다.
NeoCXR 및 NeoCXR-EV 데이터셋
NeoCXR와 NeoCXR-EV는 서로 다른 병원에서 이질적 수집 파이프라인을 통해 구축된, 윤리 승인을 받고 비식별화된 두 개의 신생아 호흡기 데이터셋이다. 두 데이터셋은 신생아 진단 로직을 중심으로 구성된 구조화된 임상 맥락과 흉부 방사선 영상을 결합한다.
- 데이터셋 구축: 이질적 수집 파이프라인은 Hospital A의 바로 사용할 수 있는 AP CXR 및 메타데이터와 Hospital B의 다중 뷰 CXR 및 PDF 임상 기록을 처리한다.이 파이프라인은 두 병원의 서로 다른 데이터 형식을 수용하도록 설계되었다.
- 데이터셋 구축: NeoCXR는 2,466명의 환자에서 수집한 6,278개 샘플로 구성되며, 환자 단위 7:1:2 train-validation-internal-test 분할을 사용한다. NeoCXR-EV는 590명의 환자에서 수집한 1,089개 샘플로 구성되어 external validation에 사용된다.이 데이터셋 요약은 Table 1에 제시되어 있으며, 두 데이터셋 모두 기관 윤리 승인을 받았고 비식별화되었다.
- 임상 맥락: 임상 요인은 신생아 질병의 진행과 neonatologist의 진단 로직에 따라 발달 요인, 주산기 위험, 생리학적 상태로 구조화된다.발달 요인에는 성숙도와 성장이 포함되며, 주산기 위험은 산모 및 산과적 상태를 포괄하고, 생리학적 상태는 출생 직후 상태를 나타낸다.
- 임상 맥락: 임상 요인은 두 데이터셋 모두에서 높은 빈도로 나타나지만, NeoCXR와 NeoCXR-EV 사이에서 그 분포는 뚜렷하게 다르다.Figure 3은 데이터셋별 각 임상 요인의 완전성 비율을 보고한다.
- 임상 맥락: 범주별 token은 임상 입력을 명시적으로 구분하며, 일관된 모델 입력을 위해 누락된 범주는 “제공되지 않음”으로 대체된다.구분자는 <dev>...</dev>, <peri>...</peri>, <phys>...</phys>이다.
방법론
NeoRed는 신생아 흉부 X-ray와 구조화된 임상 맥락을 결합해 영상 소견과 질환 진단을 포함한 보고서를 생성한다. KLA framework는 보조 학습 목적함수를 통해 진단 prior, 진단 논리 제약, 시각-의미 정렬을 통합한다.
- 전체 architecture: NeoRed는 신생아 CXR과 구조화된 임상 맥락을 입력으로 받아 영상 및 텍스트 token을 연결하고, 영상 소견과 질환 진단을 포함한 구조화된 보고서를 autoregressive하게 생성한다.model은 ground-truth report를 기준으로 autoregressive cross-entropy를 최소화해 보고서 생성을 학습한다.
- Knowledge Prior Injection: KPI는 neonatologist가 초기화한 disease-modality prior matrix로 발달, 주산기, 생리학적, CXR feature에 가중치를 부여해 질환별 modality dependency를 학습한다.그 결과로 얻은 prior, CXR, 임상 representation은 binary cross-entropy loss를 통한 독립적인 질환 분류 supervision을 받는다.
- Knowledge-Logic-Alignment: KLA는 각각 진단 prior를 주입하고, 진단 일관성을 제약하며, image feature를 영상 소견과 정렬하는 KPI, DLC, VSA로 구성된다.framework는 숙련된 neonatologist의 진단 논리를 모사하고 multimodal diagnosis를 개선하도록 설계된다.
- Diagnostic Logic Constraint: DLC는 BOS hidden state에 진단 supervision을 주입하고 global/local classification loss와 Jensen-Shannon divergence를 사용해 생성 보고서와 진단 논리 간 일관성을 강제한다.BOS state는 이후 token이 self-attention을 통해 이에 접근할 수 있으므로 global diagnostic anchor로 기능한다.
- Visual Semantic Alignment: VSA는 pooled image-token representation과 masked imaging-conclusion representation 사이에 bidirectional contrastive learning을 적용해 시각적으로 뒷받침되는 결론을 유도한다.전체 objective는 language-modeling loss와 KPI, DLC, VSA auxiliary loss를 결합한다.
실험
실험에서는 신생아 및 성인 chest X-ray report generation benchmark에서 모델을 평가하며, NeoCXR, NeoCXR-EV, MIMIC-CXR, IU-Xray와 지정된 test-set sample 수를 포함한다.
- 평가 benchmark: 평가에는 NeoCXR의 내부 test set 1,434 samples와 전체 NeoCXR-EV set 1,089 samples가 사용된다.
- 평가 benchmark: 성인 평가는 공식 MIMIC-CXR 및 IU-Xray test set을 사용하며, 비어 있는 findings 또는 impression section을 제거한 후 각각 2,737 및 3,193 samples를 유지한다.
- 평가 metrics: 생성된 report는 natural-language metrics를 사용해 평가한다.
결과
NeoRed는 신생아 벤치마크에서 zero-shot generalist 및 의료 MLLM보다 우수한 성능을 보이고, 성인 보고서 생성에서도 경쟁력을 유지하며, 신생아 도메인 적응과 KLA framework의 이점을 얻는다. Ablation 결과는 KLA module, expert prior, multimodal fusion, clinical context의 역할을 뒷받침한다.
- 신생아 벤치마크 성능: NeoRed는 NeoCXR에서 Qwen3-VL-8B (24.25% F1)와 HuatuoGPT-V-7B (9.73% F1)를 크게 앞서며, disease distribution shift가 있는 NeoCXR-EV에서도 최고 성능을 유지한다.모든 pair-wise average-performance 비교는 통계적으로 유의하다 (p < 0.05).
- 신생아 벤치마크 성능: 신생아 도메인 fine-tuning은 Qwen3-VL-8B와 LLaVA-Rad-7B에서 각각 NeoCXR에 대해 35.12%와 39.45%, NeoCXR-EV에 대해 6.45%와 21.12%의 평균 성능 향상을 가져온다.KLA를 적용하면 NeoRed는 NeoCXR에서 fine-tuned LLaVA-Rad를 2.97%, NeoCXR-EV에서 Qwen3-VL을 4.52% 더 앞선다.
- 성인 벤치마크로의 일반화: NeoRed는 성인 벤치마크에 대한 일반화 성능도 유지하며, MIMIC-CXR에서 26.73%, IU-Xray에서 33.01%를 달성해 각각 LLaVA-Rad-7B와 Lingshu에 이어 두 번째로 높은 순위를 기록한다.LLaVA-Rad-7B는 성인 흉부 X-ray에 특화되어 최적화되었다.
- KLA framework ablation: KPI 또는 DLC를 제거하면 주로 clinical-efficacy metric이 저하되는 반면, VSA를 제거하면 natural-language-generation 성능이 주로 악화되어 KLA 구성 요소들이 상호보완적으로 기여함을 보여준다.Internal ablation 결과 모든 KPI와 DLC 구성 요소가 기여하며, DLC 구성 요소 중 Llc가 전체 영향이 가장 크다.
- Prior ablation: Expert-consensus disease–modality prior는 random, all-one, all-zero initialization보다 우수하며, 학습 및 진단 단계에서 NeoRed는 vision-dominated LLaVA-Rad보다 더 균형 잡힌 image–clinical attention을 달성한다.Attention ratio는 100개의 NeoCXR 사례에서 head와 token에 걸쳐 평균화했다.
- Clinical context ablation: 모든 clinical context를 제거했을 때 최악의 결과가 나타나며, 어떤 clinical category를 제거해도 성능이 저하된다. 특히 developmental factor와 perinatal risk가 clinical-efficacy metric에 가장 큰 영향을 미친다.제공된 문단은 clinical text의 유무에 따른 진단 사례 비교도 보고하지만, 최종 결과는 잘려 있다.
결론
본 연구는 신생아 호흡기 질환 진단에 특화된 최초의 MLLM인 NeoRed와 두 개의 실제 신생아 데이터셋을 소개한다. 임상 맥락을 구조화하고 Knowledge-Logic-Alignment 프레임워크를 적용해 멀티모달 진단을 개선한다.
- NeoRed는 신생아 호흡기 질환 진단에 특화된 최초의 MLLM으로 제안되어, 해당 분야의 중요한 공백을 해소한다.
- 본 연구는 신생아 호흡기 질환 진단을 지원하기 위해 두 개의 실제 신생아 데이터셋인 NeoCXR과 NeoCXR-EV를 구축한다.
- NeoRed는 임상 지표를 발달 요인, 주산기 위험, 생리적 상태로 체계화한 뒤, 멀티모달 진단을 위한 새로운 KLA 프레임워크를 적용한다.