Source-linked AI summary
Highly accurate model for prediction of lung nodule malignancy with CT scans
Jason Causey, Junyu Zhang, Shiqian Ma, Bo Jiang, Jake Qualls, David G. Politte, Fred Prior, Shuzhong Zhang, Xiuzhen Huang
TL;DR
CT scan에서 폐결절 악성을 예측하는 computational approach는 숙련된 영상의학과 전문의와 유사한 성능에 도달하는 데 어려움을 겪어 왔다. NoduleX는 deep-learning CNN과 radiomic feature를 결합해 independent validation에서 약 0.99 AUC를 달성했다.
문제
CT scan에서 폐결절 악성을 예측하는 computational approach는 숙련된 영상의학과 전문의와 비교 가능한 성능을 달성하는 데 어려움을 겪어 왔다.
방법
NoduleX는 별도의 training 및 validation dataset을 사용해 CNN, radiomic quantitative image feature, combined model을 체계적으로 비교한다.
결과
폐결절 악성 예측을 위한 independent validation test에서 ~0.99 AUC를 달성했다.
시사점 및 한계
NoduleX는 CT scan에서 폐결절 악성을 높은 정확도로 예측하기 위한 effective framework를 제공한다.
시사점 및 한계
이 model은 CT image quality 또는 ground-truth definition이 현저히 다른 dataset에는 직접 적용되지 않을 수 있다.
Abstract
from arXiv · showhide
Computed tomography (CT) examinations are commonly used to predict lung nodule malignancy in patients, which are shown to improve noninvasive early diagnosis of lung cancer. It remains challenging for computational approaches to achieve performance comparable to experienced radiologists. Here we present NoduleX, a systematic approach to predict lung nodule malignancy from CT data, based on deep learning convolutional neural networks (CNN). For training and validation, we analyze >1000 lung nodules in images from the LIDC/IDRI cohort. All nodules were identified and classified by four experienced thoracic radiologists who participated in the LIDC project. NoduleX achieves high accuracy for nodule malignancy classification, with an AUC of ~0.99. This is commensurate with the analysis of the dataset by experienced radiologists. Our approach, NoduleX, provides an effective framework for highly accurate nodule malignancy prediction with the model trained on a large patient population. Our results are replicable with software available at http://bioinformatics.astate.edu/NoduleX.
결과
NoduleX는 deep-learning CNN feature와 radiomic 정량 영상 feature를 사용해 임상 CT scan에서 폐 결절 악성도를 분류한다. LIDC/IDRI data에서 높은 validation 성능을 보였으며, S1 대 S45 분류에서 AUC 0.993에 도달했다.
- NoduleX: 결절 악성도 분류 접근법: NoduleX는 deep-learning convolutional neural network feature와 radiomic 정량 영상 feature를 결합해 임상 CT scan에서 폐 결절 악성도를 분류한다.이 framework는 Figure 1에 제시되어 있으며, radiomic feature는 radiologist가 식별한 시각적 단서를 포착하도록 설계되었고 radiologist segmentation과 함께 사용되었다.
- NoduleX는 높은 정확도로 일관된 성능을 보인다: CNN prediction과 radiomic 정량 영상 feature를 결합한 S1 대 S45 model은 0.993 AUC, 95.2% accuracy, 94.2% sensitivity, 96.2% specificity를 달성했다.CNN-only 모델은 AUC 0.974, 정확도 91.3%, 민감도 88.5%, 특이도 94.2%를 달성했으며, S12-versus-S45 모델은 AUC 0.938과 정확도, 민감도, 특이도 각각 87.9%를 달성했다.
- LIDC/IDRI cohort의 결절 악성도 분류를 위한 radiomics 접근법: Random Forest radiomics baseline은 S1 대 S45에서 mean AUC 0.91과 mean accuracy 81%, S12 대 S45에서 mean AUC 0.86과 mean accuracy 75%를 평균적으로 보였다.각 baseline은 양성 training nodule 1개와 음성 training nodule 1개를 사용했으며, 나머지 nodule은 200회 반복에 걸쳐 test되었다.
논의
NoduleX는 독립적인 LIDC/IDRI 검증 테스트에서 폐 결절 악성도 예측에 대해 ~0.99 AUC를 달성했으며, 이는 숙련된 영상의학과 전문의의 판독과 대등하다. 논의에서는 평가상의 함정, 데이터셋의 한계, 그리고 더 큰 CT 데이터셋으로 재학습할 수 있는 프레임워크의 잠재력을 강조한다.
- 평가 고려사항: NoduleX 평가에서는 분류 결과를 보고할 때 독립 검증, 환자 수준 분리, 크기 독립적 테스트, 완전한 정보의 사용이 필요하다.논의에서는 이러한 요소들이 폐 결절 악성도 모델 평가에 편향을 유발하거나 평가를 약화할 수 있는 흔한 함정이라고 지적한다.
- 한계: 선행 모델과의 직접적인 절대 비교는 연구마다 proprietary 데이터셋이나 공개 데이터의 서로 다른 부분집합을 사용하는 경우가 많아 어렵다.Shewaye and Mekonnen [2016]은 이러한 차이로 인해 완전히 다른 데이터셋에서 computational approach를 교차 검증하기 어렵다고 인용된다.
- 한계: LIDC/IDRI cohort는 매우 정교한 CNN 모델을 학습하기에는 too small하며, 학습과 검증이 동일한 cohort에 의존한다.이러한 제약은 NoduleX의 성능을 해석하고 평가된 데이터 외부로 일반화하는 데 어려움을 초래한다.
- 해석: Radiomics feature는 전문가가 매우 다른 class로 분류한 결절들을 구별할 수 있으며, 이는 영상의학과 전문의의 평점을 ground truth로 사용하는 악성도 예측이 비교적 쉽다는 점을 시사한다.논의에서는 이 결과를 이용 가능한 LIDC/IDRI classification problem의 중요한 특성으로 설명한다.
- 향후 연구 방향: NoduleX는 더 큰 CT 데이터셋으로 재학습할 수 있으며, 새로운 scan과 방사선 전문의의 지식이 축적되면 업데이트할 수 있다.저자들은 이 framework가 다른 데이터셋에서도 유사하게 높은 정확도를 유지할 수 있을 것으로 예상한다.
- 주요 결과: 네 명의 숙련된 흉부 영상의학과 전문의가 분류한 1018명의 LIDC/IDRI 환자에서 >1000개 결절을 사용한 독립 검증 테스트에서 ~0.99 AUC를 달성했다.이 결과는 숙련된 영상의학과 전문의의 판독과 대등하며, computational performance와 clinical performance를 일치시키는 데 상당한 진전으로 설명된다.
방법
NoduleX는 deep CNN 표현과 방사선학적 정량 영상 특징을 결합해 임상 CT 스캔에서 폐결절 악성도를 예측한다. 이 방법은 LIDC/IDRI 코호트의 방사선 전문의 합의 주석, 중심점 기준 3-D CNN 입력, 그리고 대안적 CNN, QIF 및 결합 분류기를 사용한다.
- 결절 선택: 방사선 전문의 합의 주석은 결절 선택, 악성도 평가, 분할 및 중심점 위치를 결정하며, 이를 이용해 서로 겹치지 않는 연구 결절과 CNN 입력을 추출한다.합의 악성도 평가는 판독에 참여한 방사선 전문의들의 평가를 평균한 뒤 반올림한 값이며, CNN 영역은 평균 분할 중심점을 기준으로 설정된다.
- CNN 입력 볼륨 추출: CNN 입력은 중심점을 기준으로 설정한 작은 3-D CT 볼륨이며, 아키텍처에 따라 크기가 달라지고 47×47×5 및 21×21×5 영역을 포함한다.또한 21×21×3 및 31×31×3 입력 크기도 평가했다.
- NoduleX 분류: NoduleX는 50 QIF 특징의 사용 여부에 따라 CNN21 및 CNN47 모델을 평가하고, 결합 분류를 위해 QIF 벡터와 CNN 벡터를 연결한다.분류에는 CNN softmax 출력 또는 연결된 특징 벡터에 적용한 분류기를 사용한다.
- 데이터셋 설명: 실험에는 네 명의 숙련된 흉부 방사선 전문의가 판독한 LIDC/IDRI CT 스캔을 사용했으며, 520개 결절 S1-versus-S45 및 664개 결절 S12-versus-S45 설정을 포함한 악성도 라벨 데이터셋을 평가했다.코호트에는 1018명의 환자/사례에서 얻은 스캔이 포함되며, 보고된 클래스 설정은 방사선 전문의 합의 평가를 바탕으로 음성 및 양성 클래스를 정의한다.
- NoduleX 모델 설명: 이 방법은 CT 스캔에서 악성 폐결절을 예측하기 위해 QIF, CNN 및 결합 모델을 각각 학습하고 검증한다.CNN 모델은 심층 convolutional 특징을 사용하고, QIF 모델은 방사선학적 정량 영상 특징을 사용한다.