Source-linked AI summary
GatorTron: A Large Clinical Language Model to Unlock Patient Information from Unstructured Electronic Health Records
Xi Yang, Aokun Chen, Nima PourNejatian, Hoo Chang Shin, Kaleb E Smith, Christopher Parisien, Colin Compas, Cheryl Martin, Mona G Flores, Ying Zhang, Tanja Magoc, Christopher A Harle, Gloria Lipori, Duane A Mitchell, William R Hogan, Elizabeth A Shenkman, Jiang Bian, Yonghui Wu
TL;DR
대규모 임상 언어 모델은 비정형 EHR 처리에 도움을 줄 수 있지만, 이 분야에서 수십억 매개변수 모델을 뒷받침하는 근거는 제한적이었다. 본 연구는 GatorTron을 개발하고 평가해, 다섯 가지 임상 NLP 과제에서 기존 biomedical 및 clinical transformer보다 우수한 성능을 보임을 확인했다.
문제
수십억 매개변수 임상 언어 모델이 비정형 EHR을 사용하는 의료 AI 시스템을 어떻게 지원할 수 있는지에 관한 근거는 제한적이다.
방법
이 연구는 90억 단어가 넘는 텍스트로 GatorTron을 처음부터 학습하고, 5개 임상 NLP 과제에서 parameter scaling을 평가한다.
결과
GatorTron은 평가한 다섯 가지 임상 NLP 과제 모두에서 기존 biomedical 및 clinical transformer보다 우수한 성능을 보였다.
핵심 시사점 및 한계
clinical transformer를 110 million에서 8.9 billion parameters 규모로 확장하면, 평가한 과제 전반에서 더 뛰어난 성능을 보이는 대규모 clinical model이 만들어졌다.
시사점 및 한계
GatorTron과 같은 대규모 모델도 더 긴 임상 서술에서 핵심 정보를 식별하는 데 여전히 어려움을 겪는다.
Abstract
from arXiv · showhide
There is an increasing interest in developing artificial intelligence (AI) systems to process and interpret electronic health records (EHRs). Natural language processing (NLP) powered by pretrained language models is the key technology for medical AI systems utilizing clinical narratives. However, there are few clinical language models, the largest of which trained in the clinical domain is comparatively small at 110 million parameters (compared with billions of parameters in the general domain). It is not clear how large clinical language models with billions of parameters can help medical AI systems utilize unstructured EHRs. In this study, we develop from scratch a large clinical language model - GatorTron - using >90 billion words of text (including >82 billion words of de-identified clinical text) and systematically evaluate it on 5 clinical NLP tasks including clinical concept extraction, medical relation extraction, semantic textual similarity, natural language inference (NLI), and medical question answering (MQA). We examine how (1) scaling up the number of parameters and (2) scaling up the size of the training data could benefit these NLP tasks. GatorTron models scale up the clinical language model from 110 million to 8.9 billion parameters and improve 5 clinical NLP tasks (e.g., 9.6% and 9.5% improvement in accuracy for NLI and MQA), which can be applied to medical AI systems to improve healthcare delivery. The GatorTron models are publicly available at: https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og.
서론
임상 서술에는 풍부한 환자 정보가 담겨 있지만 계산 모델이 활용하기는 어려워 의료 AI 시스템을 위한 NLP의 필요성이 제기된다 [5,6,7]. 본 연구는 >90 billion words로 처음부터 학습한 GatorTron을 소개하고, 5개 임상 NLP task에서 parameter와 data scaling을 평가한다.
- 서론: GatorTron은 >90 billion words로 처음부터 학습되었으며, 비식별화된 UF Health 임상 기록, PubMed 논문, Wikipedia를 포함한다.말뭉치는 임상 및 비임상 텍스트 출처를 결합한다.
- 서론: Parameter-scaling 실험에서는 345 million, 3.9 billion, 8.9 billion parameters를 갖는 GatorTron model을 비교했다.각각 base, medium, large model로 지정했다.
- 서론: Data-scaling 실험에서는 전체 말뭉치로 학습한 GatorTron-base와 말뭉치의 one-quarter of the corpus를 포함하는 무작위 표본으로 학습한 버전을 비교했다.이 비교는 training-data size 증가가 downstream clinical NLP task에 이점을 주는지 검증했다.
- 서론: 평가에는 clinical concept extraction, medical relation extraction, semantic textual similarity, natural language inference, medical question answering이 포함되었다.이 task들은 information extraction, similarity, inference, question answering을 포괄한다.
- 서론: GatorTron은 기존 biomedical 및 clinical transformer model보다 5 clinical NLP tasks에서 우수한 성능을 보였으며, clinical transformer를 110 million to 8.9 billion parameters로 scaling했다.본 연구는 이러한 scaling을 더 큰 clinical transformer model의 이점을 보여주는 근거로 제시한다.
결과
학습 데이터를 4분의 1에서 전체 corpus로 확장하자 네 과제가 개선되었고, 모델 크기를 345 million에서 8.9 billion parameters로 늘리자 다섯 가지 clinical NLP 과제가 모두 개선되었다. GatorTron-large가 대체로 가장 우수한 결과를 보였으며, natural language inference와 medical question answering에서는 단조로운 scaling 향상이 나타났지만 semantic textual similarity에서는 나타나지 않았다.
- Natural language inference: GatorTron-large는 0.9020 NLI accuracy를 달성해 BioBERT와 ClinicalBERT를 각각 9.6%와 7.5% 앞섰으며, model size가 커질수록 단조롭게 향상되었다.모든 GatorTron model이 기존 biomedical 및 clinical transformer보다 우수한 성능을 보였다.
- Semantic textual similarity 평가: GatorTron-medium은 0.8903의 semantic textual similarity Pearson correlation으로 가장 우수한 성능을 보였고, GatorTron-large는 0.8896을 기록해 GatorTron-base보다 우수했다.모든 GatorTron model이 기존 biomedical 및 clinical transformer model보다 우수했지만, model size가 커진다고 성능이 일관되게 향상되지는 않았다.
- Training data 규모와 parameter 수 확장: parameter를 345 million에서 8.9 billion으로 늘리면 5개 clinical NLP task 모두가 향상되었고, 전체 corpus로 training하면 medication-related-question F1을 제외한 4개 task가 향상되었다.이 결과는 GatorTron이 대표적인 clinical downstream task에 맞춰 scaling되며, 성능이 아직 한계에 도달하지 않았음을 시사한다.
논의
GatorTron은 90 billion words를 초과하는 corpus를 사용해 clinical transformer를 8.9 billion parameters로 확장했으며, 5개 clinical NLP task 전반에서 기존 biomedical 및 clinical transformer보다 우수한 성능을 보였다. 더 큰 model은 특히 복잡한 task를 크게 향상했지만, 긴 문단에서 핵심 정보를 처리하는 데에는 여전히 한계가 있었다.
- GatorTron은 6개 benchmark dataset에 걸쳐 평가된 5개 clinical NLP task 모두에서 기존 biomedical 및 clinical transformer보다 우수한 성능을 보였다.model은 phrase, sentence, document 수준에서 평가되었다.
- 345 million에서 8.9 billion parameters로 확장하자 semantic textual similarity를 제외한 5개 task 중 4개에서 단조 증가하는 성능 향상이 나타났다.GatorTron은 비슷한 model size를 가졌지만 훨씬 작은 corpus로 학습된 BioMegatron36보다도 우수한 성능을 보였다.
- 더 큰 model은 natural language inference와 medical question answering에서 두드러진 향상을 보였지만, clinical concept 및 medical relation extraction에서는 향상이 중간 정도에 그쳤다.이러한 양상은 model scaling이 더 쉬운 task보다 복잡한 NLP task에 더 유용함을 시사한다.
- 더 큰 GatorTron model은 masked-language-model pretraining 중 작은 model보다 더 빠르게 수렴했다.중단 시점을 결정하기 위해 5% clinical-text subset을 사용해 training 및 validation loss를 모니터링했다.
- GatorTron은 computable-phenotype cohort identification, clinical decision support, pharmacovigilance, clinical-text deduplication, medical-knowledge mining 및 patient-facing medical AI를 지원할 수 있다.이러한 응용에도 불구하고 model은 NLI와 MQA에서 긴 문단의 핵심 정보를 식별하는 데 여전히 어려움을 보인다.
- GatorTron은 ClinicalBERT보다 긴 phrase와 semantic category를 더 정확하게 모델링함으로써 clinical information extraction을 향상했다.ClinicalBERT와 달리 완전한 phrase “a mildly dilated ascending aorta”를 식별하고 “kidney protective effects”를 “TREATMENT”로 분류했다.
데이터 소스
이 연구는 기관생명윤리위원회 승인하에 수집된 UF Health Integrated Data Repository의 임상 서술을 주로 사용했다. 코퍼스는 UF Health notes를 MIMIC-III, PubMed, Wikipedia와 결합해 90억 단어를 초과했다.
- 데이터 소스: UF Health 임상 서술이 연구의 주요 데이터 소스를 구성했으며, 연구는 UF Institutional Review Board의 승인을 받았다 (IRB202100049).데이터는 연구용 데이터 웨어하우스인 UF Health IDR에서 수집됐다.
- 데이터 소스: >90억 단어는 UF Health 임상 코퍼스를 MIMIC-III, PubMed, Wikipedia 코퍼스와 병합해 구성됐다.추가된 코퍼스는 각각 0.5 billion, 6 billion, 2.5 billion 단어를 기여했다.
텍스트 전처리 및 비식별화
이 연구는 임상 텍스트에 정제, 정규화, 토큰화, 문장 경계 탐지를 포함한 최소한의 전처리를 적용했다. UF Health 텍스트에는 보호 건강정보를 제거하기 위한 추가 비식별화를 수행했다.
- 최소한의 전처리를 통해 비어 있거나 중복된 노트를 제거하고, UTF-8 인코딩을 표준화하며, 잘못된 문자열을 삭제하고, 특수문자를 정규화하고, 텍스트를 토큰화하고, 문장 경계를 탐지했다.
- UF Health 임상 텍스트에는 보호 건강정보를 제거하기 위한 추가 비식별화를 수행했다.
- 비식별화 시스템은 18개 보호 건강정보 범주에 대해 HIPAA 세이프 하버 규칙을 따랐으며, 식별된 값을 [**NAME**]과 같은 더미 문자열로 대체했다.
연구 설계
이 연구는 masked language modeling으로 GatorTron을 >90 billion words에 사전학습하고, 5개 clinical NLP task에 fine-tuning한 뒤, 확립된 biomedical 및 clinical transformer를 대상으로 3가지 model size에 걸쳐 scaling을 평가했다.
- 연구 설계: GatorTron은 masked language modeling으로 >90 billion words에 사전학습한 뒤, 5개 clinical NLP task에 supervised fine-tuning됐다.이 연구는 Megatron-LM으로 구현된 BERT architecture를 채택했다.
- 연구 설계: 이 연구는 각각 345 million, 3.9 billion, 8.9 billion parameters를 포함하는 GatorTron-base, GatorTron-medium, GatorTron-large를 비교했다.large model은 4개 GPU에 걸쳐 model parallelism을 사용했으며, base 및 medium model은 distributed training을 위해 하나의 GPU에 로드됐다.
- 연구 설계: 세 GatorTron model은 clinical concept extraction, relation extraction, semantic textual similarity, natural language inference, medical question answering에서 ClinicalBERT, BioBERT, BioMegatron과 비교 평가됐다.ClinicalBERT는 110 million parameters, BioBERT는 345 million, BioMegatron은 1.2 billion을 보유했으며, 평가는 6개 public benchmark dataset을 사용했다.
학습 환경 · GatorTron 모델 구성 · GatorTron 모델을 처음부터 학습
GatorTron은 대규모 분산 GPU 인프라에서 처음부터 학습되었으며, 110 million부터 8.9 billion parameters까지 아우르는 세 가지 transformer 구성을 사용했다. Pretraining에는 >90-billion-word corpus, BERT-style self-supervision, 그리고 가장 큰 모델을 위한 model parallelism이 사용되었다.
- 학습 환경: GatorTron 학습에는 124 superPOD 노드에 걸친 992 NVIDIA DGX A100 GPUs가 사용되었으며, data-level 및 model-level parallelism은 Megatron-LM으로 구현되었다.학습 진행 상황은 training loss와 validation loss로 모니터링했으며, loss plot이 평탄해졌을 때 중단했다.
- GatorTron 모델 구성: medium model은 3.9 billion parameters로 확장되어 base 설정의 약 10배가 되었고, large model은 8.9 billion parameters로 확장되었다.large model은 8.3 billion parameters를 보유한 BioMegatron과 규모가 비슷했다.
- GatorTron 모델 구성: 이 연구에서는 세 가지 GatorTron 구성을 개발했으며, depth-to-width allocation guidelines와 기존 BioMegatron 경험을 활용해 layers, hidden sizes, attention heads를 선정했다.Table 3에 세 가지 설정의 기술적 세부 사항이 제시되어 있다.
- GatorTron 모델을 처음부터 학습: 모델은 >90 billion words를 포함한 corpus에 byte-pair encoding을 적용해 vocabulary를 처음부터 pretrain했으며, BERT-style architecture를 유지했다.이를 통해 GatorTron을 처음부터 학습하기 위한 tokenization과 architecture를 확립했다.
- GatorTron 모델을 처음부터 학습: Pretraining에는 masked language modeling과 sentence-order prediction이 사용되었으며, input tokens의 15%를 무작위로 masking하고 연속된 두 text segments의 순서를 예측했다.sentence-order task에서는 연속된 sentences를 무작위 순서로 제시하고 그 순서가 올바른지 분류했다.
- GatorTron 모델을 처음부터 학습: 8.9-billion-parameter large model은 하나의 GPU에 탑재할 수 없었기 때문에 base model과 medium model과 달리 분산 model-parallel training을 위해 네 조각으로 분할했다.기본 BERT loss function을 사용했으며, Fig. 4는 large-model distributed training setup을 보여준다.
비교를 위한 기존 transformer 모델 · 5개 clinical NLP task, evaluation matrix 및 benchmark를 위한 GatorTron fine-tuning
이 연구에서는 GatorTron을 기존 biomedical 및 clinical transformer 모델과 비교한 뒤, 전문가가 주석한 benchmark dataset을 사용해 5개 clinical NLP task에 걸쳐 fine-tuning했다. Concept extraction, relation extraction, semantic similarity, inference, question answering에 대해 task별 정식화, output layer, loss, dataset 및 evaluation metric을 정의했다.
- 5개 clinical NLP task, evaluation matrix 및 benchmark를 위한 GatorTron fine-tuning: GatorTron 모델은 6개 공개 benchmark dataset의 전문가 주석을 사용해 5개 clinical NLP task에 대해 fine-tuning했으며, task별 output layer와 cross-entropy 또는 mean square error loss를 사용했다.Classification task에는 cross-entropy loss를 사용한 반면, regression task에는 mean square error loss를 사용했다.
- 5개 clinical NLP task, evaluation matrix 및 benchmark를 위한 GatorTron fine-tuning: Clinical concept extraction은 classification layer를 사용하는 BIO sequence labeling으로 정식화했으며, i2b2 및 n2c2 challenge dataset을 사용하고 precision, recall 및 F1-score로 평가했다.Concept가 겹치지 않는 dataset에는 통합 classifier를 사용했고, concept가 겹치는 경우에는 각 concept category를 인식하도록 별도 model을 사용했다.
- 5개 clinical NLP task, evaluation matrix 및 benchmark를 위한 GatorTron fine-tuning: Medical relation extraction은 heuristic으로 생성한 concept pair에 대한 classification으로 처리하고 entity boundary를 표시했으며, medication–adverse-event relation을 대상으로 precision, recall 및 F1-score로 평가했다.이 평가에는 2018 n2c2 dataset을 사용했다.
- 5개 clinical NLP task, evaluation matrix 및 benchmark를 위한 GatorTron fine-tuning: Semantic textual similarity는 2019 n2c2/OHNLP challenge dataset의 문장 수준 representation에 대한 regression으로 정식화했으며, Pearson correlation으로 평가했다.Linear regression layer가 similarity score를 산출했으며, loss로 mean square error를 사용했다.
- 5개 clinical NLP task, evaluation matrix 및 benchmark를 위한 GatorTron fine-tuning: Natural language inference는 MedNLI에서 entailment, contradiction 및 neutral을 분류하는 three-way classification으로 정식화했으며, 비교에는 accuracy를 사용했다.Classification 전에 premise와 hypothesis를 [SEP] token으로 연결했다.
- 5개 clinical NLP task, evaluation matrix 및 benchmark를 위한 GatorTron fine-tuning: Medical question answering은 emrQA dataset에서 machine reading comprehension을 사용해 question–context sequence로부터 answer span을 예측하고 F1-score 및 exact match로 평가했다.Input에는 answer의 start 및 end position을 예측하기 위한 두 개의 linear layer를 사용했으며, model이 최대 512 token만 지원하므로 긴 context는 sliding window로 처리했다.
데이터 이용 가능성
연구 결과를 뒷받침하는 벤치마크 데이터셋은 데이터 이용 계약에 따라 자연어 처리 챌린지 공식 웹사이트에서 이용할 수 있다.
- 연구 결과를 뒷받침하는 벤치마크 데이터셋은 데이터 이용 계약이 체결된 자연어 처리 챌린지 공식 웹사이트에서 이용할 수 있다.
2. MedNLI 데이터셋: https://physionet.org/content/mednli/1.0.0/ · 4. MIMIC III 데이터셋: https://physionet.org/content/mimiciii/1.4/ · 그림 범례
제공된 절 자료는 UF Health IDR 임상 노트에 대한 개인정보 보호 제한과 90 billion words를 초과하는 텍스트로 학습된 GatorTron 모델의 공개 이용 가능성을 언급한다. 그림 관련 자료에는 인구통계, 연락처, 주소 및 통계 정보 메타데이터가 포함된다.
- 4. MIMIC III 데이터셋: https://physionet.org/content/mimiciii/1.4/: UF Health IDR 임상 노트에는 환자 개인정보가 포함되어 있어 공개되지 않는다.
- 4. MIMIC III 데이터셋: https://physionet.org/content/mimiciii/1.4/: 90 billion words를 초과하는 텍스트로 사전학습된 GatorTron 모델은 공개되어 있다.
- 그림 범례: 그림 자료에 따르면 연령은 September 2022를 기준으로 계산되었다.
- 그림 범례: 자료에는 Materials & Correspondence 절이 포함된다.
- 그림 범례: 기재된 기관 위치는 Clinical and Translational Research Building이다.
- 그림 범례: 기재된 주소는 2004 Mowry Road, PO Box 100177, Gainesville, FL, USA, 32610이다.
- 그림 범례: 그림 자료에는 통계 정보가 없다고 보고되어 있다.