Source-linked AI summary
De-identification of Patient Notes with Recurrent Neural Networks
Franck Dernoncourt, Ji Young Lee, Ozlem Uzuner, Peter Szolovits
TL;DR
환자 노트의 비식별화는 기밀성 보호에 필수적이지만, 수작업 주석은 비용이 많이 들고 오류가 발생하기 쉽다. 이 논문은 handcrafted feature가 필요 없는 artificial neural network 기반 시스템을 제안하고, 두 데이터셋에서 state-of-the-art 성능을 보고하여 ANN 기반 비식별화를 뒷받침한다.
문제
환자 노트에는 의학적 조사에 중요한 정보가 포함되지만, protected health information은 제거되어야 하며 수작업 비식별화는 제한적이고 비용이 많이 들며 오류가 발생하기 쉽다.
방법
이 논문은 handcrafted feature나 rule 없이 token 및 character embedding으로 학습하는 artificial neural network 기반 비식별화 시스템을 제안한다.
결과
ANN 모델은 i2b2 2014 및 MIMIC 비식별화 데이터셋 모두에서 state-of-the-art 시스템보다 우수한 성능을 보인다.
시사점 및 한계
이러한 결과는 handcrafted feature 없이도 강력한 성능을 달성하므로 환자 노트 비식별화에 ANN을 사용하는 것을 뒷받침한다.
시사점 및 한계
민감한 NAME category의 성능은 98%에 근소하게 못 미치며, 저자들은 가능한 개선 방법으로 기관별 gazetteer를 제안한다.
Abstract
from arXiv · showhide
Objective: Patient notes in electronic health records (EHRs) may contain critical information for medical investigations. However, the vast majority of medical investigators can only access de-identified notes, in order to protect the confidentiality of patients. In the United States, the Health Insurance Portability and Accountability Act (HIPAA) defines 18 types of protected health information (PHI) that needs to be removed to de-identify patient notes. Manual de-identification is impractical given the size of EHR databases, the limited number of researchers with access to the non-de-identified notes, and the frequent mistakes of human annotators. A reliable automated de-identification system would consequently be of high value. Materials and Methods: We introduce the first de-identification system based on artificial neural networks (ANNs), which requires no handcrafted features or rules, unlike existing systems. We compare the performance of the system with state-of-the-art systems on two datasets: the i2b2 2014 de-identification challenge dataset, which is the largest publicly available de-identification dataset, and the MIMIC de-identification dataset, which we assembled and is twice as large as the i2b2 2014 dataset. Results: Our ANN model outperforms the state-of-the-art systems. It yields an F1-score of 97.85 on the i2b2 2014 dataset, with a recall 97.38 and a precision of 97.32, and an F1-score of 99.23 on the MIMIC de-identification dataset, with a recall 99.25 and a precision of 99.06. Conclusion: Our findings support the use of ANNs for de-identification of patient notes, as they show better performance than previously published systems while requiring no feature engineering.
1 서론 및 관련 연구
환자 기록에는 조사에 중요한 정보가 담겨 있지만, 공유하기 전에 HIPAA가 정의한 보호 대상 건강 정보를 제거하도록 비식별화해야 한다. 이 논문은 수작업으로 설계한 feature를 사용하지 않는 ANN 기반 시스템을 제시하며, i2b2 2014 및 MIMIC dataset에서 state-of-the-art 성능을 달성한다.
- 동기: 환자 기록에는 electronic health record의 다른 부분에는 나타나지 않을 수 있는 의료 조사에 critical information이 담겨 있다.
- 문제: 기록을 공유하기 전에 환자 기밀성을 보호하려면 HIPAA가 정의한 protected health information을 제거해야 한다.HIPAA는 미국에서 protected health information을 18가지 유형으로 정의한다.
- 문제: 수작업 비식별화는 접근 제한으로 crowdsourcing이 불가능하고 human annotators are prone to mistakes하기 때문에 제한적이다.이 작업은 식별 가능한 환자 기록에서 PHI에 label을 부여해야 하므로 수행 가능한 사람의 범위가 제한된다.
- 관련 연구: 기존 자동화 시스템에는 사람이 작성한 rule-based methods와 conditional random fields 같은 supervised machine-learning methods가 포함된다.Rule-based system은 일반적으로 regular expressions와 gazetteers를 사용하며, statistical system은 단어를 PHI 또는 non-PHI로, 때로는 PHI 유형별로 분류한다.
- 기여: ANN은 token representation에서 효과적인 feature를 automatically learn하여 handcrafted rule이나 feature의 필요성을 없앤다.Token embedding은 ANN parameter와 함께 jointly 학습할 수 있으며, 무작위로 초기화하거나 대규모 unlabeled dataset에서 pretrained할 수 있다.
- 기여: ANN은 manually curated feature 없이 i2b2 2014 challenge와 MIMIC patient-note dataset에서 state-of-the-art 비식별화 결과를 달성한다.다른 machine-learning system과 달리 이 접근법은 regular expressions나 gazetteers에 기반한 feature에 의존하지 않는다.
2 방법 및 자료
이 연구는 도전적인 baseline으로 CRF de-identifier를 개발하고, LSTM 기반 recurrent neural networks를 중심으로 구축한 ANN de-identifier를 개발한다. ANN은 character-enhanced token embeddings를 label prediction 및 sequence optimization과 결합해 PHI 또는 non-PHI label을 할당한다.
- 2.1 CRF model: CRF baseline은 patient notes를 tokenization하고, n-gram, morphological, orthographic, gazetteer feature를 추출하며, 주변 네 개 token을 context로 사용한다.testing 중 label을 예측하기 전에 gold-standard label의 likelihood를 최대화하도록 parameter를 최적화한다.
- 2.2 ANN model: ANN de-identifier는 LSTM recurrent neural networks를 사용하며, character-enhanced token embedding, label prediction, label sequence optimization layer로 구성된다.embedding layer는 token을 표현하고, prediction layer는 label probability를 생성하며, optimization layer는 가장 가능성 높은 label sequence를 출력한다.
- 2.2.2 Character-enhanced token embedding: character-enhanced embedding은 direct token embedding과 bidirectional LSTM이 생성한 character-based embedding을 연결한다.Character-based embedding은 morpheme과 root 같은 sub-token pattern을 포착해, vocabulary에 없는 token과 서로 다른 surface form을 표현하는 데 도움을 준다.
- 2.2.3 Label prediction layer: label prediction layer는 bidirectional LSTM과 feed-forward network를 적용해 각 token에 대한 probability vector를 생성한다.Label은 PHI type 또는 non-PHI에 해당한다. 따라서 HIPAA가 정의한 18가지 PHI type을 모두 예측하려면 19개 label을 사용한다.
- 2.2.4 Label sequence optimization layer: label sequence optimization layer는 token 수준의 probability vector를 할당된 label의 output sequence로 변환한다.이 layer는 prediction layer가 token에 대한 probability를 생성한 뒤 label sequence를 선택한다.
3 실험 및 결과
ANN 비식별화 모델을 precision, recall, F1-score를 사용해 i2b2 2014 및 MIMIC 데이터셋에서 CRF 및 challenge 시스템과 비교 평가했다. 전반적으로 CRF보다 우수했으며, 향상 폭은 PHI 범주와 training-set size에 따라 달랐다. 또한 character-enhanced embeddings는 handcrafted features 없이도 일반화를 뒷받침했다.
- 데이터셋 및 평가: 실험에는 state-of-the-art systems와 비교하기 위한 i2b2 2014와 새로 구축한 MIMIC 비식별화 데이터셋이 사용되었으며, 공식 i2b2 test set과 무작위로 선택한 MIMIC test set을 사용했다.공식 i2b2 test set은 해당 데이터셋의 40%로 구성되었고, MIMIC의 20%는 testing을 위해 무작위로 선택되었다.
- 주요 결과: ANN 모델은 두 데이터셋 모두에서 CRF 모델보다 높은 F1-score와 recall을 달성했으며, i2b2에서는 최우수 i2b2 challenge system을 능가했다.결과는 공식 i2b2 evaluation script와 HIPAA가 정의한 PHI에 대한 binary token-based metrics를 사용했다.
- 주요 결과: MIMIC에서는 ANN과 CRF를 결합하면 recall은 향상되지만 precision은 감소하고 F1-score는 did not improve했으며, MIST는 i2b2에서보다 더 경쟁력 있는 성능을 보였다.통계 검정에서 MIMIC recall과 F1-score에 대해서는 CRF–ANN 차이가 유의했지만 precision에서는 유의하지 않았다. i2b2에서는 recall만 유의했다.
- 범주별 결과: ANN은 두 데이터셋의 모든 PHI 범주에서 CRF를 능가했지만, i2b2 ID에서는 예외적으로 CRF가 ID 패턴에 맞게 설계된 regular-expression features의 이점을 얻었다.ANN은 PROFESSION에서 CRF보다 유의하게 우수했으며, 수작업으로 구축한 gazetteers는 ANN보다 낮은 성능을 보였다.
- Training-set size: training data가 매우 제한적일 때 ANN은 처음에는 CRF보다 뒤처졌지만, training-set size가 증가함에 따라 increasingly outperformed it.ANN과 CRF의 결합은 작은 training set에서만 F1-score를 향상시켰고, 데이터가 많아질수록 ANN 단독보다 경쟁력이 떨어졌다.
- Ablation study: label-sequence optimization layer, pre-trained token embeddings 또는 token embeddings를 제거하면 성능이 소폭 감소했지만, character embeddings alone도 여전히 강한 결과를 냈다.ablation study에서는 요소를 한 번에 하나씩 제거해 네 가지 model variation을 평가했다.
4 결론
제안한 ANN system은 patient-note de-identification을 위한 최초의 neural approach이며, handcrafted features 없이 두 데이터셋에서 CRF 기반 state-of-the-art systems보다 우수한 성능을 보인다. 실제 배포 결과는 고무적이지만, NAME 범주의 성능은 F1 98%에 약간 못 미치며 기관별 gazetteer의 도움을 받을 수 있다.
- 4 결론: ANN system은 최초의 neural patient-note de-identification system으로, handcrafted features 없이 두 데이터셋에서 CRF 기반 state-of-the-art systems보다 우수한 성능을 보인다.token 및 character embedding을 사용해 효과적인 feature를 자동으로 학습한다.
- 4 결론: MIMIC discharge summary에서 99% 초과의 recall을 기록한 결과는 ANN system이 바로 적용 가능한 de-identification system으로 유망함을 뒷받침한다.그러나 NAME 범주의 F1-score는 98%에 약간 못 미친다.
- 4 결론: NAME 범주의 성능을 향상하기 위해 지역 환자 및 직원 명부에서 gazetteer feature를 추가하는 방안이 향후 연구로 제안된다.제안하는 gazetteer는 배포 기관의 지역별 명부 데이터를 사용한다.
연구비
이 프로젝트는 Philips Research의 지원을 받았으나, 내용에 대한 책임은 저자들에게 있으며 Philips Research의 공식 견해를 반드시 반영하는 것은 아니다.
- 연구비: 이 프로젝트는 Philips Research의 지원을 받았으며, 내용에 대한 책임은 전적으로 저자들에게 있다.저자들은 해당 내용이 Philips Research의 공식 견해를 반드시 대변하는 것은 아니라고 밝혔다.