Source-linked AI summary
MODMA dataset: a Multi-modal Open Dataset for Mental-disorder Analysis
Hanshu Cai, Yiwen Gao, Shuting Sun, Na Li, Fuze Tian, Han Xiao, Jianxiu Li, Zhengwu Yang, Xiaowei Li, Qinglin Zhao, Zhenyu Liu, Zhijun Yao, Minqiang Yang, Hong Peng, Jing Zhu, Xiaowei Zhang, Guoping Gao, Fang Zheng, Rui Li, Zhihua Guo, Rong Ma, Jing Yang, Lan Zhang, Xiping Hu, Yumin Li, Bin Hu
TL;DR
정신질환 분석을 위한 고품질의 임상 진단 생리 데이터는 확보하기 어렵다. 이 논문은 우울증 환자와 대조군의 EEG 및 오디오 recordings로 구성된 MODMA open dataset을 제시하며, 검증 결과 우울증군과 대조군 간 alpha-rhythm 차이가 유의하게 나타났다.
문제
임상 진단을 받은 환자의 고품질 EEG 및 오디오 데이터는 확보하기 어려워 정신질환 분석에 활용할 수 있는 근거가 제한된다.
방법
이 논문은 128-electrode 및 wearable 3-electrode EEG와 오디오 recordings를 사용해 임상 진단을 받은 우울증 환자와 대조군으로 구성된 multimodal open dataset을 구축한다.
결과
통계 분석 결과, 3-electrode EEG signals에서 우울증군과 대조군 간 relative alpha-rhythm power에 유의한 차이가 나타났다.
핵심 시사점 및 한계
공개적으로 이용 가능한 MODMA repository는 정신질환 분석 방법을 검증하기 위한 EEG, 오디오, 인구통계학적 자료 및 심리평가 데이터를 제공한다.
핵심 시사점 및 한계
참가자에게는 첫 2주 동안 psychotropic-drug를 사용하지 않고 다른 정신질환이나 뇌 손상이 없어야 하는 등 제한적인 적격성 기준이 적용되었다.
Abstract
from arXiv · showhide
According to the World Health Organization, the number of mental disorder patients, especially depression patients, has grown rapidly and become a leading contributor to the global burden of disease. However, the present common practice of depression diagnosis is based on interviews and clinical scales carried out by doctors, which is not only labor-consuming but also time-consuming. One important reason is due to the lack of physiological indicators for mental disorders. With the rising of tools such as data mining and artificial intelligence, using physiological data to explore new possible physiological indicators of mental disorder and creating new applications for mental disorder diagnosis has become a new research hot topic. However, good quality physiological data for mental disorder patients are hard to acquire. We present a multi-modal open dataset for mental-disorder analysis. The dataset includes EEG and audio data from clinically depressed patients and matching normal controls. All our patients were carefully diagnosed and selected by professional psychiatrists in hospitals. The EEG dataset includes not only data collected using traditional 128-electrodes mounted elastic cap, but also a novel wearable 3-electrode EEG collector for pervasive applications. The 128-electrodes EEG signals of 53 subjects were recorded as both in resting state and under stimulation; the 3-electrode EEG signals of 55 subjects were recorded in resting state; the audio data of 52 subjects were recorded during interviewing, reading, and picture description. We encourage other researchers in the field to use it for testing their methods of mental-disorder analysis.
배경 및 요약 · 방법
이 논문은 EEG와 audio를 정신장애 분석을 위한 접근성 높은 생리학적 modality로 제시하지만, 임상적으로 진단된 환자의 고품질 데이터가 부족하다는 점을 강조한다. 또한 임상적 우울증 환자와 이에 대응하는 대조군으로 구성된 공개 multimodal dataset과 윤리 승인을 받은 참가자 절차를 제시한다.
- 배경 및 요약: EEG는 밀리초 시간 해상도를 가지며 시냅스후 전위를 직접 반영하는 비침습적 생리 측정법으로 제시된다.우울증은 복잡한 뇌 인지를 수반하므로 EEG가 자연스럽게 선호되는 데이터 modality로 제시된다.
- 배경 및 요약: Audio는 또 다른 접근성 높은 비침습적 생리 modality로 제시되며, 정신장애 환자와 건강한 대조군 사이에서 그 특성이 다를 수 있다.본문에서 인용한 선행 연구는 우울증 관련 분석에 감정 기반 및 성별 의존적 음성 특징을 사용했다.
- 배경 및 요약: 이 dataset은 자기평가 척도가 아니라 전문의가 진단한 환자로부터 고품질 EEG 및 audio 데이터를 확보하기 어려운 문제를 다룬다.논문은 환자 상태를 확립하는 데 자기평가 척도가 임상 진단보다 포괄적이지 않다고 지적한다.
- 배경 및 요약: 이 dataset은 병원 정신과 의사가 선별한 임상적 우울증 환자와 이에 대응하는 정상 대조군의 공개 EEG 및 audio 기록으로 구성된다.이 기여는 정신장애 분석을 위한 multimodal open dataset으로 규정된다.
- 배경 및 요약: EEG 구성 요소에는 전통적인 128전극 탄성 cap과 새로운 착용형 3전극 collector를 사용해 기록한 데이터가 모두 포함된다.두 EEG 수집 형식은 기존 기록과 pervasive application을 모두 지원한다.
- 방법: 모든 참가자는 실험 전에 서면 동의서를 제출했으며, 본 연구는 헬싱키 선언에 따라 Lanzhou University Second Hospital 생명의학 윤리위원회의 승인을 받았다.방법은 관련 연구 의 확장된 버전으로 설명된다.
참여자 · 실험 자료
이 연구는 128-electrode EEG, 3-electrode resting-state EEG, audio 실험을 위해 임상적으로 진단된 우울증 외래 환자와 건강한 대조군을 모집했다. 자료에는 정서적 얼굴 자극, 중국어 발화 과제, 표준화 단어 목록, 면담 질문이 포함되었으며, 연구윤리 승인과 서면 동의를 받았다.
- 참여자: 128-electrode EEG 실험에는 우울증 외래 환자 24명과 건강한 대조군 29명이 참여했으며, 총 53 participants의 연령은 각각 16–56세와 18–55세였다.우울증 참여자는 남성 13명과 여성 11명이었고, 대조군은 남성 20명과 여성 9명이었다.
- 참여자: 3-electrode EEG 실험에는 우울증 외래 환자 26명과 건강한 대조군 29명이 참여했으며, 총 55 participants의 연령은 각각 16–56세와 18–55세였다.우울증 참여자는 남성 15명과 여성 11명이었고, 대조군은 남성 19명과 여성 10명이었다.
- 참여자: audio 실험에는 우울증 외래 환자 23명과 건강한 대조군 29명이 참여했으며, 총 52 participants의 연령은 각각 16–56세와 18–55세였다.우울증 참여자는 남성 16명과 여성 7명이었고, 대조군은 남성 20명과 여성 9명이었다.
- 참여자: 환자들은 Lanzhou University Second Hospital에서 임상적으로 진단되었고, 대조군은 포스터를 통해 모집되었으며, 연구윤리 승인과 written informed consent를 받았다.모든 참여자는 정상 시력 또는 교정된 정상 시력을 보유했다.
- 실험 자료: 128-electrode dot-probe 과제에서는 Chinese Facial Affective Picture System의 얼굴 이미지를 사용해 공포, 슬픔, 행복, 중립으로 분류했으며, 정서적 및 중립적 valence를 선택했다.MATLAB로 평균 luminance, contrast, centro-spatial frequency를 표준화한 뒤 이미지를 8-bit grayscale로 변환했다.
- 실험 자료: 3-electrode EEG 실험은 resting-state activity만 기록했으므로 실험 자료를 사용하지 않았다.
- 실험 자료: audio 실험에서는 면담, 단어 읽기, 그림 묘사 과제에서 발화 방식과 정서적 valence를 변화시켰으며, 긍정적·중립적·부정적 발화를 randomized order로 제시했다.면담에는 DSM-IV, HRSD 및 기타 척도의 질문 18개가 사용되었고, 읽기에는 정서 단어 자료 [19, 20], 그림 묘사에는 CFAPS 이미지 3개가 사용되었다.
실험 장비
실험은 통제된 수집 조건에서 표준화된 EEG 및 audio-recording 장비를 사용해 수행됐다. Full-brain EEG에는 128개 electrode, pervasive EEG에는 3-electrode device를 사용했으며, audio는 방음 환경에서 녹음됐다.
- Full-brain 128-electrodes EEG experiment: Full-brain EEG에는 Net Station software를 사용하는 128-channel HydroCel Geodesic Sensor Net을 사용했으며, sampling rate는 250 Hz, reference는 Cz로 설정했다.Electrode-net size는 머리둘레에 따라 선택했으며, recording 전에 electrode impedance를 확인했다.
- Pervasive 3-electrodes EEG experiment: Pervasive EEG에는 24-bit A/D converter와 250 Hz sampling을 지원하는 three-electrode collection device를 사용했다.이 device는 Figure 1에 제시되어 있다.
- Audio experiment: Audio는 Neumann TLM102 microphone과 RME FIREFACE UCX audio card를 사용해 44.1 kHz 및 24-bit depth로 녹음했으며, uncompressed WAV file로 저장했다.녹음은 electromagnetic interference가 없고 ambient noise가 60 dB 미만인 조용하고 청결한 방음실에서 수행됐다.
- Recording procedure: 각 participant는 약 25분간의 session 동안 편안하게 앉아 세 가지 task를 수행했으며, microphone에서 약 20 cm 거리를 유지하고 장비를 만지지 않았다.Audio signal에 대한 interference를 줄이기 위해 ambient noise는 60 dB 미만으로 유지해야 했다.
실험 패러다임
실험 패러다임은 resting-state 및 emotional dot-probe task를 사용한 통제된 128-electrode EEG 연구와 3-electrode resting-state recording protocol로 구성된다. dot-probe task에서는 정서적-중립적 얼굴 쌍을 제시하고 무작위로 배치된 target에 빠르게 공간적으로 반응하도록 했다.
- Full brain 128-electrodes EEG experiment: 128-electrode EEG experiment는 조용하고 방음된 방에서 수행되었으며, 참가자들은 모니터링된 조건에서 resting-state 및 dot-probe task를 완료했다.전극 배치를 완료하고 impedance가 요구 조건을 충족한 후 data acquisition을 시작했다.
- Full brain 128-electrodes EEG experiment: dot-probe task는 Fear-Neutral, Sad-Neutral, Happy-Neutral block으로 구성되었고, 각 block에는 160 trials가 포함되었으며 각 trial에 앞서 중앙 fixation cross를 제시했다.패러다임은 E-prime v2.0으로 프로그래밍했으며, 참가자들은 formal experiment 전에 10 practice trials를 수행했다.
- Full brain 128-electrodes EEG experiment: 참가자들은 dot이 fixation의 왼쪽 또는 오른쪽에 나타났는지를 button 1 또는 4를 눌러 식별했으며, 최대 2000 ms 동안 응답을 허용했다.dot target은 양쪽 중 한 곳에 무작위로 나타났고, trial 사이에는 600-ms black screen이 뒤따랐다.
- Pervasive 3-electrodes EEG experiment: 3-electrode EEG protocol에서는 참가자들이 눈을 감고 EEG signal이 안정화될 때까지 90 seconds의 resting-state data를 기록했다.recording은 큰 소음이나 강한 자기 간섭이 없는 방에서 수행되었다.
Audio experiment:
Audio experiment에서는 정서적·임상적으로 관련된 맥락에서 발화를 유도하도록 설계된 자료를 사용해 interview, reading, picture description의 세 가지 고정 순서 과제를 수행했다. 참가자는 화면 지시에 따라 각 과제를 완료했다.
- Audio experiment:: 실험은 화면 지시에 따라 수행하는 고정 순서의 interview, reading, picture-description 과제로 구성됐다.세 부분으로 이루어진 순서는 모든 참가자에게 동일하게 적용됐다.
- Audio experiment:: interview에는 DSM-IV 주제와 일반적으로 사용되는 depression scale에서 도출한 positive-, neutral-, negative-meaning 질문 18개가 포함됐다.질문은 경험, 감정, 관계, 자기평가, 희망 활동을 다뤘다.
- Audio experiment:: reading 과제는 acoustic analysis를 위해 “The North Wind and the Sun”과 positive, neutral, negative emotion words를 결합했다.이 이야기는 International Phonetic Association booklet에서 가져왔고, 정서 단어에는 “happy,” “center,” “depression”과 같은 예시가 포함됐다.
- Audio experiment:: picture-description 과제에서는 positive, neutral, negative faces와 crying woman을 포함한 네 개의 이미지를 제시하고 참가자가 자유롭게 묘사하도록 했다.얼굴 이미지는 CFAPS에서, crying-woman 이미지는 TAT에서 가져왔다.
데이터 기록 · 1. 데이터 기록 및 저장
이 데이터셋은 표준화된 수집 설정, 과제 기반 구성, 명시적인 파일 형식과 라벨을 사용해 다중 모달 EEG 및 audio 실험을 기록한다. 128-electrode, three-electrode, audio recording은 피험자 수준 분석을 위해 수작업으로 구성되었다.
- 1. 데이터 기록 및 저장: 눈을 감은 resting-state EEG를 5분간 기록하고 .mff 파일로 저장한 뒤 Net Station Waveform Tools를 사용해 분석 파일로 변환했다.한 기록 설명에서는 .mat 파일로, 다른 설명에서는 .raw 파일로 변환했다고 보고하며, 명시된 경우 trigger timestamp를 유지했다.
- 1. 데이터 기록 및 저장: 128-electrode EEG system은 128개의 Ag/AgCl electrodes, 50 kΩ 미만의 impedance, 250 Hz digitization, Net Station 4.5.4 acquisition을 사용했다.신호는 유선 HydroCel Geodesic Sensor Net과 Electrical Geodesics amplifier를 사용해 수집했다.
- 데이터 기록: 데이터셋은 과제별로 recording을 저장하며, “128-channel_RestingState” 및 “128-channel_DotProbe” 폴더에 피험자당 하나의 파일을 둔다.128-electrode EEG 파일은 MDD 환자를 “0201” prefix로, 정상 대조군을 “0203” prefix로 구분한다.
- 1. 데이터 기록 및 저장: pervasive EEG device는 Fp1, Fpz, Fp2에 세 개의 electrodes를 전전두엽에 배치했다.전극 위치와 device는 Fig. 3에 제시되어 있다.
- 1. 데이터 기록 및 저장: Three-electrode EEG 파일은 M × N array를 포함하는 referential-montage TXT format을 사용하며, M = 8 channels이고 처음 세 channel은 Fp1, Fpz, Fp2를 나타낸다.나머지 다섯 channel은 대체 channel이며, 활성화되지 않을 때는 default value가 사용된다.
- 1. 데이터 기록 및 저장: Audio는 ambient noise가 60 dB 미만인 조용하고 방음되며 electromagnetic interference가 없는 공간에서 Neumann TLM102 microphone과 RME FIREFACE UCX audio card를 사용해 기록했다.Recording에는 44.1 kHz sampling rate, 24-bit depth, uncompressed WAV format을 사용했다.
- 1. 데이터 기록 및 저장: Audio recording은 수작업으로 segment하고 label을 부여했으며, participant speech만 남기고 interview, reading, picture description에 걸쳐 피험자당 29개의 recording을 유지했다.29개의 recording은 18개 interview, 1개 passage reading, 6개 word reading, 4개 picture description으로 구성되었다.
2. 3-electrodes EEG 신호
3-electrode EEG 신호는 실시간 파형 표시를 지원하도록 변환, 필터링, 잡음 제거를 거쳤다. 전처리에는 FIR band-pass filtering과 eyeblink artifact의 adaptive cancellation을 사용했다.
- 2. 3-electrodes EEG 신호: 첫 세 열의 raw hex data를 EEG 전처리 전에 decimal로 변환했다.
- 2. 3-electrodes EEG 신호: 신호에 1Hz high-pass와 45Hz low-pass FIR filter를 적용한 뒤, adaptive noise canceller를 사용해 eyeblink artifact를 제거했다.
- 2. 3-electrodes EEG 신호: Figure 4는 전처리 후 EEG 파형의 real-time graphic display를 제시한다.
3. 전뇌 EEG 신호
데이터셋의 전뇌 EEG 기록에는 task epoch의 event trigger가 포함된 128-channel 데이터와 이마에 전극을 배치하는 pervasive 3-electrode protocol이 포함된다. 연구대상자 선별과 준비에는 우울증 평가, psychotropic medication 제한, 표준화된 전극 절차가 포함된다.
- 전뇌 EEG 획득: 128-electrode 기록에는 elastic cap에 장착한 Ag/AgCl 전극, conductive gel, 50 kΩ 미만으로 유지한 반복 impedance calibration, Electrical Geodesics 증폭이 사용됐다.제공된 지문에는 신호가 sampling rate로 기록됐다고 명시되어 있지만, 값은 잘려 있다.
- Pervasive 3-electrodes EEG 실험: pervasive EEG 실험의 연구대상자들은 MMSE screening을 받은 뒤, 우울증 고위험군으로 판단되면 PHQ-9 assessment를 받았다.이러한 평가와 함께 연구대상자의 기본 정보도 수집됐다.
- Pervasive 3-electrodes EEG 실험: 후보자들은 실험 기준에 따라 선발됐고, 기록 전에 머리를 감았으며, 첫 2주 동안 psychotropic drugs와 기타 정신질환을 피해야 했다.연구대상자들은 통제된 실험 환경에서 실험 장비를 착용했다.
- Pervasive 3-electrodes EEG 실험: pervasive protocol에서는 국제 10-20 system 표준에 따라 이마에 세 개의 전극을 배치했다.선정된 세 위치는 이마에 있었다.
2. 3-electrodes EEG 신호 검증
검증에서는 depression군과 control군의 네 가지 rhythm에서 relative power를 비교하기 위해 filtering된 FP1 및 FP2 EEG 신호를 사용했다. Alpha-rhythm relative power는 depression군에서 유의한 차이를 보였지만 control군에서는 그렇지 않았다.
- 검증 방법: 11명의 depressed participant와 11명의 control participant에서 얻은 FP1 및 FP2 EEG lead를 0.5–30 Hz로 filtering하고, δ, θ, α, β rhythm에 대한 relative power를 계산했다.대역은 δ (0.5–4 Hz), θ (4–8 Hz), α (8–14 Hz), β (14–30 Hz)였다.
- 검증 결과: Depression군은 좌뇌와 우뇌의 α-rhythm relative power에서 통계적으로 유의한 차이를 보였다.SPSS 19.0을 사용해 paired-sample t-test를 수행했다.
- 검증 결과: Control군에서 좌뇌와 우뇌 신호 간 α-rhythm relative-power 차이는 통계적으로 유의하지 않았다.
3. 전뇌 EEG 신호 검증
MODMA dataset에는 resting-state와 dot-probe task에서 수집한 raw whole-brain EEG data가 저장되어 있다.
- 3. 전뇌 EEG 신호 검증: resting-state와 dot-probe task 모두에서 raw EEG data를 수집했다.
- 3. 전뇌 EEG 신호 검증: resting-state EEG recordings는 MODMA dataset에 저장되었다.
- 3. 전뇌 EEG 신호 검증: dot-probe EEG recordings도 MODMA dataset에 저장되었다.
4. Audio 검증 · 사용 참고사항
Audio recording은 통제된 조건에서 noise rejection을 적용해 수집되었으며, sound quality는 20–30의 SNR로 특성화된다. Raw EEG 및 Audio dataset은 EULA에 동의한 후 무료로 다운로드할 수 있고, 인구통계 및 심리 평가 파일도 함께 제공된다.
- 4. Audio 검증: Audio 실험은 electromagnetic interference가 없는 조용하고 청결한 방음실에서 진행되었다.
- 4. Audio 검증: 각 Audio recording은 1분간의 휴식, 컴퓨터에 표시된 task, 그리고 다시 1분간의 휴식 순서로 진행되었다.
- 4. Audio 검증: 환경 noise가 60 dB를 초과하면 recording을 수집하지 않았다.
- 4. Audio 검증: Recording의 비공식적인 sound-quality 지표는 대략 signal-to-noise ratio에 해당한다.SNR은 20에서 30까지이며 정상적으로 계산할 수 있다.
- 사용 참고사항: Raw experimental data는 사용자가 End User License Agreement에 서명한 후 공개적으로 접근 가능한 MODMA repository에서 무료로 다운로드할 수 있다.
- 사용 참고사항: Raw dataset은 “EEG” 및 “Audio” category로 구분되어 패키징된다.각 package에는 해당 subject의 인구통계 데이터와 심리 평가 점수가 포함된 Excel file이 들어 있다.