PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

Advanced modelling and data analytics in aviation

Aziida Nanyonga

arXiv:2608.14746v1cs.AI

TL;DR

항공 안전 분야의 기존 ML 접근법은 사건 서술문에서 유의미한 정보를 추출하는 데 한계가 있다. 본 학위논문은 NLP, 딥러닝, 토픽 모델링을 적용해 추정 원인을 예측하고 항공기 손상을 분류하며 안전 관련 주제를 추출한다. sRNN은 손상 분류 정확도와 정밀도에서 가장 우수했고, BERTopic은 PLSA보다 높은 토픽 일관성을 보였다.

  • 문제

    항공 안전사건 조사에는 많은 자원이 필요하지만, 기존 ML 접근법은 주로 정형 데이터를 활용하며 비정형 서술문에서 유의미한 정보를 추출하는 데 한계가 있다.

    출처: Chapter 1. Introduction · p. 23

  • 방법

    본 학위논문은 사건 서술문에 NLP와 딥러닝을 적용해 추정 원인을 예측하고 항공기 손상을 분류하며, 항공 안전 보고서에 적용할 토픽 모델링 기법을 비교한다.

    출처: §4.2 · p. 79, §7.2 · p. 122, §17.6 · pp. 235–236

  • 결과

    손상 분류와 토픽 모델링에서 각각 sRNN은 분류 정확도와 정밀도가 가장 높았고, BERTopic은 토픽 일관성에서 PLSA를 앞섰다(0.41 대 0.37).

    출처: §11.5.1 · p. 166, §17.6 · p. 235

  • 시사점 및 한계

    토픽 모델링은 조종사 오류, 기계적 고장, 기상 조건, 훈련 부족 등 해석 가능한 항공 안전 주제를 도출한다.

    출처: §17.6 · p. 236

    군용 및 개인용 범주는 여전히 분류가 어려웠으며, 이는 클래스 불균형과 구분에 유용한 특성의 부족 때문으로 보인다.

    출처: §13.5.4 · pp. 187–188

Abstract

from arXiv · show

The aviation industry characterized by its stringent safety standards has seen a growing need for innovative approaches to enhance safety measures. Despite the vast accumulation of aviation safety data over time, its full potential in predicting and preventing incidents has not been fully realized. This research addresses this gap by applying machine learning (ML) and natural language processing (NLP) techniques to analyze aviation safety data from Socrata, the Australian Transport Safety Bureau (ATSB), the National Transportation Safety Board (NTSB), and the Aviation Safety Network (ASN). By leveraging existing ML models, including deep learning and transformer-based architectures alongside NLP methods for mining aviation incident narratives, this study uncovers patterns contributing to safety related incidents such as accidents and near-misses. Additionally, it employs various topic modelling techniques to extract meaningful themes from unstructured safety reports, enhancing the interpretability of incident analysis. Causal inference techniques and interpretable AI frameworks are further explored to improve model transparency and trustworthiness. A key contribution of this work is the deployment of advanced ML methodologies in a structured aviation safety context, assessing their effectiveness and providing insights into their practical implementation. The findings offer valuable insights for aviation stakeholders, including regulators, airlines, and policymakers, by providing data-driven solutions that enhance incident analysis and decision making. Ultimately, this research supports the industry s ongoing efforts to minimize risks, improve passenger and crew security, and integrate AI driven methodologies into aviation safety management.

독창성 확인서

저자는 자신이 알고 믿는 한, 제출물이 본인이 직접 작성한 것이며, 타인이 작성하거나 출판한 자료 또는 다른 학위나 졸업장 취득을 위해 이미 상당 부분 인정받은 자료를 출처를 밝히지 않은 채 포함하지 않았음을 선언한다.

독창성 확인서

  • 저자는 제출물이 본인이 직접 작성한 것임을 선언한다.출처: Certificate of Originality · p. 4
  • 저자가 알고 믿는 한, 타인이 이전에 출판하거나 작성한 자료는 논문에서 적절히 출처를 밝힌 경우에만 포함되어 있다.출처: Certificate of Originality · p. 4
  • 저자가 알고 믿는 한, UNSW나 다른 기관에서 다른 학위나 졸업장 취득을 위해 이미 상당 부분 인정받은 자료는 적절히 출처를 밝힌 경우에만 포함되어 있다.출처: Certificate of Originality · p. 4

논문 목록

논문 목록은 항공 안전 문헌고찰, 사건 예측, 분류, 토픽 모델링을 다룬다. 2023–2025년의 투고 원고와 학술대회 논문이 포함된다.

논문 목록

  • 투고 원고들은 다중 헤드 어텐션 트랜스포머와 변분 오토인코더를 결합한 NLP를 활용하는 사건 원인 예측, 그리고 호주 항공 분야의 설명 가능한 지도학습 기반 예측을 연구한다.트랜스포머, 변분 오토인코더, 설명 가능한 학습에 관한 원고는 각각 Modelling, IEEE Access, Journal of Aerospace에 투고되었다.출처: List of Publications · p. 19
  • 문헌고찰 논문들은 항공 사고 연구에 쓰이는 머신러닝 방법과 항공 안전 분야의 NLP 활용을 다룬다.머신러닝에 관한 체계적 문헌고찰은 TRIP에 투고되었으며, NLP 문헌고찰 및 정성 분석은 AIAA SCITECH 2025 Forum에 수록되었다.출처: List of Publications · p. 19
  • 분류 관련 논문들은 NLP와 딥러닝을 활용해 비행 단계, 순차적 항공 안전 사건, 운항 기록을 다룬다.비행 단계 연구에는 ASN 데이터를 활용한 LSTM, GRU, BiLSTM 모델과 ATSB 보고서를 활용한 NLP·딥러닝 연구가 포함되며, 운항 기록 분류 연구는 ICPCT 2025에 수록되었다.출처: List of Publications · pp. 19–20
  • SPIN 2024 논문은 텍스트 기반 손상 수준 분류를 위한 딥러닝 아키텍처를 비교한다.논문 목록에는 연구 주제만 제시되어 있으며, 성능 비교 결과는 없다.출처: List of Publications · p. 19
  • GCITC 2023 논문은 데이터셋 크기와 데이터 출처가 NLP 기반 항공 안전 사건 예측 모델에 미치는 영향을 살펴본다.논문 목록에는 효과 크기나 선호되는 데이터 출처가 보고되지 않았다.출처: List of Publications · p. 19
  • 토픽 모델링 관련 논문들은 군집화와 LDA, NMF, PLSA 간 비교를 통해 사건 서술문을 탐색하며, ATSB와 Socrata 데이터를 활용한 연구도 포함한다.목록에는 서술문 탐색, ATSB 서술문의 비교 모델링, 사고 보고서의 LDA–NMF 비교, Socrata 사례 연구가 포함된다.출처: List of Publications · p. 20

제1장. 서론

이 학위논문은 트랜스포머, 변분 오토인코더, 설명 가능한 AI를 항공 안전 분석에 적용하며, 서술형 기록을 통한 사건 원인 예측과 모델 투명성에 초점을 맞춘다.

1.1 배경

  • 자원 소모가 큰 조사와 정형 데이터 중심의 ML로 인해 서술형 기록이 충분히 활용되지 못하며, 해석 가능성, 예측 정확도, 데이터 불균형 문제는 도입을 가로막는다.기존 접근법은 인간의 편향, 위험 식별 지연, 대규모 데이터 관리의 어려움에도 직면한다. 이 연구는 실제 안전 데이터로 검증하는 예측 모델링과 투명성 개선 방안을 제안한다.출처: Chapter 1. Introduction · pp. 22–23

1.2 의의

  • ML과 NLP를 통합해 활용이 부족한 사건 서술 기록을 분석하고 해석 가능한 예측을 도출함으로써 안전 관리 시스템, 선제적 위험 완화, 이해관계자의 의사결정을 지원하고자 한다.사건 원인 식별을 자동화하고 항공 위험 평가의 정확도를 높이기 위해 트랜스포머 기반 모델, VAE, XAI를 제안한다.출처: Chapter 1. Introduction · p. 23

1.3 연구 동기

  • 항공 교통량 증가, 안전 데이터 처리의 어려움, 타 분야의 AI 발전, 블랙박스 모델에 대한 불신은 확장성과 설명 가능성을 갖춘 항공 안전 분석의 필요성을 부각한다.SHAP 등 설명 가능성 기법은 투명성, 규제 준수, 책임성 문제에 대응하며, 더 넓게는 사고 감소와 조사 및 정책 개선을 지향한다.출처: Chapter 1. Introduction · p. 24

1.4 연구 목적과 세부 목표

  • 이 학위논문은 트랜스포머, VAE, SHAP 기반 설명 가능성을 사건 원인 예측에 적용하고, 실제 NTSB 및 ATSB 데이터셋에서 그 효과를 평가하는 것을 목표로 한다.세부 목표는 예측 정확도, 모델 해석 가능성, 항공 분야에서 충분히 탐구되지 않은 ML 활용을 다룬다.출처: Chapter 1. Introduction · pp. 24–25

1.5 연구 질문

  • 이 연구는 ML과 NLP로 사건 원인을 예측하고 해석 가능성을 높이는 방법을 묻고, 기존 연구의 공백, 트랜스포머의 정확도, VAE 추론, 설명 가능성을 살펴본다.부차적 연구 질문은 이들 방법의 예측 및 해석 가능성 측면의 역할과 함께 현재 동향, 한계, 향후 방향을 탐구한다.출처: Chapter 1. Introduction · p. 25

1.6 학위논문의 구성

  • 이 학위논문은 학술대회 논문 열두 편과 학술지 논문 네 편을 토대로 하며, NLP 문헌 검토에서는 May 2024 기준으로 이용 가능한 Scopus 등재 문헌 34편을 분석한다.문헌 검토는 주석 데이터와 해석 가능성에 관한 과제를 파악하고, 주석 작업을 위한 능동 학습과 투명성 확보를 위한 설명 가능한 AI를 제안한다.출처: Chapter 1. Introduction · pp. 25–26

1.6 학위논문 구성

  • 핵심 기여는 VAE의 인과 요인 추론, XAI의 투명성, 트랜스포머의 예측을 검토하고, 딥러닝 기반 사건 분류와 pLSA/BERTopic을 통한 반복 주제 및 위험 추출을 다루는 데 있다.Chapters 4–6은 핵심 연구를, Chapters 7–13은 딥러닝을, Chapters 14–18은 토픽 모델링을 다룬다.출처: Chapter 1. Introduction · p. 26
  • 결론 장은 연구 결과, 시사점, 한계, 향후 연구를 종합하며, 그 앞의 각 장은 항공 안전이라는 공통 주제 아래 개별 논문의 구성을 유지한다.참고문헌은 학위논문 말미의 목록에 통합한다.출처: Chapter 1. Introduction · pp. 26–27

2장. 항공 사고 연구를 위한 머신러닝 분석 방법의 체계적 문헌고찰

이 체계적 문헌고찰은 항공 사고 후 분석에 머신러닝을 활용한 연구 87편을 종합하고, 예측 및 실시간 탐지 연구와의 관계를 살펴본다. 방법, 결과, 응용 분야, 출판 특성을 검토하고 투명하고 신뢰할 수 있는 선제적 안전 분석을 위한 연구 우선순위를 제시한다.

2장. 항공 사고 연구를 위한 머신러닝 분석 방법의 체계적 문헌고찰

  • 논문 3832편에서 선정한 연구 87편은 사고 후 분석, 예측 모델링, 실시간 사고·준사고 탐지에 머신러닝을 활용한 사례를 다룬다.검토 대상은 25년에 걸친 연구이며, Scopus 검색과 Google Scholar를 통한 참고문헌 역추적 검색을 활용했다. 적용 맥락, 학습 유형, 과업, 알고리즘, 데이터 출처를 검토했으며, ASRS와 NTSB 데이터셋이 가장 많이 사용되었다.출처: Chapter 2. A Systematic Review of… · pp. 27, 29, 30
  • 투명성, 공정성, 편향 완화는 신뢰할 수 있는 ML 기반 항공 안전 연구의 토대이며, 이를 바탕으로 향후 연구 방향 일곱 가지를 권고한다.권고 방향은 해석 가능한 AI, 실시간 예측, 하이브리드 모델, 불균형 데이터셋 처리, 개인정보 보호와 데이터 보안, 안전 전문가를 위한 인간-기계 인터페이스, 규제 측면의 함의다.출처: Chapter 2. A Systematic Review of… · pp. 27–28

2.3.1 인공지능

  • AI는 인간의 학습과 문제 해결을 모방하는 지능형 에이전트를 연구하며, 지각, 자연어 처리, 의사결정을 가능하게 한다.머신러닝은 항공 분야에 활용되는 AI의 주요 하위 분야로 소개된다.출처: §2.3.1 · pp. 30–31

2.3.2 머신러닝

  • AI의 하위 분야인 ML은 품질이 높고 균형 잡힌 데이터와 문제에 적합한 알고리즘에 의존한다.이 문헌고찰은 항공 안전 분야의 지도학습, 비지도학습, 준지도학습 활용 사례를 다룬다. 배경 설명에서는 강화학습도 시행착오를 통해 누적 보상을 최대화하는 상호작용 기반 학습으로 소개한다.출처: Chapter 2. A Systematic Review of… · p. 27, §2.3.2 · pp. 31–32, §2.3.1 · p. 31

2.3.4 머신러닝 과업

  • ML 과업에는 분류, 회귀, 군집화, 이상 탐지, 데이터 축소, 자연어 처리 가 포함된다.각 과업은 각각 범주 할당, 연속값 예측, 유사한 기록의 그룹화, 이례적 사례 탐지, 복잡도 감소, 언어 해석 또는 생성을 수행한다. 데이터 축소는 계산 부담과 과적합을 줄이며, NLP는 후속 단계로 추가되어 다른 과업의 수행을 지원하는 경우가 많다.출처: §2.3.4 · p. 32

2.3.5 항공 안전 분야의 머신러닝 기법

  • 신경망은 항공 위험 분류 와 HFACS 불안전 행위 예측 에 활용되지만, 의사결정 과정을 추적하기 어려울 수 있다.Zhang & Mahadevan, 은 랜덤 포레스트, 심층 신경망, SVM을 결합해 11년간의 ASRS 보고서에 NLP와 분류를 적용했다. LASSO 등을 활용한 변수 선택을 LSTM과 결합하여 10년간의 ASRS 데이터에서 시간에 따른 안전 패턴을 모델링했다.출처: §2.3.5 · pp. 34–35
  • Koteeswaran et al., 의 사고 원인 분류에서는 Naive Bayes가 SVM 및 KNN보다 가장 우수한 성능을 보였다.SVM은 ASRS 사고 데이터 분류에 사용되었으며, 의사결정나무는 사고 유형 분류 와 보고서 186,000건의 NLP 분석 에 활용되었다. Koteeswaran et al., 에서는 KNN으로 95년에 걸친 FAA 사고 데이터를 분류했다.출처: §2.3.5 · pp. 33–34
  • LDA는 사고 서술문에 잠재된 주제를 발견하며, 특정 분야의 NLP에는 맞춤형 사전이나 어휘집이 필요할 수 있다.LDA는 문서를 주제의 혼합으로, 주제를 단어의 분포로 표현한다. 한 연구는 LDA와 다른 기법을 결합해 59년에 걸친 NTSB 사고 20,000건을 분석했다.출처: §2.3.4 · p. 33, §2.3.5 · p. 35
  • 연구 방법론은 연구 질문을 Scopus 검색, 연구 선정, 질 평가와 연결했다.앞선 기법 개요에서는 PCA 기반 차원 축소를 신경망 및 의사결정나무와 결합한 승객 생존 여부 분류 사례를 소개한다. 문헌고찰의 분석과 보고는 Kitchenham et al.의 지침 과 의 연구 결과에 따라 수작업으로 수행했다.출처: §2.3.5 · p. 36

2.4.1. 검색 전략 / 2.4.2. 데이터베이스 검색

  • 최초 논문 3832편에서 무관한 문헌 3731편과 중복 문헌 33편을 제외해 68편이 남았으며, 추가 인용 검색으로 논문 26편을 확보했다.Scopus 검색어에는 NASA ASRS, ICAO, NTSB, 호주 교통 안전 등 항공 안전 관련 출처가 포함되었다. 참고문헌 검색으로 데이터베이스 검색을 보완했다.출처: §2.4.1 · p. 36, §2.4.2 · pp. 37–38

2.4.4 선정 기준

  • 선정 과정에서 비영어 연구, 항공 사고 분석 범위를 벗어난 연구, 동료심사를 거치지 않은 자료, 전문에 접근할 수 없는 논문을 제외했다.포함·제외 기준에 따라 제목과 초록을 선별한 뒤 전문을 평가했다.출처: §2.4.4 · pp. 38–39

2.4.5. 데이터 추출, 코딩 및 질 평가 / 2.4.6. 데이터 종합

  • 질 평가에서 연구 일곱 편을 추가로 제외한 뒤 논문 87편이 남았으며, 이를 항공 사고 후 분석의 ML 활용에 관한 주제별 종합의 분석 자료로 삼았다.22개 문항으로 구성된 Microsoft Forms 도구로 연구 특성과 질 평가 결과를 수집하고, 추출한 데이터를 Excel에 정리했다. 주제, 방법론, 알고리즘, 결과를 비교·종합하여 동향, 연구 공백, 과제, 향후 연구 방향을 도출했다.출처: §2.4.5 · pp. 39–40, §2.4.6 · pp. 40–41

2.5.1 항공 운용 분야

  • 연구의 44%는 모든 항공 운용 분야를 다뤘으며, 정기 여객 운송은 31%, 일반항공은 7%, 군용항공은 3%, 화물 운송은 1%였다.같은 대목의 후반부에서는 모든 운용 분야 범주의 비율을 44%가 아닌 약 55%로 제시한다.출처: Figure 5 · p. 41, §2.5.1 · p. 41

2.5.2. 출처 및 출판물 유형

  • 출판물의 52%는 학술지 논문이었으며, 학술대회 논문 44%, 학위논문 4%가 뒤를 이었다.Scopus에서 적격 논문 61편을 확보했으며 그 비중은 69%로 보고되었다. Google Scholar의 ‘인용한 문헌’ 검색에서는 26편을 추가로 확보했다. Google Scholar 검색 결과에서는 학술대회 논문과 학위논문의 비중이 상대적으로 높았다.출처: §2.5.2 · pp. 41–42, Figure 6 · p. 42

2.5.3 연구 대상 기간

  • 데이터 수록 기간을 보고한 연구 67편에서 데이터셋의 평균 기간은 24.7년이었으며, 중앙값은 15년이었다.사례별 기간은 1년 부터 101년 까지였으며, 10–19년 구간의 빈도가 가장 높았다. 기간은 마지막 연도에서 시작 연도를 뺀 뒤 1을 더해 계산했으며, 명시된 연간 불확실성은 ±0.5년이었다.출처: §2.5.3 · p. 42, Figure 7 · p. 43

2.5.4 논문 발표 동향

  • 세 번째 연구 세대의 논문 수는 연간 12.5편으로, 두 번째의 3.4편, 첫 번째의 0.4편과 대비된다.연구 방법은 1998년 의사결정나무와 2004년 로지스틱 회귀에서 2010년 서포트 벡터 머신과 2017년 딥러닝으로 발전했으며, 논문 발표는 2020년에 정점에 달했다. 저자들은 이러한 증가를 ML 도입 확대의 징후로 해석하며, 항공 안전 온톨로지를 추론하는 NLP의 능력이 이에 기여할 수 있다고 본다.출처: §2.5.4 · pp. 43–44

2.5.5 분석에 사용된 소프트웨어 패키지

이 절에서는 항공 안전 분석에 사용된 소프트웨어 도구, 데이터 출처, ML 및 NLP 기법을 살펴본다. 예측 응용과 서술문에서의 추정 사고 원인 식별·생성도 다룬다. 또한 해석 가능성, 데이터 가용성, 개인정보 보호, 인적 요인, 규제 체계와 관련된 연구 공백과 도입 우선순위를 검토한다.

2.5.5 분석에 사용된 소프트웨어 패키지

  • 연구의 40%가 Python을 사용했으며, WEKA 20%, MATLAB 16%, R 11%가 뒤를 이었다.Python의 강점은 풍부한 ML 라이브러리, 범용성, 배치 스크립팅이다. WEKA는 접근하기 쉬운 인터페이스를, MATLAB은 수치 계산을, R은 통계 분석과 시각화를 제공한다. Python의 우세가 뚜렷해지고 있지만, 이 문헌고찰에서는 최적의 소프트웨어에 대한 합의가 확인되지 않았다.출처: §2.5.5 · p. 45, Figure 9 · p. 46

2.5.6 연구에 사용된 데이터 출처; 2.6.2. 데이터 출처와 품질 평가

  • 연구의 41%가 ASRS 데이터를, 25%가 NTSB 데이터를 사용해 두 자료원이 항공 안전 분석의 주요 데이터 출처로 나타났다.기타 출처는 18%, FAA는 8%, ASN은 4%, 설문조사는 3%, ATSB는 1%였다. 문헌고찰은 신뢰할 수 있는 결과와 실행 가능한 의사결정의 토대로서 연구에 적합한 고품질 데이터셋과 엄격한 품질 평가를 강조한다.출처: §2.5.6 · p. 46, §2.6.2 · pp. 53–54

2.5.7. 논문 발표 국가 분석; 2.5.8. 저자

  • 미국이 논문 45편으로 인도 12편, 중국 11편을 앞섰으며, 저자별로는 Khan, L과 Mavris, DN이 각 5편으로 가장 많았다.캐나다, 튀르키예, 이탈리아, 사우디아라비아는 각각 세 편에서 네 편을 발표했으며, 호주, 영국, 독일은 각각 한 편을 발표했다. 1998–2023년을 대상으로 한 문헌 검토에서 Christopher, AA와 Puranik, TG는 각각 네 편을, Alias Balamurugan, SA, Mahadevan, S, Rao, AH, Robinson, SD, Zhang, X는 각각 세 편을 집필했다.출처: §2.5.7 · p. 46, §2.5.8 · p. 47, §2.5.10 · p. 53

2.5.9. 머신러닝의 분석 차원; 2.5.9.1 머신러닝 접근법; 2.5.9.2 머신러닝 유형

  • 연구의 65%가 지도학습을 사용했으며, 가장 많이 수행된 과제는 분류였으나 그 비율은 59%와 60%로 일관되지 않게 보고되었다.연구 접근법은 정량 연구 62%, 혼합방법 연구 30%, 정성 연구만 수행한 경우 8%였다. 비지도학습은 30%, 준지도학습은 5%를 차지했다. 과제별로는 데이터 축소가 5%, 회귀가 1%였다.출처: §2.5.9.2 · pp. 48–50, §2.5.9.1 · p. 48

2.5.9.2 머신러닝 유형; 2.5.10 안전 향상

  • 연구의 18%가 NLP, 9%가 군집화, 8%가 이상 탐지 를 사용해 텍스트에서 통찰을 추출하고, 유사한 기록을 묶고, 잠재적 위험을 식별했다.안전 분야의 응용에는 SVM, 랜덤 포레스트, 나이브 베이즈를 활용한 위험 예측, 의사결정나무와 딥러닝을 활용한 이상 탐지, 잠재 디리클레 할당과 순환신경망을 활용한 서술문 마이닝 이 있다. K-Means, 심층신뢰망, 자기조직화 지도는 잠재 패턴을 식별하며, PCA와 비음수 행렬 분해는 복잡한 데이터를 단순화하고 주요 특징을 드러낸다.출처: §2.5.9.2 · p. 49, §2.5.10 · p. 52

2.5.9.2 머신러닝 유형; 2.6.4. 연구 유형과 목적의 다양성

  • 연구의 21%가 딥러닝을 사용해 알고리즘 중 가장 높은 비중을 차지했지만, 문헌고찰에서는 특정 알고리즘에 대한 집중 경향이 확인되지 않았다.보고된 사용 비율은 의사결정나무 16%, SVM 14%, 나이브 베이즈 12%, KNN 10%, 랜덤 포레스트 9%, 선형판별분석 6%, 로지스틱 회귀 6%, PCA 4%, K-Means 2%였다. 개별 연구는 여러 접근법을 시험하는 경우가 많았으며, 문헌고찰은 이러한 방법론적 다양성을 해석할 때 연구 유형과 목적의 차이를 고려해야 한다고 강조한다.출처: §2.5.9.2 · pp. 50–51, Figure 14 · p. 51, §2.6.4 · p. 54

2.6.5. 향후 연구 방향; 2.6.5.1. 해석 가능하고 설명 가능한 AI:; 2.6.5.2. 실시간 사고 예측:; 2.6.5.3. 혼합 모델:

  • 향후 우선과제는 투명하고 공정한 모델, 실시간 사고 예측, ML과 전문가 시스템 또는 물리 기반 모델을 결합하는 혼합 접근법이다.안전이 핵심인 응용에서는 설명 가능한 의사결정이 이해관계자의 신뢰에 중요하다. 예측 분석과 실시간 처리는 조기 경보와 신속한 개입을 가능하게 할 수 있다. 정확도와 강건성을 높이기 위한 혼합 접근법이 제안되며, 윤리와 편향 완화에도 폭넓은 관심이 요구된다.출처: §2.6.5 · p. 54, §2.6.5.1 · p. 54, §2.6.5.2 · p. 54

2.6.5.4. 불균형 데이터셋 처리:; 2.5.10 안전 향상; 2.6.1. 다양한 머신러닝 기법과 응용; 2.6.3. 안전 향상과 통찰 도출

  • 비용 민감 학습 은 소수 클래스 분류를 우선해 드문 사고 사례를 다루며, 이 과정에서 비사고 사례의 오류 증가를 허용할 수 있다.인적 요인 분석은 표적화된 개입을 이끌 수 있으며, 평가 지표는 사고 조사 이외의 응용까지 포함한 항공 분야의 구체적 맥락에 부합해야 한다. ML의 패턴 발견과 예측 능력은 예방 전략과 정보에 근거한 안전 의사결정을 지원한다.출처: §2.5.10 · pp. 52–53, §2.6.1 · p. 53, §2.6.3 · p. 54

2.6.5.5. 개인정보 보호와 데이터 보안:

  • 향후 항공 사고 연구는 개인의 프라이버시를 보호하면서 분석과 협업을 지원하도록 차등 프라이버시 와 안전한 다자간 연산 을 탐구해야 한다.차등 프라이버시는 데이터나 질의 응답에 정밀하게 조절된 잡음을 추가한다. 안전한 다자간 연산은 참여자의 입력값을 공개하지 않고 공동 연산을 수행하게 한다.출처: §2.6.5.5 · p. 55

2.6.5.6. 안전 전문가를 위한 인간–기계 인터페이스:

  • 향후 ML 기반 사고 분석은 인적 오류를 고려하고 실행 가능성이 높은 통찰을 도출하도록 인지심리학과 인적 요인 전문지식을 통합해야 한다.이 대목에서는 인적 오류를 사고의 주요 기여 요인으로 지목한다.출처: §2.6.5.6 · p. 55
  • 향후 연구는 항공 분야 전반에서 ML 기반 사고 분석을 윤리적이고 효과적으로 활용하도록 규제 체계와 도입 전략을 개발해야 한다.이 대목에서는 사고 분석에 ML 기법의 활용이 늘어나고 있다는 점을 이러한 체계가 필요한 이유로 제시한다.출처: §2.6.5.6 · p. 55

2.7 결론

  • 문헌고찰은 항공 안전 응용으로 분류, 이상 탐지, 예측 모델링, 실시간 사건 식별을 제시하고 투명성, 공정성, 편향 완화를 강조한다.사반세기에 걸친 연구를 일곱 가지 안전 영역에 걸쳐 종합하고, 향후 연구 방향 일곱 가지를 제시한다. 또한 의료, 자율주행차, 산업 제조 분야에서도 안전 중심의 AI/ML 도입을 권장한다.출처: §2.6.5.6 · p. 56

2.6.5.6. 안전 전문가를 위한 인간–기계 인터페이스:

  • 검토된 연구들은 전문가 검토를 결합한 시계열 토픽 모델링, 구조적 토픽 모델링, 항공 안전 서술문의 NLP 기반 군집화와 분석 을 다룬다.출처: §2.6.5.6 · p. 58
  • 검토된 연구들은 항공 안전관리에서의 사건·사고 분류 와 항공 사고의 부상자·사망자 예측 도 다룬다.출처: §2.6.5.6 · p. 58
  • 문헌고찰은 대규모 주석 데이터셋의 필요성과 복잡한 모델의 해석 가능성을 구현 과제로 지적하고, 주석 작업에는 능동학습을, 해석에는 설명 가능한 AI를 제안한다.정성·정량 분석으로 연구 방법론, 동기, 결과, 시사점을 검토하고, 사례 연구로 항공 안전 분야의 성공적인 NLP 응용을 보여준다.출처: §2.6.5.6 · p. 60

3.2. 서론

  • 사건 보고서 수작업 분석은 시간이 많이 들고 오류가 발생하기 쉽다. NLP와 ML은 대규모 텍스트 보고서 집합을 더 효율적이고 정확하게 분석할 수 있게 한다.수작업 검토는 인간의 처리 능력, 주관성, 누락의 제약도 받는다. 기존 항공 교통과 도심 항공 교통의 증가 전망 은 자동화와 가용 안전 데이터를 활용하기 위한 AI/ML 도입의 배경이 된다.출처: §3.2 · pp. 60–61

3.2.1 자연어 처리

  • 자유 서술형 ASRS 보고서에서 관련 정보를 추출하는 BERT 기반 질의응답의 정확도는 70%로 보고되었다.NLP는 비정형 서술문을 처리해 패턴 식별, 분류, 예측을 수행한다. 사례로는 위험물 관련 토픽을 추출하는 SVD, Rankin et al. (2015)의 원인 요인 매핑에 사용된 LSA, 기술 보고서의 주제를 분석하는 STM 이 있다. Dong et al. 은 LSTM 신경망으로 사건 원인 요인을 식별했으며, 기존 방법보다 크게 개선된 성능을 보고했다.출처: §3.2.1 · p. 61

3.2.2 항공운송 시스템 안전

  • 예측적 안전관리는 예측과 인과 모델링으로 미래 위험을 식별하고 완화 조치를 이끌며, 항공 분야 전반의 계획 수립을 지원한다.NASA의 시스템 안전은 운용·시간·비용 제약 안에서 시스템 생애주기 전반의 사고 위험을 허용 가능한 수준으로 유지하는 것을 목표로 한다. System-Wide Safety 프로젝트는 수요 증가에 따른 항공 분야의 안전한 전환을 지원한다.출처: §3.2.2 · pp. 61–62

3.2.3. 연구 동기와 의의

  • NLP는 운항 중 사용되는 언어에서 전조를 추적하고 준사고 보고서로부터 학습해 예방 조치의 근거를 제공함으로써 정성적 예측 안전관리를 지원한다.잠재적 자료원에는 음성 통신, ACARS 메시지, 심사·훈련 보고서가 있다. 이 밖에도 대규모 처리, 수작업 범주화의 편향 감소, 잠재적 안전 문제의 조기 탐지 가 활용 동기다.출처: §3.2.3 · p. 62

3.2.4. 연구 목적과 목표

  • 이 연구는 Scopus 등재 문헌을 체계적으로 고찰하고 정성 분석을 통해 항공 안전 분야의 NLP 응용을 평가하며, 연구 공백을 식별하고 연구 방향을 제안한다.연구 질문은 NLP 알고리즘, 핵심 안전 문제, 구현 과제, 예측적 안전관리, 산업 이해관계자에 대한 시사점을 다룬다.출처: §3.2.4 · pp. 62–63

3.3 방법론; 3.3.1 데이터 수집; 3.3.2 통계 분석; 3.3.3 연구 설계 고려사항

  • 2022년까지 발표된 관련 연구 17편에 2023년과 2024년 논문을 추가해 총 34편을 검토했다.기반이 된 체계적 문헌고찰 은 Scopus 검색과 Google Scholar를 활용한 참고문헌 역추적으로 논문 87편을 식별했으며, 신뢰도 높은 항공 안전 데이터 출처를 포함 기준에서 중시했다. 서지정보, 데이터셋, 알고리즘, 목적, 설계, 결과를 추출했다. 연구 동기와 방법을 분석하고 키워드 빈도를 집계했으며, WordItOut/Textalyser로 워드 클라우드를 생성하고 VOSviewer로 연구 목적과 초록을 매핑했다.출처: §3.3 · p. 63, §3.3.1 · p. 63, §3.3.2 · pp. 63–64

3.4.2 정확성과 객관성; 3.7.1.3 의미 분석과 단어 임베딩

  • Robinson의 LSA는 비지도 범주화 정확도 44%를 보였으며, Kierszbaum & Lapasset et al.의 BERT는 약 70%의 정답률을 달성했다.이 결과들은 각각 기존 분류체계 내 원인 요인 범주화와 ASRS 보고서에 대한 질의응답에 관한 것으로, 공통 벤치마크 결과가 아니다. LSA와 word2vec 등의 단어 임베딩은 의미 관계를 포착하고 서술문 분석의 해석 가능성을 높이는 데도 기여했다.출처: §3.4.2 · p. 64, §3.5.1 · p. 66, §3.5.2 · p. 66

3.4.4 인적 요인 분석 강화; 3.5.1 방법론과 머신러닝 알고리즘; 3.7.1.2 딥러닝 모델

  • Dong et al.의 LSTM 접근법은 기존 분석보다 인적 오류와 기타 원인 요인을 더 정확하고 효율적으로 식별했다.이 접근법은 사건 서술문에서 주요 요인과 기여 요인을 식별했다. 문헌고찰 전반에서도 사건 분류와 원인 요인 식별에 대한 LSTM 및 BLSTM의 유망한 결과가 보고되었다.출처: §3.4.4 · p. 65, §3.5.1 · p. 66, §3.7.1.2 · p. 71

3.4.1 효율성과 확장성; 3.5.1 방법론과 머신러닝 알고리즘; 3.5.2 연구 목적과 설계

  • Walton과 Marion은 SVD로 ASRS 위험물 관련 서술문에서 토픽과 추세를 추출해 광범위한 수작업 개입 없이 효율적으로 분석하도록 했다.분석 대상은 10년간의 사건이었다. 보다 전반적으로 NLP는 비정형 안전 서술문에서 정보 추출을 자동화해 정형 데이터 기반 방법과 노동집약적 수작업 검토의 한계를 보완했다.출처: §3.4.1 · p. 64, §3.3.3 · p. 64, §3.5.1 · p. 65

3.4.3 조기 탐지와 선제적 안전관리; 3.5.1 방법론과 머신러닝 알고리즘; 3.5.2 연구 목적과 설계; 3.7.1.1 토픽 모델링 기법

  • 토픽 모델링은 잠재적 안전 주제를 드러냈으며, Rose et al.의 메타데이터 활용이 가능한 STM 기반 ASRS·NTSB 보고서 분석이 그 사례다.Kuhn의 STM 연구는 선제적 안전관리와 관련해 기존에 보고되지 않은 연관성과 주제를 드러냈다. 문헌고찰 전반에서 LDA와 STM은 기저 패턴을 밝혔으며, 더 폭넓은 서술문 분석은 새로운 위험의 탐지와 예방 조치를 지원했다.출처: §3.4.3 · p. 65, §3.5.1 · p. 66, §3.5.2 · pp. 66–67

3.4.5 지식과 모범 사례에 대한 기여; 3.5.3 주요 결과와 시사점; 3.7 논의; 3.7.1.4 산업에 대한 시사점

  • 문헌고찰은 NLP의 효율성, 분석 정확성, 잠재 문제 탐지 능력을 안전관리 개선과 연결하며, 연구 는 모범 사례와 정책 수립의 근거를 제공한다.방법의 효과는 연구 목적과 항공 분야의 적용 대상에 따라 달랐다. 종합 분석은 안전관리 실무와 사고 예방 전략에 대한 시사점을 도출한다.출처: §3.4.5 · p. 65, §3.5.3 · p. 67, §3.7 · p. 71

3.5.3 주요 결과와 시사점

  • 검토한 NLP 논문 34편에서 관련 단어와 무관한 단어를 구별하는 AUC는 0.879로 보고되었다.연구의 57%가 ASRS를 사용했다. 적용 범위별로는 항공 전반을 다룬 연구 27편, 항공사에 특화된 연구 6편, 화물 관련 연구 1편이었다. DL과 LDA는 각각 23%, BERT는 20%의 연구에서 사용되었으며, 통계 분석에는 Satisfy 앱을 사용했다.출처: Figure 15 · p. 67, §3.5.3 · p. 67, Figure 16 · p. 67
  • “NLP”가 17회 넘게 언급되어 가장 빈번한 용어였고, “ASRS”(12회), “텍스트 마이닝”(9회), “항공 안전”(8회)이 뒤를 이었다.VOSviewer로 키워드 빈도와 동시 출현을 매핑했으며, 노드가 클수록 빈도가 높고 거리가 짧을수록 동시 출현 관계가 강함을 나타냈다. 계량서지 분석과 워드 클라우드에서도 자연어 처리, 항공 안전, 텍스트 마이닝이 두드러졌다.출처: §3.5.3 · p. 68, Figure 21 · p. 69

3.7.2.1 연구 공백

  • 연구 공백으로는 제한적인 멀티모달 통합, 실시간 데이터의 활용 부족, 불충분한 인적 요인 분석, 지리적 편중, 일관되지 않은 NLP 평가 지표가 있다.우선과제는 텍스트·음성·영상·센서 데이터의 결합과 즉각적인 안전 개입을 위한 스트리밍 시스템 개발이다. 피로, 의사결정, 의사소통에 대한 심층 분석, 지리·문화적 범위 확대, 평가 표준화는 나머지 한계를 보완할 수 있다.출처: §3.7.2.1 · pp. 72–73

3.7.3 실무 권고사항

  • 안전관리시스템에 NLP를 통합하면 반복되는 사건 패턴을 드러내고 위험 평가를 통해 시정 조치의 우선순위를 정할 수 있다.학습 데이터의 정확성과 관련성을 높이기 위해 표준화된 주석 지침, 자동 주석 도구, 전문가 검토와 피드백을 권고한다.출처: §3.7.2.1 · p. 74

3.7.3.3 모델 통합·배포 및 역량 강화 지침

  • NLP 도입에는 통합 프레임워크, 성능 지표, 갱신·유지보수 절차, 규제 준수, 연구 협력, 내부 역량 강화가 필요하다.조직은 운영 요구사항과 제약을 고려하고, 항공 분야에 특화된 연구에 협력하며, 직원에게 NLP, 데이터 분석, 머신러닝 교육을 제공해야 한다.출처: §3.7.3.3 · p. 74

3.8.2 NLP를 활용한 예지보전

  • NLP 사례 연구는 사건 위험 발견, 예지보전, 안전문화 평가 를 다룬다.ASRS 서술문은 잠재 위험과 기여 요인을 드러냈다. 정비 기록과 항공기 성능 데이터는 문제의 조기 탐지, 일정 최적화, 비용 절감, 효율성 향상을 지원했다. 직원 보고서와 피드백에서는 안전 관련 감정, 태도, 인식을 파악해 개입과 교육의 방향을 설정했다.출처: §3.8.2 · p. 75, §3.7.3.3 · p. 75

3.9 과제와 해결 방안

  • 구현 과제는 언어 표현의 다양성, 개인정보 보호 요건, 기존 시스템의 확장성, 전문지식, 불투명한 모델에 걸쳐 있으며, 기술적·조직적 대응이 필요하다.제안된 대응책에는 딥러닝과 의미 분석 [157], 연합학습과 차등 프라이버시, 클라우드 서비스를 결합한 모듈식 상호운용 플랫폼 이 있다. 교육과 학계 협력, 해석 가능한 방법, 시각화, SHAP, LIME 은 전문성과 투명성 문제에 대응한다.출처: §3.8.2 · p. 76

3.7.1.4 산업에 대한 시사점

  • Scopus 등재 연구 17편은 안전 문제 식별, 복잡한 데이터 해석, 예측적 안전관리 지원에서 NLP의 잠재력을 보여준다.SVD부터 BERT와 LSTM에 이르는 방법은 수작업 분석보다 객관적이고 정확한 것으로 설명된다. 주석 작업과 해석 가능성의 문제에는 능동학습과 설명 가능한 AI가 제안된다. 산업적 시사점은 더 깊은 인과적 통찰, 개입 우선순위 설정, 보고 효율 향상, 위험 예측 개선, 근거 기반 의사결정이다.출처: §3.7.1.4 · p. 71, §3.8.2 · p. 77

Section II. VAE, 설명 가능한 AI 및 Transformer의 기초.

  • NTSB 테스트 데이터셋에서 VAE가 생성한 추정 원인과 실제 추정 원인을 코사인 유사도로 평가한 결과, 평균 유사도는 0.786이었다.NLP는 사건 서술문을 수치로 인코딩하고, 생성 모델은 이 표현을 이용해 추정 원인을 생성한다.출처: Section II. Fundamentals of VAE,… · p. 78

4.2 서론

  • 제안된 NLP–VAE 접근법은 초기 사건 서술문에서 추정 원인을 예측해 원인 규명에 시간이 많이 소요되는 문제에 대응한다.재구성 목적함수는 기존의 평균제곱오차를 최소화하는 대신 예측 추정 원인 벡터와 실제 추정 원인 벡터 사이의 코사인 유사도를 최대화한다. 기존 토픽 모델링 접근법은 관련 항공 용어를 묶어 조사를 지원했다.출처: §4.2 · pp. 78–79
  • 기존 항공 응용에서는 불확실한 엔진 예후 데이터에 iVAE를 사용했고, 주석이 제한된 상황에서 관측되지 않은 목표 도메인 클래스를 학습하는 데 CCVAE를 사용했다.iVAE는 사전분포군과 특화된 뉴런을 도입했으며, 중간 규모의 불확실한 데이터셋을 사용한 엔진 열화 및 잔여수명 사례 연구에서 ICA보다 우수했다. CCVAE는 소스 도메인 데이터로 관측되지 않은 클래스의 합성 특징을 생성했으며, Baggage Xray를 포함한 데이터셋에서 높은 성능을 보였다.출처: §4.2 · pp. 80–81
  • 선행 연구는 VAE로 결빙 유동 재구성을 개선하고, 합성곱 VAE로 헬리콥터 상승 비행의 이상을 탐지했으며, 비행 단계 분류에서는 LSTM이 더 우수하다고 평가했다.재구성은 개선되었지만 잠재 공간의 시간적 불연속성이 SINDy 방정식 식별을 저해했다. 헬리콥터 이상 탐지에는 궤적 패턴 마이닝과 형상 분석을 결합했다. ATSB 보고서에서는 LSTM이 정확도, 정밀도, 재현율, F1에서 CNN, BLSTM, sRNN보다 우수했다.출처: §4.2 · p. 81
  • 제안된 NLP–VAE 접근법은 사건 서술문을 학습된 잠재 분포로 인코딩하고, 가능성이 높은 추정 원인을 나타내는 벡터로 디코딩한다.재정의된 VAE 손실은 생성된 추정 원인과 실제 추정 원인의 코사인 유사도를 최적화한다. 저자들은 이를 항공 안전 분야의 첫 적용으로 설명하며, 조사 기간을 단축하고 안전을 향상할 수 있다고 제안한다.출처: §4.2 · pp. 81–82, §4.4.7 · pp. 89–90

4.4.1 데이터셋

  • 2005년부터 2020년까지 완료된 NTSB 조사 20919건에서 분석 서술문과 추정 원인 필드를 확보해 모델 학습과 검증에 사용했다.보고서는 JSON 형식으로 내려받았다. 벡터를 학습용 85%와 테스트용 15%로 무작위 분할했으며, 각 에포크에서 학습 세트의 10%를 검증용으로 사용했다.출처: §4.4.1 · p. 82, §4.4.7 · p. 87

4.4.2 데이터 전처리

  • spacy/nltk 전처리 와 GloVe 벡터화 후 분석 서술문과 추정 원인의 최대 시퀀스 길이는 각각 1200과 200이었다.정제 과정에는 토큰화, 불용어·문장부호 제거, URL/HTML 제거, 어간 추출, 표제어 추출이 포함되었다. 분석 서술문은 평균 1,116단어, 표준편차 858.36이었고, 추정 원인은 평균 165단어, 표준편차 93.12였다.출처: §4.4.2 · p. 83

4.4.3 데이터 표준화

  • 30차원 잠재 표현이 서술문 인코딩과 추정 원인 디코딩을 연결했으며, 최소–최대 스케일링으로 입력 특징을 0과 1 사이로 정규화했다.scikit-learn의 MinMaxScaler로 입력을 준비하고 (1200,1)과 (200,1) 형태로 재구성했다. 인코더는 Conv2D 은닉층 11개, 디코더는 Conv2DTranspose 은닉층 10개를 사용했으며, LeakyReLU와 배치 정규화를 적용했다. VAE는 잠재 분포가 정규분포에 가까워지도록 제약하면서 재구성 오차와 KL 발산을 최소화했다.출처: §4.4.3 · pp. 83, 84, 86

4.4.6. 실험 환경

  • CPU 코어 256개, NVIDIA A100-SXM4-80GB GPU 4개, RAM 512GB를 갖춘 Ubuntu 서버에서 실험을 수행했다.실험은 Python 으로 구현했으며 TensorFlow, nltk, sklearn, NumPy, pandas를 사용했다.출처: §4.4.6 · p. 87

4.4.7. 모델 학습과 평가

  • 학습에 사용하지 않은 테스트 서술문에서 예측된 추정 원인과 기록된 추정 원인의 일치도는 평균 코사인 유사도 0.786, 표준편차 ±0.120이었다.점수는 높은 유사도 구간에 집중되었으며, 0.5 미만인 경우는 매우 적었다. 생성된 벡터는 다시 단어로 변환해 전문가에게 워드 클라우드로 제시했다.출처: §4.4.7 · p. 87, Figure 24 · p. 88, Figure 26 · p. 89

Chapter 5. 호주 항공 예측을 위한 설명 가능한 지도학습 모델.

이 절에서는 호주 항공 안전 사건의 3개 클래스 분류를 위한 지도학습과 NTSB 서술문에서 추정 원인, 항공기 손상, 비행 단계를 예측하는 NLP 기법을 살펴본다. VAE 기반 클래스 균형화, SHAP 기반 모델 설명, 서술문 기반 예측을 위한 트랜스포머 및 순환 모델의 평가를 다룬다.

Chapter 5. 호주 항공 예측을 위한 설명 가능한 지도학습 모델.

  • 기존 항공 연구는 정량적 검증 없이 XAI 분류 체계를 제시했으며, 항공기 궤적 이상에 대한 LIME 기반 설명을 시연했다.이상 탐지 시제품은 분야 전문가의 업무와 AI 의사결정 지원 도구의 수용을 돕고자 사람이 이해할 수 있는 설명을 제공했다.출처: Chapter 5. Explainable Supervised… · pp. 92, 94
  • 이 연구는 균형 및 불균형 데이터 학습을 검토하고 SHAP과 LIME으로 특성의 영향을 설명하여, 설명 가능한 ATSB 사건 분류 연구의 공백을 다룬다.특성 영향 시각화는 항공 이해관계자에게 분류 결과의 투명성과 신뢰성을 높이는 데 목적이 있다.출처: Chapter 5. Explainable Supervised… · pp. 92, 95

5.4.1 데이터셋

  • ATSB 기록 26,262건은 호주에서 20년간 기록된 사고, 준사고, 중대 준사고를 포함했다.데이터는 ATSB 조사 당국에서 직접 확보했다.출처: §5.4.1 · p. 95

5.4.2 데이터 전처리

  • 전처리에서는 이상치, 결측값, 무관한 특성을 제거하고 범주형 변수를 원-핫 인코딩했으며, VAE로 소수 클래스를 증강했다.인코딩한 변수에는 State, FuelType, RegistrationType, ActivityType, ActivitySubType이 포함됐다.출처: §5.4.2 · p. 95

5.4.3 클래스 불균형 해소를 위한 변이형 오토인코더

  • 사건 클래스의 균형을 맞추기 위해 클래스별 VAE를 따로 사용하여 사고 사례 16000건과 중대 준사고 사례 17000건을 생성했다.원본 데이터셋의 거의 80%가 준사고여서 정확도만으로는 소수 클래스 식별 성능을 잘못 판단할 수 있었다. 각 VAE는 해당 소수 클래스를 학습한 뒤 디코더로 추가 표본을 생성했다.출처: §5.4.3 · p. 96

5.4.4 모델 성능 평가.

  • 다중 클래스 분류 성능은 정밀도, 재현율, F1-score, 정확도로 평가하여 예측이 클래스별로 어떻게 분포하는지 살폈다.F1-score는 정밀도와 재현율을 결합한 지표로 0에서 1 사이의 값을 가지며, 높을수록 좋다.출처: §5.4.4 · p. 97

i) 혼동 행렬

  • 혼동 행렬은 올바른 예측을 거짓 양성 및 거짓 음성과 구분하여 테스트 세트 성능을 시각화한다.예시로 제시한 이진 혼동 행렬에서는 참 양성과 참 음성이 올바른 예측에 해당한다.출처: i) Confusion matrix · p. 98

5.4.5 모델 학습 및 검증

  • 데이터를 학습·테스트 세트로 4:1 무작위 분할하여 균형 및 불균형 데이터셋 모두에서 LR, RF, SVM과 은닉층 5개의 DNN을 평가했다.RF의 최대 깊이는 30, SVM의 커널은 선형으로 설정했으며, 나머지 전통적 모델의 하이퍼파라미터는 기본값을 사용했다. DNN은 은닉층에 ReLU, 출력층에 softmax를 사용하고 처음 세 은닉층 뒤에 20% 드롭아웃을 적용했다.출처: §5.4.5 · p. 98
  • SHAP은 LR, RF, SVM, DNN에 전역적 설명을 제공하여 LIME과 같은 국소적 설명을 넘어 시각적 비교를 가능하게 했다.투명성과 이해관계자의 신뢰를 높이기 위해 모든 모델의 설명을 생성하고 시각화하여 논의했다.출처: §5.4.5 · p. 99, PRECISION RECALL F1-SCORE · p. 103

5.5.1 섀플리 가산 설명(SHAP)

  • SHAP 은 가산적 중요도를 바탕으로 특성별 shap_value 점수를 부여하여 복잡한 모델의 전역적 설명을 생성하고 시각화한다.이 방법은 예측 과정을 해석하기 어려운 앙상블과 심층 신경망의 설명을 지원한다.출처: §5.5.1 · p. 99

5.6.1 머신러닝 모델 성능

  • VAE 균형화는 네 모델 모두의 분류 정확도를 높였고, 사고 및 중대 준사고의 정밀도, 재현율, F1-score를 개선했다.균형화를 적용하지 않았을 때는 모든 모델의 정확도가 무작위 추측 기준선인 33.33%를 넘었음에도 중대 준사고의 정밀도, 재현율, F1-score는 모두 0.0이었다.출처: §5.6.1 · pp. 99–100, Table 10 · p. 100, Table 12 · p. 100

정밀도 재현율 F1-SCORE

6.1 초록

  • NTSB 조사 서술문에서 트랜스포머가 생성한 추정 원인의 평균 BLEU는 0.727, 평균 LSA 유사도는 0.696으로 보고됐다.BLEU의 표준편차는 0.33, LSA 유사도의 표준편차는 0.152였다. ROUGE F-measure 평균은 rouge-1이 0.618(SD=0.192), rouge-2가 0.452(SD=0.248), rouge-L이 0.5560(SD=0.220)이었다.출처: §6.1 · p. 104

6.2. 서론

  • 멀티헤드 어텐션 트랜스포머는 짧거나 긴 서술문을 모두 입력받아 원인 생성 연구의 공백을 다루며, 추정 원인 레이블이 없는 보고서도 활용할 가능성을 제시한다.원본 데이터셋은 2001–2020년에 종결된 NTSB 사건 29,676건으로 구성되며, 디코더는 목표 언어 대신 목표 추정 원인으로 학습한다. 전처리에서는 HTML과 URL을 제거하고 문자를 디코딩하며, 서술문이 10,000단어를 넘거나 원인이 1,000단어를 넘는 자료를 제외한다.출처: §6.2 · pp. 106, 108, 109
  • 항공기 손상 분류에서는 87.9% 초과의 정확도가 보고됐으며, 사건 분류에서는 80-93%의 정확도를 달성했다 [124].비행 단계 분류기는 7개 클래스 문제에서 68%를 넘는 정확도를 보였다. 토픽 모델 비교에서는 LDA의 일관성이 더 높았지만, NMF는 더 고유하고 세부적인 토픽을 도출했다.출처: §6.2 · pp. 107–108

6.4.3. 트랜스포머

  • 트랜스포머 는 멀티헤드 셀프 어텐션으로 병렬 처리와 의존 관계 포착을 수행하며, 스케일링한 쿼리–키 내적에 softmax를 적용하여 값에 가중치를 부여한다.이 구조는 기존 순환 신경망의 순차적 학습 제약을 피한다.출처: 6.4.3.The Transformer · p. 110

6.4.4. 실험 설정

  • 추정 원인 생성용 트랜스포머는 인코더와 디코더 각각 8개 층, 어텐션 헤드 8개, 입력 길이 1024토큰으로 구성했다.모델은 1024차원 임베딩과 0.1의 드롭아웃을 사용했다. 학습·테스트 분할 비율은 90%/10%, 학습은 50에포크였으며, 학습률 0.001의 Adam을 사용했다. NTSB 보고서로 학습한 이 모델은 짧고 긴 서술문을 모두 입력받으며, 조사 신속화를 목적으로 한다.출처: 6.4.4.Experimental setup · p. 111, §6.5.4 · pp. 119–120

6.4.5. 성능 지표

  • 생성한 추정 원인은 정밀도 중심의 BLEU, 재현율 중심의 ROUGE, 의미 기반 LSA 를 함께 사용하여 평가한다.ROUGE는 유니그램, 바이그램, 최장 공통 부분 수열의 중복을 정밀도, 재현율, F-measure로 평가한다. LSA는 벡터 유사도를 사용하며, 어휘 중복 지표에서는 감점될 수 있는 단어 선택의 차이를 허용한다.출처: 6.4.5.Performance metrics · p. 112, §6.4.5.2 · pp. 112–113

6.5.1. BLEU 점수 기반 모델 성능

  • 테스트 세트 전반에서 예측한 추정 원인과 참조 추정 원인의 일치도를 측정한 결과, 평균 BLEU 점수는 0.727, 표준편차는 ±0.330이었다.평가에는 크기 500의 무작위 테스트 표본을 평가한 뒤 선택한 n-그램 가중치 벡터 (0.1,0.1,0,0)을 사용했다.출처: §6.5.1 · pp. 114–115, Figure 37 · p. 115

6.5.2. LSA 유사도 점수 기반 모델 성능

  • 생성한 추정 원인과 참조 추정 원인의 의미적 일치도를 측정한 결과, 평균 LSA 유사도는 0.697, 표준편차는 ±0.153이었다.평가에서는 Google의 사전학습 모델 UniversalSentence-Encoder Version 4로 두 문장을 벡터로 변환하고 의미적 유사도를 비교했다.출처: §6.5.2 · p. 115, Figure 38 · p. 116

6.5.4. 서술문 길이와 BLEU/LSA 점수 분석

  • 서술문 길이는 BLEU와 직접적인 상관관계를 보이지 않았다. LSA는 짧은 입력에서 상관관계가 없었지만 입력이 길어질수록 평균으로 수렴했다.저자들은 이 수렴을 긴 입력에서 성능이 더 안정적이라는 의미로 해석하면서, 학습 데이터 확보를 주요 한계로 지적했다. 향후 NTSB 서술문을 다른 조사 기관의 보고서와 결합할 계획이다.출처: §6.5.4 · pp. 116, 119, 120, Figure 39 · p. 117, Figure 40 · p. 117
  • 의미가 유사한 한 예시에서 LSA 유사도 0.757과 rouge-2 Fmeasure=0.164가 대비되어, 어휘 기반 지표가 표현 차이에 민감함을 보여줬다.저자들은 원인이 다르게 표현돼도 유사한 의미를 전달할 수 있으므로 의미 기반 평가를 선호한다. BLEU는 수동으로 선택한 가중치에도 의존하며, 트라이그램과 쿼드그램 가중치를 포함했을 때 점수가 하락했다.출처: §6.5.4 · pp. 118–119

Section III. 딥러닝

  • 평가한 모든 순환 모델은 항공기 손상 4개 클래스 예측에서 87.9% 초과의 정확도를 달성하여 무작위 추측 기준선인 25%를 넘었다.NTSB 보고서 27,000건에서 정밀도, 재현율, F1은 각각 80%, 88%, 85%를 초과했다. sRNN은 재현율 90%와 정확도 90%, LSTM은 정밀도 87%를 달성했으며, 결합 모델 GRU+LSTM과 sRNN+BLSTM+GRU는 재현율 90%와 정확도 90%를 달성했다.출처: Section III. Deep Learning · p. 120

7.2 서론

  • NLP와 순환 신경망 은 서술문 기반 항공기 손상 분류를 목표로 하여, 느린 수작업 검토와 구조화 데이터 및 토픽 모델링 접근법의 한계를 다룬다.목표 범주는 파괴, 중대한 손상, 경미한 손상, 손상 없음이다. 기존 항공 토픽 모델링 연구는 LDA 를 사용했으나, 중첩되거나 모호한 토픽은 분류 신뢰성을 저해할 수 있다.출처: §7.2 · pp. 121–122

7.3 관련 연구

  • 사고 서술문 모델에서는 80% 미만의 성능이 보고됐으며, 다른 연구에서는 Adam으로 학습한 sRNN과 sRNN–GRU 결합 모델이 비교에서 앞섰다.BLSTM, CNN, RNN은 에서 사고 서술문 분류를 개선했지만, 추가 모델과 매개변수 변경이 권고됐다. 연구 은 F-16 모델링과 고장 센서 예측을 조사했다.출처: §7.3 · pp. 123–124

이 연구에서 사용한 데이터셋.

  • 2005–2020년에 완료된 NTSB 조사 16,919건에서 분석 서술문과 항공기 손상 레이블 4종을 확보하여 모델 학습과 검증에 사용했다.데이터셋은 파괴 1,409건, 중대한 손상 15,163건, 경미한 손상 195건, 손상 없음 152건으로 구성됐다.출처: data sets used in this study · p. 124

7.4.2 텍스트 처리

  • Keras 토큰화와 spaCy의 정제 및 표제어 추출로 원소 2,000개의 서술문 시퀀스를 생성했으며, 짧은 시퀀스는 0으로 패딩하고 긴 시퀀스는 잘랐다.어휘 크기는 최대 100,000으로 제한했으며, 손상 레이블은 수치 또는 원-핫 방식으로 인코딩했다.출처: §7.4.2 · p. 125

7.4.3 텍스트 분류

  • 기록의 80%를 학습용, 20%를 테스트용으로 배정하고, 매 에포크에 학습 데이터의 10%를 검증용으로 따로 두었다.CNN, LSTM, BLSTM, GRU, SimpleRNN과 결합 구조를 Adam으로 학습했으며, 최적화 알고리즘 선택은 연구의 초점이 아니었다.출처: §7.4.3 · pp. 125–126

7.4.4 딥러닝 모델 구조

  • 모델은 공통으로 임베딩층, 은닉층, 출력층을 두고, 은닉층 활성화에 ReLU, 출력 확률에 SoftMax, 클래스 선택에 argmax를 사용했다.결합 모델은 비교를 위한 공통 설계를 유지하면서 구조를 조금씩 변형했다.출처: §7.4.4 · p. 126

7.5.1 단일 RNN 기반 딥러닝 모델의 탐지 성능

  • 단일 RNN 모델 중에서는 sRNN이 재현율과 정확도에서 근소하게 앞섰고, LSTM은 정밀도가 조금 더 높았다.적절히 처리한 사고 전 서술문을 사용하여 무작위 추측을 크게 웃도는 정확도로 항공기 손상을 예측할 수 있었다.출처: Table 15 · p. 127, §7.5.1 · p. 127

7.5.2 RNN 결합 기반 딥러닝 모델의 탐지 성능 / 7.5.3 단일 RNN 기반 모델과 RNN 결합 기반 딥러닝 모델 비교

  • RNN 결합 모델은 항공기 손상 분류에서 대체로 단일 모델보다 우수했으며, sRNNLSTM이 지표 전반에서 가장 좋은 종합 성능을 보였다.동일한 데이터셋에서 6개 결합 모델을 평가했다. 결합 구조는 한 RNN 층의 출력을 다른 RNN 구조를 사용하는 다음 층에 전달했다.출처: §7.5.1 · p. 127, §7.5.2 · p. 128, Table 17 · p. 129

8.1 초록 / 8.2 서론

  • 두 비행 단계 분류기 모두 68% 초과의 정확도를 달성했으며, sRNN은 단순화한 ResNet 구조보다 훨씬 우수했다.후속 연구는 초기 NTSB 보고서 27,000건을 사용해 7개 클래스를 분류했으며, 무작위 추측 확률은 14%였고 정밀도, 재현율, F1 점수가 높게 나타났다. 서술문에서 비행 단계를 추론하면 부품 고장 유발 요인을 식별하고, 비계획 정비를 줄이며, 주요 비행 단계의 위험 요소를 파악하는 데 도움이 될 수 있다.출처: §7.5.3 · pp. 130–131

7.5.3 단일 RNN 기반 모델과 RNN 결합 기반 딥러닝 모델 비교

  • Chanen 은 word2vec으로 보고서의 의미를 명확히 했으며, Mersha 등 은 선택한 F-16 예측 매개변수에서 sRNN이 가장 우수하다고 보고했다.Chanen 은 NLP 도구 하나만 검토하여 다른 접근법은 탐색하지 않았다. Song 등은 철도 서술문에 BLSTM, CNN, RNN을 적용했으나 분류 성능은 80% 미만에 머물렀다.출처: §7.5.3 · pp. 132–133

8.4.1 데이터 수집

  • 정제한 기록 16,919건은 2005년부터 2020년까지 완료된 조사를 포함했으며, 모델 학습과 검증을 위해 분석 서술문과 비행 단계 필드를 추출했다.기록은 JSON 형식으로 내려받은 NTSB 항공 준사고 및 사고 조사 보고서에서 확보했다.출처: §8.4.1 · pp. 134–135

8.4.2 텍스트 처리

  • 말뭉치 어휘 크기를 100,000으로 설정하고, 0 패딩 또는 잘라내기를 통해 서술문을 원소 2000개의 시퀀스로 표현했다.Tokenizer는 텍스트를 수치 시퀀스로 변환했으며, spaCy는 불필요한 문자, 문장부호, 불용어를 제거하고 표제어를 추출했다.출처: §8.4.2 · p. 135

8.4.3 텍스트 분류

  • 데이터의 80%를 학습용, 20%를 테스트용으로 무작위 배정하고, 매 에포크에 학습 데이터의 10%를 검증용으로 따로 두었다.ResNet과 sRNN은 Adam으로 최적화했으며, 최적의 최적화 알고리즘을 찾는 것은 연구 범위 밖이었다.출처: §8.4.3 · p. 135

8.4.4 딥러닝 모델 구조

  • 각각 스킵 연결 3개를 갖춘 잔차 완전연결 블록 2개로 단순화한 ResNet을 구성하여, 기울기 흐름을 돕고 앞서 학습한 정보를 보존했다.모델은 공통으로 임베딩층, 은닉층, 출력층을 두고, 은닉층에는 ReLU, 출력층에는 SoftMax, 클래스 선택에는 argmax를 사용했다.출처: §8.4.4 · p. 136

8.4.4.2 단순 순환 신경망(RNN).

  • 학습에 사용하지 않은 테스트 표본에서 sRNN은 ResNet보다 정확도, 정밀도, 재현율, F1 측정치 모두 우수했다.모델은 비정형 사건 서술문에서 비행 단계를 예측했다. 저자들은 이 실험을 예비 실험으로 규정한다.출처: Table 18 · p. 138, §8.4.4.2 · pp. 138–139
  • 이전 항공기 손상 분류 연구에서는 87.9% 초과의 정확도가 보고됐으며, 본 연구는 서술문 기반 분석을 비행 단계 예측으로 확장한다.손상 수준 및 비행 단계 분류는 운항 복귀, 수리, 예산, 자원에 관한 정비 의사결정과 연결된다.출처: §8.4.4.2 · p. 139
  • 딥러닝의 블랙박스 특성은 이해관계자가 분류 결정을 이해하고 신뢰를 형성할 수 있도록 해석 가능성과 설명 가능성에 관한 추가 연구의 필요성을 제기한다.예측 성능이 뛰어나더라도 모델이 어떻게 결정에 도달하는지에 대한 우려는 해소되지 않는다.출처: §8.4.4.2 · p. 139

제9장. LSTM, GRU를 이용한 항공 안전 분야의 비행 단계 분류

NLP와 순환형 딥러닝 모델로 비정형 ASN 안전 서술문에서 비행 단계를 추론했으며, LSTM+BiLSTM이 보고된 성능 중 가장 우수했다. 데이터셋 규모가 제한적이므로 여러 출처의 대규모 데이터셋을 활용한 추가 평가가 필요하다.

9.2.서론

  • 이 연구는 비정형 ASN 안전 사건 서술문에서 비행 단계를 추론하기 위해 LSTM, GRU, BiLSTM의 단일 모델과 결합 모델을 평가한다.이 과제에서 충분히 연구되지 않았던 ASN 데이터셋으로 해당 아키텍처의 적용 범위를 확장한 것이 기여점이다.출처: 9.2.Introduction · p. 141, 9.3.Related Work · p. 143

9.3.관련 연구.

  • NTSB 서술문의 7개 클래스 분류에서 ResNet과 sRNN 모두 정확도 68%를 초과했으며, sRNN은 단순화한 ResNet보다 우수했다.Puranik 등 은 오프라인–온라인 랜덤 포레스트 회귀로 접근 단계 데이터에서 착륙 시 진대기속도와 대지속도를 예측했다. Fala 등 은 차원 축소 기법의 조합이 비행 단계 식별에 유의한 영향을 미치지 않았으며, K-means와 가우시안 혼합 모형이 적합하다고 밝혔다.출처: 9.3.Related Work · pp. 142–143

9.4.1 데이터 수집

  • 정제된 ASN 보고서 4,372건에서 서술문과 비행 단계 레이블을 확보해 데이터 수집, 텍스트 처리, 분류로 구성된 파이프라인에 사용했다.보고서는 01/01/2000부터 12/31/2020까지 조사가 완료된 사례를 다뤘다. 반면 결론에서는 4,327건으로 보고해 데이터셋 규모에 불일치가 남아 있다.출처: §9.4.1 · pp. 143–144, 9.4.Methodology · p. 143, §9.5.2 · p. 148

9.4.2 텍스트 전처리

  • Keras 토큰화와 제로 패딩 또는 잘라내기로 길이 2,000의 서술문 시퀀스를 생성했으며, 어휘는 100,000개 단어로 제한했다.spaCy로 특수문자, 문장부호, 불용어를 처리하고 표제어 추출을 수행했으며, 비행 단계 레이블은 원-핫 인코딩했다.출처: §9.4.2 · p. 144

9.4.3 텍스트 분류

  • 전체 기록의 80%를 학습 세트로, 20%를 테스트 세트로 구성했으며, 학습 기록의 10%는 검증용으로 따로 배정했다.LSTM+BiLSTM+GRU를 비롯한 단일 및 결합 순환형 아키텍처는 Adam으로 최적화했다.출처: §9.4.3 · p. 144

9.4.4 딥러닝 모델 아키텍처

  • 모델은 공통으로 임베딩–은닉–출력 구조에 ReLU 은닉층 활성화, SoftMax 출력, argmax 예측을 사용했으며, 결합 모델에는 약간의 변형을 허용했다.다중 클래스 분류 성능은 정확도, 정밀도, 재현율, F1 점수로 평가했다.출처: §9.4.4 · pp. 144–145

9.5.1 단일 RNN 기반 딥러닝 모델의 성능

9.5.2 결합 RNN 기반 모델의 성능

  • LSTM+BiLSTM은 정확도 67%로 GRU-LSTM(62%)과 GRU-BiLSTM(60%)을 앞섰으며, 평가한 모델 중 정밀도도 가장 높았다.모델 선택 시 정밀도와 재현율의 상충 관계를 고려해야 한다. 7개 클래스 분류 결과는 무작위 추측 기준인 14%를 넘었지만, 데이터가 제한적이므로 NTSB와 ATSB 보고서를 포함한 더 큰 데이터셋이 필요하다.출처: Chapter 9. Phase of Flight… · p. 140, Table 21 · p. 146, §9.5.2 · pp. 147–148

제10장. NLP와 딥러닝을 통한 항공 안전 향상: 비행 단계 분류

이 절에서는 ATSB, ASN, NTSB의 항공 안전 서술 보고서를 바탕으로 비행 단계와 항공기 손상을 분류하는 NLP 및 딥러닝 기법을 살펴본다. 신경망 구조를 비교하고 데이터셋의 크기와 출처, NLP 기법이 예측 정확도와 강건성에 미치는 영향을 평가한다.

제10장. NLP와 딥러닝을 통한 항공 안전 향상: 비행 단계 분류

  • 2013–2022년 ATSB 기록 53,275건을 정제해 보고서 50,778건을 확보하고, 모델 학습과 검증을 위해 Summary 서술문과 비행 단계 레이블을 추출했다.선행 연구에서는 머신러닝이 규칙 기반 분류보다 정확성과 효율성이 높았으며, 비행 단계별 원인 차이는 맥락 분석의 필요성을 뒷받침했다. NTSB 데이터 기반 ResNet과 sRNN은 7개 클래스 무작위 분류 기준선인 정확도 14%를 넘어 68% 이상의 정확도를 달성했고, sRNN이 단순화한 ResNet보다 우수했다.출처: Chapter 10. Aviation Safety… · pp. 150–152

10.4.2 텍스트 처리

  • 100,000개 단어로 구성된 어휘를 사용해 서술문 시퀀스를 길이 2,000에 맞춰 패딩하거나 잘랐으며, 학습용 80%와 시험용 20%로 분할했다.Keras로 서술문을 토큰화하고 비행 단계 레이블을 원-핫 인코딩했다. spaCy는 특수문자, 문장부호, 불용어 처리와 표제어 추출에 사용했다.출처: §10.4.2 · pp. 152–153

10.4.3 텍스트 분류

  • 학습 데이터의 10%를 에포크마다 검증에 사용하고, Adam으로 LSTM, BLSTM, CNN, sRNN을 학습했다.검증은 강건성을 점검하고 과적합을 방지하기 위한 것이었으며, 최적의 최적화 알고리즘을 찾는 작업은 연구 범위에 포함하지 않았다.출처: §10.4.3 · p. 153

10.4.4 딥러닝 모델 구조

  • 공통 임베딩–은닉–출력 구조로 모델을 비교했으며, 은닉층 활성화에는 ReLU, 다중 클래스 출력에는 SoftMax, 예측 클래스 선택에는 argmax를 사용했다.공통 구조는 각 모델에 맞춰 소폭 조정했다.출처: §10.4.4 · pp. 153–154

10.4.5 모델 성능 평가

  • 정확도, 정밀도, 재현율, F1 점수로 다중 클래스 성능을 평가해 비행 단계별 예측 품질을 파악했다.Table 22는 평가 지표를 제시하지만, 제공된 캡션에는 지표 정의나 수치 결과가 없다.출처: §10.4.5 · p. 154, Table 22 · p. 154

10.4.6 혼동 행렬

  • 혼동 행렬은 대각선의 정분류와 비대각선의 오분류를 구분했으며, LSTM 진단 결과에는 비행 단계별 분류 지표와 시험 표본 수도 제시됐다.평가에 사용한 비행 단계 데이터셋에는 ATSB 보고서 50,778건이 포함됐다.출처: §10.4.6 · p. 155, §10.5.1 · p. 156

10.5.1 모델 성능

  • LSTM은 정확도 87%, 정밀도 88%, 재현율 87%, F1 88%를 달성했으며, LSTM과 BLSTM이 정확도와 정밀도에서 가장 높았다.비행 단계 자동 분류는 맞춤형 안전 대책과 맥락 분석을 지원하고 보고서 처리량을 늘릴 수 있다. 향후 과제로는 모델 개선, 다중모달 데이터, 실시간 분석, 데이터셋 간 검증, 해석 가능성, 인간 참여형 시스템이 제안됐다.출처: Chapter 10. Aviation Safety… · p. 149, Table 24 · p. 155, §10.5.1 · pp. 155, 157

제11장. 텍스트 기반 손상 수준 분류를 위한 딥러닝 구조 비교 연구

  • sRNN은 정확도와 재현율이 각각 89%로 항공기 손상 분류에서 가장 우수했으며, 평가한 모든 모델의 정확도가 4개 클래스 무작위 추측 기준인 25%를 넘어 88%를 초과했다.이 후속 연구는 손상 수준 분류를 자동화하기 위해 ATSB 서술문을 바탕으로 LSTM, BLSTM, GRU, sRNN을 비교한다. 예상 활용 분야는 사건 위험 평가, 정비 개선, 맞춤형 안전 대책이다.출처: §10.5.1 · pp. 158–159

10.5.1 모델 성능

  • 이 연구는 ATSB 중심의 비교 연구가 부족하다는 점에 주목해 사건 서술문의 손상 수준 분류에서 LSTM, sRNN, BLSTM, GRU를 평가한다.가장 효과적인 구조를 파악하고 항공 사건 분석에 대한 이들 모델의 적용 가능성을 평가하는 것이 목적이다.출처: §10.5.1 · p. 160

11.4.1 데이터 수집

  • 2013–2022년 ATSB 기록 53,275건을 정제해 보고서 50,778건을 확보하고, 모델링을 위해 Summary 텍스트와 damageLevel 레이블을 추출했다.기록은 호주 조사 당국에서 직접 확보했다.출처: §11.4.1 · p. 161

11.4.2 텍스트 처리

  • 길이 2000의 시퀀스와 100,000개 단어로 구성된 어휘로 서술문을 표준화하고, 학습용–시험용을 80%/20%로 분할했다.Keras 토큰화로 텍스트를 표현하고, 원-핫 인코딩으로 파괴, 중대 손상, 경미 손상, 손상 없음의 네 손상 레이블을 표현했다. spaCy로 특수문자, 문장부호, 불용어를 처리하고 표제어를 추출했으며, 시퀀스는 0으로 패딩하거나 잘랐다.출처: §11.4.2 · p. 161

11.4.3 텍스트 분류

  • 학습 데이터의 10%를 에포크마다 검증에 사용하고, Adam으로 sRNN, LSTM, BLSTM, GRU를 학습했다.검증은 과적합을 방지하기 위한 것이었으며, 최적의 최적화 알고리즘을 찾는 작업은 연구 범위에 포함하지 않았다.출처: §11.4.3 · p. 162

11.4.4 딥러닝 모델 구조

  • sRNN은 장거리 의존성 처리에 어려움이 있고, GRU는 두 게이트를 사용하며, LSTM은 게이트가 있는 메모리 셀을 사용하고, BLSTM은 시퀀스를 양방향으로 처리한다.모든 모델은 임베딩층, 은닉층, 출력층을 공통으로 사용했으며, 은닉층 활성화에는 ReLU, 출력에는 SoftMax, 클래스 선택에는 argmax를 적용했다.출처: §11.4.4 · pp. 162–165

11.4.5 모델 성능 평가

  • 정확도, 정밀도, 재현율, F1 점수로 모델을 평가하고, 검증 곡선, 분류 보고서, 혼동 행렬로 진단을 보완했다.검증 곡선으로 에포크별 정확도와 손실을 추적했으며, sRNN 분류 보고서에는 손상 범주별 시험 표본 수가 포함됐다.출처: §11.4.5 · p. 165, §11.5.1 · p. 167

11.5.1 모델 성능

  • 항공기 손상 수준 분류에서 sRNN은 정확도와 재현율이 LSTM, BLSTM, GRU보다 높았으며, 결론에서는 정밀도와 F1 점수가 비슷한 수준으로 기술됐다.정밀도에 관한 서술은 일치하지 않는다. 앞선 대목에서는 sRNN의 정밀도가 가장 높다고 했지만, 결론의 비교에서는 동등한 수준이라고 기술했다.출처: Table 25 · p. 165, Figure 66 · p. 166, Figure 67 · p. 166
  • 향후 과제로 고도화된 텍스트 특성, 의미 분석, 사건 보고서의 이미지와 동영상을 활용해 맥락 이해와 손상 심각도 분석을 개선하는 방안을 제안한다.이는 제안된 확장 방향이며, 보고된 모델에서 평가한 구성 요소는 아니다.출처: §11.5.1 · p. 168
  • 이 연구는 데이터 증강이나 전이 학습 없이 데이터셋 크기와 출처의 영향이 LSTM, GRU, CNN, RNN의 항공 서술문 예측에 어떻게 나타나는지 살펴본다.기존의 비행 단계 및 손상 수준 서술문 분류 연구를 확장해 데이터셋 크기를 명시적으로 변화시키며, ASN과 NTSB 간 비교가 부족한 점을 보완한다.출처: §11.5.1 · pp. 169–173

12.4.1 데이터 확보

  • 2000–2020년 자료를 정제한 NTSB 기록 24,137건과 ASN 기록 4,526건에서 서술문과 파괴, 중대 손상, 경미 손상, 손상 없음 클래스의 레이블을 확보했다.추출한 보고서 필드는 'analysis Narrative'와 'damage level'이었다.출처: §12.4.1 · p. 174

12.4.2 텍스트 처리

  • 텍스트 전처리에서는 소문자 변환, 문장부호 제거, 토큰화, 불용어 제거, 표제어 추출을 수행한 뒤 TF-IDF와 단어 임베딩으로 특성을 추출했다.서술문은 길이 2,000에 맞춰 패딩하거나 잘랐으며, 어휘 크기는 100,000으로 설정했다.출처: §12.4.2 · p. 175

12.4.3 텍스트 분류, 학습 및 검증

  • 기록의 80%를 학습용, 20%를 시험용으로 배정하고, 학습 데이터의 10%를 검증용으로 따로 확보했다.Adam으로 범주형 교차 엔트로피를 최소화하도록 학습하고, 검증 손실 기반 조기 종료로 과적합을 억제했다. 최적화 알고리즘 선택은 평가하지 않았다.출처: §12.4.3 · p. 175

12.4.4 신경망 모델 구조

  • 모델은 임베딩층, 은닉층, 출력층으로 구성했으며, 은닉층 활성화에는 ReLU, 출력 확률에는 SoftMax, 클래스 레이블 선택에는 argmax를 사용했다.공통 구조를 바탕으로 신경망 모델들을 비교했다.출처: §12.4.4 · p. 176

12.5.2 혼동 행렬 분석

  • 크기가 같은 NTSB와 ASN 데이터셋의 CNN 혼동 행렬에서 범주별 강점과 추가 개선이 필요한 분류상의 어려움이 드러났다.제공된 논의에서는 구체적으로 어떤 범주가 혼동됐는지 밝히거나 오류를 정량화하지 않았다.출처: Figure 76 · p. 177, §12.5.2 · p. 177

12.5.3 데이터셋 크기에 따른 성능

  • 가장 작은 NTSB 데이터셋(표본 4,526개)에서 CNN은 정확도 0.84를 유지한 반면, GRU의 성능은 크게 하락했다.표본 24,137개에서는 모델들이 일관된 성능을 보였고, CNN이 정확도와 F1 점수에서 소폭 앞섰다. LSTM과 sRNN은 데이터셋 크기가 달라져도 안정적이었다. 같은 크기의 ASN 데이터에서는 LSTM, GRU, CNN의 정확도가 보통 수준이었으나 정밀도와 재현율은 상대적으로 낮아, 출처에 따른 차이와 데이터 규모에 적응하는 모델의 필요성이 드러났다.출처: §12.5.3 · pp. 177–178

12.5.1 신경망 모델 성능 평가.

  • CNN은 학습에서 보지 못한 시험 표본에서 정확도, 정밀도, 재현율, F1 측정값 모두 LSTM, GRU, RNN보다 우수했다.이 연구는 데이터셋이 클수록 예측 정확도가 높고, 표본 수가 같을 때 NTSB의 성능이 ASN보다 높다고 보고한다.출처: §11.5.1 · p. 168, §12.5.1 · p. 176, Table 26 · p. 178

12.5.3 데이터셋 크기에 따른 성능

  • 신경망 구조와 NLP 기법은 예측 정확도와 강건성에 영향을 미치며, 이는 텍스트 기반 항공 안전 보고서 분석에서 고도화된 NLP의 중요성을 뒷받침한다.사건 및 사고 서술문은 항공 안전을 저해하는 상황을 이해하는 데 핵심적인 정보를 제공한다.출처: §12.5.3 · p. 179
  • 데이터셋이 클수록 정확도와 효과성이 높으며, 가장 작은 NTSB 데이터셋조차 ASN 데이터셋보다 성능이 높다.이 연구는 안전 사건 예측을 강화하기 위해 데이터 수집과 대규모 데이터셋 접근성에 투자할 것을 제안한다.출처: §12.5.3 · p. 179
  • 향후 모델 평가에서는 학습 에포크 수 변경, 매개변수 미세 조정, 최신 BERT 모델 통합을 탐색할 예정이다.이는 성능 개선을 위해 제안된 방향이며, 이 부분에서 입증된 성능 향상은 아니다.출처: §12.5.3 · p. 179
  • ASN의 높지 않은 성능은 데이터 수집 개선의 필요성을 보여주며, 향후 연구에서는 ASN과 NTSB 데이터셋의 결합을 검토할 예정이다.지향점은 더 강건하고 포괄적인 항공 안전 데이터셋을 구축하는 것이다.출처: §12.5.3 · p. 179

제13장. 딥러닝을 이용한 항공 운항 기록 분류

이 절에서는 Socrata 항공 사건 서술문을 상업용, 군용, 자가용 운항자 범주로 분류하는 네 가지 딥러닝 모델을 비교하고, NTSB 사고 보고서의 토픽 모델링을 위한 LDA와 NMF를 검토한다.

13.4.1 데이터 주석 및 전처리

  • 원본 데이터셋 4,995건을 정제한 결과 4,863건이 남았으며, 운항자 레이블은 수작업으로 군용, 자가용, 상업용 범주로 통합했다.추가 자료와 도메인 지식으로 기존 운항자 범주 수백 개를 교차 검증했다. 운항자 범주 예측에는 사건 서술문을 입력 텍스트로 사용했다.출처: §13.4.1 · p. 183, Chapter 13. Classification of… · p. 183

13.4.2 텍스트 처리

  • Keras 토큰화를 적용한 뒤 짧은 서술문은 제로 패딩하고 긴 서술문은 잘라내어 200단어 길이의 입력 시퀀스를 구성했다.전처리에서는 NLTK와 SpaCy로 불용어, 문장부호, 특수문자를 제거했다. 데이터는 학습 80%, 테스트 10%, 검증 10%로 분할했다.출처: §13.4.2 · p. 184

13.4.3 딥러닝 모델 구조

  • 모든 모델은 임베딩–은닉–출력의 공통 구조를 모델별로 변형해 사용했으며, 은닉층에는 ReLU, 출력층에는 SoftMax를 적용하고 argmax로 클래스를 선택했다.RNN 은 기울기 소실이나 폭주 문제를 겪는다. LSTM 은 더 긴 의존성을 처리하고, BLSTM은 순방향과 역방향 문맥을 포착한다. CNN은 텍스트의 국소적 특징을 포착한다.출처: Chapter 13. Classification of… · p. 181, §13.4.3 · p. 184

13.5.1 모델 성능: 분류 보고서

  • sRNN의 상업용 재현율은 85%였지만, 자가용 정밀도, 재현율, F1-score는 모두 0이었다.CNN은 상업용 기록에서 정밀도 81%, 재현율 79%를 달성했으나, 군용과 자가용 기록에서는 정밀도와 재현율이 크게 낮았다.출처: Figure 78 · p. 186, §13.5.1 · p. 186

13.5.2 혼동 행렬 분석

  • BLSTM은 상업용과 군용의 오분류가 상대적으로 적었으며, LSTM의 자가용 기록 분류 성능은 sRNN보다 높지만 BLSTM보다 낮았다.CNN은 상업용 기록을 잘 분류했으나 군용과 자가용 기록을 자주 혼동했다. sRNN도 자가용 기록을 상당수 오분류했다.출처: Figure 79 · p. 186, §13.5.2 · p. 187

13.5.3 모델 정확도 비교

  • BLSTM이 정확도 72%로 가장 높았고, LSTM 71%, sRNN 69%, CNN 67% 순이었다.평가에는 정밀도, 재현율, F1-score, 혼동 행렬, 검증 지표를 포함했다. 저자들은 시간적 의존성 포착이 BLSTM과 LSTM의 상대적으로 우수한 성능에 기여했을 것으로 본다.출처: §13.4.4 · p. 186, §13.5 · p. 186, Table 27 · p. 187

13.5.4 매크로 평균 비교

  • BLSTM과 LSTM은 정밀도, 재현율, F1-score의 매크로 평균에서 CNN과 sRNN을 앞섰으나, 모든 모델이 자가용 기록 분류에 어려움을 보였다.가능한 원인으로 클래스 불균형과 구별에 필요한 특징의 부족을 들었다. 개선 방안으로 데이터 증강, 오버샘플링, 특징 공학을 제안했다.출처: §13.5.4 · p. 187, Figure 80 · p. 188

13.5.4 검증 지표

  • BLSTM은 가장 낮은 검증 손실과 가장 높은 검증 정확도를 기록해 안정적인 학습과 더 우수한 일반화 성능을 보였다.LSTM은 검증 손실이 약간 높았으나 비슷한 성능을 보였다. CNN과 sRNN은 검증 손실이 더 높아 일반화 성능이 낮고 과적합 가능성이 있음을 시사했다.출처: Figure 81 · p. 188, §13.5.4 · p. 188
  • BLSTM이 가장 효과적인 분류 모델이었으나, 다중 클래스 분류 성능의 한계를 해결하려면 추가 개선이 필요했다.클래스 불균형을 완화하기 위한 데이터 증강과 오버샘플링, 표본이 적은 범주를 위한 어텐션 메커니즘, 앙상블 학습, 소수 클래스를 위한 도메인 특화 특징 공학을 개선 방안으로 제안했다.출처: §13.5.4 · p. 189

제IV절. 토픽 모델링

  • 이 연구는 항공 분야의 토픽 모델링 비교 연구가 상대적으로 부족하다는 점에 주목해, 해석 가능한 사고 보고서 주제를 추출하는 LDA와 NMF를 비교한다.반복되는 주제와 기여 요인을 파악해 규제 개선, 교육 프로그램, 항공 기술에 반영하는 것을 안전 분야의 활용 목적으로 삼는다.출처: Section IV. Topic modelling · pp. 189, 190, 192

14.4.1 데이터 수집

  • NTSB 데이터셋의 JSON 기록 36,000건 초과분은 2000–2020년을 포괄하며, 조사 서술문, 조사 결과, 권고사항을 포함했다.연구에 사용한 항공 사건 및 사고 조사 보고서는 모두 이 데이터셋에서 확보했다.출처: §14.4.1 · p. 192

14.4.2 텍스트 처리

  • 서술문 전처리에서는 토큰화, 소문자 변환, 정제, 불용어 제거, 표제어 추출을 수행하고 TF-IDF와 Word2Vec으로 특징을 추출했다.정제 과정에서 문장부호, URL, HTML 태그, 영숫자가 아닌 문자를 제거했다. TF-IDF는 용어에 가중치를 부여하고, Word2Vec은 밀집 벡터로 의미 관계를 표현했다.출처: §14.4.2 · p. 193

14.4.3 토픽 모델링 절차

  • LDA 는 문서를 토픽의 혼합으로 모델링하며, NMF 는 문서–용어 빈도 행렬을 토픽 행렬과 용어 분포 행렬로 분해한다.LDA는 디리클레 샘플링과 다항분포에 따른 단어 생성을 사용한다. NMF는 원본 행렬 V를 저차원 행렬 W와 H로 분해한다.출처: §14.4.3 · pp. 194–195

14.5.1 토픽 추출 및 일관성 평가

  • C_v 일관성 점수는 LDA가 0.497, NMF가 0.437로, LDA가 생성한 토픽의 의미적 일관성이 더 높았다.C_v 값이 높을수록 토픽의 일관성이 높다.출처: §14.5.1 · p. 195

14.5.2 토픽 분포

  • 모델별로 10개 토픽을 추출한 결과 NMF 군집은 뚜렷이 구분됐으나 LDA 주제는 일부 중첩됐으며, 각 토픽에 할당된 서술문 수는 서로 달랐다.NMF는 뚜렷이 구분되는 세분화된 토픽을 생성해 사고의 특정 측면을 집중적으로 분석할 수 있게 했다. 토픽 분포, pyLDAvis의 토픽 간 거리 지도, 워드 클라우드를 해석에 활용했다.출처: Section IV. Topic modelling · p. 190, §14.5.2 · pp. 195, 197, Figure 85 · p. 196

1. 항공기 기계적 고장 … 9. 항공기 제어 및 활주로 운용

이 절에서는 NTSB, ATSB, Socrata의 항공 사건 서술문에 적용한 토픽 모델링 기법을 비교하고 군집 분석을 보완적으로 활용하여, 반복되는 안전 주제를 식별하고 일관성, 해석 가능성, 예측 성능을 평가한다. 분석 범위는 기계적·운항·인적·환경적 주제와 자동 원인 예측, 모델 설명 가능성을 포괄한다.

9. 항공기 제어 및 활주로 운용

  • 앞선 LDA–NMF 비교에서 LDA는 더 높은 토픽 일관성과 폭넓은 주제를, NMF는 더 구체적이고 세분화된 사고 토픽을 보였다.두 모델 모두 운항, 기계적 문제, 연료 계통, 엔진 성능, 기상, 비행 교육을 다뤘으며, 동시출현 행렬로 토픽 간 중첩을 살폈다. 모델 선택은 폭넓은 포괄성과 상세 분석 중 어느 쪽을 중시하는지에 달려 있으며, 향후 연구로 혼합 접근법이 제안되었다.출처: §9 · pp. 197–200

15.5.1 토픽 추출 및 일관성 평가. / 15.4.6 평가 지표

  • 사건 서술문 비교에서 LDA의 토픽 일관성 0.597은 pLSA(0.583), LSA(0.542), NMF(0.437)를 웃돌았다.LDA의 점수는 의미적 일관성을 측정하는 C_v로 명시되었다. 생성된 토픽을 사람이 얼마나 쉽게 이해할 수 있는지 평가하는 해석 가능성 지표도 사용되었다.출처: §9 · p. 200, §15.5.1 · pp. 206–207, §15.4.6 · p. 206

15.4.5 K-means 군집화

  • K-means는 공통 특성에 따라 사건을 묶어 사건 서술문의 공통점과 고유한 시사점을 드러냈다.이 알고리즘은 각 관측치를 가장 가까운 군집 평균에 할당하고, 군집 내 분산을 최소화하도록 할당을 반복적으로 조정했다.출처: §9 · p. 200, §15.4.5 · p. 206

15.4.1 데이터 수집

  • 2000–2020년의 NTSB 조사 기록 36,000건이 넘는 자료에서 서술문, 조사 결과, 권고 사항을 JSON 형식으로 확보했다.이 연구는 사건·사고 조사 보고서를 NTSB 데이터셋에서만 수집했다.출처: §15.4.1 · p. 202

15.4.2 텍스트 처리

  • 토큰화, 소문자 변환, 문장부호 제거, 불용어 제거, URL 제거로 서술문을 분석에 적합하게 전처리했다.TF-IDF로 단어 중요도를 표현하고, Word2Vec으로 의미 관계를 담은 밀집 단어 벡터를 얻었다. 추가 정제로 HTML과 영숫자 이외의 문자를 제거하고, 표제어 추출로 단어를 기본형으로 통일했다.출처: §15.4.2 · p. 203

15.4.3 토픽 모델링 기법 / 15.4.7 구현

  • LDA는 문서를 토픽의 혼합으로 표현하고, NMF는 문서-단어 행렬을 저차원의 토픽 행렬과 단어 분포 행렬로 분해했다.Python과 Jupyter Notebook 환경에서 NLTK, Gensim, Scikit-Learn으로 구현했으며, 매개변수를 미세 조정하면서 기법을 반복 적용했다.출처: §15.4.3 · pp. 203–204, §15.4.7 · p. 206

15.4.4 의미 분석

  • LSA는 차원을 축소해 의미 관계를 드러냈고, pLSA는 잠재 토픽을 통해 문서와 단어의 확률적 관계를 모델링했다.pLSA의 문서-토픽 분포와 토픽-단어 분포는 기댓값 최대화 알고리즘으로 학습하여 관측되지 않은 토픽에 관한 매개변수를 추정했다.출처: §15.4.4 · pp. 205–206

15.5.1 토픽 추출 및 일관성 평가.

  • 예시 문서에서 LDA는 모든 토픽에 걸쳐 비중을 분산하는 반면, NMF는 주로 토픽 4, 6, 8에 비중을 둔다.제공된 본문은 일관성 평가를 언급하지만, 일관성 수치나 근거가 뒷받침된 모델 순위는 제시하지 않는다.출처: Figure 97 · p. 207, §15.5.1 · p. 207

15.5.3 토픽별 상위 단어 및 워드 클라우드

  • 토픽별로 선택한 단어 열 개를 시각화한 pLSA 결과에서 세 번째 토픽의 단어들이 높은 점수를 받아 문서 내 두드러진 비중을 보였다.토픽 분포와 주제별 워드 클라우드도 제시했다.출처: §15.5.3 · p. 207, Figure 98 · p. 208

15.5.4 pLSA 및 LSA 모델 성능

  • LSA는 처음 네 토픽의 단어 가중치를 설명 분산, 워드 클라우드와 함께 시각화하여 토픽 수 선택을 지원한다.이러한 표현은 항공 사건 서술문에 내재한 주제 구조를 보여준다.출처: §15.5.4 · p. 208, Figure 99 · p. 209

15.5.7 사건 서술문의 K-means 군집화

  • 서로 구별되는 10개 K-means 군집이 공통 특성에 따라 사건 서술문을 분류하여, 토픽 모델링을 해석 가능한 방식으로 보완한다.NTSB 분석은 활주로 사건 등의 주제를 포함한 군집을 t-SNE로 시각화했다. 향후 확장 방향으로 시간적 분석, 추가 데이터셋, 안전 예측 모델이 제안되었다.출처: §15.5.7 · pp. 210–211, Figure 100

15.5.5 모델 간 공통 주제:

  • 여러 토픽 모델에서 기계적 고장, 연료 계통 문제, 엔진 정지·출력 상실이 반복되어 항공 사건 서술문의 공통 주제를 드러냈다.NMF, LSA, pLSA, LDA는 서로 다른 관점을 제공하지만, 공통으로 나타나는 핵심어는 후속 안전 분석의 기반이 된다.출처: Table 31 · p. 209, §15.5.5 · pp. 209–210

15.5.6 모델별 고유 시사점:

  • NMF는 헬리콥터 운항과 비행 조건을 부각하고, LSA는 바람·기상의 영향과 방향타·브레이크 문제 간 관계를 드러낸다.이러한 모델별 고유 시사점은 알고리즘 전반에서 반복되는 주제를 보완한다.출처: §15.5.6 · p. 210

16.4 연구 방법

  • pLSA, LSA, LDA, NMF를 비교하기 위해 2013–2022년 ATSB 기록 53,275건을 정제한 결과, 50,778건이 남았다.후속 연구는 항공 안전과 위험 평가에 도움이 되는 시사점을 도출하는 각 기법의 능력을 비교하고자 한다. 이 본문은 비교 결과가 아니라 연구 범위를 제시한다.출처: §15.5.7 · pp. 212, 215
  • ATSB 처리 절차는 서술문 정제·토큰화와 표제어 추출을 거쳐 TF-IDF와 Word2Vec 특징을 추출한 뒤, 각 토픽 모델을 개별적으로 구현한다.정제에는 소문자 변환과 문장부호, 불용어, URL, HTML 태그, 불필요한 문자 제거가 포함된다. 절차에는 문서-단어 빈도 행렬도 기술되어 있다.출처: §15.5.7 · p. 216

16.5.1 pLSA를 이용한 토픽 추출

  • 10개 pLSA 토픽은 조류 충돌, 엔진 문제, 점검, 조종실 내 상호작용, 의사소통, 항공교통관제, 착륙장치 문제, 이륙 사건 등의 안전 주제를 포착했다.관련 단어와 확률로 각 토픽의 특성을 나타내어 추가 조사, 위험 평가, 사고 예방의 기반을 마련했다.출처: Table 33 · p. 218, §16.5.1 · pp. 218–220

16.5.2 LSA를 이용한 토픽 추출

  • 10개 LSA 토픽은 관련 주제 핵심어를 통해 항공 사건 서술문의 안전 관련 사건을 요약했다.최적 토픽 수를 정하는 데 참고하도록 토픽 수에 따른 설명 분산을 살폈다.출처: Figure 107 · p. 219, Table 34 · p. 220, §16.5.2 · p. 220

16.5.3 LDA를 이용한 토픽 추출

  • 항공 사건 서술문에서 추출한 LDA 토픽 열 개 중 토픽 1과 4가 가장 중요했다.엔진 문제, 비행 운항, 조종사 관련 사건, 조류 충돌 등의 주제가 포함되었으며, 워드 클라우드로 빈번하게 등장하는 단어를 요약했다.출처: §16.5.3 · pp. 220–221, Figure 109 · p. 221

16.5.4 NMF를 이용한 토픽 추출

  • 10개 NMF 토픽은 엔진 및 항공기 운용, 조종사 관련 사건, 조류 충돌, 비행 후 점검, 착륙장치, 활주로 안전, 항공기 손상을 다뤘다.토픽 1, 4, 7, 8은 두드러진 비중과 항공 안전 관련성을 근거로 추가 조사 대상으로 선정되었다.출처: §16.5.4 · pp. 221–222, Figure 111 · p. 222, Figure 112 · p. 222

16.5.5 토픽 모델링 기법 비교 분석

  • BERTopic의 0.41 C_v는 PLSA의 0.37 C_v를 웃돌았으며, 항공 안전 전문가들도 BERTopic의 우수한 해석 가능성을 확인했다.ATSB 비교는 각 기법의 장단점을 확인했다. pLSA는 해석 가능한 주제 발견을 지원했지만 확장성에 한계가 있었고, LSA는 차원과 잡음을 줄였지만 전처리에 의존했다. LDA는 토픽 분포를 제공했지만 하이퍼파라미터 설정과 해석에 주의가 필요했으며, NMF는 해석 가능성과 확장성을 갖춘 토픽을 제공했지만 희소 데이터 처리에 어려움이 있고 비음수 입력이 필요했다. 확장 방향으로 고도화된 NLP, 앙상블, 항공 특화 모델, 실시간 사건 데이터 스트림, 예측 기반 위험 평가가 제안되었다.출처: §16.5.5 · pp. 222–224

17.4.3 토픽 모델링 절차

  • BERTopic은 트랜스포머 기반 임베딩과 계층적 군집화를, PLSA는 기댓값 최대화를 이용한 확률적 모델링을 사용했으며, 두 모델은 전처리된 텍스트에 각각 구현되었다.PLSA의 bag-of-words 표현은 의미적 맥락을 제한한다. 선행 연구에서도 과적합과 새 문서에 대한 명확한 생성 모델의 부재가 보고되었다.출처: §16.5.5 · pp. 224, 226, §17.4.3 · p. 228

17.4.1 데이터 수집

  • BERTopic–PLSA 비교를 위해 2000–2020년 NTSB 조사 기록 36,000건이 넘는 자료에서 서술문, 조사 결과, 권고 사항을 확보했다.보고서는 NTSB에서만 수집했으며 JSON 형식으로 확보했다.출처: §16.5.5 · p. 224, §17.4.1 · p. 227

17.4.2 텍스트 처리

  • 공통 전처리에는 NLTK 토큰화, 소문자 변환, 불용어 제거, WordNet 표제어 추출과 문장부호, 숫자, 특수문자 등 알파벳 이외의 요소 제거를 적용했다.동일하게 정제한 말뭉치로 BERTopic과 PLSA를 일관된 조건에서 비교했다.출처: §17.4.2 · p. 227

17.5.5 토픽별 단어 분포

  • BERTopic은 초점이 뚜렷한 도메인 특화 어휘를 강조하고 해당 단어에 더 높은 가중치를 부여하여, PLSA보다 여섯 토픽의 주제를 명확히 드러냈다.워드 클라우드, 단어 점수 분포, 상위 열 개 단어 요약이 이러한 관찰을 뒷받침했다. 실험에서는 PLSA의 토픽 수를 여섯 개로, BERTopic의 최소 군집 크기를 15로 설정했다.출처: §17.4.7 · p. 228, §17.5.1 · p. 229, §17.5.4 · p. 230

17.5.6 토픽 및 주제 비교: BERTopic vs. PLSA

  • BERTopic은 공통 항공 주제를 맥락에 따라 구성한 반면, PLSA는 구체적인 기술적 문제와 통계적 동시출현을 강조했다.트랜스포머 임베딩과 HDBSCAN은 BERTopic의 의미적으로 연관된 군집과 해석 가능한 계층 구조를 뒷받침했다. PLSA는 Gensim과 기댓값 최대화 알고리즘으로 토픽-단어 분포와 문서-토픽 분포를 추정하며, 연료 부족과 같은 개별 문제를 강조했다.출처: §17.4.5 · p. 228, §17.4.4 · p. 228, Figure 116 · p. 229

17.6 결론

  • BERTopic의 일관성 0.41은 PLSA의 0.37을 웃돌았으며, 해석 가능성이 더 높고 대규모 데이터셋에서 연산 부담도 더 낮았다.문맥적 임베딩은 BERTopic의 의미적 일관성을 뒷받침한 반면, PLSA의 bag-of-words 표현에서는 토픽이 중첩되었다. 평가에는 C_v 일관성, 항공 전문가 검토, 연산 시간, 메모리 사용량이 포함되었다.출처: §17.4.6 · p. 228, §17.5.3 · p. 229, Table 38 · p. 232

17.5.8 BERTopic의 토픽 간 거리 지도: / 17.5.9 PLSA의 토픽별 단어 분포:

  • BERTopic의 거리 지도는 의미적으로 구별되는 토픽을 보여준 반면, PLSA는 지배적인 토픽 4가 대부분의 문서에 걸쳐 나타나 주제의 다양성과 세분성이 제한되었다.시각적 분석은 BERTopic의 맥락적으로 일관된 토픽 분리와 PLSA의 고빈도 패턴 강조를 대비했다.출처: §17.5.8 · pp. 232–233, Figure 119 · p. 234, §17.5.9 · p. 234

17.6 결론

  • LDA의 일관성은 0.36, 혼란도는 38.2로 보고되었으며, NMF는 각각 0.34와 37.1, PLSA는 각각 0.32와 -4.6이었다.후속 Socrata 연구는 조종사 오류, 기계적 고장, 기상 조건, 훈련 부족을 식별했다. LDA는 중첩되는 주제를 발견했고, NMF는 서로 구별되고 해석 가능한 토픽을 생성했으며, PLSA는 확률적 시사점을 제공했지만 해석이 복잡했다.출처: §17.6 · p. 236
  • 운용 주체별 모델링은 서술문 표현의 중첩과 충분히 연구되지 않은 군용·상업용·자가용 항공 간 차이를 다뤄, 맞춤형 개입과 정책 개발을 지원한다.기존 FAA 보고서의 LDA 분석 과 지역 항공사 대상 PLSA 연구 는 운용 주체 범주를 구분하지 않았으며, 항공 분야의 NMF 활용도 충분히 연구되지 않았다. PLSA의 연산 복잡성과 과적합 경향 역시 도입을 제한했다.출처: §17.6 · pp. 237–239

18.4.1 데이터 전처리 / 18.4.2 텍스트 전처리

  • September 17, 1908부터 June 8, 2009까지의 Socrata 기록 4,995건에서 운항 주체가 군, 민간 항공사 또는 개인으로 명시된 서술문을 확보했다.정제 과정에서 특수문자, 숫자, 불필요한 기호를 제거하고, 토큰화, 항공 분야 불용어 제거, 표제어 추출로 텍스트를 표준화했다. 불완전하거나 모호한 기록은 제외하고, NLTK와 Pandas를 사용해 운항 주체별로 세 개의 하위 집합을 구성했다.출처: §18.4.1 · p. 240, §18.4.2 · p. 240

18.4.3 토픽 모델링 절차

  • 운용 주체 중심 분석 절차는 서술문을 문서-단어 빈도로 변환하고 LDA, PLSA, NMF를 각각 구현하여 일관성과 혼란도를 평가했다.Gensim LDA는 문서를 토픽의 혼합으로 다루고 일관성을 기준으로 토픽 수를 최적화했다. 자체 패키지 기반 PLSA 는 확률 분포를 추정하고 교차 검증으로 과적합에 대응했다. Scikit-learn NMF는 빈도 행렬을 비음수 토픽 행렬과 단어 분포 행렬로 분해하고, 일관성과 해석 가능성을 기준으로 토픽 수를 조정했다.출처: §18.4.3 · pp. 241–242
  • Socrata 데이터에서 LDA, NMF, PLSA의 토픽 해석 가능성은 일관성으로, 예측 성능은 혼란도로 평가했다.워드 클라우드와 토픽 분포로 주제 해석을 보완했으며, 일관성은 높을수록, 혼란도는 낮을수록 좋다고 보았다.출처: §18.4.3 · p. 243, §18.5.3 · pp. 246–247

18.5.1 전체 데이터셋의 토픽 분포

  • LDA의 비교적 균형 잡힌 분포에서는 토픽 0이 우세했고, NMF는 토픽 3에, PLSA는 토픽 6에 집중되었다.이 분포는 모델이 데이터셋에 내재한 주제를 표현하는 방식의 차이를 반영했다.출처: Figure 122 · p. 244, Figure 123 · p. 244, §18.5.1 · p. 244

18.5.3 성능 지표

  • LDA는 일관성 0.36과 혼란도 38.2로 해석 가능성은 가장 높지만 예측 성능은 가장 낮았고, PLSA는 일관성 0.32와 혼란도 -4.6으로 예측에 유리했다.NMF는 일관성 0.34와 혼란도 37.1을 기록하여, 보고된 두 지표 모두 LDA와 PLSA 사이에 위치했다.출처: Figure 128 · p. 247, §18.5.3 · p. 247
  • 군용·상업용·자가용 항공 운용 주체를 포괄하는 1908–2009년 항공 기록에서 조종사 오류, 기계적 고장, 기상의 영향, 군 특유의 훈련 문제가 드러났다.운용 주체별 분류는 부문별 고유 패턴을 드러내어 안전 절차, 정책, 맞춤형 개입, 자원 배분에 방향을 제시할 수 있었다.출처: §18.5.3 · pp. 248–249

18.5.2 LDA를 이용한 토픽 추출

  • LDA는 더 폭넓고 중첩되는 주제를 포착했고, NMF는 구별되는 운항·환경 토픽을 생성했으며, PLSA는 구체적인 사고 시나리오를 강조했지만 해석에 어려움이 있었다.LDA는 비행 조건, 조종사 판단, 기계적 고장, 활주로 사건, 승무원 역할을 다뤘고, NMF는 엔진 비상 상황, 기상, 산악 지형을 부각했다. PLSA는 기계적 고장, 조종사 행동, 환경적 사고 요인과 관련된 단어 간 미묘한 확률적 관계를 포착했다.출처: §18.5.2 · pp. 245–246, §18.5.3 · p. 248

18.5.3 성능 지표

  • 향후 토픽 모델링 연구는 사건 보고 자동화와 위험 평가를 지원하기 위해 맥락 변수 확충, 신경망 토픽 모델, 감성 분석 통합을 제안한다.추가 변수에는 환경 요인, 항공기 유형, 운항 맥락이 포함된다. 신경망 모델은 대규모 데이터셋과 복잡한 단어-토픽 관계를 더 효과적으로 처리할 수 있다.출처: §18.5.3 · p. 249
  • VAE는 추정 원인 자동 생성에서 평균 코사인 유사도 0.786을 달성하여 조사 활용 가능성을 뒷받침했다.순환형, 합성곱, 잔차, 혼합 아키텍처는 분류와 원인 요인 예측을 지원했고, 토픽 모델은 잠재된 사건 패턴을 추출했다. SHAP은 특징별 기여도를 설명했으며, 트랜스포머 분석 결과는 사건 원인 예측에서 긴 입력을 처리하는 NLP의 중요성을 강조했다.출처: §18.5.3 · p. 250
  • 향후 연구는 다중모달 입력, 도메인 적응 트랜스포머, 실시간 경보 시스템, 불균형 처리 개선, 강화학습, 규제·윤리·인간–AI 평가를 제안한다.제안된 입력에는 원격 측정 데이터, 조종사 교신, 센서 측정값이 포함된다. 더 큰 항공 특화 데이터셋과 GAN 기반 증강은 강건성을 높일 수 있다. 사용자 중심 평가로 조사와 안전 의사결정에서의 실제 도입 가능성을 평가할 수 있다.출처: §18.5.3 · p. 251

Related papers

Loading 2608.14746v1…