Source-linked AI summary
Advanced modelling and data analytics in aviation
Aziida Nanyonga
TL;DR
항공 안전 연구는 축적된 안전 데이터를 더 효과적으로 활용해 사고 분석과 예방을 개선하고자 한다. 본 연구는 항공 안전 보고서에 machine learning과 natural language processing을 적용했으며, 보고된 분류 과제에서 BLSTM이 72% 정확도로 가장 효과적임을 확인했다.
문제
항공 안전은 전 세계 항공 산업에서 중요하며, 안전 위험을 최소화하려는 노력을 촉진한다.
방법
본 연구는 항공 안전 보고서의 서술문에 NLP와 deep learning models를 적용하고, 이들의 분류 성능을 평가한다.
결과
BLSTM은 분류 과제에서 보고된 최고 정확도인 72%를 달성했다.
핵심 결과 및 한계
BLSTM은 이 분류 과제에서 가장 효과적인 모델이었으며, 항공 안전 보고서 분석에 활용할 수 있음을 뒷받침한다.
핵심 결과 및 한계
본 연구는 Private class를 정확히 분류하는 데 어려움이 있음을 확인했으며, 해당 범주에서 precision, recall, F1-score가 모두 0이었다.
Abstract
from arXiv · showhide
The aviation industry characterized by its stringent safety standards has seen a growing need for innovative approaches to enhance safety measures. Despite the vast accumulation of aviation safety data over time, its full potential in predicting and preventing incidents has not been fully realized. This research addresses this gap by applying machine learning (ML) and natural language processing (NLP) techniques to analyze aviation safety data from Socrata, the Australian Transport Safety Bureau (ATSB), the National Transportation Safety Board (NTSB), and the Aviation Safety Network (ASN). By leveraging existing ML models, including deep learning and transformer-based architectures alongside NLP methods for mining aviation incident narratives, this study uncovers patterns contributing to safety related incidents such as accidents and near-misses. Additionally, it employs various topic modelling techniques to extract meaningful themes from unstructured safety reports, enhancing the interpretability of incident analysis. Causal inference techniques and interpretable AI frameworks are further explored to improve model transparency and trustworthiness. A key contribution of this work is the deployment of advanced ML methodologies in a structured aviation safety context, assessing their effectiveness and providing insights into their practical implementation. The findings offer valuable insights for aviation stakeholders, including regulators, airlines, and policymakers, by providing data-driven solutions that enhance incident analysis and decision making. Ultimately, this research supports the industry s ongoing efforts to minimize risks, improve passenger and crew security, and integrate AI driven methodologies into aviation safety management.
원본성 인증
저자는 본 제출물이 독창적이며 다른 학위나 졸업장을 위해 실질적으로 제출된 적이 없고 외부 기여를 충분히 인정했음을 선언한다.
- 저자는 자신이 알고 믿는 바에 따라 본 제출물이 자신의 연구임을 선언한다.
- 본 제출물에는 적절한 출처 표시가 이루어진 경우를 제외하고, 이전에 다른 사람이 출판했거나 작성한 자료가 포함되어 있지 않다.
- 본 연구는 다른 학위나 졸업장을 위해 실질적으로 승인된 적이 없으며, 동료들의 연구 기여를 충분히 인정한다.
제2장. 항공 사고 연구를 위한 Machine Learning 분석 방법의 체계적 문헌고찰
이 체계적 문헌고찰은 항공 안전 및 사고 후 분석에 Machine Learning을 적용한 25년간의 연구 87편을 종합한다. 효과적인 적용 사례, 주요 데이터 소스와 방법, 신뢰성 요건, 향후 연구를 위한 7가지 우선순위를 확인한다.
- 연구 결과: ML 기법은 다양한 항공 시나리오에서 사고 후 분석, 예측 모델링, 실시간 사고 탐지를 지원했다.문헌고찰은 neural networks, decision trees, support vector machines, deep learning models를 포함해 supervised, unsupervised, semisupervised methods를 다뤘다.
- 연구 결과: Aviation Safety Reporting System과 NTSB 데이터셋이 가장 빈번하게 사용된 데이터 소스였으며, transparency, fairness, bias mitigation이 ML의 신뢰성과 수용성을 형성했다.이러한 맥락적 요인은 신뢰할 수 있는 항공 안전 분석에 핵심적인 요소로 확인됐다.
- 향후 연구: 문헌고찰은 7가지 연구 방향을 제안한다: interpretable AI, 실시간 예측, hybrid models, imbalanced-data handling, privacy and security, human-machine interfaces, regulatory implications.이 방향들은 함께 ML 기반 항공 안전 연구를 위한 청사진을 제공하며, 데이터 기반 안전 실무에서 ML을 적절히 사용할 것을 강조한다.
- 방법: 문헌고찰은 데이터베이스 검색, backward-reference 검색, quality-assessment screening을 거쳐 관련 논문 87편을 확인했으며, 항공 사고 후 분석에서 ML을 이해하기 위한 기반을 제공한다.Backward searching으로 26편의 논문이 추가됐고, quality assessment에서 최종 선정 전에 7편이 제외됐다.
- 연구 결과: 연구는 ALL 항공 적용 사례(44%), Regular Passenger Transport(31%), general aviation(7%)에 집중됐으며, military(3%)와 cargo(1%)의 비중은 더 작았다.Figure 5는 이 분포를 Pareto plot으로 제시하며, 다른 범주보다 ALL applications가 더 폭넓게 다뤄졌음을 보여준다.
2.5.9.1 머신러닝 접근법
검토 결과, 항공 안전 분야에서는 머신러닝이 널리 적용되며, 특히 지도학습과 분류를 통해 활용되는 것으로 나타났다. 알고리즘 접근법 중에서는 딥러닝이 가장 일반적이었다. 관련 NLP 응용 전반에서 이러한 방법은 비정형 보고서의 객관적 분석, 위험 탐지, 선제적 안전 관리를 지원한다.
- 지도학습은 연구의 65%를 차지했으며, 분류는 59%로 가장 일반적인 ML 과업이었다.
- 딥러닝은 연구의 21%에 등장해 가장 널리 사용된 알고리즘이었지만, 항공 사고 분석을 지배한 단일 ML 알고리즘은 없었다.
- ML 응용은 7개 항공 안전 영역에서 분류, 이상 탐지, 예측 모델링, 실시간 사고 식별을 포괄한다.
- NLP 방법은 대량의 비정형 항공 안전 보고서를 처리해 잠재적 위험, 인과 요인, 숨은 패턴, 새롭게 나타나는 추세를 드러낸다.
- 검토된 응용은 안전 분석의 효율성과 정확도를 높이고, 선제적 위험 완화를 지원하며, 근거 기반 의사결정에 정보를 제공한다. 동시에 투명성, 공정성, 편향 완화가 요구된다.
Chapter 9. LSTM, GRU를 활용한 항공 안전 비행 단계 분류
이 연구는 비정형 ASN 안전사고 서술에서 항공기 비행 단계를 추론하기 위해 NLP와 recurrent deep-learning models를 사용한다. Hybrid models는 분류 성능을 향상했으며, LSTM+BiLSTM이 joint model 중 가장 높은 성능을 보였지만 제한적인 데이터셋 규모로 추가적인 향상은 제약되었다.
- 결과: BiLSTM은 64% accuracy, 63% precision, 64% recall로 single RNN models보다 우수했으며, LSTM의 accuracy는 63%였다.GRU는 60% accuracy와 recall, 63% precision을 달성했다.
- 결과: LSTM-BiLSTM joint model은 67% accuracy를 달성했으며, ASN 서술에서 비행 단계를 분류한 joint model 결과 중 보고된 최고 성능이었다.이 연구는 joint models 중 LSTM+BiLSTM이 가장 높은 accuracy와 precision을 보였다고 보고한다.
- 목표 및 방법: 이 연구는 ASN 데이터베이스의 비정형 안전사고 보고서에서 비행 단계를 분류하기 위한 NLP 및 deep-learning methods를 평가한다.목표는 원시 사고 서술에 더 광범위한 안전사고 분석을 위한 비행 단계 label을 추론할 충분한 정보가 포함되어 있는지 평가하는 것이다.
- 시사점: 결과는 NLP와 deep-learning models가 사고 전후의 복잡한 서술에서 비행 단계 정보를 추출할 수 있음을 보여주며, 선제적 항공 안전 의사결정을 뒷받침한다.이 models는 원시 텍스트에서 단계를 분류하고 비정형 보고서에서 패턴을 추출하는 데 유용한 것으로 제시된다.
- 한계: 7개 class 결과는 14% random-guess threshold를 상회했지만, 제한적인 데이터셋 규모는 추가적인 향상을 위해 더 크고 결합된 데이터셋이 필요함을 보여준다.Model selection에서는 precision과 recall 사이의 application-specific trade-offs도 반영해야 한다.
Chapter 10. NLP 및 Deep Learning을 활용한 항공 안전 향상: 비행 단계 분류
NLP 및 deep learning 모델은 비정형 항공 안전 서술에서 비행 단계를 정확하게 분류하며, LSTM과 BLSTM이 가장 높은 정확도와 정밀도를 보인다. 이 접근법은 맥락 기반의 확장 가능한 안전 발생 분석과 더욱 표적화된 안전 대책을 지원한다.
- 10.5 결과 및 논의: 보고된 성능 지표에서 87%, 88%, 87%, 88%가 달성되었으며, LSTM이 가장 높은 성능을 보였다.모델은 안전 발생 분석을 자동화하는 과정에서 높은 정확도, 정밀도, 재현율 및 F1 점수를 보였다.
- 시사점: 사건을 비행 단계와 연결하면 맥락 인식 분석이 가능해진다. 이륙 및 착륙 사건은 순항 중 사건과 원인 요인이 다르기 때문이다.이러한 맥락 기반 분류는 표적화된 안전 대책과 사전 예방적 안전 프로토콜 수립에 활용될 수 있다.
- 연구 설계: 비행 단계 분석을 위해 50,778건의 기록을 취합했으며, 이를 통해 비정형 안전 발생 서술에서 비행 단계를 분류할 수 있었다.이 연구는 LSTM, CNN, BLSTM 및 sRNN 을 포함한 deep learning 아키텍처를 평가한다.
- 10.5 결과 및 논의: LSTM과 BLSTM은 비정형 항공 안전 서술에서 비행 단계를 분류할 때 가장 높은 정확도와 정밀도를 보였다.Table 24는 핵심 모델 성능 결과를 보고하며, Figures 60 및 61은 학습 epoch 전반의 검증 정확도와 손실을 비교한다.
- 10.6 결론: NLP와 deep learning은 당국이 중요한 안전 정보를 놓치지 않으면서 더 많은 보고서를 효율적으로 처리하도록 지원해 보고서 처리를 간소화할 수 있다.이 연구는 모델 개선, multimodal data, 실시간 분석, 데이터셋 간 검증, 해석 가능성 및 human-in-the-loop 시스템을 향후 연구 과제로 제시한다.
Chapter 13. Deep Learning을 활용한 항공 운항 기록 분류
본 연구는 다중 클래스 항공 운항 기록 분류를 위한 deep-learning 모델을 평가하고, 항공 사고 보고서에서 주제 추출을 위한 LDA와 NMF를 비교한다. BLSTM이 전반적으로 가장 우수했으며, LDA는 더 높은 topic coherence를, NMF는 더 뚜렷하고 세분화된 topic을 생성했다.
- 연구 기여: 본 연구는 Socrata dataset을 포함해 항공 운항 기록 분류를 위한 CNN, RNN, LSTM, BLSTM 모델을 평가함으로써 제한적인 비교 연구를 보완한다.deep learning이 항공 안전 분석, 운항 효율성, 자동 분류에 기여할 가능성을 평가하기 위해 각 모델의 강점과 한계를 검토한다.
- 분류 결과: CNN과 sRNN은 Commercial 기록을 비교적 잘 분류했지만 Military 및 Private 기록에서는 어려움을 보였으며, sRNN은 Private에서 precision, recall, F1-score가 모두 0이었다.모든 모델에서 Private class 성능이 저하되었으며, 이는 class imbalance 또는 구분에 충분하지 않은 feature를 반영할 가능성이 있다.
- 분류 결과: BLSTM은 72%로 가장 높은 전체 accuracy를 달성했으며, LSTM 71%, sRNN 69%, CNN 67%가 뒤를 이었다.BLSTM과 LSTM은 더 낮은 validation loss와 높은 안정성도 보여 더 강한 generalization을 나타냈다.
- Topic Modeling: LDA는 C_v coherence score 0.497을 산출했으며, LDA는 더 높은 topic coherence를 보인 반면 NMF는 더 뚜렷하고 세분화된 topic을 생성했다.이 비교는 NTSB dataset을 사용해 항공 사고 보고서의 잠재 주제 추출과 해석 가능한 분석을 수행하는 데 초점을 둔다.
1. 항공기 기계적 고장 … 9. 항공기 제어 및 활주로 운항
항공 사고 서술에 대한 topic modeling은 반복적으로 나타나는 안전 주제를 식별했으며, 모델 선택이 coherence, 해석 가능성, 세분성, 예측 성능에 영향을 미친다는 점을 보여주었다. 비교 결과, BERTopic과 LDA는 각각의 평가에서 가장 높은 coherence를 달성했으며, 다른 방법들은 상호 보완적인 세부 정보나 확률적 구조를 제공했다.
- 9. 항공기 제어 및 활주로 운항: LDA는 더 광범위하고 의미적으로 일관된 topic을 생성한 반면, NMF는 표적 사고 분석에 유용한 더 구체적이고 세분화된 주제를 생성했다.추출된 주제에는 운항, 기계적 문제, 연료 시스템, 엔진 성능, 기상, 비행 교육, 기계적 고장, 기상 조건이 포함되었다.
- 9. 항공기 제어 및 활주로 운항: LDA는 네 가지 방법 중 가장 높은 coherence를 달성했으며, 0.597로 pLSA 0.583, LSA 0.542, NMF 0.437보다 높았다.비교에는 항공 사고 서술에 적용된 LDA, pLSA, LSA, NMF가 포함되었다.
- 17.5.6 주제 및 테마 비교: BERTopic과 PLSA: BERTopic은 항공 안전 용어를 광범위하고 맥락 중심적인 주제로 구성한 반면, PLSA는 통계적 동시 출현을 통해 더 좁은 범위의 기술적·문제 중심 topic을 강조했다.BERTopic은 Flight Operations와 Takeoff & Landing 같은 주제를 포착한 반면, PLSA는 Engine Issues, Flight Procedures, 연료 부족, 보고된 사고를 강조했다.
- 18.4.3 Topic Modeling 절차: 모델은 기계적 고장, 조종사 행동, 기상, 엔진 비상상황, 지형, 활주로 사건, 교육 관련 문제를 포함한 반복적 항공 안전 요인을 밝혀냈다.이러한 주제 구조는 운항자 유형별 분류를 지원했으며, 표적 안전 개입과 자원 배분을 가능하게 했다.