PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

AISA: AI Safety Assistant Framework for Continuous Improvement of Highway Construction

Mason Smetana, Trevor Neece, Lev Khazanovich

arXiv:2608.17184v1cs.CL

TL;DR

비정형 사고 서술은 JSA를 준비할 때 활용하기 어려워 고속도로 안전 계획에 걸림돌이 된다. 이 논문은 안전 정보를 분류·점수화·검색하는 로컬 기반 결정론적 AI 프레임워크를 개발했으며, 대부분의 작업에서 사고 검색이 우연 수준을 웃돌고 문서 QA에서는 오픈 웨이트 임베딩 모델이 가장 우수했다.

  • 문제

    과거 고속도로 건설 사고 기록은 대개 JSA 및 작업 전 계획 수립 중에 참고하기 어려운 비정형 서술로 되어 있다.

    출처: §1 · p. 2

  • 방법

    AISA는 경량 임베딩 기반 분류 및 품질 점수화와 과거 사고, 이미지, 업계 문서 검색을 결합해 일일 안전 계획 수립을 지원한다.

    출처: §2.1.2 · p. 4, §2.2 · p. 6, §3.1.3 · p. 9

  • 결과

    대부분의 작업에서 사고 검색은 관련 사고를 우연 수준 이상으로 찾아냈으며, 업계 문서 QA에서는 오픈 웨이트 디코더 기반 임베딩 모델이 가장 우수했다.

    출처: §5 · p. 14

  • 시사점 및 한계

    결과는 고속도로 건설 작업 계획 중 과거 안전 교훈을 드러내는 저비용의 감사 가능한 오프라인 도구를 뒷받침한다.

    출처: §5 · pp. 14–15

    융합 pseudo-quality score는 주로 softmax 포화도를 측정하므로 예비적이며, 정확성과의 관계를 확립하려면 보정과 라벨이 부여된 검증이 필요하다.

    출처: §4.1 · p. 13

Abstract

from arXiv · show

Job Safety Analysis (JSA) and pre-task planning can benefit from prior incident records, yet historical accident data is often stored as unstructured narratives that are difficult to consult at the point of planning. A novel framework centered on large language models (LLMs) for highway construction safety reporting and planning is proposed as a foundation for future agentic applications, prioritizing deterministic, local inferencing. The first aim is to enable classification and quality scoring of incident narratives for existing and future reporting purposes. The second is to evaluate retrieval of relevant historical accidents, related imagery, and trusted industry documents for incorporation into daily safety plans. Neural probes were trained to classify incidents along four multiclass and two binary Occupational Injury and Illness Classification System (OIICS) fields and to derive an overall quality score, evaluated on a test set of over 15,000 narratives and a held-out set of 100 author-labeled records, benchmarked against a majority-vote LLM ensemble. The retrieval of historical accidents, reference imagery, and industry documents was benchmarked across embedding models using standard information retrieval metrics. OIICS classification reached 75% held-out accuracy, though the two binary flags were degenerate. The quality score, while meaningful on one database, was distorted on out-of-distribution fatalities in the held-out dataset. Accident retrieval recovered relevant incidents far above chance, performing best on lexically distinct construction activities. On document question answering, an open-weight decoder embedding model surpassed proprietary models. Overall, this work provides a new framework rooted in local inferencing and text embedding models for future agentic applications, with emphasis on bridging external data to JSA reports.

1 서론

서론에서는 고속도로 건설을 고위험 분야로 제시하며, JSA와 작업 전 계획이 여전히 핵심 방어 수단인 반면 과거 사고 서사는 실제 계획에 활용하기 어렵다고 설명한다. 사고 데이터베이스, 이미지, 신뢰할 수 있는 업계 문서, 텍스트 임베딩 검색을 결합해 JSA를 지속적으로 개선하고 일일 계획을 지원하는 AI Safety Assistant 프레임워크 AISA를 제안한다.

연구 동기

  • 고속도로 건설 작업자는 중장비, 거푸집, 유지보수, 실제 교통 흐름과 관련된 심각한 위험요인에 노출되므로 JSA와 작업 전 계획이 핵심 안전 관행이다.JSA는 예정된 작업을 단계별로 나누고 각 단계의 위험요인을 식별한다.출처: §1 · p. 2

관련 연구

  • 최근 계산 기반 안전 연구는 예측 분석에서 NLP와 LLM을 활용해 사고 보고서를 읽고 활용하는 방향으로 발전해 왔다.예측 분석은 과거 사고 보고서와 날씨, 시간대, 현장 작업 같은 프로젝트 변수를 결합해 위험을 예측하고 안전 자원을 배분한다.출처: §1 · p. 2
  • 기존 대화형 안전 시스템으로는 사고 보고서에서 정보를 추출하는 TrafficSafetyGPT와, 주로 이미지에 기반하며 과거 사고 데이터를 사용하지 않는 AutoRepo가 있다.TrafficSafetyGPT는 교통 안전 전문 데이터셋으로 미세 조정한 오픈 웨이트 모델이며 범용 모델보다 성능이 뛰어나다.출처: §1 · p. 2

프레임워크

  • AISA는 공개된 OSHA 사고 데이터베이스, 관련 이미지, 신뢰할 수 있는 업계 문서를 결합해 JSA를 지속적으로 개선하고, 더욱 유의미하고 구체적인 일일 안전 계획 보고서를 작성하는 방안을 제안한다.이 프레임워크는 일일 계획 수립을 지원하도록 설계되었다.출처: §1 · p. 2

평가

  • 일일 계획 과제에서는 간단한 RAG 파이프라인에 최신 텍스트 임베딩 모델을 적용해 JSA 보고서에 포함할 사고 서사와 관련 업계 문서를 검색하는 성능을 평가한다.이 평가는 향후 연구자와 실무자에게 별도 조정 없이 사용하는 임베딩의 역량에 관한 정보를 제공하는 것을 목표로 한다.출처: §1 · p. 2

2 방법

AISA 프레임워크는 과거 사고, 신뢰할 수 있는 업계 문서, 관련 이미지를 통합해 상호 보완적인 두 가지 건설 안전 과제를 수행하는 LLM 안전 보조 도구를 중심으로 구성된다. 비정형 사고 서술을 분류하고 점수를 매기는 동시에, 검색 증강 생성을 활용해 계획된 작업으로부터 JSA를 작성한다.

프레임워크 아키텍처

  • 중앙 LLM 안전 보조 도구는 과거 사고 기록, 신뢰할 수 있는 업계 문서, 관련 이미지를 건설 안전을 위한 공통 데이터 출처로 활용한다.문서에는 툴박스 미팅 자료, 표준, 시방서가 포함되며, 이미지는 장비와 현장 상태를 보여준다.출처: §2 · p. 3

Task 1: 사고 서술 분류

  • Task 1에서는 다층 퍼셉트론 프로브를 사용해 비정형 사고 서술을 표준 코드로 분류하고, 출력을 통합해 단일 품질 점수를 산출한다.이 점수는 보고 목적에 맞게 자유 서술의 품질을 정량화한다.출처: §2 · p. 3

Task 2: JSA 계획 수립

  • Task 2에서는 검색 증강 생성으로 당일 계획된 작업에 대한 설명을 바탕으로 작업 안전 분석(Job Safety Analysis, JSA) 보고서를 작성한다.이 과제는 계획된 작업에 검색된 안전 정보를 적용하는 정방향 절차로 수행된다.출처: §2 · p. 3

2.1 과제 1: 사고 보고 및 품질 점수화 시스템

과제 1은 자유 서술형 사고 기록을 분류하고 활용 가능한 안전 정보의 양을 점수화하는 결정론적 사고 보고 시스템을 개발한다. OIICS 예측에는 고정된 임베딩을 이용한 probe를 사용하고, 모델 출력을 결합해 예비 품질 점수를 산출하며, 탐색적 단어 수준 해석 가능성 분석을 더한다.

과제 목표

  • 이 과제는 일관성이 부족한 아차 사고 보고를 포함해 사고를 결정론적으로 분류하고 서술 기록의 품질을 높이는 것을 목표로 한다.두 목표 모두 자유 서술형 기록에 활용 가능한 안전 정보가 얼마나 담겼는지 자동으로 판단하는 데 달려 있다.출처: §2.1 · pp. 3–4

OIICS 체계

  • OIICS는 Nature, Part of Body, Source, Event에 따라 부상, 질병, 사망의 특성을 분류하는 표준화된 체계를 제공한다.이 체계는 미국 노동통계국(U.S. Bureau of Labor Statistics)이 개발했다.출처: §2.1.1 · p. 4

분류 방법

  • 고정된 임베딩으로 학습한 경량 MLP probe는 사고 분류에 필요한 언어 정보를 살펴보고 이를 조작화한다.probe는 인코더를 고정한 채 대상 과제를 위한 소규모 분류기만 학습한다.출처: §2.1.2 · p. 4
  • 파이프라인은 사람이 코딩한 SIR 기록으로 학습하고, OIICS 코드를 두 자리 대분류로 축약한 뒤, 별도의 IMIS 데이터베이스에서 가져온 보류 서술 기록으로 평가한다.레이블은 one-hot 벡터로 변환되며, 각 네트워크는 범주별 확률 분포를 학습한다.출처: §2.1.2 · p. 4

품질 점수화

  • 예비 의사품질 점수는 MLP 출력 전반의 예측 결정성을 평균 내지만, 확신에 찬 판단을 정답으로 오인할 수 있다.엔트로피는 정답 여부가 아니라 분포의 집중도와 불확실성을 측정하므로, 확신에 차서 틀린 예측도 품질이 높은 것으로 나타날 수 있다.출처: §2.1.3 · p. 5

Interpretability

  • Leave-one-out word saliency identifies tokens that support or oppose the top-1 OIICS prediction by measuring confidence changes after token removal.The analysis is exploratory and intended to improve interpretability of otherwise black-box neural predictions.출처: §2.1.4 · pp. 5–6

2.2 Task 2: 일일 안전 계획 및 검색

Task 2는 구조화된 고속도로 건설 지식을 바탕으로 일일 안전 계획을 수립하고, 관련 사고 서술, 시각적 위험 참고 자료, 검증된 외부 문서를 검색한다. 사실에 근거한 안전 계획을 지원하기 위해 투명한 cosine similarity 검색과 합성 QA 데이터 생성을 사용한다.

지식 기반 구축

  • 이 프레임워크는 사고 서술을 구조화된 건설 작업, 단계, 위험요인에 매핑하는 온톨로지를 담은 PennDOT의 JSA Manual을 바탕으로 계획을 수립한다.선행 연구는 비구조화된 OSHA 서술을 아스팔트 포장 건설의 작업/단계/위험요인 범주에 매핑했다.출처: §2.2 · p. 6

검색 방법

  • 투명하고 비용이 적게 드는 검색을 위해 cosine similarity를 선택했으며, 오픈 가중치 모델과 OpenAI의 독점 인코더를 포함한 임베딩 모델을 사용했다.단순 검색은 질의와 후보 문서를 동일한 인코더로 임베딩하고 cosine similarity로 관련성을 평가한다.출처: §2.2 · p. 6

사고 검색

  • 965개의 서술을 47개 건설 활동 중 46개에 매핑해, 계획된 작업과 관련된 사고를 검색하기 위한 사고 코퍼스를 구성했다.한 활동에는 라벨이 지정된 사고 서술이 없어 제외했다.출처: §2.2.1 · p. 6

시각 자료

  • 합성 이미지는 활동 또는 장비와 관련된 위험요인의 시각적 묘사를 제공해 검색을 확장하고 JSA 문서에 활용할 수 있게 한다.서술을 구조화된 설명으로 변환해 고속도로 건설 위험요인을 생성형 시각화로 표현할 수 있게 한다.출처: §2.2.2 · p. 7

외부 문서

  • 검증된 toolbox talk, 기관 표준, 장비 문서 200건 이상을 검색해 일반적인 JSA 내용에 없는 보완적 통제 방안과 절차를 제시한다.LLM이 생성한 QA 쌍 파이프라인은 수동 주석 없이 비구조화 문서 코퍼스를 지도 검색 데이터로 변환한다.출처: §2.2.3 · p. 7

3 결과 · 3.1 사고 분류 및 점수화

이 프레임워크는 사고 서술을 OIICS 필드별로 분류하고, 예측 결정성을 품질 신호로 점수화하며, 별도로 수집한 사망 사고 서술을 대상으로 일반화 성능을 시험한다. 저자가 라벨링한 홀드아웃 기록에서 신경망은 최첨단 LLM과 경쟁력 있는 성능을 보였지만, 품질 점수의 해석은 데이터베이스마다 달랐다.

3.1.1 OIICS 분류 모델

  • 사고 102,922건으로 구성된 SIR 데이터베이스를 학습, 검증, 테스트에 70/15/15 비율로 나눈 뒤, OIICS 분류 전에 서술을 임베딩했다.테스트 세트에는 서술 15,439건이 포함됐다.출처: §3.1.1 · p. 7
  • OIICS 테스트 지표는 과제 난이도를 반영했다. 이진 플래그는 거의 완벽했고, 다중 클래스 구조는 강한 성능을 보였으며, Source의 예측 성능이 가장 낮았다.Accuracy는 기존 OIICS 라벨과 일치하는 정도를 측정하며, Acc@1, Acc@3, NDCG@10, MRR@10은 점점 더 폭넓거나 순위가 반영된 예측을 평가한다.출처: §3.1.1 · pp. 7–8
  • 예측 확률 분포는 높은 신뢰도 쪽으로 치우쳤으며, 평균 신뢰도와 폭 σ는 각각 확신도와 일관성을 나타냈다.1.0에 가까운 곡선은 하나의 코드에 반복적으로 확신을 보임을 나타내며, 더 넓고 낮은 곡선은 여러 코드에 걸친 확률 분산을 나타낸다.출처: §3.1.1 · p. 8

3.1.2 홀드아웃 IMIS 데이터베이스

  • IMIS 평가는 학습에 포함되지 않은 OSHA 사망 사고 서술 1,197건을 사용했지만, 정답 OIICS 라벨이 없어 정확도를 직접 측정할 수 없었다.사망 사고와 상이한 표현 방식으로 인해 SIR과 체계적인 분포 차이가 발생했다.출처: §3.1.2 · pp. 8–9
  • 저자가 라벨링한 IMIS 기록 100건에서 OIICS 6개 필드 전반의 평균 일치율은 57.2%였으며, 신경망은 62.0%를 기록한 gemini-3.5-flash-lite 다음으로 높은 성능을 보였다.다중 클래스 MLP 4개는 약 60–70%의 일치율을 달성했지만, 이진 필드 2개는 정보성이 거의 없었다.출처: §3.1.2 · p. 9

3.1.3 품질 점수화 메커니즘

  • 종합 품질 점수는 다중 클래스 열 4개의 결정성을 평균한 값으로, 결정성이 높으면 확신을, 낮으면 불확실성을 나타낸다.각 예측에는 순위가 가장 높은 OIICS 코드와 결정성 값이 부여된다.출처: §3.1.3 · p. 9
  • SIR의 열별 결정성은 0.78-0.85 범위였고, 기록의 20%는 0.9를 넘었다. IMIS와 SIR의 품질 평균은 각각 0.811과 0.812로 거의 같았다.본문은 SIR을 균형 잡힌 데이터베이스, IMIS를 더 포화된 데이터베이스로 설명하며, 이에 따라 평균 점수를 직접 비교해 해석하기 어렵다.출처: §3.1.3 · p. 9

3.1.4 단어 중요도 사례

  • Leave-one-out 단어 중요도 분석은 특정 범주에 대한 신뢰도를 가장 크게 낮추는 단어를 식별하고, OIICS 구조 전반에 걸친 영향 중첩을 보여준다.단어를 제거하고 서술을 다시 임베딩한 뒤 범주 확률을 재계산한다.출처: §3.1.4 · pp. 9–10

3.2 정보 검색 과제

이 연구는 과거 사고, 위험 이미지, 파싱된 산업 문서를 대상으로 공통 임베딩 공간과 cosine similarity를 활용한 단순 검색을 수행한다. 과제별 검색 성능은 다르게 나타났다. 건설 활동의 구별성은 사고 검색에 유리했고, 간접적인 이미지 검색은 해석을 제한했으며, 문서 질의응답에서는 Qwen-Embedding-0.6b가 가장 우수했다.

과제 설계

  • Naïve RAG는 말뭉치와 질의를 같은 벡터 공간에 임베딩한 뒤, 세 가지 검색 과제에서 cosine similarity에 따라 문서의 순위를 매긴다.세 가지 과제는 과거 사고, 참고 이미지, 파싱된 산업 문서의 구절을 검색한다.출처: §3.2 · p. 10

과거 사고 검색

  • 사고 서술 965건을 건설 활동 46개에 대응시켰으며, 각 활동이 동일하게 기여하도록 검색 지표를 macro-average했다.사고 서술은 SIR 및 IMIS 데이터베이스에서 가져왔고, PennDOT Pub 517에 기술된 건설 활동에 따라 라벨링했다.출처: §3.2.1 · p. 11
  • 활동별 사고 검색 성능은 고르지 않았다. text-embedding-3-large에서 Wood-Chipper – Chipping Brush의 AP = 1.00, Garage – Tire Removal/Install의 AP = 0.604였다.그 밖에 Broom/Towable Broom (AP = 0.833), Skid Steer – General (AP = 0.670), Scaffold Erecting/Dismantling (AP = 0.619)이 포함됐다.출처: §3.2.1 · p. 11

참고 이미지 검색

  • 이미지 검색은 계획된 활동과 위험 이미지를 연결했지만, 이미지 내용에서 직접 검색하지 않고 짝을 이루는 사고 서술을 통해 간접적으로 검색했다.이러한 간접 절차는 본 연구의 한계로 제시된다.출처: §3.2.2 · p. 11

산업 문서 질의응답

  • 합성 질의-구절 쌍 6,214개로 문서 검색을 평가했으며, 가장 성능이 좋은 모델은 Acc@1에서 약 45%의 경우 대상 구절을 첫 번째로 배치했다.질문은 gpt-4o-mini로 생성했고 수작업으로 검증하지 않았다. 따라서 결과는 질문의 품질을 보증하는 것이 아니라 검색 성능을 나타낸다.출처: §3.2.3 · pp. 11–12
  • Qwen-Embedding-0.6b는 모든 문서 검색 지표에서 독점 OpenAI 모델을 앞섰으며, 과거 사고 검색에서 나타난 양상과 반대되는 결과를 보였다.따라서 오픈 웨이트 디코더 기반 모델은 이 문서 질의응답 과제에서 독점 모델과 대등하거나 이를 능가했지만, 추론 및 GPU 자원은 훨씬 더 많이 필요했다.출처: §3.2.3 · p. 12

4 논의

논의에서는 분류 신뢰도와 융합 품질 점수가 안전 보고에 유용할 가능성을 제시하는 한편, 보정, 분류 체계의 복잡성, 최적화의 한계를 짚는다. 과거 사고와 이미지 검색은 실현 가능하며, 문서 QA에서는 오픈 웨이트 임베딩 모델이 특히 독점 모델보다 우수했다.

한계

  • 분류 결과는 과제의 난도와 충분히 최적화되지 않은 설정을 반영하며, 더 크고 복잡한 레이블 공간은 실용적 이점이 제한적이다.이러한 네트워크가 국소 최솟값에 갇힐 수 있으므로, 논의에서는 세분화된 하위 수준 코딩은 향후 연구에 맡길 것을 제안한다.출처: §4.1 · p. 12

분류

  • 분류 신뢰도는 레이블을 신뢰할 수 있는지, 또는 사람이 검토할 상위 3개 후보 목록으로 제시해야 하는지를 알려줄 수 있다.Part of Body의 Acc@1 = 0.843, Nature의 Acc@1 = 0.815였으며, 모든 통계에서 Source의 성능이 가장 낮았다.출처: §4.1 · p. 12
  • 네 가지 다중 클래스 모델은 작성자 레이블과 대략 60-70% 일치율을 보이며 스키마 간 사고 기록을 변환했고, 이는 ≈75%의 held-out 테스트 정확도와 일치한다.이는 IMIS와 같은 시스템의 기록을 SIR/OIICS로 변환할 수 있음을 뒷받침한다.출처: §4.1 · p. 12

품질 점수화

  • 융합 품질 점수는 SIR에서 해석 가능하고 판별력이 있지만, 현재 데이터베이스 간 입력 품질 자체보다 softmax 포화도를 더 많이 측정한다.결정성을 정확성의 대리 지표로 간주하기 전에 추가 보정과 레이블이 있는 검증이 필요하다.출처: §4.1 · pp. 12–13

검색

  • 사고 검색은 실현 가능하지만, 단일 레이블 관련성과 모호한 활동 때문에 보고된 검색 성능은 절대적 상한이 아니라 하한이다.검색 성능은 질의 표현에 좌우되며, 임베딩을 추가로 미세 조정하면 성능을 높일 수 있다.출처: §4.2 · p. 13
  • Qwen-Embedding-0.6b는 산업 문서 QA에서 시험한 모든 독점 모델과 범용 모델보다 높은 성능을 보였고, 모든 지표에서 OpenAI 임베딩을 능가했다.이미지 검색으로 JSA에 현실적인 위험 시각 자료를 연결할 수 있지만, 데이터셋 부족, 현장 접근 제한, 윤리적 우려가 배포에 제약을 준다.출처: §4.2 · pp. 13–14

5 결론

AISA 프레임워크는 OIICS 분류, 서술 품질 점수화, 과거 사고 및 산업 문서 검색을 통해 고속도로 건설의 안전 보고와 계획을 결정론적 로컬 방식으로 지원한다. 개념 증명 결과는 유망하지만, 사람의 검토와 추가 검증, 향상된 멀티모달 기능이 필요하다.

프레임워크의 기여

  • AISA는 고속도로 건설 Job Safety Analysis 보고서의 지속적 개선에 결정론적 로컬 추론을 통합하고, 가까운 시일 내 현장 적용을 위한 프로토타입을 갖추었다.산업계 파트너와 안전 전문가는 제안된 기능을 직접 평가할 수 있다.출처: §5 · p. 14

분류

  • 경량 다층 퍼셉트론은 사고 서술을 OIICS로 유용하고 결정론적으로 코딩하며, 코딩 범주가 명확히 구분되는 경우 가장 좋은 성능을 보인다.범주 간 중첩이 가장 큰 최대 레이블 공간에서 성능이 가장 낮았다.출처: §5 · p. 14

품질 점수화

  • 융합 MLP 의사 품질 점수는 분포 내 데이터에서 유망하고 신뢰할 만하지만, 분포 외 사망 사고에서는 신뢰도를 왜곡할 수 있다.Leave-one-out saliency 분석은 각 예측에 영향을 주는 단어를 식별한다.출처: §5 · p. 14

검색

  • Dense retrieval은 대부분의 활동에서 우연 수준을 넘어 관련 과거 사고를 찾아냈지만, 가장 관련성 높은 결과를 선택하려면 여전히 사람의 검토가 필요하다.사고 검색에서는 상용 임베딩이 우세했으며, 산업 문서 질의응답에서는 오픈 웨이트 디코더 기반 모델이 가장 좋은 성능을 보였다.출처: §5 · p. 14

한계

  • 기본 제공 방식에 미세 조정과 멀티모달 기능이 없고, 현재 이미지 검색도 이미지 내용이 아니라 관련 서술을 이용하므로 이 프레임워크는 여전히 개념 증명 단계다.프로토타입의 AI 생성 이미지는 자체 보유 이미지로 대체해야 하며, 사람의 피드백과 반복 개선이 계속 필요하다.출처: §5 · pp. 14–15

향후 응용

  • 로컬 모델은 민감한 데이터의 개인정보 보호와 보안을 지원하며, 새로운 사고와 아차 사고를 검색 말뭉치에 추가하면 안전 계획을 반복적으로 개선할 수 있다.이 연구는 이러한 결정론적 구성요소를 잠재적 에이전트 응용의 기반으로 제시한다.출처: §5 · p. 15

면책 고지: 생성형 AI 사용

저자들은 편향, 오류, 지식 공백 가능성 등 LLM의 한계를 인정하면서 원고 교정과 수정에 OpenAI의 ChatGPT를 사용했다.

Loading 2608.17184v1…