AI 요약 · 영어에서 AI 번역
When Agentic Executions Fail: Detecting and Localizing Runtime Faults from Telemetry
Chenkai Zhang, Yiran Li, Yifang Tian, Michalis Bachras, Hans-Arno Jacobsen
TL;DR
에이전트 실행 텔레메트리에서 외부 요인으로 유발된 런타임 결함을 탐지하고 위치를 식별할 수 있다는 근거는 아직 제한적이다. AGENTCHAOSBENCH는 에이전트 시스템 5개에 통제된 방식으로 결함을 주입하고, 정제된 실행 추적과 이에 대응하는 무결함 참조 실행을 사용해 이 과제를 연구한다. 평가된 LLM은 결함 분류와 위치 식별에서 여전히 신뢰성이 낮으며, 단일 실행 추적의 결함 유형 AC@1은 최대 24.8%에 그친다.
문제
에이전트 실행 텔레메트리로 정상 동작과 외부 요인으로 유발된 런타임 결함을 구별하고 결함의 유형과 위치를 식별할 수 있는지에 대한 근거는 아직 제한적이다.
출처: §1 · p. 1방법
결과
평가된 LLM은 결함 분류와 위치 식별 전반에서 여전히 신뢰성이 낮으며, 단일 실행 추적의 결함 유형 AC@1은 최대 24.8%에 그친다.
출처: §6 · p. 8시사점과 한계
이 결과는 에이전트 시스템 진단을 위한 참조 기반 탐지기와 특화 탐지기, 비LLM 기준 모델, 정확한 구간 단위 위치 식별의 필요성을 시사한다.
출처: §6 · p. 8벤치마크의 과제와 입력 다양성이 부족해 외적 타당도가 제한되며, 평가 범위는 시스템 5개와 조건당 서로 대응하는 입력 5개로 한정된다.
출처: §5.1 · p. 8
Abstract
from arXiv · showhide
Reliability in LLM-based agentic systems is a property of the whole execution (its tool calls, model calls, guardrails, and inter-agent messages), not of the final answer alone, yet evaluating only task outcomes reveals little about how or why a run fails. We present AGENTCHAOSBENCH, a benchmark for detecting and localizing runtime faults in agentic systems from their execution telemetry. We run five heterogeneous applications that coordinate agents over the Agent-to-Agent protocol and call tools through the Model Context Protocol, and inject ten types of operational fault (unavailable or slow tools, corrupted or oversized responses, and delayed, looped, or misrouted delegations and bypassed guardrails) at their tool, model, guardrail, and inter-agent boundaries, alongside a no-fault control. The resulting dataset contains 275 sanitized traces: 250 faulty executions spanning ten fault types and 25 no-fault controls. Each faulty trace is aligned with the no-fault execution of the same input; fault-type labels and, where applicable, location labels are held out from diagnosis. On structured single-trace inputs, a first set of zero-shot LLM baselines shows the task is far from solved: local detectors up to 14B parameters reach only 13.6-19.2% top-1 fault-type accuracy and the frontier DeepSeek-v4-pro only 24.8%, while jointly identifying the fault type and its location tops out at 22%; reference-dependent faults (above all a bypassed guardrail) stay near-unsolved from a single trace. An aligned reference improves selected relative faults but does not resolve guardrail bypass. The held-out labels and compact prediction format support reproducible comparison of LLM-based and non-LLM diagnosis methods.
1 서론
AgentChaosBench는 도구, 모델, 가드레일, 에이전트 간 경계에서 수집한 정제된 실행 텔레메트리로 런타임 결함 탐지와 위치 식별을 평가한다. 초기 LLM 기준 모델의 진단 정확도는 낮으며, 정렬된 무결함 참조 실행은 일부 결함의 진단에 도움이 되지만 가드레일 우회는 여전히 해결하지 못한다.
1 서론
- 최종 과제 결과만으로는 운영상 실패가 드러나지 않으므로, 정상 동작을 구별하고 런타임 결함 유형과 영향받은 구성 요소의 위치를 식별하는 텔레메트리 기반 진단이 필요하다.운영 결함은 추론 단계에 오류가 없어도 잘못된 답변, 과도한 지연, 작업 흐름 정체로 이어질 수 있다. 따라서 진단에는 통제된 결함, 시스템 수준의 텔레메트리, 최종 답변 해석에 의존하지 않는 정답 정보가 필요하다.출처: §1 · p. 1
- 정제된 Langfuse 추적은 에이전트, 모델, 도구의 스팬을 제공하되, 주입 표식과 결함 레이블은 탐지기에 공개하지 않는다.추적에는 시간 정보, 입력, 출력, 상태 메타데이터가 유지되며, 검증된 유형 및 위치 레이블은 정답으로 별도 보관된다. 간결한 예측 형식은 LLM 기반 진단 방법과 비LLM 진단 방법의 재현 가능한 비교를 지원한다.출처: §1 · p. 2
- 최대 14B 파라미터 규모의 로컬 탐지기는 top-1 결함 유형 정확도가 13.6–19.2%, DeepSeek-v4-pro는 24.8%에 그쳐 진단 성능의 한계를 보인다.Top-1 구성 요소 위치 식별 정확도는 31%에 불과하며, 유형과 위치를 모두 맞히는 정확도는 8–22%에 머문다.출처: §1 · p. 2
- 다섯 시스템에서 수행한 통제된 실행 275건은 런타임 결함 유형 10가지와 무결함 대조군을 포함하며, 결함 실행과 무결함 실행은 동일 입력을 기준으로 정렬된다.AgentChaosBench는 AI-NativeBench [15]에서 파생된 애플리케이션을 사용해 도구, 모델, 가드레일, 에이전트 간 경계에 결함을 주입한다. 결함 분류 체계에는 명시적 실패와 미묘한 의미적 손상이 함께 포함된다.출처: §1 · pp. 1–2
- 정렬된 무결함 참조 실행을 활용하면 컨텍스트 초과 재현율이 최대 55포인트 향상되며, 일부 지연 및 라우팅 결함의 진단에도 도움이 된다.참조가 필요한 결함, 특히 가드레일 우회는 최첨단 모델도 단일 추적만으로는 거의 진단하지 못한다. 정렬된 참조 실행이 있어도 가드레일 우회는 여전히 해결되지 않는다.출처: §1 · p. 2
2 벤치마크 설계 및 구축
AgentChaosBench는 서로 다른 5개 에이전트 시스템에 운영 결함을 주입하고, 주입 정보가 제거된 실행 텔레메트리로 결함 분류와 위치 식별을 평가한다. 동일 입력의 무결함 실행을 정렬해 트레이스에 근거한 레이블 부여와 품질 관리를 지원한다.
2.1 설계 목표
- 설계 목표는 실제 운영 환경과 관련된 결함, 구성요소 포괄성, 재현성, 정보 누출 없는 입력, 트레이스 기반 레이블, 자동 채점에 우선순위를 둔다.진단 방법은 주입 표식과 결함 레이블이 제거된 텔레메트리에서 결함을 분류하고 영향을 받은 스팬이나 구성요소를 찾아야 한다.출처: §2.1 · p. 2, §2 · p. 2
2.2 에이전트 시스템 및 과제 선정
- AI-NativeBench [15]의 5개 애플리케이션은 A2A 통신과 MCP 도구 접근을 통해 CrewAI, LangGraph, AutoGen 에이전트를 결합한다.선정 요건은 실제 도구 상호작용, 에이전트 간 위임, 결함이 전파될 만큼 충분히 긴 다단계 실행, 결정론적 성공 조건이다.출처: §2.2 · pp. 2–3
2.3 배포 및 실행 환경
- vLLM으로 제공하는 공유 로컬 Qwen3.5-9B 엔드포인트는 탐욕적 디코딩을 사용해 외부 LLM 제공업체에 의존하지 않는 재현 가능한 실행을 지원한다.에이전트는 오케스트레이터 아래에서 독립적인 A2A 서비스로 실행된다. A2A 및 도구 경계에서의 제한된 시간 초과와 재시도 동작도 관측 대상이며, 탐지기가 이를 해석해야 한다.출처: §2.3 · p. 3
2.4 결함 모델
- 10개 결함 유형은 도구, 모델, 에이전트, 에이전트 간 통신, 가드레일 경계에서 발생하는 가용성, 성능, 제어·라우팅, 데이터·정책 실패를 포괄한다.이 분류 체계는 진단 난도가 아닌 주입 메커니즘을 기술하며, 모든 결함을 망라하지는 않는다. 모델과 과제 입력을 고정한 채 결함 실행을 무결함 기준 실행과 짝지어 환경적 결함과 추론 자체의 오류를 구분한다.출처: §2.4 · p. 3
2.5 결함 주입 메커니즘
- 경계 인터셉터는 대상, 활성화 조건, 연산자를 명시한 설정에 따라 에이전트 로직을 변경하지 않고 결함을 주입한다.인자 격리형 루프 앵커는 주변 생성 과정을 보존하며, 도구 오라우팅은 아무 효과도 없는 동작에 그치지 않고 실제로 다른 도구 동작으로 이어져야 한다. 활성화 유형과 위치는 별도의 정답 기록에 저장되며, 탐지기에 제공되는 트레이스에는 포함되지 않는다.출처: §2.5 · pp. 3–4
2.6 관측 가능성 및 트레이스 수집
- Langfuse는 에이전트 식별 정보, 모델 및 도구 활동, 가드레일 결정, A2A 상호작용, 시간 정보, 상태, 필터링된 내용을 담은 계층적 실행 스팬을 수집한다.공개용 필터링은 주입 표식, 레이블을 드러내는 필드, 결함별로 구성된 저장 경로를 제거하고 실제 운영 환경에서 관측 가능한 텔레메트리를 유지한다.출처: §2.6 · p. 4
2.7 데이터셋 구축 및 명세
- 275개 사례는 5개 시스템과 10개 결함 유형 및 무결함 대조 조건을 조합하며, 조건마다 동일한 5개 과제 입력을 정렬해 사용한다.자동 검증은 결함 트레이스를 무결함 기준 실행과 비교하고, 유효하지 않은 주입은 사례를 버리는 대신 수정한다. Tool Latency의 차이 중앙값은 +15.0 s인 반면, A2A Latency의 차이는 −3 s에서 +26 s까지이며 그 영향이 가려지는 경우가 많다.출처: §2.7 · pp. 4–5
- 이상 징후를 표시하거나 기준 실행과 비교하지 않는 간결한 구조화 뷰를 통해 가장 큰 트레이스의 크기를 대략 십분의 일로 줄인다.전체 트레이스의 토큰 수 중앙값은 ∼108K이며 최대 ∼638K에 이른다. 간결한 행 형식으로 스팬 메타데이터, 출력 크기, 반복 횟수, 미리보기를 제공하며, 이상치 하나에 대해서만 동일한 폴링을 합친다. 진단 시 공개하지 않는 라벨에는 결함 식별자, 필수 스팬 유형, 신호, 위치, 라우팅 대상이 명시되어 있다. 벤치마크, 감사 스크립트, 채점 스크립트는 공개할 예정이다.출처: §2.7 · p. 5
3 평가
제로샷 LLM은 민감 정보가 제거된 단일 트레이스의 텔레메트리만으로 결함을 진단하고 위치를 특정하는 데 어려움을 겪는다. 구조화된 트레이스는 처리 가능한 사례 범위를 넓히고 추론 비용을 줄이지만 진단 문제를 해결하지는 못한다. 동일 입력에 대응하는 무결함 참조 실행은 일부 결함의 진단을 개선하지만 가드레일 우회나 출력 손상은 해결하지 못한다.
3.1 진단 과제와 예측 형식
- 진단에서는 정상 여부를 모르는 트레이스 하나로 가능한 열한 가지 상태의 순위를 매기고, 텔레메트리 구간을 인용한 짧은 근거를 제시해야 한다.상태는 열 가지 결함과 No Fault로 구성되며, top-1 및 top-3 정답 여부로 평가한다. 쌍대 설정에서는 동일 입력의 정상 실행을 제공하며, 입력과 외부 작업 상태를 고정해 주입된 결함만 달라지도록 한다.출처: §3.1 · p. 5
3.2 기준 모델
- 제로샷 기준 모델은 로컬 Qwen 모델 네 종과 최첨단 DeepSeek-v4-pro를 비교하며, 동일한 프롬프트를 사용하고 컨텍스트 윈도우가 허용하는 경우 두 트레이스 표현을 모두 사용한다.Qwen3-1.7B, Qwen3-4B, Qwen3.5-9B, Qwen3-14B는 vLLM으로 실행하고, DeepSeek-v4-pro는 API로 실행한다. 관측 가능한 신호를 활용하는 규칙 기반 탐지기는 향후 과제로 남겨 둔다.출처: §3.2 · p. 5
3.3 평가 지표
- 위치 라벨이 있는 결함 사례 225건으로 구성요소 위치와 유형·위치 공동 식별을 평가하며, 결함 유형 정확도와 무결함 인식은 별도로 평가한다.구성요소 위치 AC@1/AC@3은 첫 번째 인용 구간 또는 상위 세 인용 구간 중 하나가 정규화 후 정답 라벨의 구성요소에 대응해야 한다. 공동 AC@1은 유형과 구성요소가 모두 맞아야 한다. 결함 유형 AC@1/AC@3은 결함 사례에서 측정하며, 무결함 대조군 인식을 오탐의 대리 지표로 사용한다. 균등 무작위 AC@1은 1/11 ≈9%이며, Context Overflow와 No Fault에는 위치 라벨이 없다.출처: §3.3 · p. 5
3.4 실험 설정
- 수정된 사례 275건에서 모든 탐지기에 동일한 구조화 표현의 표본을 제공하며, 비공개 정답 필드와 디렉터리 이름은 제외하고 모든 실행에 탐욕적 디코딩을 적용한다.파싱할 수 없는 순위는 오답으로 처리한다. Qwen3-14B는 형식이 잘못된 출력이 2%에 불과하지만, 결함 사례의 65%에서 실제 결함을 상위 세 후보에 전혀 포함하지 못한다. 출력 실패는 길이 제한에 따른 잘림이며, 출력 한도를 두 배로 늘려도 정확도는 변하지 않는다. DeepSeek-v4-pro의 위치 특정은 별도 실행으로 평가하며, 해당 실행의 결함 유형 AC@1/AC@3은 25.2%/37.6%다.출처: §3.4 · pp. 5–6, §3.5 · p. 6
3.5 결과
- DeepSeek-v4-pro의 24.8% AC@1(34.0% AC@3)과 로컬 Qwen 탐지기의 13.6–19.2% AC@1은 단일 트레이스 진단 성능이 낮음을 보여준다. 유형·위치 공동 AC@1도 최대 22%에 그친다.구성요소 위치 AC@1은 20%–31%, AC@3은 27%–45%다. 유형·위치 공동 AC@1은 로컬 탐지기가 8%–16%, DeepSeek-v4-pro가 22%다. 결함 분류 성능은 낮지만 무결함 인식률은 Qwen3-1.7B의 4%에서 Qwen3-14B의 96%로 높아지며, DeepSeek-v4-pro는 88%다.출처: Table 3 · p. 6, §3.5 · p. 6, Table 5 · p. 7
- top-3 재현율이 Tool Failure는 25/25, A2A Timeout은 23/25로, 가용성 결함이 가장 쉽게 탐지된다. 결함 메커니즘의 분류보다 직접 해석할 수 있는 증거가 더 중요하다.성능 결함과 Infinite Loop에는 관측 가능한 신호가 있지만 top-3 재현율은 0/25에서 13/25까지 다양하다. 라우팅 결함은 의도된 목적지를 알아야 하며, 위조된 가드레일 승인은 대개 무결함으로 보인다. 가장 작은 탐지기의 Context Overflow 재현율 8/25는 신뢰할 만한 진단보다는 과잉 예측과 그에 따른 오탐을 반영한다.출처: Table 4 · p. 6, §3.5 · p. 6
- 원시 트레이스는 추론 비용이 8.6× 높아도 DeepSeek-v4-pro의 정확도가 비슷한 반면, 구조화된 트레이스는 탐지기가 처리할 수 있는 사례 범위를 넓힌다.DeepSeek-v4-pro의 원시 트레이스와 구조화된 트레이스 AC@1/AC@3은 각각 21.6%/36.0%와 24.8%/34.0%이며, 275건의 비용은 각각 $16.45와 $1.91이다. Qwen3.5-9B는 원시 트레이스 사례의 82%만 컨텍스트에 수용하며, AC@1/AC@3은 원시 트레이스에서 15.2%/22.5%, 구조화된 트레이스에서 19.2%/28.0%다. 원시 트레이스 출력의 40%에는 파싱 가능한 순위가 없다.출처: §3.5 · p. 6
- Qwen3-14B의 전체 AC@3이 +10.7퍼센트포인트 개선된 결과는 입력별로 정렬된 참조 실행이 일부 결함에는 도움이 되지만 가드레일 우회나 출력 손상에는 도움이 되지 않음을 보여준다.전체 AC@3 개선 폭은 Qwen3-1.7B가 +3.9퍼센트포인트, Qwen3-4B가 +4.9퍼센트포인트다. Qwen3-14B의 재현율은 Context Overflow에서 55퍼센트포인트, Tool Latency에서 35퍼센트포인트 개선된다. 참조 실행으로는 정책 준수나 의미적 정확성을 확정할 수 없어 Guardrail Bypass의 변화는 −5에서 0퍼센트포인트에 그치고, Output Corruption은 5–15퍼센트포인트 하락한다. Qwen3.5-9B는 출력 한도를 8192토큰으로 설정해도 쌍대 사례의 절반 이상에서 유효하지 않은 순위를 출력해 제외한다.출처: §3.5 · p. 7
4 관련 연구
AgentChaosBench는 텔레메트리 기반 관측 가능성과 통제된 결함 주입을 결합해 이기종 다중 에이전트 경계 전반의 외부 런타임 결함을 진단한다. 진단 시 공개하지 않는 정답 정보와 무결함 대조군을 통해 결과 중심 스트레스 테스트와 내부 실패 원인 귀속을 보완한다.
에이전트 결함 주입과 스트레스 테스트.
- AgentChaosBench는 여러 프레임워크를 사용하는 다중 에이전트 시스템에서 도구, LLM, 가드레일, 에이전트 및 에이전트 간 경계 전반의 트레이스 기반 진단으로 스트레스 테스트를 확장한다.에이전트 카오스 엔지니어링 에는 ChaosLLM의 도구 경계 결함 과 ReliabilityBench의 일관성, 과제 교란에 대한 강건성, 도구/API 내결함성 평가 [7]가 포함되며, 경계를 아우르는 진단보다는 스트레스와 결과의 강건성에 중점을 둔다. AgentChaosBench는 진단용 트레이스에서 결함 주입 메타데이터와 레이블을 제거한다.출처: §4 · p. 7
다중 에이전트 시스템의 실패 원인 귀속.
- AgentChaosBench는 외부 런타임 결함을 대상으로 삼고, 최종 답변 및 탐지기의 해석과 독립적인 정답 정보를 사용하며, 무결함 대조군을 포함해 내부 실패 원인 귀속을 보완한다.MAST는 행동적 실패를 분류하고 [3], AgenTracer는 반사실적 재실행과 교란을 통해 실패를 에이전트와 단계에 귀속하며 [16], 스펙트럼 기반 방법은 위치 식별 통계를 적용하고 [6], 다른 연구는 여러 귀속 관점을 고려한다 [10]. LLMGuard는 언어 모델 서비스를 진단한다. AgentChaosBench의 무결함 대조군은 오탐을 측정할 수 있게 한다.출처: §4 · p. 7
에이전트 시스템과 관측 가능성.
5 논의
벤치마크의 제한적인 시스템·입력 다양성, 평가하지 않은 진단 방법, 단일 워크로드 모델은 일반화를 제약하며, API의 비결정성은 사례별 재현성을 제한한다. 내적 타당도 점검은 결함 주입의 무결성, 트레이스 표현, 탐지기 출력 잘림을 다루지만, 실제 운영 환경에서의 폭넓은 검증은 향후 과제로 남는다.
5.1 한계
- 검증된 275개 사례는 조건마다 정렬된 입력 다섯 개를 사용해 다섯 시스템에 걸쳐 결함을 균형 있게 포괄하지만, 과제와 입력의 다양성을 더 넓힐 필요가 있다.실제 운영 환경에서는 여러 결함이 섞이고 부하가 달라지며 시스템이 시간에 따라 변화할 수 있다. 모든 워크로드가 로컬에서 제공되는 단일 모델을 사용하므로, 모델 간 워크로드 일반화와 추가 시스템으로의 전이는 확인되지 않았다.출처: §5.1 · p. 8, §5.2 · p. 8
- 온도를 0으로 설정했는데도 DeepSeek-v4-pro의 top-1 예측 중 48%가 재실행 시 바뀌지만, 전체 정확도는 한 퍼센트포인트 이내에서 안정적으로 유지된다.따라서 이 모델의 사례별 결과는 단일 표본으로 취급한다. 로컬 Qwen 탐지기의 결과는 완전히 재현 가능하다.출처: §5.1 · p. 8
- 제로샷 범용 LLM 기준 모델만으로는 규칙 기반 탐지, 퓨샷 프롬프팅, 특화된 원인 귀속, 더 다각적인 위치 식별 평가를 탐색하지 못한다.로컬 Qwen 모델 네 개와 DeepSeek-v4-pro를 구조화된 트레이스와 원시 트레이스로 평가했다. 평가는 결함 유형 진단과 구성요소 수준의 위치 식별을 다루지만, 정확한 구간 단위 채점이나 MRR 같은 지표는 포함하지 않는다.출처: §5.1 · p. 8
5.2 타당도 위협
- 주입 점검에서는 결함의 정체를 숨기고 정렬된 대조 실행과 비교해 의도한 신호를 검증하며, 어려울 수 있는 사례를 제외하는 대신 실패한 주입을 수정한다.결함 실행과 무결함 실행은 같은 입력과 모델 엔드포인트를 사용하므로, 관측된 트레이스 차이를 주입된 결함에 귀속할 근거가 된다.출처: §5.2 · p. 8
- 구조화된 트레이스는 이상 여부를 판단하지 않고 관측 가능성 관련 특성을 드러낸다. 두 표현을 각각 읽은 모델의 점수가 같다는 점은 표현 방식에 따른 정확도 부풀림 가능성이 낮음을 시사한다.트레이스 쌍을 사용한 실험에서는 참조 실행의 이점이 진단을 전반적으로 개선하기보다 특정 결함 유형에 집중되는 것으로 나타난다.출처: §5.2 · p. 8
- 출력 토큰 한도를 4096 →8192로 늘려도 Qwen3.5-9B의 출력 잘림 비율(37% →33%)과 AC@1(18.4 →19.2)은 거의 달라지지 않아, 토큰 예산을 늘려도 이 사례들을 해결하지 못함을 시사한다.출력 잘림 비율은 Qwen3.5-9B에서 33%에 이르지만, Qwen3-14B와 DeepSeek-v4-pro에서는 ≤2%다. 저자들은 이를 숙고가 수렴하지 않는 사례로 해석하며, 오답으로 채점해도 능력을 과소평가하는 것은 아니라고 주장한다.출처: §5.2 · p. 8
6 결론 및 향후 연구
AgentChaosBench는 다섯 다중 에이전트 시스템에서 런타임 결함 분류와 위치 식별을 재현 가능하게 평가하도록 지원한다. 평가한 LLM의 신뢰성은 여전히 낮으며, 정렬된 참조 추적은 일부 결함의 진단을 개선하지만 의미 해석이나 정책 판단이 필요한 결함에는 도움이 되지 않는다.
6 결론 및 향후 연구
- AgentChaosBench의 정제된 실행 추적 275개는 다섯 다중 에이전트 시스템에 걸쳐 열 가지 런타임 결함 유형을 포괄한다.통제된 결함 주입, 정렬된 무결함 실행, 검증된 레이블, 자동 채점을 통해 결함 분류와 위치 식별을 재현 가능하게 평가할 수 있다.출처: §6 · p. 8
- 평가한 LLM의 단일 실행 추적 기준 최고 점수는 결함 유형 AC@1 24.8%, 구성 요소 위치 AC@1 31%, 유형·위치 동시 AC@1 22%다.이 결과는 평가한 LLM의 런타임 결함 진단 신뢰성이 여전히 낮음을 보여준다.출처: §6 · p. 8
- 정렬된 참조 추적은 컨텍스트 초과 진단 점수를 최대 55점 높이며, 일부 지연 및 라우팅 결함의 진단도 개선한다.참조 추적은 가드레일 우회를 비롯해 의미 해석이나 정책 판단이 필요한 결함의 진단은 개선하지 못한다.출처: §6 · p. 8
- 간결한 구조화 표현은 최고 성능 탐지기의 성능을 인위적으로 높이지 않으면서도 긴 실행 추적을 다룰 수 있게 한다.출처: §6 · p. 8
- 이 결과는 참조 기반 탐지기와 특화 탐지기, 비LLM 기준 모델, 정확한 구간 단위 위치 식별의 필요성을 보여주며, 공개된 벤치마크는 이들 모두의 연구를 지원한다.출처: §6 · p. 8