Source-linked AI summary
When Agentic Executions Fail: Detecting and Localizing Runtime Faults from Telemetry
Chenkai Zhang, Yiran Li, Yifang Tian, Michalis Bachras, Hans-Arno Jacobsen
TL;DR
기존 평가는 agentic 실행이 어떻게 또는 왜 실패하는지, 특히 추론이 아니라 운영 경계에서 fault가 발생할 때 그 원인을 거의 보여주지 못한다. AGENTCHAOSBENCH는 다섯 multi-agent system에서 통제된 fault injection과 telemetry 기반 diagnosis를 수행해 이 간극을 메운다. 평가한 LLM은 여전히 불안정하며, type-and-location accuracy는 최대 22%에 그치고 guardrail bypass는 aligned reference로도 해결되지 않는다.
문제
기존 failure-attribution 연구는 telemetry가 외부에서 유발된 runtime fault를 구분하고, 그 type을 식별하며, 영향을 받은 component를 localize할 수 있는지 직접 검증하지 않는다.
방법
AGENTCHAOSBENCH는 tool, model, guardrail, inter-agent 경계 전반에 그럴듯한 fault를 주입한 뒤, injection marker와 label을 제거한 structured telemetry를 바탕으로 diagnosis를 평가한다.
결과
Type-and-location AC@1은 최대 22%에 이르며, aligned reference는 일부 fault의 성능을 높이지만 guardrail bypass에는 효과가 없다.
시사점 및 한계
이 benchmark는 agent-system diagnosis의 재현 가능한 평가를 지원하며, reference 기반 및 specialized detector의 필요성을 제기한다.
시사점 및 한계
이 benchmark는 다섯 system과 condition별로 정렬된 다섯 input만 다루므로, 더 폭넓은 task 및 input 다양성이 제한된다.
Abstract
from arXiv · showhide
Reliability in LLM-based agentic systems is a property of the whole execution (its tool calls, model calls, guardrails, and inter-agent messages), not of the final answer alone, yet evaluating only task outcomes reveals little about how or why a run fails. We present AGENTCHAOSBENCH, a benchmark for detecting and localizing runtime faults in agentic systems from their execution telemetry. We run five heterogeneous applications that coordinate agents over the Agent-to-Agent protocol and call tools through the Model Context Protocol, and inject ten types of operational fault (unavailable or slow tools, corrupted or oversized responses, and delayed, looped, or misrouted delegations and bypassed guardrails) at their tool, model, guardrail, and inter-agent boundaries, alongside a no-fault control. The resulting dataset contains 275 sanitized traces: 250 faulty executions spanning ten fault types and 25 no-fault controls. Each faulty trace is aligned with the no-fault execution of the same input; fault-type labels and, where applicable, location labels are held out from diagnosis. On structured single-trace inputs, a first set of zero-shot LLM baselines shows the task is far from solved: local detectors up to 14B parameters reach only 13.6-19.2% top-1 fault-type accuracy and the frontier DeepSeek-v4-pro only 24.8%, while jointly identifying the fault type and its location tops out at 22%; reference-dependent faults (above all a bypassed guardrail) stay near-unsolved from a single trace. An aligned reference improves selected relative faults but does not resolve guardrail bypass. The held-out labels and compact prediction format support reproducible comparison of LLM-based and non-LLM diagnosis methods.
1 서론
AgentChaosBench는 최종 답변만으로 신뢰성을 판단하는 대신, LLM 기반 agentic system이 정제된 실행 telemetry에서 runtime fault를 진단할 수 있는지 평가한다. 정렬된 fault 실행 trace와 fault-free 실행 trace를 사용해 tool, model, guardrail, inter-agent 경계 전반의 fault를 다룬다.
- 연구 공백: 이 benchmark는 기존 failure-attribution 연구가 주로 agent의 action이나 reasoning을 진단하고 infrastructure 및 interaction 경계의 runtime fault는 다루지 않았던 operational gap을 해소한다.Production과 유사한 실행에서는 사용할 수 없거나 느린 tool, 손상된 response, context overflow, 지연되거나 잘못 라우팅된 inter-agent request를 포함한 fault가 발생한다.
- Benchmark 동기: AgentChaosBench는 LLM 기반 agentic system의 diagnosability를 평가하기 위한 fault-injection benchmark를 제안한다.이 benchmark는 실행 전반으로 전파되어 incorrect answer, 과도한 latency, 또는 중단된 workflow로 나타날 수 있는 operational runtime fault를 대상으로 한다.
- Benchmark 구성: 이 benchmark는 다섯 개의 heterogeneous system, 열 가지 fault type, 그리고 fault 실행과 fault-free 실행을 동일 입력으로 정렬한 275 controlled executions를 포함한다.No-fault control과 tool failure, latency, context overflow, output corruption, misrouting, guardrail bypass 등의 fault를 포함한다.
- Diagnosis 정식화: Diagnosis는 fault marker와 label을 제거한 telemetry에서 fault type을 분류하고, 원인이 된 span 또는 component를 localize하는 문제로 정식화된다.수집된 trace에는 agent, model, tool span과 timing, input, output, status metadata가 포함되며, injected fault 정보는 ground truth로 별도 보존된다.
2 벤치마크 설계 및 구축
AgentChaosBench는 다섯 개의 이질적인 A2A/MCP agentic system에 주입된 runtime fault를 진단하는 통제된 trace 기반 벤치마크다. 재현 가능한 구축 과정은 operational fault class, 정제된 telemetry, hidden label과 no-fault control이 포함된 275개의 정렬된 case로 구성된다.
- Fault Model: 이 벤치마크는 synthetic reasoning perturbation이 아니라 LLM call, tool, guardrail, agent, inter-agent communication 전반에서 발생하는 production-relevant failure를 대상으로 한다.Fault mechanism은 availability, performance, control 및 routing, data 또는 payload failure를 포함한다. 이 taxonomy는 의도적으로 폭넓게 구성했지만 exhaustive하지는 않다.
- Workloads and Deployment: 선정된 다섯 개 application은 CrewAI, LangGraph, AutoGen variant 전반에서 real MCP tool, A2A delegation, multi-step execution, deterministic success condition을 사용한다.이질적인 A2A configuration은 protocol boundary를 표준화하면서도 workflow별 상이한 framework assignment를 유지한다.
- Fault Injection: Boundary interceptor는 tool, model call, guardrail, A2A delegation에 fault를 투명하게 주입하는 동시에 detector의 trace 외부에 ground truth를 기록한다.Argument isolation은 control 및 routing fault가 generation을 불안정하게 만드는 것을 방지하며, genuine target은 fault가 관측 가능한 effect를 생성하도록 보장한다.
- Trace Instrumentation and Release: 정제된 Langfuse trace는 injection marker나 label-leaking field 없이 span hierarchy, timing, status, identity, content, guardrail decision, A2A interaction을 노출한다.공개된 detector input은 production-observable telemetry를 유지하면서 storage path 및 기타 직접적인 fault-label signal을 제거한다.
- Case Generation and Quality Control: 275개 case는 다섯 개 agentic system, 열 가지 fault type과 no-fault control, condition별로 정렬된 다섯 개 task input에 걸쳐 구성된다.각 system은 55개 case를 기여한다. 즉, faulty case 50개와 no-fault case 5개이며, 모든 faulty case는 동일한 input의 fault-free reference와 짝지어진다.
3 평가
평가 결과, zero-shot LLM은 단일 trace에서 runtime fault를 진단하는 데 어려움을 겪으며, 성능은 model capacity와 trace representation에 제약된다. Localization은 여전히 미해결 과제이고, aligned reference는 일부 fault type을 개선하지만 guardrail bypass와 output corruption은 해결하지 못한다.
- RQ1: Fault-type diagnosis: local Qwen detector의 13.6–19.2% AC@1과 DeepSeek-v4-pro의 24.8% AC@1 (34.0% AC@3)은 fault-type diagnosis가 9% random baseline에 여전히 근접한 수준임을 보여준다.local model은 size가 한 자릿수 배 증가해도 성능이 사실상 평탄하며, 14B detector는 faulty case의 65%에서 top-three ranking 안에 정답 fault type을 포함하지 못한다.
- RQ1: Trace representation: Qwen3.5-9B에서는 structured trace가 raw trace보다 우수하며, 19.2%/28.0%에 도달해 15.2%/22.5% AC@1/AC@3을 기록한 raw trace를 앞선다. 반면 긴 raw trace는 더 작은 context window를 초과한다.Qwen3.5-9B는 262K-token window에서 case의 82%를 처리하지만, raw-view output의 40%에는 parse 가능한 ranking이 없다. DeepSeek-v4-pro는 모든 raw trace를 입력할 수 있다.
- RQ3: Localization: structured trace에서 component localization과 joint type-and-location diagnosis는 여전히 미해결 문제다.Localization은 label에 location이 포함된 case를 대상으로 평가하며, component-location과 type-and-location에 대해 별도의 metric을 사용한다.
- RQ4: Reference condition: aligned No Fault reference는 일부 fault type에서 top-3 recall을 향상시키지만, 전반적인 diagnosis를 일관되게 개선하지는 않는다.reference condition에서는 각 faulty trace를 동일한 input에서 얻은 aligned known-normal execution과 비교하며, matched case에서 Δ = paired − single로 계산한다.
- RQ4: Reference condition: reference를 사용하면 Guardrail Bypass는 −5 to 0 points만큼 변하는 반면, Output Corruption은 5–15 points 감소한다.benign input에서는 forged guardrail의 통과가 reference와 구별되지 않을 수 있으며, 그럴듯하지만 잘못된 output에는 corruption을 나타내는 일관된 textual difference가 없을 수 있다.
4 관련 연구
기존 연구는 multi-step agent, white-box agent system, telemetry 기반 observability를 위한 benchmark를 구축했다. AgentChaosBench는 observability를 controlled fault injection 및 held-out ground truth와 결합해 이러한 연구 방향을 확장한다.
- Agentic system과 observability: AgentBench [11]와 AI-NativeBench [15]는 multi-step environment interaction과 agent를 MCP tool 및 A2A communication과 결합한 white-box system 전반에서 agent를 benchmark한다.이러한 benchmark는 agentic system이 distributed software로 발전함에 따라 최종 답변 확인을 넘어 평가해야 한다는 점을 뒷받침한다.
- Agentic system과 observability: AgentTelemetry 는 fault-detection toolkit을 통해 identity, guardrails, delegation, timing/status metadata를 노출해야 agent observability를 확보할 수 있다고 주장한다.AgentChaosBench는 이러한 observability 관점을 채택하면서 controlled fault injection과 held-out ground truth를 추가한다.
- Agent를 위한 fault injection과 stress testing: Chaos-engineering 아이디어도 agent에 적용되기 시작했으며, ChaosLLM은 tool boundary에서 unreachable, slow, hanging, incorrect response를 주입한다.이 선행 연구는 AgentChaosBench가 agentic execution의 operational fault에 초점을 맞추는 배경을 제공한다.
5 논의
이 benchmark는 검증된 275개 사례를 균형 있게 포괄하지만, 외적 타당도를 높이려면 과제와 입력의 다양성을 더 확대해야 한다. 내적 타당도 확보 절차는 label leakage를 제거하고, 정렬된 no-fault reference와 대조해 주입된 fault signal을 검증하며, 실패한 injection을 발생 지점에서 수정한다.
- 한계: 275개 검증 사례는 다섯 시스템과 조건별로 정렬된 입력 다섯 개를 포괄하며 fault별 균형도 확보하지만, 과제와 입력의 다양성을 확대하면 외적 타당도가 강화될 것이다.저자들은 과제와 입력의 다양성을 모두 확대할 계획이다.
- 한계: baseline은 zero-shot 범용 LLM—네 개의 로컬 Qwen 모델과 frontier DeepSeek-v4-pro—으로, structured 및 raw trace view에서 평가되었으며, rule-based, few-shot, specialized attribution 방법은 향후 과제로 남겨 두었다.
- 내적 타당도: 내적 타당도 검사는 injection marker와 label-bearing field를 제거하고, 각 faulty case를 정렬된 no-fault reference와 대조해 검증하며, 실패한 injection을 버리는 대신 발생 지점에서 수정한다.이 절차는 주입된 fault가 실제로 존재하고 그 정체가 편향 없이 은닉되도록 하며, 데이터셋이 쉬운 사례 위주로 구성되는 것을 방지하기 위한 것이다.
6 결론 및 향후 연구
AgentChaosBench는 275개의 정제·정렬 trace를 사용해 5개 multi-agent system에서 10가지 runtime fault를 재현 가능하게 진단할 수 있게 한다. 평가한 LLM은 여전히 불안정하며, 정렬된 reference는 일부 fault에는 도움이 되지만 guardrail 우회와 같은 의미적 또는 정책 판단 실패에는 도움이 되지 않는다.
- Benchmark: AgentChaosBench는 5개 multi-agent system에서 10가지 runtime fault를 포괄하는 275개의 정제된 trace를 제공하여 재현 가능한 진단 평가를 지원한다.통제된 주입, 정렬된 no-fault 실행, 검증된 label, 자동화된 scoring이 재현 가능한 평가를 지원한다.
- Results: 최대 24.8%의 단일 trace fault-type AC@1, 31%의 component-location AC@1, 22%의 type-and-location AC@1은 평가한 LLM이 여전히 불안정함을 보여준다.이는 평가한 진단 과제 전반에서 보고된 가장 높은 정확도다.
- Results: 정렬된 reference는 context-overflow 정확도를 최대 55 points 높이고 일부 latency 및 routing fault에 도움을 주지만, guardrail 우회를 포함한 의미적 또는 정책 판단 fault에는 도움이 되지 않는다.간결한 구조화 view는 가장 강력한 detector의 성능을 인위적으로 높이지 않으면서 긴 trace를 다루기 쉽게 한다.