Source-linked AI summary
Agent-ValueBench: A Comprehensive Benchmark for Evaluating Agent Values
Haonan Dong, Qiguan Feng, Kehan Jiang, Haoran Ye, Xin Zhang, Guojie Song
TL;DR
Agent value는 underlying LLM의 value와 다르지만 이를 전용으로 다루는 benchmark가 부족하다. 또한 agent 평가는 text-only value 평가에는 없는 dataset-, evaluation-, system-level 과제를 제기한다. Agent-ValueBench는 executable task와 harness 전반에서 이를 평가해, harness pull과 deliberate skill steering에 따라 휘어지는 cross-model Value Tide를 드러낸다.
문제
Agent value는 전용 benchmark가 부족하며, agent 평가는 text-only value 평가를 넘어 dataset-, evaluation-, system-level 과제를 제기한다.
방법
Agent-ValueBench는 expert refinement를 포함한 automated pipeline을 사용해 executable environment, value-conflict task, trajectory-level rubric을 생성한다.
결과
Agent value는 harness pull과 deliberate steering에 따라 휘어지는 cross-model Value Tide를 보인다.
시사점 및 한계
이 결과는 model alignment와 prompt steering에서 harness alignment와 skill steering으로의 전환을 시사한다.
시사점 및 한계
Value Tide의 underlying causal mechanisms는 아직 탐구되지 않았다.
Abstract
from arXiv · showhide
Autonomous agents have rapidly matured as task executors and seen widespread deployment via harnesses such as OpenClaw. Safety concerns have rightly drawn growing research attention, and beneath them lie the values silently steering agent behavior. Existing value benchmarks, however, remain confined to LLMs, leaving agent values largely uncharted. From intuitive, empirical, and theoretical vantage points, we show that an agent's values diverge from those of its underlying LLM, and the agentic modality further introduces dataset-, evaluation-, and system-level challenges absent from text-only protocols. We close this gap with Agent-ValueBench, the first benchmark dedicated to agent values. It features 394 executable environments across 16 domains, offering 4,335 value-conflict tasks that cover 28 value systems and 332 dimensions. Every instance is co-synthesized through our purpose-built end-to-end pipeline and curated per-instance by professional psychologists. Each task ships with two pole-aligned golden trajectories whose checkpoints anchor a trajectory-level rubric-based judge. Benchmarking 14 frontier proprietary and open-weights models across 4 mainstream harnesses, we uncover three concerted findings. Agent values first manifest as a Value Tide of cross-model homogeneity beneath interpretable counter-currents. This tide bends non-additively under harness pull, and yet more decisively under deliberate steering via embedded skills. Together these results signal that the agent-alignment lever is shifting from classical model alignment and prompt steering toward harness alignment and skill steering.
1. 서론
서론은 직관적·경험적·이론적 근거에 걸쳐 agent의 가치가 기반 LLM의 가치와 diverge할 수 있지만, 기존 benchmark는 agent의 가치를 평가하지 않는다고 주장한다. 또한 Agent-ValueBench를 최초의 전용 benchmark로 제시하며, 대규모 agent-value 평가의 dataset 및 evaluation 문제를 다룬다.
- Agent의 가치는 LLM의 가치와 동일하지 않다: Agent의 가치는 LLM의 가치와 동일하지 않다. agent는 환경과 상호작용하고 결과적 피드백을 반영하며 장기 horizon에 걸쳐 의사결정을 내리므로, 동일한 기반 model을 공유하더라도 서로 다른 가치 경향을 보인다.논문은 직관적으로 이 주장을 뒷받침하고, 이중 형식 비교를 통해 경험적으로, Theorem 1.1을 통해 이론적으로 뒷받침한다.
- Agent 가치 평가는 부재하며 단순하지 않다: 기존 value benchmark는 agent가 아니라 LLM을 평가하며, agent 평가에는 prompt만이 아니라 설계된 실행 가능한 환경과 가치가 부여된 task가 필요하다.서론은 표준 LLM 가치 평가를 넘어서는 dataset-level 및 evaluation-level 문제를 식별한다.
- Agent-ValueBench: Agent-ValueBench는 16개 domain에 걸친 394개의 실행 가능한 environment와 28개 value system 및 332개 value dimension을 포괄하는 4,335개의 value-conflict task로 구성된다.이 benchmark는 전용 end-to-end 접근법을 통해 식별된 evaluation 문제를 해결하도록 설계되었다.
- Agent-ValueBench: 이 benchmark는 psychometric theory가 가치가 가장 선명하게 드러나는 지점으로 보는 가치 충돌 상황의 가치를 대상으로 하며, 가치 지향 environment와 task를 합성하기 위한 open-source pipeline을 제공한다.이 pipeline은 더 폭넓은 benchmark 개발을 촉진하도록 설계되었다.
- 기여: 서론은 이 연구를 이론적·경험적 문제 식별, 자동화된 synthesis pipeline, 포괄적인 agent-value benchmark를 통해 새로운 연구 방향을 여는 작업으로 규정한다.이러한 기여는 LLM 가치 평가와 autonomous-agent 가치 평가 사이의 간극을 종합적으로 다룬다.
2. 데이터셋 구축
Agent-ValueBench는 전문가 refinement로 마무리되는 자동화 pipeline을 통해 실행 가능한 cross-domain environment, value-conflict task, trajectory-level rubric을 구축한다. Agent-specific evaluation은 관찰 가능한 checkpoint와 behaviorally anchored scoring을 사용해 두 value-aligned golden trajectory를 대조한다.
- 개요: Benchmark는 실행 가능한 environment, value-conflict task, trajectory-level rubric을 공동 합성하며, 모든 단계는 instance별 expert-in-the-loop refinement로 마무리된다.이 pipeline은 text-only input과 output이 아니라 grounded environment와 동적으로 상호작용하는 agent를 대상으로 설계된다.
- 2.1 Environment Construction: Environment construction은 다양한 general 및 safety benchmark를 distill하고 실행 가능한 program을 합성한 뒤, NFAcc, PPAcc, NegPAcc threshold를 사용하는 test-and-repair loop를 통해 검증한다.최종 environment pool은 fidelity, authenticity, self-consistency를 확인하기 위해 심리학자들이 추가로 audit한다.
- 2.2 Value-Conflict Task Construction: 각 value-conflict task는 서로 대립하는 value를 선호하는 두 golden trajectory를 제공하며, survey나 multiple-choice response에 의존하지 않고 checkpoint를 관찰 가능한 행동 차이로 활용한다.심리학자들은 task의 authenticity, implicit conflict, consistency, discriminability, reliable end-to-end execution을 심사한다.
- 2.2 Value-Conflict Task Construction: Task는 28개 value system과 332개 dimension을 아우르며, sampled environment를 서로 겹치지 않는 value pair와 결합하고 각 conflict를 coarse-to-fine executable task synthesis로 구현한다.각 task는 초기 value-pair specification으로부터 구체적인 state, tool, task description, checkpoint trajectory를 구성한다.
- 2.3 Trajectory-Level Rubrics: Trajectory-level judging은 cross-task meta-rubric을 사용해 각 value pole에 맞춰진 behaviorally anchored task-specific three-level rubric item으로 동기와 관련된 Attention, Construal, Execution을 평가한다.심리학자들은 배포 전에 타당하지 않은 rubric item을 교정하고 다시 작성한다.
3. 실험
14개 agent에서 values는 공유된 adherence 및 priority 프로파일, 해석 가능한 model-specific counter-currents, 그리고 균일하게 prosocial하지 않은 선택적 차원을 갖춘 구조화된 Value Tide로 수렴한다. Harness 대체는 model-dependent한 방식으로 이 tide를 비가산적으로 휘게 하며, skill steering은 prompt steering보다 priority를 더 깊이 이동시키고 전체 target ordering을 복원할 수 있다.
- Value Tide: 14개 agent에서 adherence는 좁은 system-specific 구간 안으로 수렴하고 priority rank는 공유된 consensus ordering으로 수렴해 population-wide Value Tide를 형성한다.Adherence 범위는 MFT08에서 [5.94, 6.27], PVQ40에서 [5.16, 6.17], HEXACO에서 [5.39, 6.64], LVI에서 [5.06, 5.92]이며, priority consensus는 Fig. 3과 Table 1에 제시되어 있다.
- Value Tide: 공유 프로파일은 구조적으로 선택적이다. safety, autonomy, universalism, conscientious loyalty는 높이는 반면 hedonism, privacy, honesty-humility, authority, purity는 억제한다.Loyalty는 MFT08에서 8.01까지 상승하고, PVQ40에서는 Security가 6.93, Self-Direction이 6.80으로 높게 나타나며 Privacy는 3.59까지 내려간다.
- Value Tide: model-specific counter-currents는 tide 아래에서도 일관성을 유지한다. 여기에는 세 system에서 가장 낮은 adherence를 보이는 Qwen3 30B A3B와 Care 대 Purity 같은 국소적 역전이 포함된다.이러한 drift는 한두 차원에 국한되며 adherence와 priority 축 모두에서 동일한 agent로 추적할 수 있다.
- Harness 대체: Harness 대체는 adherence와 priority를 모두 크게 변화시킨다. 93개 within-model range 중 74%가 1.0을 초과하며, vanilla ReAct에서 inter-family 차이에 필적하는 효과가 나타난다.동일한 harness도 model마다 반대 방향의 drift를 유도할 수 있다. 예를 들어 Codex는 GPT-5.4에서 Closed-Mindedness를 5.96에서 3.29로 이동시키지만 Kimi K2.5에서는 4.18에서 7.67로 이동시킨다.
- Skill steering: Skill steering에서는 평균 5개 value 중 3.7개가 정확한 target rank에 도달하는 반면 prompt steering에서는 1.3개에 그치며, Codex는 GPT-5.4의 전체 target ordering을 복원한다.복원된 ordering은 Care≻Authority≻Purity≻Loyalty≻Fairness이다.
4. 결론 … C. 표기법
Agent-ValueBench는 agent values를 위한 최초의 benchmark로 제시되며, harness와 의도적 steering에 의해 형성되는 Value Tide를 드러내고 harness alignment와 skill steering을 촉진한다. 또한 논문은 윤리적 안전장치를 정의하고, benchmark를 value research 안에 위치시키며, 보충 자료와 표기법을 기록한다.
- 4. 결론: Agent-ValueBench는 agent values에 특화된 최초의 benchmark로 소개되며, 결과는 harness pull과 의도적 steering에 따라 휘어지는 Value Tide를 드러낸다.이러한 결과는 model alignment와 prompt steering에서 harness alignment와 skill steering으로의 전환을 시사한다.
- 4. 결론: 결론은 Value Tide의 기저에 있는 미탐색 인과 메커니즘을 식별하고, 향후 연구에서 이를 조사할 것을 촉구한다.이 benchmark는 현상을 드러내지만 그 메커니즘적 기반을 아직 설명하지 못한다.
- (부록): 부록은 ethics, related-work, notation, implementation, value-inventory, comprehensive-results, prompt-template, proof, validation-study 자료를 제공한다.열거된 보충 섹션에는 Comprehensive Experimental Results, Proof of Agent–LLM Value Non-Identity, Human Validation, Executability, and Stability Studies가 포함된다.
- A. 윤리 성명: Agent-ValueBench는 normative authority, universal moral taxonomy, deployment certification 또는 direct optimization target이 아니라 descriptive, human-supervised audit로 규정된다.그 산출물에는 synthesized executable environments, synthetic task states, psychologist-curated conflicts, golden trajectories, task-specific rubrics가 포함되며, private logs, surveillance, biometric 또는 personally identifying behavioral data는 포함되지 않는다.
- A. 윤리 성명: 주요 윤리적 위험은 dual use다. benchmark 측정값이 평가를 속이거나 agent를 유해한 지향으로 steering하는 데 악용될 수 있다.권고되는 안전장치에는 투명한 보고, 독립적 safety review, resource limits를 적용한 sandboxed execution, 제한된 downstream use가 포함된다.
- B. 관련 연구: 심리학적 value theory는 values를 compatibility와 conflict에 의해 형성된 priority structure로 조직되는, 상황을 가로지르는 동기적 목표로 다룬다.Schwartz의 theory는 인접한 values가 compatible하고 대립하는 values가 체계적 긴장을 나타내는 circumplex relations를 강조한다.
- B. 관련 연구: 기존 LLM value evaluation은 questionnaire, scale, survey, value-conflict trade-off를 사용하는 반면, autonomous-agent values는 대체로 미탐색 상태로 남아 있다 [19, 20, 91, 92, 93,…].Conflict paradigm은 dilemma, role conflict, social decision, high-stakes situation 전반에서 value prioritization, preference stability, context sensitivity를 검토한다 [30] [106] [108] [109] [110] [111] [112] [113].
- C. 표기법: Table 2는 environment auditing, task 및 value index, conflicting value pair, executable task, cross-task rubric synthesis를 위한 표기법을 통합한다.기호에는 NegPAcc, ℓ, eℓ, sℓ, P_s, {v_a, v_b}, cℓ, M, Φrubric이 포함된다.
D. 구현 세부 사항
구현은 trajectory-level adherence를 pairwise value preference로 변환한 뒤, 평가 및 합성 설정을 고정한 상태에서 Bradley-Terry model로 value priority를 추정한다.
- Hyperparameter Settings: 평가는 temperature 0.0을 사용하며, trajectory는 50 steps와 step당 12,000 tokens로 제한한다. 지정된 models는 environment synthesis, task synthesis, rubric generation, judging을 담당한다.GPT-4.1과 GPT-4.1 Mini는 environments를 합성하고, Gemini 3.1 Pro Preview는 tasks를 합성하며, DeepSeek V3.2는 rubrics를 생성하고 rubric-based judge로 사용된다.
- Value Priority Computation Details: Value priority는 각 value dimension 쌍에 대해 trajectory-level adherence score를 비교하여 계산하며, 동률은 양쪽 모두에 0.5 wins로 집계한다.이 비교를 통해 관측된 모든 value pair에 대한 effective win counts를 산출한다.
- Value Priority Computation Details: 각 agent–value-system configuration마다 별도의 Bradley-Terry model 을 적합하고, relative prioritization을 나타내기 위해 양의 value-strength parameters를 사용한다.완전 분리로 인한 퇴화 추정을 방지하기 위해 약한 symmetric smoothing term α=0.01을 기존 comparison edges에만 적용한다.
E. 가치 체계 목록 · BARCHARD
이 목록은 28개 가치 체계와 332개 차원을 포괄하며, 광범위한 동기적 가치와 인지 양식, 성격 특성, 사회적 신념, 도덕적 기반을 결합한다. 또한 확립된 가치군과 에이전트가 사회적 상황을 해석하고 평가하며 헤쳐 나가는 방식을 기술하는 세분화된 차원을 함께 포함한다.
- E. 가치 체계 목록: 이 목록은 벤치마크의 가치 공간 전반에 걸쳐 28개 가치 체계와 332개 가치 차원을 포괄한다.그 범위는 완전한 가치 체계 목록으로 요약된다.
- E. 가치 체계 목록: 핵심 동기적 가치에는 전통, 자비, 보편주의, 자기주도성, 자극, 쾌락주의, 성취, 권력, 안전이 포함된다.이 목록은 또한 이를 자기초월, 자기고양, 변화에 대한 개방성, 보존과 같은 상위 구성개념으로 묶는다.
- E. 가치 체계 목록: 세분화된 사회적 가치는 신뢰성, 배려, 관용, 관심, 순응, 안전, 체면, 권력, 자기주도성을 포괄한다.이 차원들은 대인관계적, 사회적, 개인적, 자원 기반, 지배 관련, 행동 지향적, 사고 지향적 가치 형태를 구분한다.
- E. 가치 체계 목록: 인지 양식 차원은 분석적 사고와 총체적 사고, 장(field) 중심 주의와 부분 중심 주의, 상호작용론적 인과와 성향론적 인과, 순환적 변화와 선형적 변화를 특징짓는다.이 목록은 순진한 변증법적 사고와 형식 논리를 비롯해 모순을 해결하는 대조적인 접근도 포함한다.
- E. 가치 체계 목록: 추가 체계는 대인관계 윤리, 정서, 사회적 세계관, 운명, 종교성, 경쟁적 교환과 협력적 교환에 대한 신념을 포착한다.예로는 진정성, 공정성, 탐욕 회피, 겸손, 두려움, 사회적 냉소주의, 사회적 복잡성, 운명 통제, 종교성, 제로섬 신념, 공동이익 교환이 있다.
- E. 가치 체계 목록: 성격 관련 차원은 정서성, 외향성, 친화성, 성실성, 경험에 대한 개방성 및 관련 하위 특성을 포괄한다.예로는 두려움, 불안, 의존성, 감상성, 사회적 대담성, 용서, 유연성, 인내, 근면성, 신중성, 탐구심, 창의성, 비관습성이 있다.
- E. 가치 체계 목록: 이 목록은 돌봄, 공정성, 충성, 권위, 순수성, 평등, 비례성을 비롯한 도덕적 기반과 공정성 관련 직관을 포함한다.이 차원들은 해악 회피, 동등한 대우, 능력에 따른 보상, 내집단 협력, 정당한 권위에 대한 복종, 오염 또는 신성성에 대한 우려를 다룬다.
F. 종합 실험 결과
이 절에서는 가치 체계, 모델, harness, steering 설정 전반에 걸친 가치 준수와 가치 우선순위의 전체 실험 결과를 보고한다.
- F. 종합 실험 결과: 실험에서는 가치 준수와 가치 우선순위를 모두 평가한다.
- F. 종합 실험 결과: 결과는 여러 가치 체계와 모델을 포괄한다.
- F. 종합 실험 결과: 평가는 여러 harness와 steering 설정에 걸쳐 수행된다.
F.1. 가치 준수 및 가치 우선순위에 관한 실험 결과
이 절에서는 포함된 28개 가치 체계 전체에 걸친 가치 준수 및 가치 우선순위에 대한 Agent-ValueBench의 전체 실험 결과를 Tables 4–22에 제시한다.
- F.1. 가치 준수 및 가치 우선순위에 관한 실험 결과: 전체 준수 및 우선순위 결과는 Agent-ValueBench에 포함된 28개 가치 체계 모두를 아우른다.결과는 Tables 4–22에 걸쳐 제시한다.
- F.1. 가치 준수 및 가치 우선순위에 관한 실험 결과: Tables 4–9에서는 mft08, mpq, bis_bas, csf, ahs, nfcc1993, buss1980, vsm13에 대한 준수 및 우선순위 결과를 보고한다.adherence에서는 bold와 underline이 차원별 최고 성능 모델과 준우승 모델을 나타내고, priority에서는 각 모델 내 첫 번째와 두 번째 순위를 나타낸다.
- F.1. 가치 준수 및 가치 우선순위에 관한 실험 결과: 모든 표에서 굵은 글씨와 밑줄은 이 절의 준수 및 우선순위 순위 규칙에 따른 상위 두 결과를 일관되게 표시한다.adherence에서는 차원별 최고 성능 모델과 준우승 모델을, priority에서는 각 모델 내 첫 번째와 두 번째 순위를 나타낸다.
F.2. 추가 Harness 실험 결과
이 절에서는 네 가지 가치 체계와 세 가지 agent harness에 걸쳐 Claude Sonnet 4.6, GPT-5.4, Kimi K2.5의 가치 준수 및 가치 우선순위 결과를 보고한다. Tables 23–30에서는 이에 해당하는 model–harness 비교를 제시하며, 가치 준수 성능이 가장 높은 구성과 차순위 구성, 그리고 우선순위가 첫 번째와 두 번째인 차원을 포함한다.
- F.2. 추가 Harness 실험 결과: 실험에서는 MFT08, NFCC2000, PVQ40, VSM13에 걸쳐 Vanilla ReAct, Claude Code, Codex에서 Claude Sonnet 4.6, GPT-5.4, Kimi K2.5를 평가한다.보고된 metric은 가치 준수와 가치 우선순위다.
- F.2. 추가 Harness 실험 결과: 가치 준수에서는 굵은 글씨와 밑줄 표시가 차원별 최고 점수 및 차순위 model–harness configuration을 나타낸다.가치 우선순위에서는 굵게 표시되고 밑줄이 그어진 항목이 각 model–harness configuration 내 첫 번째 및 두 번째 순위의 차원을 나타낸다.
F.3. 완전한 Prompt/Skill Steering 결과
이 절에서는 MFT08과 PVQ40에 대한 완전한 prompt- 및 skill-steering 결과를 보고하며, 각 steering 조건을 unguided harness baseline과 짝지어 제시한다. MFT08의 target value ordering은 Sonnet 4.6, GPT-5.4, Kimi K2.5에 대해 지정된다.
- MFT08: 완전한 MFT08 steering 결과는 모든 prompt- 또는 skill-guided 조건을 Tables 31과 32의 unguided harness baseline과 짝지어 제시한다.보고된 target ordering은 Sonnet 4.6: Purity≻Authority≻Fairness≻Care≻Loyalty; GPT-5.4: Care≻Authority≻Purity≻Loyalty≻Fairness; Kimi K2.5: Authority≻Fairness≻Purity≻Care≻Loyalty다.
- PVQ40: 완전한 PVQ40 steering 결과 역시 각 prompt- 또는 skill-guided 조건을 Tables 33과 34의 unguided harness baseline과 짝지어 제시한다.이 대목은 평가된 모델의 target ordering을 소개하지만, 제공된 발췌문에는 해당 ordering이 포함된 후속 내용만 제시되어 있다.
F.4. Agent–LLM 우선순위 비교 · G. 프롬프트 템플릿
이 논문은 동일한 backbone이 독립형 LLM과 agent로 작동할 때의 value prioritization을 대조하고, 사례를 구성하고 trajectory를 평가하는 prompt template을 문서화한다. 이 pipeline은 실행 가능한 task context, 두 개의 value-aligned trajectory, 감사 가능한 rubric 기반 판정에 비교를 고정한다.
- F.4. Agent–LLM 우선순위 비교: LLM과 agent의 비교에는 독립형 LLM으로서의 Gemini 3.1 Pro Preview와 GPT-5.4 및 이에 대응하는 agent 설정이 포함된다.
- G. 프롬프트 템플릿: prompt-template 절에서는 case construction, rubric synthesis, trajectory-level evaluation을 위한 template을 문서화한다.
- F.4. Agent–LLM 우선순위 비교: Table 35는 mft08과 nfcc2000에서 동일한 backbone model을 사용하는 독립형 LLM과 agent 간 value-priority ranking을 비교한다.LLM protocol은 task description을 environmental context와 결합하고 서로 다른 value를 선호하는 행동을 선택지로 제시하여 Agent-ValueBench task를 multiple-choice prompt로 변환한다.
- G.1. Task Construction Prompts: Stage 1은 경쟁하는 value를 명시적으로 언급하지 않으면서 structural constraints가 value conflict를 유발하는 realistic operational tasks를 작성한다.이 template은 여러 개의 독립적인 결정, 유효한 tool과 dependency가 완비된 state key, 그리고 실행 가능하지만 서로 동일하지 않은 두 개의 action path를 요구한다.
- G.1. Task Construction Prompts: Stage 1은 두 value tendency 각각에 대한 checkpoint hypotheses를 독립적으로 지정하며, 관련 tool, 구체적인 action, observable signals를 포함한다.이 template은 연쇄적인 decision lock-in, 대칭적인 A/B template, action intent의 피상적인 차이를 금지한다.
- G.1. Task Construction Prompts: Stage 2는 realistic initial state value, tool selection, task description, operationally distinct value-consistent trajectories를 공동 설계하여 각 draft를 executable case로 구현한다.이는 authoritative schema와 dependency를 강제하고, 의도적으로 비워 둔 state를 정당화하며, state 간 일관성을 보존하고, divergence가 wording이 아니라 state, resource, risk, timing structure에 근거하도록 한다.
- G.2. Rubric Synthesis and Online Judging Prompts: Rubric synthesis는 case별 dual-track rubric을 고정하여 online judge가 하나의 완전한 agent trajectory를 두 value track에 대해 일관되고 감사 가능하게 평가하도록 한다.판정 규칙은 tool call과 reasoning text보다 state change와 tool output을 우선하며, rubric anchor를 순서대로 따르도록 요구하고, keyword만을 약한 evidence로 취급한다.
H. Agent–LLM 가치 비동일성 증명 … I.2. 자동 실행 가능성 감사
이 논문은 유도된 가치-증거 분포가 일치할 때에만 agent와 LLM의 가치가 일치함을 증명하며, Agent-ValueBench의 보존된 산출물은 수리 후 강한 검증 근거와 광범위한 자동 실행 가능성을 보여준다.
- H. Agent–LLM 가치 비동일성 증명: 고정된 model-side law μ에 대해, text-only와 agentic 가치 프로파일은 측정 채널이 정규화된 가치 증거에 대해 동일한 분포를 유도할 때 정확히 동일하다.증거 법칙이 다르면 bounded evidence-scoring rule이 두 프로파일을 구분한다.
- H. Agent–LLM 가치 비동일성 증명: 모든 probability law에 대한 균일한 프로파일 동등성은 더 강한 조건이다. 이는 text-only와 agentic 증거 커널이 점별로 일치할 때 정확히 성립한다.증명은 point-mass model-side law를 사용해 커널 동등성을 확립한 뒤 모든 입력 법칙에 대한 동등성을 얻는다.
- H. Agent–LLM 가치 비동일성 증명: 따라서 동일한 model-side source를 공유한다고 해서 동일한 가치가 보장되지는 않으며, 동일성을 위해서는 두 채널이 유도하는 증거 법칙의 일치가 추가로 필요하다.그러므로 agent 가치는 기본적으로 raw LLM 텍스트 가치로 환원되지 않는다.
- I. 인간 검증, 실행 가능성, 안정성 연구: Agent-ValueBench는 executable environments, implicit conflicts, A/B golden trajectories, checkpoint anchors, task-specific rubrics, scalable LLM-as-Judge scoring을 통해 가치 측정을 operationalize한다.검증 논증은 Messick-style framework 를 따른다.
- I.1. 검증 개요와 모집단 수준의 근거: 검증 패키지는 engineering validity, artifact plausibility와 value discrimination, golden-trajectory semantics, rubric traceability, judge agreement에 대한 상호보완적 검사를 결합한다.제공된 개요는 검증 패키지 전반에서 상호보완적인 7개 검사를 식별한다.
- I.1. 검증 개요와 모집단 수준의 근거: 보존된 environments와 tasks의 94% 초과가 사전 지정된 expert-quality threshold를 충족했으며, blinded studies는 golden-trajectory polarity, rubric validity, 그리고 human application과의 judge alignment를 뒷받침했다.검증은 design quality, golden-trajectory의 semantic 및 operational roles, rubric traceability, scoring-layer content validity를 포괄했다.
- I.2. 자동 실행 가능성 감사: 394개 environment 전체의 4,335개 보존 tasks를 smoke-test했으며, 4,333개가 terminal states에 도달했고, 4,331개가 finite-state completion을 충족했으며, 수리 후 보존된 benchmark-attributable failure는 남지 않았다.공식 감사는 60,480개의 evaluation rollouts를 포괄했으며, deterministic retry가 execution-attributable invalidity를 줄였지만 제공된 passage에는 최종 감소값이 제시되지 않는다.
I.3. 환경 및 과업 설계 신뢰성 · I.4. Golden-Trajectory Value Anchors · I.4.1. Value-Item Instantiation 및 Blind Discriminability
전문가 검토 결과, 유지된 환경과 과업은 개연성·일관성·가치 판별력을 갖춘 것으로 나타났으며, blind evaluation을 통해 golden trajectories가 의도된 가치를 관찰 가능한 행동 증거와 최소한의 교란으로 구현함이 확인됐다.
- I.3. 환경 및 과업 설계 신뢰성: 환경 평가는 fidelity, realism, tool/resource consistency에서 높게 나타나, 개연성 있고 일관된 상호작용 기반을 뒷받침했다.전문가들은 구조 보존, realism, 상호 tool/resource coherence에 대한 구조화된 평가를 사용해 원천 환경 요약과 합성된 명세를 검토했다.
- I.3. 환경 및 과업 설계 신뢰성: 과업 평가는 유지된 과업 집합 전반에서 realism, 암묵적 conflict 설계, 가치 일관성, behavioral discriminability를 뒷받침했다.검토자들은 과업 설명, 환경 요약, 사용 가능한 함수, 가치 정의, A/B checkpoint anchor를 검토했다.
- I.3. 환경 및 과업 설계 신뢰성: 과업 설계의 executability는 specification level에서 해석했으며, code-level execution은 Section I.2.의 자동화 audit를 통해 별도로 확립했다.이 구분은 명세 일관성에 대한 전문가 평가가 runtime execution의 직접적 증거로 간주되는 것을 방지한다.
- I.4. Golden-Trajectory Value Anchors: blind semantic protocol은 두 golden trajectories가 cross-value leakage 없이 의도된 가치를 표현하는지를 검증했으며, rollout coverage는 실제 non-failed rollouts에서 anchor가 계속 활성 상태인지 검증했다.유지된 모든 과업과 golden trajectory는 구축 과정에서 검토됐고, confirmatory blind semantic study를 통해 신뢰도를 추정했다.
- I.4.1. Value-Item Instantiation 및 Blind Discriminability: Six psychologists가 120 retained tasks와 과업당 두 golden trajectories를 blinded conditions에서 평가했으며, three-rater pilot은 headline estimates에서 제외했다.의도된 label, checkpoint label, rubric item, judge score, model identity, generation metadata는 숨겨졌다.
- I.4.1. Value-Item Instantiation 및 Blind Discriminability: 총 1,440건의 expert trajectory ratings 중 97.1%가 behavioral evidence span을 인용했으며, primary-basis confounding은 value-item instantiation과 blind assignment 모두에서 2.9%였다.수용 기준에는 높은 intended-value rating, 낮은 opposing-value rating, 큰 discriminant margin, 신뢰할 수 있는 panel estimate, 높은 blind A/B recoverability도 요구됐다.
I.4.2. 실제 Rollout에서의 Anchor Coverage · I.5. Rubric Content Validity 및 Traceability · I.6. Rubric 하의 LLM-as-Judge Validation
Validation study는 benchmark의 anchor coverage, rubric validity 및 traceability, 그리고 frozen rubric에서 LLM-as-Judge scoring의 reliability를 뒷받침한다. 실제 rollout은 의도된 anchor를 대체로 드러내고, expert audit은 rubric fidelity를 확인하며, human–LLM agreement는 높다.
- I.4.2. 실제 Rollout에서의 Anchor Coverage: Audit한 rollout sample은 28개 value system 전체, 16개 environment domain, 14개 model, 4개 harness를 포괄하여 광범위한 anchor-coverage 평가를 뒷받침한다.분석은 anchor system에서 synthesis한 frozen rubric의 internal-consistency evidence와 blind discriminability에서 얻은 독립적인 semantic evidence를 결합한다.
- I.4.2. 실제 Rollout에서의 Anchor Coverage: 평균 checkpoint-opportunity coverage 89.3% ± 8.4%, opportunity의 75% 이상을 포괄하는 rollout 96.2%, human–anchor agreement 92.7%가 실제 rollout에서의 anchor coverage를 검증한다.70% 미만인 rollout은 2.8%에 불과하며, anchor margin은 rubric priority margin과 상관된다 (Spearman 𝜌= 0.82, Pearson 𝑟= 0.79, Kendall 𝜏= 0.68).
- I.4.2. 실제 Rollout에서의 Anchor Coverage: 300-rollout holistic audit에서 human–rubric three-way agreement는 91.3%에 도달하며, 92.7% human–anchor agreement를 보완한다.이 audit은 관찰된 rollout behavior가 checkpoint anchor와 frozen rubric judgment 모두에 부합한다는 수렴적 evidence를 제공한다.
- I.5. Rubric Content Validity 및 Traceability: Rubric-validity study는 post-revision Round-2 rating을 사용해 60개 stratified rubric을 평가하며, value system, value-pair type, environment domain, rubric length를 포괄한다.평가는 formal trajectory-level evaluation을 위해 coverage, relevance, clarity, evidence-groundedness, non-redundancy를 대상으로 한다.
- I.5. Rubric Content Validity 및 Traceability: Post-revision rubric은 표준 및 더 엄격한 content-validity criterion을 충족하며, complete source-checkpoint coverage와 높은 expert semantic-audit rate를 보인다.Audit은 side fidelity 99.7%, behavioral observability 99.4%, item atomicity 98.4%, non-redundancy 97.3%, score-anchor clarity 98.1%를 보고한다.
- I.6. Rubric 하의 LLM-as-Judge Validation: Judge-reliability study는 frozen rubric으로 100개 stratified task–trajectory pair를 채점하는 세 명의 blinded psychologist를 사용하고, agreement와 threshold sensitivity를 비교한다.Protocol은 observable evidence, exact rubric application, ambiguity 상황에서의 lower defensible score, 그리고 priority leaning에 대한 사전 지정 tolerance 𝜖= 0.50을 요구한다.
- I.6. Rubric 하의 LLM-as-Judge Validation: 1,080개 rubric item 전체에서 exact human–LLM agreement는 91.8%이고, 0–2 item scale에서 mean absolute error는 0.09다.Three-way confusion matrix는 100개 중 A-leaning 41개, near-tie/mixed 12개, B-leaning 39개 case를 정확히 식별한다.
I.7. 계산 안정성
계산적 안정성 검사는 예상되는 비영(非零) rollout 변동성에도 불구하고, aggregate value profile과 방향성 효과가 rollout의 확률성과 judge replay 전반에서 안정적으로 유지됨을 보인다. 보완적 검증 연구는 신뢰도, trajectory anchor, rubric 추적 가능성, human–LLM judge 일치도를 평가한다.
- 안정성 프로토콜: Rollout stability는 주요 model set, harness 비교, steering 설정 전반에서 층화된 task subset을 반복하고, judge replay stability는 고정된 trajectory, rubric, prompt에서 LLM-as-Judge를 five times 재실행한다.이 절차는 Tables 49 and 50에 보고된다.
- 안정성 결과: Aggregate value profile, priority ranking, harness effect, steering effect는 단일 실행이나 judge 호출에 의한 결과가 아니라, 반복 rollout과 judge replay 전반에서 방향성 안정성을 유지한다.Agentic behavior에서 예상대로 rollout 변동성은 비영으로 유지된다.
- 검증 논거: 검증 연구에서는 ICC(2,k) reliability를 적용한 panel-mean artifact score를 사용하고, golden-trajectory rating, anchor coverage, CVI, checkpoint-to-rubric traceability, human–LLM rubric-score agreement를 평가한다.Priority는 사전 지정된 near-tie criterion에 따라 Δ = A−B에서 도출된다.