PaperlayerView exact revision on arXiv

Source-linked AI summary

What Makes Good Agentic Data? An ACE Lens on Data Generation for LLM Agents

Xingshan Zeng, Zishan Xu, Boju Zhang, Yuzhou Wu, Lingzhi Wang, Jianghao Lin, Liangyou Li, Yasheng Wang, Lifeng Shang, Xin Jiang, Weinan Zhang, Yong Yu, Qun Liu, Weiwen Liu

arXiv:2608.27260v1cs.AIcs.CL

TL;DR

Agentic data generation은 여전히 도메인별로 분절되어 있으며, 후보 구성과 검증·할당을 혼합하는 경우가 많다. 이 논문은 factorized data model과 ACE framework를 제시하며, 유용한 scaling에는 단순히 더 많은 샘플이 아니라 정확하고 learner-relative하며 행동적으로 다양한 experience가 필요하다고 결론짓는다.

  • 문제

    기존 agentic-data 연구는 도메인별로 분절되어 있으며, 후보 구성과 검증·선정·할당을 혼동하는 경우가 많다.

  • 방법

    이 논문은 agentic data를 (E,q,τ,v)로 factorize하고, accuracy·learner-relative complexity·diversity의 균형을 맞추는 constrained distribution design으로 generation을 정식화한다.

  • 결과

    문헌은 일관되고 execution-grounded한 데이터를 우선하고, learner와 configuration에 맞춰 complexity를 보정하며, 양이 아니라 유효한 행동 범위로 diversity를 측정하는 접근을 뒷받침한다.

  • 시사점 및 한계

    유용한 agentic-data scaling은 agent와 environment가 발전함에 따라 신뢰할 수 있고 유익하며 비중복적인 experience를 할당하는 데 달려 있다.

  • 시사점 및 한계

    실행 가능한 검사와 단일 성공 조건만으로는 semantic accuracy를 완전히 포착할 수 없으며, 특히 LLM simulator가 생성한 trajectory에서 그러하다.

Abstract

from arXiv · show

LLM agents increasingly rely on generated interaction data to learn how to interact with external environments. Agentic data generation must maintain consistency among environments, tasks, interactions, and success signals while producing experience that is useful rather than merely abundant. Existing work spans many agent domains, but domain-centered organization and heterogeneous evaluation often obscure common generation mechanisms and conflate candidate construction with verification and selection. This work develops a two-level framework for the field. First, we represent agentic data as a common factorized object $(E,q,τ,v)$, comprising an environment specification, task signal, interaction realization, and optional verifier. We organize generation paradigms by their primary anchor and dependency structure. Second, we formulate generation as constrained distribution design through the Accuracy-Complexity-divErsity (ACE) lens. Accuracy establishes the feasible support of grounded and internally consistent data. Within this support, Complexity places learning mass relative to the capability of a declared learner and execution configuration, while divErsity controls coverage and redundancy of data. Using this framework, we explore how prior work verifies generated experience, constructs and calibrates difficulty, and expands behavioral coverage. The literature reveals a shift toward execution-grounded accuracy, learner-relative complexity, and diversity beyond surface variation or dataset size. We further discuss broader directions and emerging trends in agentic data generation through the ACE lens, including their implications for scaling, data sources, training regimes and adaptive learning. Overall, the central challenge is not simply to generate more data, but to continually allocate valid, informative, and non-redundant experience as agents and environments evolve.

1 서론

이 논문은 agentic data generation을 외부 환경에서 행동하는 LLM agents를 위해 유효하고 학습자에게 유용하며 행동적으로 다양한 experience를 설계하는 문제로 정식화한다. 또한 분산된 cross-domain 연구를 체계화하기 위해 공통 factorization, mechanism-oriented taxonomy, ACE objective를 제시한다.

  • 동기와 framework: Agentic data는 단순히 instructions와 responses를 생성하는 데 그치지 않고, 행동 가능한 environments, grounded tasks, 유효한 interactions, outcome 또는 process supervision을 연결해야 한다.이 framework는 각 sample을 d = (E, q, τ, v)로 나타내며, E는 world를 정의하고, q는 task를, τ는 실현된 interaction을 정의하며, 선택적인 v는 supervision을 제공한다.
  • ACE lens: ACE는 generation을 constrained distribution design으로 다룬다. Accuracy는 유효한 support를 정의하고, Complexity는 learner-relative challenge를 목표로 하며, Diversity는 광범위하고 비중복적인 coverage를 촉진한다.이러한 요구사항은 E, q, τ, v 사이의 consistency, learner와 execution configuration에 상대적인 probability mass, 그리고 서로 다른 environments, tasks, behaviors에 적용된다.
  • 문헌 동향: 문헌은 surface variation이나 dataset size를 넘어 execution-grounded accuracy, learner- 및 configuration-relative complexity, behavioral coverage를 지향하는 방향으로 이동하고 있다.Agentic supervision도 고정된 post-training trajectories에서 pre-training, mid-training, closed-loop experience로 확장되고 있다.
  • 기여: 이 논문은 pipelines가 Accuracy를 어떻게 보장하고, Complexity를 구성하고 보정하며, effective Diversity를 확장하는지를 평가하여 여러 domains의 선행 연구를 종합한다.기여 내용에는 cross-domain data object와 mechanism-oriented taxonomy가 포함되며, 이를 통해 consistency relations와 measurement choices를 명시적으로 드러낸다.
  • Generation taxonomy: 이 factorization은 primary anchor와 dependency structure를 기준으로 generation을 체계화하고, 여러 domains에서 candidate construction을 verification 및 selection과 분리한다.이 taxonomy는 forward, task-first, trajectory-first, structure-first pipelines를 포함하면서 joint, iterative, self-improving systems도 포괄한다.

2 정식화

정식화는 agentic data를 환경, grounded task, interaction realization, optional verifier로 나타내며, 부분 관측 multi-turn interaction에 기반한다. 이 factorization은 agent domain과 training paradigm 전반에서 실행 가능한 환경, trajectory record, success assessment를 구분한다.

  • 2.1 Agentic Multi-turn Interaction: Multi-turn tool-augmented interaction은 policy가 observable history에 따라 행동하고 환경은 latent state를 유지하는 partially observable process로 정식화된다.Action은 state transition과 새로운 observation을 유도하며, reward 또는 evaluation은 선택 사항이다.
  • 2.1 Agentic Multi-turn Interaction: Trajectory는 text response, tool call, user message, environment feedback을 포함해 observation과 action을 기록하며, simple call과 stateful multi-turn interaction을 모두 지원한다.실행 가능한 환경은 transition과 reward computation을 위해 추가적인 latent state를 유지할 수 있다.
  • 2.2 Environment Parameterization: Environment specification E는 textual tool schema부터 state, action, constraint, observation interface, termination condition을 포함하는 executable substrate까지 다양할 수 있다.실행 가능한 환경은 순수하게 정적인 interface specification과 달리 새로운 rollout을 지원할 수 있다.
  • 2.3 From Interaction to Agentic Data: Task signal q는 objective와 constraint를 지정하지만, 그 entity, required action, completion condition이 E 아래에서 의미를 가질 때에만 grounded된다.Task는 explicit instruction, target state, hidden intent 또는 여러 turn에 걸쳐 드러나는 signal일 수 있다.
  • 2.3 From Interaction to Agentic Data: Interaction realization τ는 task를 시도하거나 해결하는 방식을 나타내며, SFT에서는 fixed demonstration, reinforcement learning에서는 online sampling으로 구현된다.Pipeline은 하나의 environment–task pair에 대해 successful, failed, exploratory, recovery trajectory를 보존할 수 있다.
  • 2.4 A Common Data Object: Optional verifier v는 schema check, executable test, terminal predicate, policy rule, proof assistant, LLM judge 또는 hybrid와 같은 mechanism을 통해 consistency 또는 outcome을 평가한다.이 interface는 generated object를 특정 training paradigm과 분리하고 SFT, RL, environment-based evaluation 간 비교를 가능하게 한다.
  • 2.4 A Common Data Object: Agentic data는 d = (E, q, τ, v)로 모델링되며, actionable environment, grounded task, realized interaction, optional validity 또는 success signal을 연결한다.이 factorization은 serialization requirement가 아니라 개념적 구성이며, 모든 factor 사이에 호환 가능한 relation을 요구한다.

3 생성 패러다임

이 절에서는 환경, 태스크, 상호작용을 구성하는 순서와 기준에 따라 agentic data-generation pipeline을 체계화하고, 순방향 생성과 역방향 생성을 구분한다. 이어 candidate construction과 acceptance를 구별하고, ACE 관점에서 accepted data의 형성 방식을 정식화한다.

  • 패러다임 개요: 지배적인 factorization은 환경, 호환 가능한 태스크, 상호작용을 차례로 구성하지만, task-first 및 trajectory-first pipeline은 이 순서를 뒤집고 일관성 복구의 위치를 바꾼다.이 순서는 어떤 factor가 직접 제어되는지와 일관성을 어디에서 복구해야 하는지를 결정한다.
  • 패러다임 개요: Generation paradigm은 환경, 태스크, 상호작용을 어떻게 생성하는지를 규정하는 반면, data objective는 생성된 instance 중 어떤 것을 수용하거나 강조할지를 결정한다. 문헌에서는 순방향 생성과 역방향 생성을 구분한다.Figure 3은 순방향 생성과 역방향 생성의 구분을 제시하며, ACE는 별도의 패러다임 계열이 아니라 generation principle로 도입된다.
  • 순방향 생성: 순방향 생성은 기존 환경에 태스크와 trajectory를 grounding하며, 실제·합성·programmatic 환경을 사용할 수 있지만, 환경이 협소하거나 신뢰하기 어려우면 cascading errors가 발생할 위험이 있다.검증은 생성이 끝난 뒤에만 수행하는 것이 아니라, 생성 과정 전반에서 환경 구성요소, 태스크 실행 가능성, 중간 전이, terminal outcome을 점점 더 많이 점검한다.
  • 역방향 생성: 역방향 생성은 다른 artifact를 기준으로 삼아 나머지 요소를 구성하며, 최신 adaptive 및 self-evolving system은 누적된 experience, 검증 결과, model behavior, coverage gap을 활용해 generator를 수정한다.이러한 system은 고정된 generator에서 독립적으로 sample을 추출하는 방식에서 벗어나, 태스크, workflow, strategy를 지속적으로 수정한다.
  • ACE 관점: ACE에서 accuracy는 feasible set을 정의하는 admission gate인 반면, complexity와 diversity는 유효한 data 중 무엇이 가장 유용한지를 결정한다. ACE는 method를 분할하는 대신 mechanism을 분석한다.어떤 candidate도 accuracy gate를 통과하지 못하면 utility는 0이며, 하나의 pipeline이 여러 ACE 차원을 동시에 향상시킬 수도 있다.

4 정확성

정확성은 agentic data의 수용 조건이다. complexity나 diversity가 examples를 유용하게 만들기 전에 environment, task, interaction, verifier/outcome이 함께 타당해야 한다. 신뢰할 수 있는 verification은 execution-grounded signal을 structural, process, semantic, 선택적 human check와 점점 더 결합하며, cost, bias, loophole, residual uncertainty도 고려한다.

  • 수용 조건으로서의 정확성: 정확성은 ACE의 진입을 통제한다. complexity나 diversity를 평가하기 전에 environment, task, interaction, verifier의 타당성이 모두 성립해야 한다.유효하지 않은 examples는 단지 어렵거나 다르다는 이유만으로 유용해질 수 없다.
  • 결합적 타당성: 타당성에는 component-level check와 environment, task, interaction, intended outcome 사이의 relational consistency가 모두 필요하다.예를 들어 task는 사용 가능한 object와 operation을 참조해야 하고, observation은 실행된 action을 따라야 하며, verifier는 의도된 terminal condition을 수용해야 한다.
  • Verification stack: layered verification stack은 rule, execution 및 state signal, trajectory critic, semantic review, 선택적 human escalation에 상호 보완적인 역할을 부여한다.human review는 비용이 크므로 모호한 goal이나 automated judge 간 불일치가 있는 경우에 한정하는 것이 최선이다.
  • Verification evidence: Execution-grounded verification은 plausibility만으로 판단하지 않고 tool response, state transition, test, formal objective를 통해 generated action과 trajectory를 점검한다.execution은 fabricated observation을 방지하고 재현 가능한 failure signal을 생성하지만, terminal success가 loophole이나 의도하지 않은 effect를 가릴 수 있으므로 process check와 semantic review로 보완해야 한다.
  • 제한과 trade-off: verification은 coverage, cost, bias 사이의 균형을 맞춰야 한다. 고정되거나 편협한 check는 verifier-friendly shortcut을 보상하거나, 유효한 alternative를 거부하거나, semantic error와 side effect를 놓칠 수 있기 때문이다.pipeline은 targeted regeneration을 위해 failure type을 사용하고, 유효한 alternative path를 보존하며, verifier acceptance와 독립적으로 audit된 correctness를 구분해야 한다.
  • 잔여 semantic uncertainty: executable 또는 simulator-based check가 incorrect dynamics, inefficiency, unsafe behavior, user intent와의 inconsistency를 포착하지 못할 때 residual uncertainty가 남는다.observation이 executable environment가 아니라 LLM simulator에서 나올 때 이러한 risk는 특히 두드러진다.

5 복잡도

복잡도는 learner-relative하다. 단순히 길이, tool 수, 언어적 난해성을 측정하는 것이 아니라, 특정 execution configuration에서 grounded environment, task, interaction protocol이 유발하는 난이도를 측정한다. 따라서 유용한 generation은 accuracy와 diversity를 보존하면서 변화하는 learnable band 안에서 behavioral difficulty를 조정해야 한다.

  • 복잡도 정의: 복잡도는 model-aware and learner-relative하며, model, tools, environment protocol, verifier, sampling settings, inference budget에 따라 달라진다.horizon, dependency depth, branching, partial observability, memory demand와 같은 structural attributes는 control이자 설명 변수이지, 보편적인 difficulty score가 아니다.
  • 복잡도 제어: 유용한 examples는 중복적인 easy cases와 접근할 수 없는 all-failure cases 사이의 변화하는 moving learnable band에 놓이므로, generation은 burden을 늘리거나 scaffolding을 추가할 수 있다.Figure 6은 learner capability에 따라 이 band가 이동하는 모습을 보여준다. base-versus-agent 비교에서 informative tasks는 base model이 안정적으로 풀지 못하지만 assistance를 받으면 풀 수 있는 task다.
  • 복잡도 요인: Agentic complexity는 environment structure, task obligations, interaction requirements, verifier-conditioned completion criteria에 걸쳐 분해된다.이 factors에는 state와 action dependencies, compositional 또는 implicit goals, 결과가 중요한 serial 또는 branching interactions, 그리고 constraints, optimality, forbidden actions와 같은 requirements가 포함된다 [Tu et al., 2026, Lu et al., 2025b, Barres et al., 2025; Prabhakar et al., 2025, Shim et al., 2025, Zhang et al., 2026; Shen et al., 2024, Chen et al., 2025b, Xie et al., 2026b; Xu et al., 2025a, Wu et al., 2026b, Xia et al., 2026].
  • 행동적 보정: verified recursive-synthesis rounds에서 solver pass rate가 감소하는 현상은 structural growth를 관찰된 model difficulty와 대조해 점검할 수 있음을 보여준다 [Li et al., 2026c].difficulty assessment는 schema, execution, semantic, verifier checks를 따라야 한다. 그렇지 않으면 invalid environments나 infeasible tasks가 hard cases로 잘못 나타날 수 있다.
  • 한계와 적응: Complexity-aware selection은 coverage를 preserve하고 learnability를 넘어서는 것을 피하며, learners가 향상됨에 따라 held-out domains를 기준으로 주기적으로 recalibrate해야 한다.Frontier methods는 mixed outcomes 또는 stronger-scaffold advantages를 추구한다 [Acikgoz et al., 2026, Wolf et al., 2026]. 반면 adaptive generators는 narrow feedback loops, saturation, non-stationary distributions의 위험을 안는다 [Zeng et al., 2026b; Guo et al., 2025, Kang et al., 2026, Chen et al., 2025d].
  • 행동적 보정: Structural proxies는 저렴하지만 behavioral difficulty의 unreliable predictors인 반면, executable rollouts를 통한 calibration은 더 informative하지만 비용이 크고 configuration-sensitive하다.더 길거나 제약이 많은 tasks도 parallelization, narrowed search, explicit decomposition을 통해 더 쉬워질 수 있다. calibration은 model, scaffold, inference budget, stochasticity에 여전히 민감하다.

6 다양성

다양성은 샘플, 프롬프트, 도구 또는 도메인 라벨의 개수를 세는 것이 아니라, 에이전트가 무엇을 관찰하고 결정하며 수행할 수 있는지를 바꾸는 차이를 포괄함으로써 정확하고 적절한 복잡성을 갖춘 에이전트 데이터를 얼마나 폭넓게 다루는지 측정한다.

  • 6 다양성: 다양성은 행동 커버리지(behavioral coverage)를 목표로 한다. 데이터는 데이터셋 크기나 표면적 범주만 늘리는 것이 아니라, 에이전트가 무엇을 관찰하고 결정하며 수행할 수 있는지를 바꾸는 차이를 아우르는 범위에 걸쳐야 한다.파이프라인은 더 폭넓은 데이터 소스와 실행 가능한 지원 범위, 호환 가능한 재조합, 도달 가능한 경험 탐색, 통제된 변형, 그리고 남은 커버리지 공백에 대한 적응을 통해 이를 추구한다.

6.1 ACE Objective에서의 다양성

ACE objective에서 다양성은 accuracy-filtered data에 대한 batch-level utility로 측정되며, 유효하고 행동적으로 구별되며 learner-relevant한 coverage를 강조한다. 따라서 다양성은 중복적인 표면적 변형과 learner가 학습할 수 있는 영역을 넘어서는 novelty를 모두 피해야 한다.

  • ACE Objective에서의 다양성: 다양성은 accuracy-filtered set B_A에서 계산되는 batch-level utility이므로, 유용한 coverage를 위해 validity가 선행 조건이 된다.일관되지 않은 environment와 근거가 없는 trajectory는 유용한 support가 아니라 error space를 확장한다.
  • ACE Objective에서의 다양성: 구조적 다양성에는 distinct behaviors가 필요하다. 이름만 바꾼 tool이나 paraphrased request가 동일한 behavior를 유도할 수 있기 때문이다.
  • ACE Objective에서의 다양성: 다양성은 learner-aware하다. 한 model이나 corpus에서 novelty인 것이 다른 model에서는 redundant할 수 있으며, 제한 없는 novelty는 learnable region을 넘어설 수 있다.

ACE 목적함수에서의 다양성

ACE 다양성 목적함수는 정확성과 유용한 복잡성을 기준으로 필터링한 뒤 environment, task, interaction factor 전반의 유효 범위와 균형을 측정하고, 행동 중복을 벌점으로 반영한다. 이는 애플리케이션별로 표현, 가중치, 목표를 지정해야 하는 도메인 특화 설계 원칙이다.

  • ACE 목적함수에서의 다양성: 다양성은 행동적으로 중복된 샘플을 감안한 뒤, 유효하고 적절한 복잡성을 갖춘 factor 범위의 폭을 측정한다.Factor는 environment-, task-, interaction-level 변수이며, 각각 Z_E, Z_Q, Z_I로 표현된다.
  • ACE 목적함수에서의 다양성: 정확성 필터링 후 entropy는 각 factor의 범위와 균형을 상대적 중요도에 따라 가중하여 측정하고, λ는 행동 중복에 벌점을 부과한다.필터링된 부분집합은 B_A이며, I_z는 learner configuration z에서 유용한 복잡성 범위를 나타낸다.
  • ACE 목적함수에서의 다양성: 이 정식화는 보편적 점수가 아니라 설계 원칙이며, 도메인별 factor 표현, 추정량, 중복성 측정값, 가중치, learner configuration, 복잡성 목표를 요구한다.이러한 선택은 각 도메인에 대해 별도로 지정해야 한다.

6.2 요인 수준의 다양성

요인 수준의 다양성은 환경 명세, 과제 신호, 상호작용 실현, 생성기 provenance에 걸쳐 나타나며, 의미 있는 변이는 표면적 레이블이 아니라 변화된 증거, 결정, 유효한 행동 또는 유도된 coverage로 정의된다. 이러한 요인은 그것이 드러내는 capability, regime, 전략, source blind spot을 통해 평가해야 한다.

  • 환경 명세 다양성: 환경 다양성은 상태, action space, 관찰, dynamics, 규칙, 보상, 인터페이스, verifier, 기타 행위자를 포함한 실행 가능한 세계의 구조를 변화시킨다.전제조건, 효과, 정보 경로, 성공 조건이 변하지 않는다면 환경 이름이나 tool 수는 약한 대리 지표에 불과하다.
  • 요인 수준의 다양성: 다양성은 환경, 과제, 상호작용, 생성기/provenance라는 상호보완적인 네 가지 요인으로 구성된다.Figure 8은 이 요인화를 요약한다.
  • 과제 신호 다양성: 과제 다양성은 목표, capability, 제약, 사용자, 의도 공개, 실현 가능성, 시간적 조건, 난이도를 변화시키며, 명확화, 거부, 부분 완료, 복구, 성공을 서로 다른 regime으로 취급한다 [Shim et al., 2025, Wang et al., 2026e].표면적 요청은 증거, 결정 또는 허용 가능한 결과를 변화시킬 때만 중요하다. 폭넓은 난이도 coverage도 목표, 사용자 또는 capability 측면에서는 여전히 협소할 수 있다.
  • 상호작용 실현 다양성: 상호작용 다양성은 고정된 환경과 과제에 대해 대안적인 유효 계획, 행동 순서, tool 대체, 표현, horizon, 지원, 복구 패턴, 결과를 포괄한다.행동적으로 구별되는 경로는 전략 coverage를 드러내지만, 반복되는 주저나 우발적 우회는 rollout noise다. 실패 trace도 기여한다.
  • 생성기 및 provenance 다양성: 생성기와 provenance의 다양성은 blind spot을 줄이기 위해 corpus, teacher model, prompt, simulator, critic, decoding policy, scaffold를 혼합하지만, source 이름이 아니라 유도된 요인 coverage로 평가해야 한다.source 이질성은 결과가 아니라 개입이므로, provenance를 기록하고 반복되는 과제 또는 trajectory template에 비추어 그 기여를 평가해야 한다.

6.3 Agentic Diversity 확장: 메커니즘과 도메인별 근거

Agentic diversity는 환경 추가, 구성, experience-first exploration, controlled variation, adaptive coverage를 통해 확장되지만, 유효한 행동 coverage가 없다면 명목상 규모만으로는 충분하지 않다. 의미 있는 diversity는 도메인별로 정의되며, 표면적 변형만이 아니라 검증된 관계, 상태 전이, workflow, 결과 및 기타 행동 단위를 포착해야 한다.

  • 핵심 메커니즘: Diversity pipeline은 환경과 구성 요소를 추가하고, 호환 가능한 도구와 workflow를 구성하며, 도달 가능한 행동에서 task를 도출하고, 통제된 조건에서 선택된 요인을 변화시킨다.Graph- 및 blueprint 기반 구성은 모순을 줄이며, experience-first generation은 관찰된 행동에 task를 grounded한다. Controlled variation은 특정 query, action, observation 및 domain shift를 겨냥한다.
  • 핵심 메커니즘: 검증된 환경과 한계적으로 새로운 capability가 명목상 dataset 규모보다 중요하다. 더 넓은 distribution은 transfer를 돕는 반면, 신뢰할 수 없는 추가분은 덜 유용할 수 있기 때문이다.관련된 이득은 유효한 새로운 capability, relation, state transition 또는 feedback structure다.
  • 핵심 메커니즘: Exploration과 adaptation에는 여러 policy, seed, reset, novelty 또는 coverage signal, 그리고 광범위한 replay가 필요하다. Reachability와 learner-frontier targeting은 어렵거나 익숙하거나 기초적인 행동을 놓칠 수 있기 때문이다.Coverage constraint, stratified replay 및 주기적인 broad exploration은 일시적인 model failure에 대한 overfitting을 상쇄한다.
  • 도메인별 근거: 도메인 전반에서 의미 있는 diversity는 표면적 변형만이 아니라 state, workflow, user, strategy, outcome, interface, dynamics 및 verification regime에 걸친 behavioral unit으로 정의된다.Figure 9는 이러한 도메인별 구현을 요약하고, Table 3은 대표적인 연구를 나열한다.
  • 도메인별 근거: Coding diversity는 검증된 problem–repository–feedback relation을 중심으로 하는 반면, embodied 및 social diversity는 결합된 scene, activity, policy, incentive, communication 및 longitudinal outcome을 통해 transition 또는 reward를 변화시켜야 한다.Embodied system에서는 procedural scene variation이 activity, physical constraint, task graph 또는 policy change와 결합될 때 유용해진다. Social simulation은 persona를 longitudinal behavior 및 outcome과 결합할 수 있다.

6.4 다양성 측정

Agentic diversity는 단일 점수보다 단계적이고 다차원적인 측정을 요구한다. 연구에서는 factor coverage, behavioral non-redundancy, ACE-conditioned validity와 difficulty, held-out setting으로의 transfer, marginal learner utility를 평가해야 한다. Coverage 통계는 marginal distribution과 선별된 joint distribution을 결합해야 하며, 평가는 balance, failure mode, generalization gap, learner-relative value를 보고해야 한다.

  • 측정 범위: Diversity 측정은 먼저 어떤 environment, task, interaction factor가 포함되는지 규정한 뒤, behavioral distinctness, validity, difficulty, transfer, 추가적인 learner value를 검증해야 한다.각 연구는 어떤 차이를 의미 있는 것으로 간주하는지 명시적으로 정의해야 한다.
  • Factor Coverage와 Balance: Coverage와 normalized entropy는 상호보완적이다. coverage는 표현된 category를 탐지하는 반면, entropy는 balance를 측정하고 coverage만으로는 놓칠 수 있는 concentration을 드러낸다.한 category가 지배적이어도 coverage는 높을 수 있지만, entropy는 중요한 부재 category를 식별하지 못한다.
  • Factor Coverage와 Balance: Marginal factor 통계는 의미 있는 joint distribution으로 보완해야 한다. 그래야 개별 factor는 다양하지만 고정된 조합으로만 나타나는 template locking을 피할 수 있다.전체 Cartesian coverage는 대개 비현실적이므로, 선별된 조합은 예상 deployment 조건을 반영해야 한다.
  • Behavioral Non-redundancy: Sample이 동일한 behavior를 요구할 때 category coverage는 diversity를 과대평가하므로, 비교에는 action graph, state transition, dependency path, clarification 및 recovery pattern, final-state change를 포함해야 한다.이러한 표현은 paraphrase, 이름만 바꾼 tool, 또는 무의미한 rollout variation과 대안적 strategy를 구분한다.
  • ACE-conditioned Coverage: Coverage는 accuracy filtering 이후, 선언된 complexity range 내에서 측정해야 하며, diversity와 함께 factor-slice validity rate, failure type, model-relative difficulty를 보고해야 한다.그렇지 않으면 invalid sample이나 trivial task로 인해 dataset이 유용한 coverage보다 더 넓어 보일 수 있다.
  • Transfer Coverage: Transfer 근거는 명시된 held-out factor를 사용해야 하며, held-out performance와 일치하는 in-domain setting 대비 그 gap을 모두 보고해야 한다 [Lv et al., 2026, Wang et al., 2026d, Wu et al., 2026b, Li et al., 2026b].관련 held-out factor에는 tool, schema, state, policy, interface, user behavior, dynamics, horizon이 포함된다.

6.5 다양성의 트레이드오프와 한계

다양성은 구조적 커버리지를 높이지만 수량, 정확성, 학습자 상대적 복잡도, 현실성, 제어 가능성, 규모와 트레이드오프를 만든다. 따라서 지속 가능한 생성에는 커버리지 인지 평가, 실행 기반 검증, 적응적 할당, 신중한 혼합 관리가 필요하다.

  • 다양성과 수량: 구조적 커버리지는 포화된 모드에서 반복 샘플링하는 것보다 더 큰 한계 가치를 제공할 수 있지만, 추가 샘플은 샘플이 부족한 영역에서 추정과 강건성을 여전히 향상시킨다 [Chen et al., 2026a,b].원시 카운트만으로는 support 확장과 밀도 높은 반복을 구분할 수 없으므로, 스케일링 주장을 위해서는 커버리지가 통제된 비교가 필요하다.
  • 다양성과 정확성: 더 폭넓은 재조합은 호환되지 않는 도구, 도달할 수 없는 목표, 일관되지 않은 상태, 정렬되지 않은 verifier를 증가시키므로 실행, 절차적 테스트, 제약 조건, 상태 기반 검사가 필요하다 [Liu et al., 2024, Song et al., 2026, Tian et al., 2026, Ivanov and Rana, 2026].고정된 checker는 유효한 solution space보다 좁을 수 있으며 정당한 전략을 버릴 수 있다.
  • 다양성과 모델 인지 복잡도: 폭넓은 데이터셋도 학습자에게는 잘못 할당될 수 있다. 쉬운 다양성은 신호를 거의 추가하지 못하는 반면, frontier만 생성하면 기초를 버리고 일시적인 실패를 좇게 된다.유용한 복잡도는 학습 중 이동하므로, 생성에는 frontier 중심 할당과 폭넓은 replay 커버리지를 함께 사용해야 하며, 다양성은 난이도 구간 내에서 보고해야 한다.
  • 현실성, 제어 가능성, 규모: 환경이 없는 trajectory 생성은 API specification만으로 확장할 수 있지만, 정확성 보장을 simulator 일관성과 모델 기반 filtering으로 옮긴다 [Li et al., 2025e, Lee et al., 2026].실제 시스템은 진정성 있는 dynamics와 long-tail behavior를 제공하지만 비용이 크고, 안전하지 않으며, reset이 어렵고, temporal drift가 발생하기 쉽다. 학습된 simulator는 저렴하게 확장할 수 있지만 transition을 지어낼 수 있다.
  • Mixture 간섭과 open-world drift: 도메인과 generator를 결합하면 호환되지 않는 형식, action convention, reward scale, sampling frequency에서 interference가 발생하며, normalization은 도메인별 semantics를 지울 수 있다 [Chen et al., 2024, Zhang et al., 2024, Cai et al., 2025].도구, interface, policy, 사용자 행동이 계속 변하므로 어떤 유한 mixture도 하나의 snapshot일 뿐이다.

7 논의

논의는 agentic data generation을 단순한 양이 아니라 유효한 support, hybrid real–synthetic allocation, 더 이른 training exposure, 지속적 adaptation을 중심으로 재구성한다. 이러한 선택 전반에서 ACE는 agent와 environment가 변화함에 따라 grounded accuracy, learner-relative complexity, behavioral diversity 사이의 균형을 요구한다.

  • Data scaling: Diversity-oriented scaling은 quantity scaling을 능가할 수 있으며, 견고하고 행동적으로 구별되는 소규모 environment 집합이 중복되거나 검증이 취약한 대규모 집합보다 우수할 수 있다 [Chen et al., 2026a,b, Xu et al., 2026a, Tu et al., 2026].유효한 experience, learner에 유용한 complexity, environment·state·task·policy·interaction structure 전반의 coverage를 통해 effective support가 확장된다 [Guo et al., 2025, Chen et al., 2025d, Wolf et al., 2026, Hao et al., 2026].
  • Data scaling: Learner가 향상되면 static quantity scaling의 가치는 감소한다. task가 포화되고, complexity frontier가 이동하며, diversity가 중복되고, 새로운 domain에서 accuracy와 verifier의 공백이 발생하기 때문이다.따라서 generation과 allocation은 고정된 dataset에 의존하기보다 learner에 맞춰 동적으로 적응해야 한다.
  • Real and synthetic data: ACE는 hybrid real–synthetic allocation을 선호한다. real data는 실제적인 interface와 deployment 요구를 고정하는 반면, synthetic data는 검증된 coverage와 model-aware difficulty를 확장·균형화·보정한다.Real data에는 failure, 숨은 context, 오래된 interface, privacy-sensitive content, 검증할 수 없는 outcome이 포함될 수 있으며, synthetic correctness는 generator와 environment의 fidelity에 좌우된다.
  • Training regimes: Agentic pre-training과 mid-training은 interaction learning을 더 이른 단계로 이동시키며, repository·video·document·relational structure에서 executable 또는 learned environment와 interaction-relevant supervision을 활용한다 [Chen et al., 2026c, Lu et al., 2025a, Xiong et al., 2026, Zhou et al., 2026a].Training unit은 완전한 (E, q, τ, v) record가 아니라 local state transition이나 fragment일 수 있다. 이때 ACE는 transition correctness, source fidelity, fragment dependency, 광범위한 diversity를 강조한다.
  • Self-evolving agents: Self-evolving agent는 generation을 capability gap을 겨냥하고, difficulty를 조정하며, rollout을 복구하고, skill을 추출하며, replay를 통해 capability를 보존하는 continual loop로 전환한다.Dynamic ACE는 강화된 error를 방지하고, 이동하는 capability frontier를 추적하며, 최근 failure나 verifier-friendly strategy에 편중되지 않도록 해야 한다 [Guo et al., 2025, Chen et al., 2025d].

8 결론

이 논문은 agentic data generation을 환경, 과제, 상호작용, 신뢰할 수 있는 성공 신호를 함께 구성한 뒤 ACE lens를 통해 그 분포를 조정하는 과정으로 정식화한다. 효과적인 generation에는 그럴듯하거나 풍부한 sample보다 learner-relative하고 행동적으로 diverse하며 지속적으로 적응하는 experience가 필요하다고 결론짓는다.

  • 결론: Agentic data generation은 실행 가능한 환경, grounded task, interaction process, 그리고 필요한 경우 신뢰할 수 있는 success signal을 함께 구성하며, factorized generation pipeline과 ACE distribution shaping을 통해 이를 조직한다.Factorized 관점은 forward, task-first, trajectory-first, structure-first pipeline을 연결한다.
  • 결론: Accuracy는 environment-task-interaction-verifier consistency를 통해 feasible set을 정의하고, Complexity는 learner-relative하게 설정되며, Diversity는 피상적 variation이나 sample count가 아니라 valid behavioral coverage를 측정한다.이 framework는 ACE 차원을 비대칭적으로 다룬다. 먼저 validity를 확보한 뒤 calibrated difficulty와 meaningful coverage를 고려한다.
  • 결론: 이 분야는 고정된 post-training trajectory에서 벗어나 generated environment, broader supervision, feedback-driven experience로 이동하고 있으며, 이를 통해 capability gap을 지속적으로 발견하고 learner의 변화에 따라 allocation을 조정한다.Generation은 일회성 production step이 아니라 관련 experience를 지속적으로 구성하고 검증하는 과정으로 제시된다.
Loading 2608.27260v1…