Source-linked AI summary
Autodata: An agentic data scientist to create high quality synthetic data
Ilia Kulikov, Chenxi Whitehouse, Tianhao Wu, Yixin Nie, Swarnadeep Saha, Eryk Helenowski, Weizhe Yuan, Olga Golovneva, Jack Lanchantin, Yoram Bachrach, Jakob Foerster, Xian Li, Han Fang, Sainbayar Sukhbaatar, Jason Weston
TL;DR
합성 데이터 생성에는 도전적이고 고품질인 학습 및 평가 데이터를 만들어내는 더 강력한 방법이 필요하다. Autodata는 agentic data scientist를 학습시켜 데이터를 반복적으로 생성하고 분석하며, Agentic Self-Instruct는 computer science, legal reasoning, mathematical reasoning 과제 전반에서 성능을 높이고, meta-optimization을 통해 추가 향상을 이끈다.
문제
모델이 강해질수록 기존 합성 데이터 방법으로는 충분히 도전적이고 고품질인 학습 및 평가 데이터를 만들지 못할 수 있다.
방법
Autodata는 학습 또는 평가 데이터를 반복적으로 생성하고 분석하며 개선하는 agentic data scientist를 사용하고, 선택적으로 agent 자체를 meta-optimization한다.
결과
Agentic Self-Instruct는 computer science, legal reasoning, mathematical reasoning 과제 전반에서 성능을 높이며, data scientist agent를 meta-optimization하면 추가 향상을 얻는다.
시사점 및 한계
Agentic data creation은 증가한 inference-time compute를 모델 학습과 benchmarking을 위한 더 고품질이고 더 도전적인 합성 데이터로 전환할 수 있다.
시사점 및 한계
보고된 실험은 example level에서 데이터 품질을 개선하지만, diversity와 기존 데이터셋과의 상호작용에 대한 full dataset-level analysis는 아직 제공하지 않는다.
Abstract
from arXiv · showhide
We introduce Autodata, a general method that enables AI agents to act as data scientists who build high quality training and evaluation data. We show how to train (meta-optimize) such a data scientist agent, so that it learns to create even stronger data. We describe the overall formulation, and a specific practical implementation, Agentic Self-Instruct. We conduct experiments on computer science research tasks, legal reasoning tasks and reasoning with mathematical objects, where we obtain improved results compared to classical synthetic dataset creation methods. Further, meta-optimizing the data scientist agent itself delivers an even larger performance uplift. Agentic data creation provides a way to convert increased inference compute into higher quality model training. Overall, we believe this direction has the potential to change the way we build AI data.
1 서론
Autodata는 training 또는 benchmark data를 구축하고 큐레이션하기 위한 데이터 과학 과정을 agentic process로 다룬다. Agentic Self-Instruct 구현은 computer science, legal reasoning, mathematical-object reasoning task 전반에서 성능을 향상시키며, agent를 meta-optimization하면 추가적인 향상을 얻는다.
- 동기: Synthetic data는 대표성이 낮은 edge cases와 long-tail scenarios를 생성하고, 수작업 라벨링의 어려움과 지연을 줄이며, 사람이 생성한 분포보다 더 challenging한 data를 잠재적으로 만들 수 있다.이러한 이점은 high-quality training data와 challenging benchmarks에 대한 증가하는 수요를 충족한다.
- 동기: 기존 synthetic-data method는 data difficulty와 quality를 직접 제어하지 못하므로, filtering, evolution, refinement approach가 필요하다.기존 method로는 Self-Instruct, document-grounded variant, chain-of-thought method, self-challenging agent가 있다.
- 기여: Autodata는 agent에 data scientist 역할을 부여하여 creation, analysis, performance measurement를 통해 training 또는 benchmark data를 구축하고 큐레이션한다.이 과정에는 initial data-creation iteration 이후 data를 “eyeballing”하고 performance를 측정하는 단계가 포함된다.
- 기여: Agentic Self-Instruct는 computer science research, legal reasoning, mathematical objects에 대한 reasoning 전반에서 classical synthetic dataset creation method보다 성능을 향상시킨다.data scientist agent를 meta-optimization하면 더욱 큰 performance uplift를 얻는다.
- 동기: Agentic data creation은 증가한 inference compute를 higher-quality model training으로 전환하며, language model이 강력해짐에 따라 더 challenging한 task와 benchmark를 가능하게 할 수 있다.이 논문은 AI frontier를 발전시키기 위해 새로운 task와 benchmark를 만드는 방식이 이 방향으로 변화할 수 있다고 주장한다.
2 Autodata
Autodata는 agent가 training 또는 evaluation data를 생성하고 분석하며, 최종 dataset 또는 benchmark를 산출할 때까지 반복적으로 개선하는 iterative data-scientist loop다. 실용적 구현인 Agentic Self-Instruct는 challenger, weak solver, strong solver, verifier를 사용해 weak solver에는 도전적이지만 strong solver는 풀 수 있는 examples를 생성한다.
- Autodata: Autodata는 최종 dataset 또는 benchmark를 산출하기 전에 example 수준과 dataset 수준의 feedback을 활용해 training 또는 evaluation data를 개선하면서 data 생성과 분석을 반복한다.outer loop에는 hacking을 방지하기 위한 guardrails를 포함할 수 있으며, agent가 자신의 학습 내용을 바탕으로 작업을 확장할 수 있다.
- Data Scientist의 Meta-Optimization: Autodata는 inner loop의 data quality를 사용해 outer agent harness의 최적화를 유도함으로써 data-scientist agent 자체를 meta-optimize할 수 있다.이 논문은 outer loop 개선을 위한 접근법으로 autoresearch 및 meta-harness (Lee et al., 2026) 스타일의 최적화를 제시한다.
- Agentic Self-Instruct: Agentic Self-Instruct는 challenger, weak solver, strong solver, verifier/judge를 조율해 candidate training examples를 생성하고 평가한다.challenger가 examples를 제안하면 solvers가 이를 시도하고, verifier가 solution과 example의 quality를 평가한 뒤 main agent에 feedback을 전달한다.
- Agentic Self-Instruct: main agent는 verifier reports를 바탕으로 challenger prompt를 업데이트하고, examples가 task-specific difficulty 및 quality criteria를 충족할 때까지 생성을 반복한다.검증 가능한 tasks에서는 strong-solver majority가 정답이어야 하는 반면 weak-solver majority는 오답이어야 하며, 검증 불가능한 tasks에서는 judge가 적절한 quality gap을 측정해야 한다.
- Agentic Self-Instruct: weak solver와 strong solver는 서로 다른 modes의 동일한 LLM일 수 있으며, strong version에는 더 많은 inference-time compute 또는 privileged information이 제공된다.이 설정을 통해 agent는 weak solver의 training을 위해 challenging하고 high-quality한 examples를 특별히 겨냥할 수 있다.
3 실험
컴퓨터과학, 법적 추론, 수학적 추론 과제 전반에서 Agentic Self-Instruct는 합성 데이터의 난이도를 조정해 CoT Self-Instruct보다 downstream 성능을 높인다. held-out 결과 향상, 더 쉬운 과제와 distribution 밖 과제로의 전이, 더 유용한 reinforcement-learning signal이 주요 이점이다.
- 3.1 컴퓨터과학: CS에서는 pre-acceptance 라운드 880회 중 80%가 질문이 너무 쉬워 거절되었고, 채택된 질문은 메커니즘, 유도, 설계 trade-off를 검증했다.이 루프는 채택된 CS 항목당 평균 6.59라운드를 거쳤으며, 대개 초기의 고수준 요약 질문을 더 구체적인 추론 과제로 변환했다.
- 3.1 컴퓨터과학: 더 쉬운 CoT 테스트에서 0.774 versus 0.727, 더 어려운 Agentic 테스트에서 0.632 versus 0.500을 기록한 결과는 CS 추론에서 Agentic-trained 모델이 CoT-trained 모델보다 뛰어남을 보여준다.base 4B 모델은 각각의 테스트에서 0.630과 0.366을 기록하며, best@3도 같은 순서를 따른다.
- 3.2 법적 추론: Agentic Self-Instruct는 weak-rollout 평균을 15.9%에서 28.3%로, 표준편차를 7.93에서 12.63으로 높여 법적 추론에서 reinforcement-learning signal을 개선한다.weak/strong 격차는 55.8점에서 41.5점으로 줄어드는 반면, strong 점수는 71.7% →69.8%로 거의 변하지 않는다. 또한 Agentic prompt의 52%가 매우 적합하다고 평가된 반면 CoT는 4.8%에 그친다.
- 3.2 법적 추론: 동일한 2.8k-prompt 예산에서 CoT보다 +0.05–0.06 높고, GPT-5 평가에서 0.441 versus 0.404를 기록한 결과는 Agentic 데이터가 더 큰 baseline을 넘어 법적 추론을 개선함을 보여준다.Agentic 데이터로 학습한 Qwen3.5-4B는 GPT-5/Kimi 평가에서 0.441/0.393을 기록해 CoT의 0.377/0.343보다 높았고, 397B baseline은 0.404/0.358을 기록했다.
- 과제 간 결과: Agentic-trained 모델은 held-out 테스트 전반에서 CoT-trained 모델보다 뛰어나며, 4B 모델은 PRBench-Legal에서 훨씬 큰 baseline을 능가한다.논문은 서로 반대되는 CoT 실패 모드에서 이러한 일관성이 나타나는 이유를 단순히 더 어려운 질문이 아니라 hill-climbing에 적절한 난이도의 질문을 만들었기 때문이라고 설명한다.
- 3.3 수학적 추론: 통합 validation set에서 +3.20% avg@8, Principia에서 +1.04%가 전체적으로 가장 큰 개선이며, RealMath +1.75%와 SuperGPQA +0.82%도 포함된다.Agentic 데이터는 CoT validation subset도 +3.05% 개선해 CoT 데이터의 +1.86%를 앞서지만, ARB와 RealMath 같은 일부 범주에서는 Combined 데이터가 pass@8에서 우세하다.
4 데이터 과학자 메타 최적화
이 절에서는 inner-loop 평가를 지침으로 삼는 evolutionary outer loop를 사용해 data scientist agent의 prompt와 전략을 meta-optimize한다. CS research paper task에서 진화한 agent는 체계적 failure mode를 자동으로 해결하면서 validation QA pass rate를 62.1%에서 79.6%로 높인다.
- 방법: meta-optimizer는 population-based mutation, trajectory analysis, held-out validation, strict acceptance, history logging을 통해 prompt를 진화시키며, concurrent iteration과 반복 평가로 score-noise 효과를 줄인다.각 candidate는 baseline에 대한 code diff이며, validation score가 parent보다 엄격하게 높을 때만 mutant가 population에 들어간다.
- 설정: 이 실험에서는 50 training and 25 validation papers에 걸쳐 Kimi-K2.6을 analyzer, implementer, inner-loop model로 사용해 CS research paper task를 meta-optimize한다.QA pair는 weak solver와 strong solver의 score가 지정된 rubric threshold를 충족하고 최소 20 percentage points 이상 차이 날 때만 성공한다.
- 결과: trajectory analysis는 generic answers와 rubric-format errors를 주요 failure mode로 식별했으며, paper-specific insights와 context-leak prevention을 위한 요구사항을 자동으로 발견하도록 했다.paper-specific self-test는 solver가 paper를 읽지 않고도 정답을 낼 수 있는지 묻고, weak solver의 그럴듯한 generic responses를 겨냥한다.
- 결과: validation QA pass rate는 233회 meta-optimization iteration 후 62.1%에서 79.6%로 증가했으며, 수동 prompt engineering 없이 data quality가 향상되었음을 보여준다.baseline과 최종 evolved harness는 6-hour-per-session timeout 조건에서 평가되었고, 결과는 Table 7에 보고되었다.
5 관련 연구
선행 연구는 synthetic instruction, grounded reasoning data, agentic generation, self-improvement, judging, scaffold optimization에 걸쳐 있다. Autodata는 generation, evaluation, failure analysis, recipe revision, meta-optimization을 통합하는 명시적 agentic data-science loop로 자리매김한다.
- Synthetic instruction 및 alignment data: Synthetic-data 연구에는 Self-Instruct의 bootstrapped instruction generation (Wang et al., 2023), 이후의 scaling 및 diversification, 그리고 Source2Synth (Lupidi et al., 2024)와 CoT-Self-Instruct (Yu et al., 2025) 같은 grounded 또는 reasoning-aware 방법이 포함된다.MetaMath (Yu et al., 2024), MAmmoTH (Yue et al., 2024), OpenMathInstruct (Toshniwal et al., 2025)를 비롯한 mathematical reasoning dataset은 downstream problem solving을 향상시켰다.
- Agentic data generation 및 automated data-science system: AgentInstruct (Mitra et al., 2024)는 대규모 synthetic post-training data를 위해 agentic flow를 사용하는 반면, Autodata는 data creation을 iterative data-science workflow로 정식화한다.이 workflow는 example을 생성하고, learning utility를 평가하며, failure를 분석하고, recipe를 수정한다.
- Self-improvement, self-play 및 challenger–solver data: Autodata의 weak–strong Agentic Self-Instruct는 challenger–solver self-play와 유사하지만, failure analysis, quality judgment, difficulty adjustment, learning-focused optimization으로 이를 확장한다.이는 STaR (Zelikman et al., 2022) 및 Self-Rewarding Language Models (Yuan et al., 2024) 같은 self-improvement 방법과 대조된다. 이 방법들은 training을 위해 reasoning trace 또는 reward를 생성한다.
- LLM judge, filtering 및 data selection: Static generation 또는 filtering과 달리 Autodata는 learning utility를 반복적으로 평가하고, failure를 분석하며, recipe를 수정하고, effective learning signal을 위해 example을 최적화한다.CS research task에서는 difficulty와 discrimination을 높이는 반면, legal reasoning에서는 GRPO를 위한 degenerate all-zero weak rollout을 방지한다.
- 포지셔닝: Autodata는 명시적 agentic data-science formulation 아래 instruction synthesis, feedback, reasoning trace, domain-specific data, self-play를 통합한다.이 loop는 data generation, evaluation, failure analysis, recipe revision, meta-optimization을 결합한다.
6 결론 및 논의
Autodata는 합성 데이터 생성을 Agentic Self-Instruct로 구현된 agentic data science 프로세스로 정식화하며, 여러 과제 영역에서 성능 향상을 보이고 data scientist agent를 meta-optimization함으로써 추가적인 가능성을 제시한다. 논의에서는 더 폭넓은 과제, 강력한 safeguards, dataset-level analysis, self-improving loop로의 확장을 강조한다.
- 결론: Autodata는 autonomous agent가 synthetic data를 생성하고 task-specific signal로 이를 평가하며 data-generation recipe를 개선하도록 한다. Agentic Self-Instruct는 weak solver와 strong solver를 구분하는 examples를 탐색함으로써 이를 operationalize한다.이 framework는 computer science research, legal reasoning, mathematical objects에 대한 reasoning 전반에서 일관된 quality gain을 보였으며, data scientist agent 자체도 meta-optimization할 수 있었다.
- 더 많은 tasks, models 및 baselines: 향후 연구에서는 더 다양한 tasks와 models를 대상으로 Autodata를 검증하여, mathematics, code, instruction following, safety, 다양한 interaction settings를 아우르는 general agent를 지향해야 한다.구상된 범위는 verifiable data와 non-verifiable data뿐 아니라 single-turn, multi-turn, agentic tasks까지 포괄한다.
- Hacking 및 한계: Agents가 의도된 작업을 피하거나 cheat하려는 경우가 있었으므로, 현재의 rigid iterative pipeline을 넘어서는 stronger safeguards가 필요하다.한 예로 weak solver의 prompt를 바꾸어 weak하게 행동하도록 지시한 경우가 있었다. 저자들은 pipeline constraints를 더 엄격히 적용하여 이러한 행동에 부분적으로 대응했다.
- Full dataset analysis iteration: 초기 실험은 example level에서 quality를 평가하므로, diversity와 existing datasets와의 상호작용을 dataset-level analysis로 분석할 필요가 있다. iterative batched analysis는 그 중간 단계가 된다.제안된 intermediate approach는 N examples를 생성한 뒤 batch에서 analysis를 도출한다.
- Self-Improvement에서 Co-improvement로: 향후 self-improvement loop에서는 agentic self-instruction을 challenger로 간주하고, learned skills와 other optimization signals를 통해 이를 공동으로 train할 수 있다.이는 rewards와 weight updates를 사용해 challengers와 solvers를 함께 optimize하는 self-play systems와 대조된다.
Principa 실험에서의 토큰 효율성과 truncation
이 절에서는 응답 truncation을 측정하고 정확도 향상이 truncation 감소에서 비롯되는지, 아니면 추론 개선에서 비롯되는지를 판단해 토큰 효율성을 평가한다.
- 분석에서는 finish_reason=length인 응답으로 정의되는 truncation 비율을 통해 토큰 효율성을 측정한다.
- 정확도 향상은 truncation 감소 또는 추론 개선에 기인한다.
A.1 Truncation Rates
65,536-token reasoning budget에서 Agentic Self-Instruct는 base Qwen3.5-4B model보다 truncation rate를 크게 낮추며, token 효율성이 향상되었음을 보여준다.
- A.1 Truncation Rates: Agentic Self-Instruct는 combined validation에서 truncation을 23.75%에서 4.09%로, Principia에서 17.06%에서 1.85%로 낮춰 가장 낮은 rate를 달성한다.base model은 reasoning을 완료하기 전에 65K-token budget을 초과하는 경우가 많다.
A.2 정확도 향상의 귀속 분석
귀속 분석에 따르면 정확도 향상의 대략 절반은 truncation 방지에서 비롯되며, 완료된 generation에서의 추론 개선도 또 하나의 주요 기여를 한다. 따라서 Agentic Self-Instruct는 65K-token 예산 내 추론 효율과 추론 품질을 모두 향상시킨다.
- 귀속 방법론: 이 분석은 816개 validation item에서 각각 8개의 generation을 생성한 6,528개 paired generation에 걸쳐 향상을 truncation-fixed, non-truncation reasoning, other로 분류한다.base model에서 incorrect였던 generation이 trained model에서 correct로 바뀐 사례를 검토한다.
- 귀속 결과: Agentic Self-Instruct의 incorrect→correct 전환 945건 중 54.81%는 truncation 수정에서, 41.06%는 non-truncated example에서의 추론 개선에서 비롯된다.학습 configuration 전반에서 정확도 향상의 약 50%가 truncation 문제 수정에 귀속된다.
- 시사점: 어려운 data로 학습하면 model은 더 간결하게 추론하는 법을 익히며, 장황한 추론 패턴을 65K-token 예산 내에서 효율적인 패턴으로 전환한다.Long-form reasoning model은 65,536 token을 사용하더라도 chain of thought를 완료하기 전에 token이 소진되어 실패할 수 있다.
B Principia Grounded Agentic Self-Instruct Data의 질문 유형 분석 · B.1 주석 절차 · B.2 질문 유형
이 분석은 두 단계의 taxonomy 발견 및 분류 파이프라인을 통해 검증된 QA 쌍에 주석을 달아 생성된 질문의 추론 요구를 규명한다. 질문 유형 11개를 추론, 지식, 혼합 범주로 구성해 식별한다.
- B.1 주석 절차: 무작위로 추출한 1,000개의 검증된 QA 쌍을 Kimi-K2.6을 사용하는 2단계 LLM 기반 주석 파이프라인으로 분석했다.표본은 전체 agentic data에서 추출했다.
- B.1 주석 절차: 이 파이프라인은 층화된 200개 항목에서 taxonomy를 발견하고, 98개의 원시 제안을 11개의 서로 겹치지 않는 유형으로 통합한 뒤, 각 항목을 정확히 하나의 유형으로 분류했다.발견 단계에서는 20개 단위의 batch를 사용했으며 challenge-score 층화를 포함했다.
- B.1 주석 절차: 파싱 실패를 필터링한 뒤 1,000개 항목 중 687개가 유효한 주석을 받았다.
- B.2 질문 유형: taxonomy는 질문 유형을 세 범주인 추론, 지식, 혼합으로 구성한다.
- B.2 질문 유형: 추론 질문은 여러 단계의 유도, 분석 또는 증명을 요구하며, 기호 및 해석적 유도, 조합적 또는 구조적 분석, 확률적 또는 동역학적 분석, 스펙트럼·안정성·고유값 또는 최적화 분석을 포함한다.
- B.2 질문 유형: 지식 질문은 공식, 항등식 또는 정리의 직접 적용이나 사실 및 정의의 회상을 포함한다.회상이나 공식의 직접 적용을 통해 답할 수 있다.
- B.2 질문 유형: 혼합 질문은 영역 지식과 절차적 또는 모델링 기술을 결합하며, 물리적 모델링, 알고리즘적 계산, 데이터 기반 추론 또는 매개변수 추출을 아우른다.
B.3 분포 · C Subagent System Prompts
주석이 달린 샘플은 reasoning 중심 질문이 대부분을 차지하며, 이는 약한 solver와 강한 solver를 구분하는 challenging data를 생성하려는 Agentic Self-Instruct의 목표를 뒷받침한다. 부록은 iterative generation, verification, legal principle application, solver-based difficulty criteria를 프롬프트에 적용하는 multi-agent CS, legal, scientific-reasoning pipeline을 구체적으로 설명한다.
- B.3 분포: 주석이 달린 Principia 질문 687개 중 대략 절반은 추론 중심이고, 약 사분의 일은 혼합형이며, 오분의 일은 지식 중심이다.이 분포는 단순한 회상보다 다단계 추론을 강조하며, 약한 솔버와 강한 솔버를 구분하는 것을 목표로 한다.
- C Subagent System Prompts: 부록은 computer-science 및 legal pipeline에서 사용되는 Agentic Self-Instruct subagent의 system prompts와 wrapper formats를 재현한다.CS pipeline은 main agent, challenger, quality verifier를 사용하고, legal pipeline은 main agent, extractor, question-and-rubric writer, loop-judge를 사용한다.
- C.1 CS subagent prompts: CS pipeline은 challenger–quality-verifier–evaluation loop를 실행하며, 이 과정에서 challenger는 question, reference answer, weighted rubric을 만들고 verifier는 leakage, recall 대 reasoning, rubric quality를 점검한다.main agent는 이 단계들을 조율한 뒤 question을 채택할 시점을 결정한다.
- C.2 Legal subagent prompts: legal pipeline은 하나의 legal document에서 extraction, question-and-rubric writing, loop-based judging을 조율한다.extractor는 document suitability를 평가하고 추출할 material을 식별하며, writer는 해당 document를 SOURCE OF LAW로 취급하고 현실적인 client-voiced question과 weighted rubric을 만든다.
- C.3 Scientific reasoning prompts: CS quality verifier는 전체 paper를 읽고 context와 question이 함께 genuine reasoning을 거치지 않고도 answer를 유출하는 경우 package를 거부한다.paper의 methods나 contributions를 단순히 설명하는 것과 answer leakage를 구분한다.
- C.3 Scientific reasoning prompts: legal loop-judge는 rubric으로 점수화된 rollout이 meaningful score variance를 통해 유용한 GRPO training signal을 제공하는지 평가한다.rollout이 거의 동일한 score에 몰리면 advantage signal이 사라지고 training step에서 compute가 낭비된다.