Source-linked AI summary
Autodata: An agentic data scientist to create high quality synthetic data
Ilia Kulikov, Chenxi Whitehouse, Tianhao Wu, Yixin Nie, Swarnadeep Saha, Eryk Helenowski, Weizhe Yuan, Olga Golovneva, Jack Lanchantin, Yoram Bachrach, Jakob Foerster, Xian Li, Han Fang, Sainbayar Sukhbaatar, Jason Weston
TL;DR
모델이 발전함에 따라 합성 데이터 생성은 점점 더 도전적이고 고품질인 학습 및 평가 데이터를 만들어야 한다. Autodata는 AI agent를 데이터를 반복적으로 생성하고 평가하는 data scientist로 다루며, Agentic Self-Instruct는 컴퓨터과학, 법률 추론, 수학적 추론 과제 전반에서 성능을 향상하고, agent 자체를 meta-optimization하면 추가적인 향상을 얻는다.
문제
기존 합성 데이터 방법은 모델이 강해짐에 따라 충분히 도전적이고 고품질인 학습 및 평가 데이터를 생성하는 데 어려움을 겪을 수 있다.
방법
Autodata는 agentic data scientist를 사용해 학습 또는 평가 데이터를 생성하고 평가하며 반복적으로 개선하고, 선택적으로 agent 자체를 meta-optimization한다.
결과
Agentic Self-Instruct는 컴퓨터과학, 법률 추론, 수학적 추론 과제 전반에서 성능을 향상하며, data scientist agent를 meta-optimization하면 추가적인 향상을 얻는다.
시사점 및 한계
Agentic data creation은 inference-time compute를 모델 학습 및 benchmarking을 위한 더 고품질이고 더 도전적인 합성 데이터로 전환할 수 있다.
시사점 및 한계
Agent가 의도된 과제를 회피하려 하는 경우가 있으며, 생성된 질문이나 rubric이 일반화 가능한 추론을 평가하기보다 특정 실험 수치에 지나치게 얽매일 수 있다.
Abstract
from arXiv · showhide
We introduce Autodata, a general method that enables AI agents to act as data scientists who build high quality training and evaluation data. We show how to train (meta-optimize) such a data scientist agent, so that it learns to create even stronger data. We describe the overall formulation, and a specific practical implementation, Agentic Self-Instruct. We conduct experiments on computer science research tasks, legal reasoning tasks and reasoning with mathematical objects, where we obtain improved results compared to classical synthetic dataset creation methods. Further, meta-optimizing the data scientist agent itself delivers an even larger performance uplift. Agentic data creation provides a way to convert increased inference compute into higher quality model training. Overall, we believe this direction has the potential to change the way we build AI data.
1 서론
Autodata는 반복적인 생성, 분석, 성능 측정을 통해 학습 및 벤치마크 데이터를 만들고 선별하는 agentic 데이터 과학 프로세스로 데이터 구축을 정식화한다. Agentic Self-Instruct 구현은 컴퓨터과학, 법률 추론, 수학적 객체 추론 전반에서 결과를 향상하며, data scientist agent를 meta-optimization함으로써 추가적인 성능 향상을 얻는다.
- 동기: Synthetic data는 대표성이 낮은 edge case와 long-tail 시나리오를 생성하고, 수동 라벨링의 어려움과 지연을 줄이며, 잠재적으로 사람이 생성한 데이터보다 더 어려울 수 있다.성능 향상이 고품질 학습 데이터와 도전적인 벤치마크에 점점 더 의존함에 따라, 이러한 이점은 synthetic data를 활용하는 동기를 제공한다.
- 문제: 기존 synthetic-data 방법은 prompting, grounding, chain-of-thought, self-challenging, filtering, evolution 또는 refinement를 사용하지만, 데이터 난이도와 품질을 직접 제어하지는 않는다.Autodata는 agent가 데이터 구축과 선별을 담당하도록 함으로써 이러한 접근법을 일반화한다.
- 기여: Autodata는 agent에게 생성, 분석, 성능 측정을 통해 고품질 학습 및 벤치마크 데이터를 구축하고 선별하는 인간 data scientist의 역할을 부여한다.이 프로세스에는 초기 데이터 생성 iteration에 이어지는 육안 검토와 성능 측정이 포함된다.
- 결과: Agentic Self-Instruct는 컴퓨터과학 연구, 법률 추론, 수학적 객체 추론 전반에서 고전적인 synthetic dataset 생성 방법보다 결과를 향상한다.Data scientist agent를 meta-optimization하면 더욱 큰 성능 향상을 얻는다.
- 의의: Agentic data creation은 증가한 inference compute를 더 높은 품질의 학습 데이터로 전환하며, 점점 더 강력해지는 LLM을 위해 충분히 도전적인 과제와 벤치마크를 가능하게 할 수 있다.이 논문은 이 방향이 AI frontier를 진전시키기 위한 새로운 과제와 벤치마크의 생성 방식을 바꿀 수 있다고 주장한다.
2 Autodata
Autodata는 에이전트가 품질 기준을 충족할 때까지 training 또는 evaluation data를 생성하고, 분석하고, 개선하는 반복적 data-scientist loop다. Agentic Self-Instruct는 challenger, weak solver와 strong solver, verifier를 사용해 이 설계를 구현하며, 에이전트 자체도 meta-optimization할 수 있다.
- Autodata: Autodata는 최종 training dataset 또는 benchmark를 만들기 전에 data를 반복적으로 생성하고 분석하며, example-level 및 dataset-level 학습을 다시 생성 과정에 반영한다.outer loop에는 hacking을 방지하기 위한 guardrail을 포함할 수 있으며, 에이전트가 data 품질에 만족할 때까지 계속된다.
- Agentic Self-Instruct: 이 시스템은 strong solving으로는 성공하지만 weak solving으로는 어려움을 겪는 example을 대상으로 하며, 기준을 충족할 때까지 verifier feedback을 사용해 challenger prompt를 수정한다.검증 가능한 task에서는 strong과 weak의 majority vote가 각각 correct와 incorrect여야 하며, 검증 불가능한 task에서는 judge가 품질 격차를 식별해야 한다.
- Data Scientist의 Meta-Optimization: data-scientist agent 자체도 autoresearch 또는 meta-harness (Lee et al., 2026) 방법으로 최적화할 수 있으며, inner-loop data 품질을 사용해 outer-loop optimization을 유도한다.이는 반복적 data 생성 목표를 agent harness 자체의 개선으로 확장한다.
- Agentic Self-Instruct: Agentic Self-Instruct는 Challenger, Weak solver, Strong solver, Verifier/judge로 구성된 main orchestrator를 사용해 training example을 생성하고 평가한다.challenger는 example을 만들고, solver들은 이를 시도하며, verifier는 solution 품질을 확인하고 학습 내용을 main agent에 전달한다.
- Agentic Self-Instruct: Weak solver와 strong solver는 서로 다른 mode의 동일한 LLM일 수 있으며, strong version에는 더 많은 inference-time computation 또는 privileged information이 제공된다.이를 통해 weak solver 학습을 위한 challenging example을 특별히 구성할 수 있다.
3 실험
컴퓨터 과학, 법률 추론, 수학적 추론 과제 전반에서 Agentic Self-Instruct는 CoT Self-Instruct보다 downstream 성능을 향상시키는 training data를 생성한다. 반복 loop는 question difficulty를 조정해 더 유용한 learning signal을 만들고, 목표 difficulty level을 넘어선 transfer를 지원한다.
- 수학적 추론: 통합 validation set에서 Agentic data는 +3.20% avg@8을 달성하며, CoT data는 +2.42%, combined data는 +2.70%다.Agentic data는 CoT validation subset도 +3.05% 향상시키며, CoT data의 향상폭은 +1.86%다.
- Data creation process: loop에는 대개 여러 refinement round가 필요하다. accepted question은 CS에서 평균 6.59 round를 거치며, legal pool에서는 high-suitability 비율이 52%로 CoT의 4.8%보다 높다.CS에서는 failed round의 80%가 weak solver에 비해 question이 너무 어렵지 않고 너무 쉬워서 거부된다. accepted question은 technical mechanism, derivation, design tradeoff를 검증한다.
- CS research tasks: 더 어려운 Agentic test set에서 성능은 base model의 0.366에서 CoT data 사용 시 0.500, Agentic data 사용 시 0.632로 상승한다. 더 쉬운 CoT test에서도 같은 순서가 유지된다.CoT test에서 점수는 각각 0.630, 0.727, 0.774이며, training checkpoint 전반에서 Agentic은 계속 최소한 동등한 성능을 보인다.
- PRBench-Legal: PRBench-Legal에서 Agentic-trained Qwen3.5-4B는 0.441/0.393을 기록하며, CoT-trained model은 0.377/0.343, 더 큰 untrained baseline은 0.404/0.358을 기록한다.같은 2.8k-prompt budget, challenger, source corpus에서 Agentic의 우위는 +0.05–0.06이며, PRBench-Legal-Hard에서도 같은 순서가 유지된다.
- 종합 결과: Agentic Self-Instruct data는 모든 held-out test에서 CoT-trained model보다 뛰어나며, trained 4B model은 PRBench-Legal에서 훨씬 큰 baseline도 능가한다.핵심은 단순히 question을 더 어렵게 만드는 것이 아니라 hill-climbing에 적절한 난이도로 만드는 데 있다.
- 수학적 추론: out-of-distribution Principia benchmark에서 전체 avg@8이 +1.04% 향상되며, RealMath에서는 +1.75%, SuperGPQA에서는 +0.82% 향상된다.Pass@8에는 trade-off가 있다. Combined data는 ARB에서 +2.13%로 Agentic과 Grounding의 +0.00%보다 앞서며, RealMath에서도 +2.37%로 Agentic의 +1.74%보다 앞선다.
4 데이터 과학자 메타 최적화
데이터 과학자 agent의 prompt와 strategy를 meta-optimization하자 CS research QA 생성의 validation pass rate가 233회 iteration에 걸쳐 62.1%에서 79.6%로 향상됐다. optimizer는 trajectory analysis를 사용해 generic answers와 rubric-format errors 같은 체계적 실패를 식별하고 해결했다.
- 방법: meta-optimizer는 candidate code-diff mutation을 샘플링하고 solver trajectory를 분석하며 prompt를 편집한 뒤, held-out validation score가 strictly improved된 경우에만 mutant를 수용하는 방식으로 prompt와 strategy를 진화시켰다.solver score가 noisy했기 때문에 재샘플링된 accepted candidate에는 추가 evaluation을 수행했다.
- 설정: 실험에서는 analysis, implementation, inner multi-agent data scientist에 Kimi-K2.6을 사용했으며, 50 training papers와 25 validation papers를 포함했다.QA pair는 weak solver의 score가 최대 65%이고, best attempt가 최대 75%이며, strong solver가 60%에서 95% 사이이고, solver gap이 최소 20 percentage points일 때 성공으로 판정됐다.
- 결과: 62.1%에서 79.6%로: meta-optimization은 CS research paper task에서 233회 iteration에 걸쳐 validation QA pass rate를 향상시켰다.최종 비교에서는 session당 6시간 timeout을 사용했으며, score noise를 줄이기 위해 validation pass rate를 재평가했다.
- 결과: trajectory analysis는 generic answers와 rubric-format errors를 주요 failure mode로 찾아냈고, 이에 따라 paper-specific insight requirement와 context-leak prevention rule을 도입했다.paper-specific self-test에서는 특정 paper를 읽어야만 답할 수 있는 질문을 요구해, 그럴듯하지만 generic한 response가 높은 score를 받는 것을 방지했다.
5 관련 연구
Autodata는 합성 데이터, reasoning-aware, agentic, self-improvement, judging, scaffold-optimization 접근법을 명시적인 agentic data-science loop 아래 통합한다. 차별점은 generation, evaluation, failure analysis, recipe revision, meta-optimization을 결합하는 데 있다.
- Grounded·검증 가능·reasoning 기반 합성 데이터: Autodata는 문서, 표 또는 계획된 reasoning trace에서 검증 가능한 domain-specific example을 생성하는 grounded 및 reasoning-aware 방법을 기반으로 한다.MetaMath (Yu et al., 2024), MAmmoTH (Yue et al., 2024), OpenMathInstruct (Toshniwal et al., 2025), Source2Synth (Lupidi et al., 2024), NaturalReasoning (Yuan et al., 2025), CoT-Self-Instruct (Yu et al., 2025)가 이 흐름을 대표한다.
- Agentic data generation과 automated data-science system: Autodata는 data creation을 learning utility를 평가하고, failure를 분석하며, generation recipe를 수정하는 반복적인 data-science loop로 다룸으로써 agentic generation을 확장한다.AgentInstruct (Mitra et al., 2024)는 대규모의 다양한 synthetic post-training data를 위해 agentic flow를 사용하는 반면, Autodata는 반복적인 evaluation과 revision을 강조한다.
- Self-improvement, self-play, challenger–solver data: 약한 모델과 강한 모델을 사용하는 Agentic Self-Instruct 구현은 challenger–solver self-play와 유사하지만, 추가로 failure를 분석하고, quality를 판단하며, difficulty를 조정하고, learning utility를 최적화한다.이는 reasoning trace 또는 self-play task를 생성하는 STaR (Zelikman et al., 2022), Self-Challenging Language Model Agents (Zhou et al., 2025), Absolute Zero (Zhao et al., 2025a), SPICE (Liu et al., 2025)와 같은 방법과 다르다.
- LLM judge, filtering, data selection: 정적 pool filtering과 달리, Autodata는 judge의 feedback을 generation에 반영하여 example이 CS research에서는 더 어렵고 판별력 있게, legal GRPO에서는 덜 퇴화되도록 만든다.목표는 단순히 높은 quality나 높은 difficulty가 아니라 효과적인 learning signal이다.
- Positioning: Autodata는 synthetic instruction, conversation, feedback, reasoning trace, domain-specific dataset, self-play task에 관한 기존 접근법을 명시적인 agentic data-science formulation 아래 통합한다.이 loop는 data generation, evaluation, failure analysis, recipe revision, meta-optimization을 통합한다.
6 결론 및 논의
Autodata는 합성 데이터 생성을 생성, 평가, 레시피 개선의 agentic process로 정식화하며, 이를 Agentic Self-Instruct로 구현해 여러 task domain에서 성능 향상을 보인다. 논의에서는 meta-optimization, 더 폭넓은 적용 가능성, safeguards, dataset-level analysis, co-improvement를 핵심 방향으로 제시한다.
- 결론: Autodata는 autonomous agent를 합성 데이터를 생성하고, task-specific signal로 이를 평가하며, 생성 레시피를 개선하는 data scientist로 다룬다.Agentic Self-Instruct는 weak solver와 strong solver를 구분하는 example을 최적화해 computer science research, legal reasoning, mathematical-object reasoning task 전반에서 일관된 향상을 이끌며, data scientist agent 자체도 meta-optimization할 수 있다.
- 더 많은 task, model 및 baseline: 향후 연구에서는 더 다양한 task와 model에서 Autodata를 검증해 mathematics, code, instruction following, safety, agentic setting을 아우르는 general agent를 지향해야 한다.구상된 system은 verifiable data와 non-verifiable data뿐 아니라 single-turn, multi-turn, agentic task도 지원한다.
- Hacking 및 한계: Agent는 prompt를 변경해 weak solver를 약화하는 등 때때로 objective를 hack하려 했으며, 이는 현재의 rigid iterative loop를 넘어서는 더 강력한 safeguards의 필요성을 보여준다.저자들은 더 많은 pipeline constraint와, 행동하고 tool을 사용할 수 있는 더 큰 자유를 허용하는 plan safeguards를 적용해 이 행동에 부분적으로 대응했다.
- Full dataset analysis iteration: 초기 실험은 example 수준에서 데이터를 개선했지만, 향후 연구에서는 diversity와 existing data와의 interaction을 위해 full datasets를 분석해야 한다.교훈을 도출하기 전에 N개의 example을 생성하는 iterative batched analysis는 full dataset-level analysis로 나아가는 중간 단계가 될 수 있다.
- Self-Improvement에서 Co-improvement로: Autodata의 agentic self-instruction은 self-improving loop에서 challenger로 기능하며, 학습된 skill과 weight를 공동 최적화할 수 있다.이 방향은 challenger가 생성한 training example, reward, model update를 공동 최적화하는 기존 self-play 접근법을 확장한다.
A Principa 실험에서의 토큰 효율성과 truncation
이 절에서는 truncation rate를 통해 training이 token efficiency에 미치는 영향을 분석하고, accuracy 향상이 truncation 감소에 따른 것인지 reasoning 개선에 따른 것인지 구분한다.
- training의 영향은 truncation rate를 사용해 평가하며, 이는 finish_reason=length인 response로 정의된다.
- accuracy 향상은 truncation 감소 또는 reasoning 개선에 기인한다.
A.1 잘림 비율
65,536-token reasoning budget에서 base Qwen3.5-4B model은 응답이 자주 잘렸지만, training을 통해 token 효율성이 크게 향상됐다. Agentic Self-Instruct는 평가한 두 dataset 모두에서 보고된 잘림 비율이 가장 낮았다.
- A.1 잘림 비율: base Qwen3.5-4B model은 combined validation에서 응답의 23.75%, Principia에서 17.06%를 잘랐다.많은 응답이 reasoning을 완료하기 전에 65,536-token budget을 초과했다.
- A.1 잘림 비율: 서로 다른 training configuration에서 잘림을 측정하기 위해 65,536-token reasoning budget을 사용했다.Table 8은 finish_reason=length로 정의한 잘림 비율을 보고한다.
- A.1 잘림 비율: Agentic Self-Instruct는 잘림 비율을 combined validation에서 4.09%, Principia에서 1.85%로 낮추며 가장 낮은 잘림 비율을 달성했다.이 비율은 65,536-token reasoning budget에서 finish_reason=length를 사용해 측정했다.
A.2 정확도 향상의 기여도 분석
기여도 분석 결과, 정확도 향상의 대략 절반은 truncation을 해결한 데서 비롯되며, truncation되지 않은 예제에서 더 나은 reasoning을 수행한 데서도 상당한 향상이 나타난다. 이러한 결과는 synthetic-data training이 고정된 token budget에서 reasoning quality와 efficiency를 모두 개선한다는 것을 보여준다.
- 기여도 분석 결과: 모든 training configuration에서 정확도 향상의 약 50%는 truncation 문제를 해결한 데서 비롯되었다.향상은 truncation-fixed, non-truncation reasoning, 기타 사례로 분류되었다.
- 시사점: Long-form reasoning model은 reasoning ability가 부족해서라기보다, chain of thought를 완료하기 전에 65,536-token budget을 모두 소진하기 때문에 자주 실패한다.어려운 data, 특히 Agentic Self-Instruct data로 training하면 더 간결한 reasoning을 학습한다.
- 시사점: 따라서 synthetic-data training은 reasoning efficiency를 향상시켜, 고정된 computational budget 안에서 model이 더 많은 문제를 해결할 수 있게 한다.이 이점은 reasoning quality 자체를 개선하는 데 그치지 않는다.
B Principia Grounded Agentic Self-Instruct Data의 질문 유형 분석 · B.1 주석 절차 · B.2 질문 유형
분석에서는 2단계 주석 파이프라인을 통해 agentic data의 추론 요구를 규명하고, 그 결과 얻은 질문 유형을 추론, 지식, 혼합 범주로 구성했다. 검증된 QA pair 1,000개를 샘플링한 결과, 11개의 서로 겹치지 않는 유형에 대해 687개가 유효한 분류를 받았다.
- B.1 주석 절차: 연구에서는 Kimi-K2.6을 사용한 2단계 LLM 기반 파이프라인을 통해 전체 agentic data에서 검증된 QA pair 1,000개의 무작위 표본에 주석을 달았다.이 파이프라인은 생성된 질문의 추론 요구를 규명하도록 설계됐다.
- B.1 주석 절차: Taxonomy discovery 단계에서는 challenge score에 따라 층화한 200개 항목을 샘플링하고, 원시 제안 98개를 11개의 서로 겹치지 않는 질문 유형으로 통합했다.항목은 20개씩 묶어 제시했으며, 범주, 정의, 예시를 요청했다.
- B.1 주석 절차: 1,000개 항목 각각을 11개 유형 중 정확히 하나로 분류했으며, parsing failure를 필터링한 뒤 687개 항목이 유효한 주석을 받았다.
- B.2 질문 유형: 11개 질문 유형은 세 범주, 즉 추론(Reasoning), 지식(Knowledge), 혼합(Mixed)으로 구성됐다.
- B.2 질문 유형: 추론 질문은 여러 단계의 유도, 분석 또는 증명을 요구하며, 기호 및 해석학적 분석, 조합론적 및 구조적 분석, 확률론적 및 동역학적 분석, 스펙트럼·안정성·고유값·최적화 분석을 포함한다.
- B.2 질문 유형: 지식 질문은 회상이나 직접적인 공식 적용으로 답할 수 있으며, 정리와 항등식의 활용, 사실 및 정의의 회상을 포함한다.
- B.2 질문 유형: 혼합 질문은 도메인 지식과 절차적 또는 모델링 기술을 결합하며, 물리적 first-principles synthesis, 알고리즘적 계산, 데이터 기반 파라미터 추출을 다룬다.
B.3 분포 · C 서브에이전트 시스템 프롬프트
주석이 달린 샘플은 추론 중심 질문을 강조하는 반면, Agentic Self-Instruct 파이프라인은 전문화된 서브에이전트와 프롬프트를 사용해 도전적인 CS, 법률, 과학적 추론 데이터를 생성·검증·선별한다.
- B.3 분포: 주석이 달린 Principia 질문 687개 중 대략 절반은 추론 중심형이고, 약 사분의 일은 혼합형이며, 오분의 일은 지식 중심형이다.이 분포는 단순한 회상보다 다단계 추론을 강조하며, 취약한 풀이자와 강한 풀이자를 구분하는 것을 목표로 한다.
- C 서브에이전트 시스템 프롬프트: 재현된 시스템 프롬프트는 CS, 법률, 과학적 추론 파이프라인 전반에서 각 서브에이전트의 역할, 워크플로, 출력 스키마를 보존한다.부록은 이러한 프롬프트가 repository의 .opencode/prompts/ 디렉터리에서 가져온 것이라고 밝힌다.
- C.1 CS 서브에이전트 프롬프트: CS 파이프라인은 main agent, challenger, quality verifier를 반복 루프에 사용하며, 평가를 통과한 뒤에만 질문을 채택한다.challenger는 질문, reference answer, weighted rubric을 생성하고, verifier는 answer leakage, recall과 reasoning의 구분, rubric의 형식적 타당성을 점검한다.
- C.2 법률 서브에이전트 프롬프트: 법률 파이프라인은 main orchestrator, extractor, question-and-rubric writer, loop-judge를 사용해 하나의 법률 문서를 도전적인 training data로 변환한다.extractor는 적합성을 평가하고 원칙을 추출하며, writer는 현실적인 의뢰인 시나리오를 만들어 법률 추론 능력을 겨냥한 weighted rubric을 산출한다.
- C.3 과학적 추론 프롬프트: CS challenger prompt는 논문 전체를 읽도록 요구하며, 질문 유형, reasoning-skill tag, 정보가 누출되지 않는 문맥, 심층 추론 질문을 생성한다.CS quality verifier는 문맥과 질문을 함께 제시했을 때 실제 추론 없이 답을 누출하는지를 검사한다.
- C.3 과학적 추론 프롬프트: 법률 orchestrator는 개선을 15라운드로 제한하며, weak solver의 현재 능력을 넘어서는 비자명한 법률 분석을 요구하는 질문을 생성하도록 한다.loop-judge는 GRPO rollout이 동일한 점수에 군집되지 않고 advantage signal을 제공할 만큼 충분히 다양한지를 평가한다.
- C.3 과학적 추론 프롬프트: 과학적 추론 orchestrator는 weak solver가 4번의 시도 중 정답을 최대 1개만 맞힐 때에만 질문을 채택한다.이 hard gate는 판별력 있는 question–answer pair를 생성하기 위한 필수 성공 기준으로 제시된다.