Autodata: An agentic data scientist to create high quality synthetic data

1 서론

• 합성 데이터는 충분히 포함되지 않은 예외 사례를 다루고, 수작업 라벨링의 어려움과 지연 시간을 줄이며, 사람이 만든 데이터보다 더 어려운 예제를 생성할 수도 있다.고품질 학습 데이터와 모델에 지속적으로 도전 과제를 제공하는 벤치마크가 최첨단 AI 발전을 점점 더 뒷받침하고 있다.출처: §1 · pp. 1–2
• 기존 합성 데이터 생성 방법은 난도와 품질을 직접 제어하지 못해 필터링(Yu et al., 2025), 진화(Xu et al., 2024), 정제(Shah et al., 2024) 기법이 도입되었다.이러한 기존 접근법에는 Self-Instruct (Wang et al., 2023), 문서 기반 생성(Lupidi et al., 2024; Yuan et al., 2025), Chain-of-Thought 생성(Yu et al., 2025), 도구를 사용하는 도전 과제 생성 에이전트(Zhou et al., 2025)가 포함된다.출처: §1 · p. 2
• Autodata 에이전트는 학습용 또는 벤치마크용 데이터를 반복적으로 생성·선별하고, 예제를 검토하며, 성능을 측정하고, 교훈을 도출해 생성 절차를 수정한다.외부 메타 최적화 루프는 에이전트 시스템이 내부 루프에서 데이터 과학자로서 더 잘 수행하도록 학습한다.출처: §1 · p. 2
• Agentic Self-Instruct는 컴퓨터 과학 연구, 법률 추론, 수학적 객체 추론에서 기존 합성 데이터 생성 방법보다 나은 성능을 보이며, 데이터 과학자 에이전트를 메타 최적화하면 성능이 더욱 향상된다.서론에서는 수치 결과 없이 이러한 개선을 정성적으로 제시한다.출처: §1 · p. 2
• 에이전트 기반 데이터 생성은 기존 과제가 더 이상 충분히 어렵지 않을 때 난도 높은 데이터를 만들어, 늘어난 추론 연산량을 모델 학습의 질 향상으로 전환한다.저자들은 이 접근법을 더 강력한 모델에도 계속 도전 과제를 제공하는 새로운 과제와 벤치마크를 만드는 방법으로 제시한다.출처: §1 · p. 2

2 Autodata

• Autodata는 제공된 자료에 근거해 도구, 기존에 습득한 기술, 추론 시점 연산을 활용하여 학습 또는 평가 데이터를 생성한다.분석과 새로 얻은 통찰을 바탕으로 생성을 반복해 데이터를 더 개선할 수 있다.출처: §2 · p. 2
• Autodata는 품질이 만족스러울 때까지 데이터 생성과 분석을 번갈아 수행한 뒤 최종 학습 데이터셋이나 벤치마크를 만든다.분석에서는 개별 예제의 정답 여부·품질·난도나 데이터셋의 다양성·학습 유용성을 평가하고, 얻은 통찰을 후속 반복에 반영할 수 있다. 외부 루프에는 편법을 방지하는 안전장치를 포함할 수 있다.출처: §2 · p. 2
• Autodata는 내부 루프에서 얻은 데이터 개선 기준으로 외부 루프의 에이전트 최적화를 유도하여 데이터 과학자 에이전트의 하네스를 메타 최적화할 수 있다.제안된 접근법으로는 autoresearch 및 meta-harness (Lee et al., 2026) 방식의 최적화가 있다.출처: §2 · p. 3

2.1 구체적 구현: Agentic Self-Instruct

• Agentic Self-Instruct는 오케스트레이터에 네 개의 LLM 하위 에이전트, 즉 예제를 생성하는 출제 에이전트, 약한 풀이 에이전트와 강한 풀이 에이전트, 품질 피드백을 제공하는 검증·평가 에이전트를 둔다.생성된 예제는 약한 풀이 에이전트에게는 어렵고 강한 풀이 에이전트는 해결할 수 있어야 한다.출처: §2.1 · p. 3
• Agentic Self-Instruct는 강한 풀이 에이전트는 풀지만 약한 풀이 에이전트는 어려워하는 예제를 찾으며, 기준을 충족할 때까지 검증 에이전트의 피드백으로 출제 프롬프트를 수정한다.검증 가능한 과제에서는 강한 풀이 에이전트의 다수결 답변은 정답이고 약한 풀이 에이전트의 다수결 답변은 오답이어야 한다는 조건을 사용할 수 있다. 검증 불가능한 과제에서는 평가 에이전트가 측정한 품질 격차를 약한 풀이 에이전트 기준으로 보정해 적용한다. 평가 에이전트는 질문, 기준 답안 또는 생성된 평가 기준표도 점검한다.출처: §2.1 · pp. 3–4
• 약한 풀이 에이전트와 강한 풀이 에이전트는 서로 다른 모델이 아니라 서로 다른 모드로 작동하는 동일한 LLM일 수 있다.강한 모드에는 스캐폴딩이나 집계 (Zhao et al., 2025b)를 포함한 추가 추론 시점 연산을 제공하거나, 일반적으로 주어지지 않는 정보에 대한 접근을 허용할 수 있다.출처: §2.1 · p. 4

3.1.1 Agentic Self-Instruct 반복 과정 분석

• 약한 풀이 모델의 점수 0.677 →0.458과 강한 풀이 모델의 점수 0.696 →0.772는 채택된 CS 질문이 CoT로 생성한 질문보다 모델 간 성능을 더 잘 구분함을 보여준다.질문이 채택되기까지 평균 6.59회의 반복이 필요하다. 채택 전 880회 중 80%는 질문이 너무 쉬워서, 13%는 강한 풀이 모델도 어려워해서 탈락한다. 피드백은 일반적인 요약에서 벗어나 기술적 메커니즘, 다단계 유도, 수치적 주장, 논문 고유의 설계 절충점을 다루도록 유도한다.출처: Table 1 · p. 4, §3.1.1 · pp. 5–6

3.1 컴퓨터 과학 연구 과제

• CS 데이터 생성에서는 논문에 근거한 개방형 질문과 가중치가 부여된 평가 기준을 반복적으로 수정하며, 강한 풀이 모델은 풀 수 있지만 약한 풀이 모델에는 어려운 질문을 채택한다.모델별 세 번의 시도에서 강한 모델 점수 ≥0.65, 약한 모델 점수 <0.5, 강한 모델−약한 모델 점수 차 ≥20퍼센트포인트를 충족해야 채택된다. 검증기는 정보 누출, 평가 기준의 포괄성, 질문 품질을 점검한다. 탈락한 후보에는 다른 추론 관점을 유도하는 맞춤형 피드백을 제공한다.출처: §3.1 · p. 4

3.1.2 RL 훈련 결과

• 200단계에서 Agentic 데이터로 훈련한 Qwen3.5-4B의 mean@3은 CoT CS 테스트에서 0.774, Agentic CS 테스트에서 0.632로, CoT 데이터로 훈련한 모델의 0.727과 0.500을 각각 웃돈다.두 모델 모두 각 데이터 출처의 예제 1.3k개로 GRPO 훈련을 받으며, Kimi-K2.6이 생성된 평가 기준에 따라 응답을 채점한다. Agentic은 두 테스트 세트의 모든 검증 체크포인트에서 CoT와 같거나 높은 성능을 보이며, best@3도 같은 순서를 따른다.출처: Table 2 · p. 5, §3.1.2 · p. 6

3.2.1 Agentic Self-Instruct 반복 과정 분석

• 약한 풀이 모델의 프롬프트별 롤아웃 표준편차 7.93 →12.63과 평균 점수 15.9% →28.3%는 법률 과제의 보상을 GRPO에 더 유용하게 만든다.약한 모델과 강한 모델의 점수 차는 55.8에서 41.5점으로 좁아져 CS와 반대 양상을 보이면서도, 학습 신호가 거의 사라지는 상황을 피한다. GRPO 적합성이 높다는 판정은 4.8%에서 52%로 늘어난다. 채택까지 필요한 반복 횟수의 중앙값은 네 번이며, 질문은 평가 기준의 밀도를 유지하면서 더 짧고 적용 중심적으로 바뀐다.출처: Table 3 · p. 7, §3.2.1 · pp. 7–8

3.2 법률 추론 과제 / “더 어렵게” 대 “적절하게”

• 법률 데이터 생성에서는 고정된 CS 임계값 대신 데이터 품질과 GRPO 적합성을 평가하는 판정 모델을 사용해, 난도를 극대화하기보다 지나치게 어려운 질문을 개선한다.추출기가 법률 문서를 구조화한 뒤 질문과 평가 기준을 생성하며, 각 후보에 대해 약한 풀이 모델의 롤아웃 다섯 개와 강한 풀이 모델의 롤아웃 세 개를 얻는다. 판정 모델은 롤아웃 분산, 모델 간 변별력, 평가 기준의 문제점을 고려해 고정된 채택 임계값 없이 후보를 채택하거나 구체적인 수정 피드백을 제공한다.출처: §3.2 · p. 7, “More Challenging” vs “Just Right” · p. 9

3.2.2 RL 훈련 결과

• GPT-5가 채점한 PRBench-Legal에서 Agentic 데이터로 훈련한 Qwen3.5-4B는 0.441로, CoT 데이터로 훈련한 Qwen3.5-4B(0.377)와 훈련하지 않은 Qwen3.5-397B-A17B 기준 모델(0.404)을 앞선다.Kimi가 채점한 점수도 각각 0.393, 0.343, 0.358로 같은 순서를 보이며, 두 채점 모델은 PRBench-Legal-Hard에서도 같은 순위를 매긴다. Agentic과 CoT는 동일하게 프롬프트 2.8k개의 훈련 예산을 사용하며, Agentic은 평가한 모든 훈련 체크포인트에서 앞선다.출처: Table 4 · p. 8, §3.2.2 · pp. 8–9, Figure 5 · p. 8

3.3 과학 추론 / 3.3.1 RL 훈련 결과

• 과학 추론 통합 검증에서 avg@8 향상 폭은 Agentic 데이터가 +3.20%로 CoT(+2.42%)와 Combined(+2.70%)를 앞서며, Combined는 훈련 데이터를 두 배 사용한다.실험에서는 Principia 자료 모음(Aggarwal et al., 2026)에 근거한 수학적 객체 문제를 생성하며, 개별 데이터 출처는 훈련 예제 9k개, Combined는 18k개를 사용한다. Agentic은 분포 외 Principia 전체에서도 가장 높은 avg@8 향상 폭(+1.04%)을 달성하며, CoT 검증 하위 집합에서는 CoT 훈련의 +1.86%보다 높은 +3.05%의 향상을 보인다.출처: §3.3.1 · pp. 9–10, §3.3 · p. 9, Table 5 · p. 10

3.3.1 RL 훈련 결과

• RealMath의 pass@8 향상 폭은 Combined가 +2.37%로 Agentic(+1.74%)을 앞서며, Agentic의 평균 성능 우위가 모든 정답 포괄성 지표로 이어지지는 않음을 보여준다.ARB의 pass@8 향상 폭도 Combined가 +2.13%인 반면 Agentic과 Grounding은 모두 +0.00%다. Agentic 훈련은 65,536토큰 예산에서 추론이 잘리는 비율을 23.75%에서 4.09%로 줄이며, 정확도 향상의 약 절반은 더 토큰 효율적인 추론에 기인한다.출처: §3.3.1 · p. 10

방법

• 진화적 메타 최적화는 에이전트의 스캐폴드를 코드 형태로 수정하고, 내부 루프의 평가 기준으로 프롬프트와 전략을 최적화한다.T=0.1인 Boltzmann 샘플링으로 부모를 선택해 학습 미니배치 평가, 궤적 기반 실패 분석, 코드 편집 변이를 수행한다. 병렬로 진행되는 반복 과정에서 결과를 기록하며, 별도로 남겨 둔 검증 논문에서 부모보다 엄격히 우수한 변이 후보만 채택한다. 부모를 반복 평가한 결과는 평균을 내어 잡음을 줄인다.출처: §4 · pp. 11–12

설정

• 학습 논문 50편과 검증 논문 25편으로 CS 과제의 메타 최적화를 수행하며, Kimi-K2.6이 실패 분석과 프롬프트 수정을 맡고 도전자·주 에이전트·검증자 역할을 수행한다.루브릭에 따른 성공 조건은 약한 풀이 모델 Qwen3.5-4B의 점수가 ≤65%, 이 모델의 최고 시도 점수가 ≤75%이며, 강한 풀이 모델 Qwen3.5-397B-A17B의 점수가 ≥60%이면서 ≤95%인 것이다. 강한 모델과 약한 모델의 점수 차이는 ≥20 퍼센트포인트여야 한다.출처: §4 · p. 12

결과

• CS 연구 논문 과제에서 데이터 과학자의 지침을 자동으로 진화시켜 검증 통과율을 62.1%에서 79.6%로 높였다.탐색은 233회 반복했다. 기준 하니스와 최종 진화된 하니스의 결과는 검증 샘플 100개에 대해 세션당 제한 시간을 6시간으로 설정해 얻었다.출처: Table 7 · p. 12, §4 · p. 12
• 자동으로 발견한 프롬프트는 논문별로 특화된 질문을 요구하고 문맥이 논문의 해법을 드러내지 못하게 하여, 약한 풀이 모델도 활용할 수 있는 일반적인 답변 문제를 해결한다.자체 시험으로 해당 논문을 읽지 않고도 답할 수 있는 질문을 배제하고, 문맥을 바꿔 말하기만 해도 답을 얻을 수 있으면 문맥을 다시 작성하도록 요구한다.출처: §4 · p. 12
• 자동으로 발견한 루브릭은 상한이 7인 양의 정수 가중치와 엄격한 JSON 형식을 사용해, 해로운 음수 가중치 평가 항목과 파싱 실패를 방지한다.음수 가중치 평가 항목은 변별력을 높이지 못한 채 강한 모델의 점수를 낮췄다. 구조화된 형식은 가중치가 문자열로 주어지는 등의 오류를 없앴다.출처: §4 · p. 12

합성 지시문과 정렬 데이터

• Self-Instruct (Wang et al., 2023)와 후속 합성 지시문 생성 방법은 대체로 고정된 파이프라인을 사용한다. 반면 Autodata는 예제를 평가하고 실패를 분석하며 생성 절차를 수정한다.기존 확장 연구에는 교사 모델 증류, 합성 대화, 선호도 피드백, 지시문 진화, 최소한의 프롬프팅을 통한 대규모 정렬 데이터 생성이 포함된다.출처: §5 · p. 13

근거 기반·검증 가능·추론 기반 합성 데이터

• Autodata는 근거 자료에 기반하고 도메인에 특화되며 추론을 고려하는 데이터 합성을 바탕으로, 풀이 모델의 동작과 평가자 피드백을 활용해 데이터를 대상 모델에 맞추는 명시적인 에이전트 반복 과정을 추가한다.기존 접근법에는 합성 수학 추론 데이터셋과 문서·표 기반 생성이 있으며, CoT-Self-Instruct (Yu et al., 2025)는 사고 사슬 기반 계획과 필터링을 사용한다.출처: §5 · p. 13

에이전트 기반 데이터 생성과 자동화된 데이터 과학 시스템

• AgentInstruct (Mitra et al., 2024)와 달리 Autodata는 학습 효용을 명시적으로 평가하고 생성 절차를 수정한다. Agentic Self-Instruct는 데이터 과학자 에이전트의 메타 최적화도 지원한다.약한 풀이 모델과 강한 풀이 모델의 동작 및 판정자 피드백을 통해 난도를 조정한다. 웹 수집 에이전트나 범용 데이터 과학 에이전트와 달리, 다른 모델을 위한 학습 또는 평가 데이터를 출력한다.출처: §5 · p. 13

자기 개선, 자기 대전, 출제 모델–풀이 모델 데이터

• Agentic Self-Instruct는 자기 개선 방법들과 출제 모델–풀이 모델 방식의 과제 생성을 공유하지만, 실패 분석, 품질 판정, 난도 조정을 통해 난도 자체보다 학습 유용성을 우선한다.관련 접근법으로는 STaR (Zelikman et al., 2022)의 추론 근거 부트스트래핑, Absolute Zero (Zhao et al., 2025a)의 검증 가능한 과제 자체 생성, SPICE (Liu et al., 2025)의 말뭉치 기반 출제 모델–추론 모델 학습이 있다.출처: §5 · pp. 13–14

LLM 판정자, 필터링, 데이터 선택

• Autodata는 단순히 예제를 필터링하는 데 그치지 않고 판정자 피드백을 생성 과정에 반영하며, 대상 모델에 효과적인 학습 신호를 제공하도록 난도를 조정한다.컴퓨터 과학 연구 예제는 더 어려워지고 변별력이 높아진다. 법률 추론 예제는 보상이 모두 0인 약한 모델의 롤아웃을 피함으로써 퇴화 양상이 줄고 GRPO에 더 적합해진다.출처: §5 · p. 14

자율 연구와 에이전트 실행 구조 최적화

• Autodata는 프롬프트와 에이전트 실행 구조의 최적화를 데이터 생성으로 확장한다. 외부 루프는 내부 루프의 데이터 품질 기준을 활용해 데이터 과학자 에이전트의 프롬프트와 전략을 개선한다.관련 접근법에는 GEPA (Agrawal et al., 2025)를 통한 반복적 최적화와 Meta-Harness (Lee et al., 2026)를 통한 종단 간 하네스 최적화가 있다.출처: §5 · p. 14

연구의 위치

• Autodata는 합성 데이터 접근법을 에이전트 반복 과정으로 통합하고, 더 강력한 추론 시점 모델과 더 큰 에이전트 연산 예산을 활용해 학습 및 평가 데이터를 개선한다.생성, 평가, 실패 분석, 생성 절차 수정, 메타 최적화가 모두 이 정식화에 포함된다.출처: §5 · p. 14

6 결론 및 논의

• Agentic Self-Instruct는 컴퓨터 과학 연구, 법률 추론, 수학적 객체 추론 전반에서 일관된 품질 향상을 달성했으며, 데이터 과학자 에이전트의 메타 최적화는 상당한 추가 개선을 이끌었다.이 방법은 성능이 낮은 풀이 모델과 높은 풀이 모델을 구별하는 예제를 명시적으로 겨냥한다. 메타 최적화는 수작업 프롬프트 설계 없이 에이전트를 개선했다.출처: §6 · p. 14

더 다양한 과제, 모델, 기준 방법

• Autodata의 자율 데이터 과학자는 합성 데이터를 생성·평가·개선한다. 향후에는 과제, 모델, 검증 가능성 조건, 상호작용 형식의 범위를 넓히고자 한다.평가에서는 과제별 신호를 활용해 생성 절차를 개선한다. 구상하는 범용 에이전트는 검증 가능한 데이터와 검증 불가능한 데이터를 모두 다루며, 단일 턴·다중 턴·에이전트형 과제를 포괄한다.출처: §6 · p. 14

편법과 한계

• 에이전트는 때때로 편법으로 목표를 달성하려 했으며, 생성된 질문 중 일부는 일반화 가능한 추론보다 특정 논문의 실험 수치를 물었다.약한 풀이 모델에 일부러 낮은 성능을 내도록 지시하는 등의 부정행위는 파이프라인에 제약을 추가해 일부 완화했다. 에이전트에 더 큰 자유와 도구 사용을 허용하려면 더 강력한 안전장치가 필요하다.출처: §6 · p. 15

전체 데이터셋 분석의 반복

• 현재 실험은 개별 예제를 최적화한다. 향후 데이터셋 수준 분석에서는 다양성과 기존 데이터셋과의 상호작용을 평가하며, 그 중간 단계로 배치 단위 분석을 반복할 수 있다.배치 방식에서는 에이전트가 N개의 예제를 생성하고 해당 배치에서 교훈을 도출해 다음 배치의 생성을 이끈다.출처: §6 · p. 15

자기 개선에서 공동 개선으로

• 인간–에이전트 공동 개선(Weston and Foerster, 2025)은 에이전트형 출제자와 풀이 모델의 공동 학습과 함께 주요 향후 연구 방향이다.공동 학습 순환에서는 출제자의 학습된 역량과 가중치를 풀이 모델과 함께 학습해, 여기서 탐구한 autoresearch 방식의 메타 학습을 확장할 수 있다. 저자들은 현재 학습 파이프라인에서 인간을 완전히 배제하기보다 인간 피드백과 공동 연구를 유지하는 쪽을 지지한다.출처: §6 · p. 15

• 응답 잘림률을 통해 학습이 토큰 효율성에 미치는 영향을 살펴본다.출처: A Token Efficiency and Truncation in… · p. 19
• 분석에서는 잘림 감소에 따른 정확도 향상과 추론 향상에 따른 정확도 향상을 구분한다.출처: A Token Efficiency and Truncation in… · p. 19
• 잘린 응답은 finish_reason=length로 식별한다.출처: A Token Efficiency and Truncation in… · p. 19

A.1 잘림률

• Grounding의 잘림률은 통합 검증 세트에서 10.00%, Principia에서 6.62%로, 기본 모델보다는 낮았지만 Agentic Self-Instruct보다는 높았다.모든 설정에서 동일한 65,536토큰의 추론 예산을 사용했다.출처: §A.1 · p. 19
• 학습 후 잘림률 감소는 모델이 토큰 예산 내에서 더 간결하고 효율적으로 추론하는 법을 학습함을 시사한다.이는 잘림률 결과에 대한 해석이며, 추론의 간결성을 직접 측정한 결과는 아니다.출처: §A.1 · p. 19
• Agentic Self-Instruct 학습 후 통합 검증 세트와 Principia의 잘림률은 각각 4.09%와 1.85%였으며, 기본 Qwen3.5-4B에서는 각각 23.75%와 17.06%였다.잘림은 응답이 추론을 마치기 전에 토큰 한도에 도달한 경우를 뜻한다.출처: Table 8 · p. 19, §A.1 · p. 19

A.2 정확도 향상 요인 분석

• 생성 결과 6,528쌍(816개 QA 문항 × 8회 생성)을 바탕으로 학습된 모델이 바로잡은 기반 모델의 오류 요인을 분석했다.오답에서 정답으로의 전환을 출력 잘림 해결(기반 모델은 잘렸으나 학습된 모델은 완료), 잘림과 무관한 추론 개선(둘 다 잘리지 않음), 기타로 분류했다. 기타에는 둘 다 잘렸지만 학습된 모델은 정답을 낸 경우도 포함된다.출처: §A.2 · p. 19
• Agentic Self-Instruct에서 오답이 정답으로 바뀐 945건 중 54.81%는 출력 잘림 해결에, 41.06%는 잘리지 않은 사례에서의 추론 개선에 기인했다.모든 학습 구성에서 정확도 향상의 약 50%는 출력 잘림 해결에서 비롯됐다.출처: Table 9 · p. 19, §A.2 · p. 19
• 고난도 합성 데이터, 특히 Agentic Self-Instruct 데이터로 학습하면 고정된 연산 예산 내에서 추론의 품질뿐 아니라 추론의 간결성도 높아지는 것으로 보인다.이 결과는 Qwen3.5-4B가 추론 능력이 부족해서라기보다 65,536토큰 예산을 소진해 실패하는 경우가 많음을 시사한다.출처: §A.2 · pp. 19–20

B.1 주석 절차

• 전체 에이전트 기반 데이터셋에서 검증된 QA 쌍 1,000개를 무작위로 추출해 Kimi-K2.6을 사용하는 2단계 주석 파이프라인에 투입했다.두 단계는 분류 체계 도출과 질문 유형 주석이다.출처: §B.1 · p. 20
• 제안된 범주 98개를 서로 겹치지 않는 11개 질문 유형으로 통합했다.분류 체계 도출에는 난도 점수에 따라 층화 추출한 200개 항목을 사용했으며, 20개씩 제시해 범주와 정의, 예시를 도출했다.출처: §B.1 · p. 20
• 파싱 실패 사례를 제외한 뒤 1,000개 항목 중 687개에 유효한 주석이 부여되었으며, 각 항목은 11개 유형 중 정확히 하나로 분류되었다.따라서 후속 유형 분석에 사용된 항목 수는 원래 무작위 표본보다 적다.출처: §B.1 · p. 20

B.2 질문 유형

• 추론 유형은 기호식 유도, 조합 및 구조 분석, 확률 및 동역학 분석, 스펙트럼 및 최적화 분석, 점근 분석, 형식적 증명을 포괄한다.대수 연산이나 미적분 연산을 연쇄적으로 수행하기, 안정성 분석, 극한 거동 도출, 명제의 증명이나 반증 등이 포함된다.출처: §B.2 · p. 20
• 지식 질문은 공식·항등식·정리를 직접 적용하거나 사실과 정의를 회상하는 문제다.공식 적용은 알려진 공식이나 정리를 선택해 한두 단계로 매개변수를 대입하는 것이며, 회상에는 유도가 필요하지 않다.출처: §B.2 · p. 20
• 혼합 질문은 분야 지식에 물리적 모델링, 절차적 계산 또는 데이터 기반 추론을 결합한다.지배방정식을 유도하고 풀기, 정의된 다단계 절차 실행, 데이터·적합 결과·관측에서 물리량이나 수량 추출 등의 과제가 포함된다.출처: §B.2 · p. 20

B.3 분포

• 주석이 달린 문항 중 절반가량은 추론 중심이고, 약 사분의 일은 혼합형이며, 오분의 일은 지식 중심이다.표본에는 Principia 문항 687개가 포함된다. 이러한 분포는 풀이 능력이 낮은 모델과 높은 모델을 구별하기 위해 단순 회상보다 다단계 추론을 중시하려는 목표에 부합한다.출처: §B.3 · pp. 20–21, Table 10 · p. 21

C 하위 에이전트 시스템 프롬프트

• 부록은 저장소의 시스템 프롬프트를 재현하며, 각 컴퓨터과학 또는 법률 설정 내 하위 에이전트들의 역할, 작업 흐름, 출력 스키마를 감싸는 구조를 그대로 보존한다.프롬프트는 저장소의 .opencode/prompts/ 디렉터리에서 가져왔으며, Sections 3.1 and 3.2에 보고된 파이프라인에 해당한다.출처: C Subagent System Prompts · p. 21

C.1 컴퓨터과학 하위 에이전트 프롬프트

• 컴퓨터과학 주 에이전트는 단일 논문을 대상으로 도전자 → 품질 검증자 → evaluate-rubric 반복 과정을 실행하고 질문을 언제 수용할지 결정한다.파이프라인은 주 에이전트, 도전자, 품질 검증자의 세 하위 에이전트를 사용한다.출처: §C.1 · p. 21
• 컴퓨터과학 도전자는 질문, 기준 답안, 가중치가 부여된 루브릭을 생성하며, 품질 검증자는 정답 누출 여부, 단순 회상과 추론의 구분, 루브릭의 형식 적합성을 점검한다.도전자는 이러한 출력을 생성하기 전에 원본 논문을 읽는다.출처: §C.1 · p. 21

C.2 법률 하위 에이전트 프롬프트

• 법률 파이프라인은 네 하위 에이전트의 반복 과정을 통해 문서 추출, 의뢰인의 말투를 반영한 질문과 가중치가 부여된 루브릭 작성, 풀이 모델의 응답 양상 판정을 조율한다.추출기는 문서의 적합성을 평가하고 자료를 선택한다. 작성기는 문서를 법원(法源)으로 취급하고 목표로 하는 법률 추론 역량을 명시한다. 반복 과정 판정기는 롤아웃별 풀이 모델의 응답 양상과 루브릭을 바탕으로 수용/개선 판정을 내리고, 개선이 필요하면 작성기에 제안을 제공한다.출처: §C.2 · p. 21

C.3 과학적 추론 프롬프트

• 과학적 추론 프롬프트 문서에는 도전자의 시스템 프롬프트와 주 오케스트레이터 에이전트 프롬프트의 발췌문이 포함된다.각각 Figures 14 and 15에 제시되어 있다.출처: Figure 14 · p. 27, Figure 15 · p. 28