PaperlayerView exact revision on arXiv

Source-linked AI summary

Recursive Harness Self-Improvement

Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Matei Zaharia, Yujin Tang

arXiv:2607.15524v1cs.LGcs.AI

TL;DR

Provider-built harness는 다양한 사용자와 task에 걸쳐 일반화되어야 하므로, 지속적인 업데이트에는 감당하기 어려울 만큼 많은 노동과 비용이 든다. RHI는 harness를 prompt-level specification으로 간주하고, pairwise preference feedback을 사용한 trajectory-local self-comparison을 통해 이를 반복적으로 개선한다. Synthetic research task 전반에서 few-shot RHI는 더 강한 test-time-scaling 설정보다 높은 win rate를 달성하며, ultracode baseline 대비 inference cost를 최대 60% 줄인다.

  • 문제

    Provider-built harness는 다양한 사용자와 task에 걸쳐 일반화되어야 하므로, 지속적인 업데이트에는 감당하기 어려울 만큼 많은 노동과 비용이 든다.

  • 방법

    RHI는 harness를 prompt-level specification으로 간주하고, pairwise preference feedback을 사용한 trajectory-local self-comparison을 통해 이를 반복적으로 개선한다.

  • 결과

    Synthetic research task 전반에서 few-shot RHI는 더 강한 test-time-scaling 설정보다 높은 win rate를 달성하며, ultracode baseline 대비 inference cost를 최대 60% 줄인다.

  • 시사점 및 한계

    RHI는 agent execution trace의 품질을 높이기 위해 user-constructed harness를 task-specific하게 최적화하는 실용적인 접근법을 제공한다.

  • 시사점 및 한계

    Coding agent가 black-box이므로, embedding analysis만으로는 textual harness 변화가 model의 내부 계산이나 output distribution에 어떤 영향을 미치는지 직접 입증할 수 없다.

Abstract

from arXiv · show

Under model--harness co-evolution, harnesses are not merely inference-time scaffolds but data-generating components whose execution traces can shape future foundation models. This motivates harness-in-the-loop learning: optimizing harnesses for both immediate agent performance and the quality of traces used for future model training. However, continually updating provider-built scaffolds is costly and labor-intensive. We therefore investigate whether optimizing user-constructed harnesses in a task-specific manner can improve execution-trace quality while remaining computationally lightweight and requiring only a few update iterations. To this end, we introduce Recursive Harness Self-Improvement (RHI), which represents the harness as a prompt-level specification of the agent loop and iteratively refines it using pairwise feedback over its own revision history. Across 30 synthetic machine-learning research tasks spanning quantitative finance, robotics, and pharmacy, a few RHI iterations suffice to substantially raise the performance ceiling of low-reasoning-effort agents, exceeding the corresponding maximum-reasoning-effort setting while reducing inference cost by up to 60%. We show that these gains arise primarily from improved task-specific context management through more effective inter-agent information flow rather than longer reasoning traces. Finally, we formalize this behavior as an information-theoretic hypothesis for RHI's implicit optimization objective, suggesting RHI as a practical algorithm for continual learning within the paradigm of model--harness co-evolution.

1. 서론

이 논문은 사용자 구축 harness에서 생성되는 실행 trace 개선을 중심으로 harness–model 공진화를 정식화한다. 또한 낮은 추론 노력의 agent 성능을 높이면서 inference cost를 줄이는 경량 prompt-level self-improvement 방법인 RHI를 제안한다.

  • 서론: 이 연구는 사용자 구축 harness를 대상으로 한다. provider 구축 harness는 광범위하게 일반화되어야 하므로 지속적 업데이트에 많은 노동과 비용이 들지만, task-specific optimization은 실용적인 특화를 가능하게 한다.더 넓은 동기는 harness–model 공진화 feedback loop 안에서 execution-trace quality를 개선하는 데 있다.
  • 서론: RHI는 harness를 agent 역할, 지시문, inter-agent contract, workflow hop을 명시하는 prompt-level specification으로 표현한다.역할과 지시문은 task allocation을 정의하고, contract는 communication을 명시하며, hop은 reasoning이 호출되는 시점을 제어한다.
  • 서론: RHI는 경량 trajectory-local self-comparison을 수행한다. 즉 각 harness revision을 직전 revision과 비교하고, preference history를 사용해 이후 revision을 유도한다.이를 통해 비용이 큰 population-level harness search를 대체하며, 몇 번의 update iteration만으로 low-reasoning-effort performance plateau를 높인다.
  • 서론: RHI의 향상은 더 긴 reasoning trace보다는 개선된 task-specific context management을 주로 반영한다. 이는 communication contract와 workflow hop이 더욱 task-specific해지기 때문이다.iteration 전반에서 output-token usage는 거의 일정하게 유지되는 반면, cache usage와 inference cost는 대체로 감소한다.

2. 예비 지식

이 논문은 task-specific harness를 선택해 생성된 repository가 다기준 평가에서 경쟁 harness보다 우수하도록 만드는 문제로 harness 최적화를 정식화한다. 이어 기존 search method를 유한 모집단 근사로 규정하며, 후보별 실행 및 평가 비용이 지속적인 사용자별 최적화를 제한한다고 설명한다.

  • 고정된 language model coding agent는 task prompt와 harness를 생성된 code repository로 매핑한다.
  • 개방형 repository는 신뢰할 수 있는 단일 scalar metric이 아니라 functional correctness, task alignment, reproducibility, code quality를 종합해 평가해야 한다.
  • 이상적인 task-specific harness는 reference distribution에서 샘플링한 harness를 상대로 expected pairwise win rate를 최대화한다.
  • 기존 population-based method는 harness representation을 제한하고 reference distribution을 유한한 candidate population으로 대체해 최적화를 실행 가능하게 만든다.예로 harness code, workflow graph, agent program, prompt, modular LLM program을 포괄하며, Meta-Harness, AutoHarness, ADAS, GPTSwarm, OPRO, TextGrad 등이 있다.
  • 추가되는 모든 candidate에는 새로운 black-box execution과 evaluation이 필요하므로, 개방형 task 전반에서 agent를 지속적으로 특화하려는 사용자에게 population search는 감당하기 어렵다.Wang et al. (2026)은 search cost를 고려하면 automatic harness evolution이 단순한 test-time scaling baseline보다 일관되게 우수한 성능을 내지 못한다고 보고한다.

3. Recursive Harness Self-Improvement

Recursive Harness Self-Improvement(RHI)는 연속적인 agent 출력과 누적된 self-history에 대한 pairwise feedback을 사용해 task-specific prompt-level harness를 반복적으로 개선한다. 궤적 국소 목적함수는 표준 pairwise-preference model에서 이상적 목적함수의 utility ordering을 보존하면서 harness 최적화를 computationally lightweight하게 만든다.

  • RHI 알고리즘: RHI는 agent가 task를 해결하고, 그 출력을 이전 출력과 비교하며, preference를 저장한 뒤, LLM optimizer를 사용해 harness를 수정하도록 하여 task-specific harness를 업데이트한다.Figure 2는 이 loop를 요약하고, Algorithm 1은 전체 절차를 제시한다.
  • Computationally lightweight 목적함수: RHI는 각 current harness를 immediate predecessor와만 비교하므로, population-wide 또는 quadratic 비교 대신 iteration마다 하나의 새로운 execution trace와 하나의 pairwise evaluation만 필요로 한다.Cached output을 재사용해 agent execution과 pairwise evaluation 양쪽의 비용을 줄인다.
  • 궤적 국소 목적함수: 표준 pairwise-preference model에서 궤적 국소 목적함수는 ideal population objective와 동일한 latent utility ordering을 목표로 하며, noisy local-ascent signal을 제공한다.Winning revision은 장려하고, losing revision은 폐기하거나 수정한다.
  • Self-history: RHI는 revision 전반에 걸쳐 preference feedback을 누적하므로 각 update가 하나의 noisy comparison이 아니라 self-history에 조건화되며, 제한된 update budget에서 robustness가 향상된다.누적된 history는 momentum-semantic signal로 작동하면서도 iteration마다 하나의 새로운 agent execution과 하나의 pairwise evaluation을 유지한다.
  • Recursive self-improvement: Harness optimizer는 evaluator가 생성한 pairwise feedback을 통해 evaluation prompt를 직접 관찰하지 않고도 revision을 evaluation prompt와 간접적으로 정렬한다.이는 RHI를 자체 이전 revision이 유도한 preference history를 통한 recursive self-improvement로 정의한다.

4. 벤치마크 및 평가

RHI는 정량 금융, 로보틱스, 제약 ML 전반의 30개 synthetic open-ended ML research task에서 standardized repository deliverable과 pairwise LLM evaluation을 사용해 평가된다.

  • 벤치마크 구성: 벤치마크는 정량 금융, 로보틱스, 제약 machine learning을 아우르는 30개 task로 구성되며, 각 domain에 10개 task가 포함된다.LLM이 domain 관련 산업 채용 공고를 research-style prompt로 변환한다.
  • 벤치마크 구성: Task는 coding, domain reasoning, empirical analysis, ML experimentation을 결합하며, research report, visualization, metric, indexed file path를 포함한 complete repository를 요구한다.핵심 deliverable은 research_report.md, .png visualization, metrics.json, index.json이다.
  • 평가 프로토콜: LLM evaluator는 task에서 지정한 deliverable만 사용해 repository를 pairwise로 비교하며, evaluator prompt가 최대 input length의 약 30–40% 이내에 머물도록 한다.Standardized deliverable structure는 공통 evaluation interface를 제공하는 동시에 생성된 모든 artifact를 포함하는 비현실적 상황을 피한다.
  • 평가 프로토콜: Evaluator는 선호 repository를 선택할 때 deliverable coverage, numerical and empirical rigor, reproducibility, presentation을 판단한다.이 기준은 compliance, methodological consistency, reproducibility resource, output quality를 평가한다.

5. 실험

점진적으로 강력해지는 base model 전반에서 소수의 RHI iteration만으로 동일 계열의 test-time scaling baseline을 능가하면서 inference cost를 최대 60% 낮춘다. 이러한 향상은 더 긴 generation보다 개선된 context management와 관련된다.

  • 실험 설정: RHI는 task-specific textual harness specification을 적용한 동일한 coding agent를 평가하고, 세 가지 base model에서 RHI를 적용하지 않은 더 높은 reasoning-effort agent와 비교한다.보고된 metric에는 pairwise performance, normalized cost, output-token count, cache read/write usage가 포함된다.
  • 주요 결과: 두 번의 iteration 후 sonnet-4.6-high+H [2]는 sonnet-4.6-max와의 비교 30건 중 20건에서 승리하며, 한두 번의 iteration만으로도 더 강력한 Opus baseline을 능가한다.Opus-4.7은 한 번의 iteration 후 xhigh와 max를 모두 능가하고, Opus-4.8은 두 번의 iteration 후 모든 test-time scaling baseline을 능가한다.
  • Harness 비교: Opus-4.8-high+H [2]는 opus-4.8-ultracode보다 outperforms하며, task-specific prompt-level harness optimization이 고정된 provider-built multi-agent harness를 능가할 수 있음을 보여준다.이 결과는 단일 system-level harness에 의존하기보다 user-constructed harness를 통해 heterogeneous task에 맞게 multi-agent workflow를 조정하는 방식을 뒷받침한다.
  • 메커니즘: RHI의 성능 향상은 not primarily driven by longer generations인데, iteration 전반에서 performance가 향상되는 동안 output-token usage는 거의 일정하게 유지되기 때문이다.정규화된 output-token 사용량은 Sonnet-4.6에서 1.71에서 1.86까지, Opus-4.8에서 1.42에서 1.81까지의 범위이며, 이러한 향상은 대신 더 효율적인 KV-cache 사용과 함께 나타난다.
  • 비용 효율성: RHI는 세 가지 base model 모두에서 performance를 향상시키면서 normalized cost를 최대 60% 낮춘다.opus-4.8-high+H [2]의 cost는 opus-4.8-max보다 23%, opus-4.8-ultracode보다 60% 낮고, sonnet-4.6-high+H [2]는 sonnet-4.6-max보다 7% 낮으며, opus-4.7-high+H [1]는 opus-4.7-max보다 18% 낮다.

6. 절제 연구

RHI는 train-time scaling을 넘어 성능이 낮은 agent를 개선하지만, 더 강한 model의 baseline과 일관되게 일치하지는 않는다. Ablation 결과, 향상은 주로 task-specific coordination, 특히 contract와 hop refinement에서 비롯되며, correlational information-theoretic objective hypothesis를 뒷받침한다.

  • 6.1 Train-Time Scaling을 넘어서: RHI는 sonnet-4.6-high+H를 크게 개선하며, 2–4회 반복 이후 향상이 정체되지만 opus-4.7 baseline과의 격차를 일관되게 좁히지는 못한다.Figure 8은 반복 횟수에 따른 sonnet-4.6-high+H를 opus-4.7-high 및 opus-4.7-xhigh와 비교한다.
  • 6.2.1 Whole-Harness Analysis: RHI의 update는 초기 harness에서 점진적으로 멀어지며, 누적 유사도는 0.82에서 0.75로 감소하는 반면 이후 transition은 더욱 점진적으로 변한다.첫 update의 transition similarity는 0.82로 이후 transition의 0.97, 0.98, 0.99보다 낮으며, 이는 가장 큰 semantic change가 초기에 발생함을 나타낸다.
  • 6.2.1 Whole-Harness Analysis: RHI는 체계적이고 task-dependent한 harness 변화를 생성한다. 가장 큰 semantic separation은 contract에서 나타나고 hop과 instruction이 뒤따르며, role은 분리 가능성이 낮다.Whole-harness embedding은 초기 harness와 개선된 harness를 분리하지만 원인이 된 component를 식별할 수는 없다. component analysis에서는 여러 domain에 걸쳐 contract가 가장 task-dependent한 것으로 나타난다.
  • 6.2.2 Component-Level Analysis: Contract는 몇 차례 반복 안에 specialize되며 consecutive similarity가 0.48에서 0.72로 상승하는 반면, role, instruction, hop은 더 점진적으로 변화한다.결과는 pairwise feedback이 다른 component보다 contract refinement에 더 강하거나 효과적인 signal을 제공함을 시사한다.
  • 6.3 Implicit Objective: 제안된 implicit objective는 prompt-targeted coordination이 contract와 hop의 task information을 높이는 동시에 harness component 간 redundancy를 줄인다고 가정한다.Table 2는 contract와 hop에서 monotonic increase를, role에서 decrease를 보인다. Table 3은 두 configuration에서 debiased total-correlation이 각각 4.84에서 3.63 nats로, 3.51에서 2.62 nats로 감소한다고 보고한다.
  • 6.3 Implicit Objective: 이 objective는 유일한 latent objective의 증명이 아니라 plausible한 correlational hypothesis다. 근거가 embedding-based estimator에 의존하기 때문이다.분석은 optimizer의 실제 objective를 식별한다고 주장하지 않고, update trajectory가 task-specific component에 대한 implicit preference의 인도를 받는 것으로 model링한다.

7. 관련 연구

RHI는 고정된 foundation model을 중심으로 재사용 가능한 multi-agent harness를 최적화하는, 제한된 prompt-level recursive self-improvement 방식이다. 최적화 대상과 trajectory-local preference-based revision이라는 점에서 기존 harness, workflow, prompt, multi-agent 방법과 다르다.

  • Multi-agent systems and test-time scaling: RHI는 단순히 agent 수, 호출 횟수 또는 더 긴 생성을 늘리는 대신 시스템 구성을 수정함으로써 coordination improvements를 test-time scaling과 분리한다.이 구분은 multi-agent 성능 향상이 더 나은 coordination이 아니라 계산량 증가에서 비롯될 가능성을 다룬다.
  • Recursive self-improvement and harness-level RSI: RHI는 base model, evaluator, optimizer를 고정한 채 self-comparison history에서 prompt-represented harness를 다시 작성하고 재사용한다.재귀는 model 자체가 아니라 harness trajectory에 대해 작동한다.
  • Harness optimization and system scaling: 실행 가능한 코드 또는 population-based system optimizer와 달리, RHI는 open-ended task를 포함해 각 iteration마다 LLM preference feedback을 사용한 one trajectory-local comparison을 수행한다.Meta-Harness는 실행 가능한 harness code를 탐색하는 반면, TTHE는 병렬 branch를 진화시키고 execution-derived proxy로 이를 선택한다.
  • Prompt and pipeline optimization: RHI는 단일 prompt나 modular language-model call이 아니라 roles, instructions, hops, communication contracts를 포함하는 multi-agent harness를 최적화한다.ablation 결과는 성능 향상이 더 길거나 더 나은 single-agent prompt보다 주로 workflow와 contract component와 연관됨을 보여준다.

8. 결론

이 논문은 harness–model co-evolution에서 향후 foundation model을 위한 post-training data로 활용할 수 있도록 agent execution traces를 개선해야 한다고 주장하며, RHI를 실용적인 task-specific 접근법으로 제시한다. 향후 연구에서는 이러한 trace를 향후 foundation model에 내재화하는 방법을 연구할 예정이다.

  • Harness–model co-evolution에서는 향후 foundation model을 위한 post-training data로 활용할 수 있으므로 agent execution traces 개선을 우선해야 한다.
  • Recursive Harness Self-Improvement (RHI)는 user-constructed harness를 task-specific하게 최적화하는 실용적인 접근법을 제공한다.
  • 향후 연구에서는 생성된 execution traces를 향후 foundation model에 효과적으로 내재화하는 방법을 연구할 예정이다.

A. QnAs

결과는 명시적 multi-agent harness specification이 내장 coordination보다 cost–performance를 개선하며, multi-agent execution 자체가 role-and-instruction prompting을 넘어 추가적인 가치를 제공함을 보여준다. RHI의 previous-harness comparison은 압축된 momentum signal을 통해 이전 history를 유지한다.

  • Q1: 각 update가 바로 이전 harness와 비교하더라도, D_x^(i)는 harness history 전반의 비교를 압축하고 이전 정보를 momentum signal로 보존한다.따라서 update rule에서는 이전 harness history가 폐기되지 않고 유지된다.
  • Q2: RHI는 built-in coordination이 신뢰하기 어렵고 prompt-represented multi-agent harness가 prompt-represented single-agent multi-persona harness보다 우수하기 때문에 multi-agent harness components를 우선시한다.이러한 관찰은 단일 agent에 특화된 components보다 contracts와 hops의 improvement에 집중하도록 한다.
  • Q2: Figure 13은 명시적 multi-agent harness가 Elo와 cost–performance에서 built-in coordination 및 single-agent multi-persona execution보다 우수함을 보여준다.Built-in multi-agent harness는 single-agent defaults보다 비용은 높고 Elo는 낮은 반면, 명시적 harness는 더 낮거나 비슷한 비용으로 Elo를 개선하며 single(unionOur)을 능가한다.
  • Q2: 이러한 gains는 roles와 instructions를 추가하는 것을 넘어 multi-agent execution을 필요로 하며, specialized agents, independent contexts, explicit orchestration에 의존한다.single(unionOur)은 여전히 경쟁력 있고 single(default)을 능가할 수 있지만, multi(ours)가 가장 우수하다.

B. RHI harness 예시 · C. Harness optimizer 프롬프트 · 1. 다음 query는 claude coding으로 해결됨

부록에서는 pharmaceutical machine-learning task를 대상으로 RHI가 domain-specific agent harness를 5회에 걸쳐 어떻게 정제하는지 보여 준다. 수정된 harness는 구조화된 specialist 협업, 명시적 interface contract, 재현성 점검, 최종 수락 전 targeted recall을 강조한다.

  • B. RHI harness 예시: RHI는 sonnet-4.6-high를 사용해 pharmaceutical ML task에서 H[i] (i∈0, 1, 2, 3, 4) harness를 평가하며, 결과는 Figure 5a에 포함된다.예시 task는 PDB-derived data와 angular-error evaluation, profiling을 사용해 backbone context로부터 side-chain χ-angle을 예측하는 SE(3)-equivariant network를 구현한다.
  • B. RHI harness 예시: 초기 harness는 orchestration, structural data, geometric ML, generative modeling, training scale, force fields, evaluation, communication, portfolio execution, quality safety를 아우르는 domain-specific agent team을 사용한다.이 specialist들은 scientific design, implementation planning, benchmarking, publication, cross-functional execution, compliance review를 담당한다.
  • B. RHI harness 예시: 이후 harness 개정판은 광범위한 delegation을 multi-round orchestration, acceptance rubrics, parallel design fan-out, reconciled interface contracts, evidence review, targeted patches, final gating으로 대체한다.workflow는 downstream implementation이나 claims에 앞서 datasets, model inputs and outputs, metrics, ablations, profiling, plots, reports에 대한 contract를 정의한다.
  • B. RHI harness 예시: 정제된 harness는 incorrect deliverable paths, unsupported RCSB acquisition claims, missing provenance, weak ablations, invalid profiling, inconsistent quantitative reporting과 관련된 prior failures를 명시적으로 다룬다.src/profile.py와 같은 exact paths, 검증 가능한 data manifests, leakage checks, frozen results contracts, independent consistency review를 요구한다.
  • B. RHI harness 예시: harness는 수락 전에 code, schemas, plots, provenance, exact files, reproducibility, scientific claims, equivariance language, profiling, leakage, compliance에 대한 independent validation을 요구한다.Artifact 및 quality reviewer는 early gate와 final gate에서 workspace를 검사하며, evidence가 누락되거나 일관되지 않으면 targeted corrections를 요청할 수 있다.
  • B. RHI harness 예시: 수정된 설계는 machine-checkable HandoffV2 communication, versioned artifacts, evidence bundles, acknowledgements 또는 change requests, 그리고 data, modeling, evaluation, reporting agent 간 mandatory dependencies를 형식화한다.RequiredPathManifest, DatasetRecord v2, DataProvenanceManifest v1, SplitLeakageReview v1, ModelRegistry v1, ModelIOContract v2, AblationGrid v2, ResultsContract v2가 workflow를 구조화한다.

2. Claude Code의 현재 제출 코드 저장소(증거만)

현재 제출 저장소를 비교한 결과, 두 제출물은 구분할 수 없으며 artifact 범위가 동일하고 정량적 품질 결함도 공유한다. 어느 제출물도 우월하지 않으며, 둘 다 일관성, 안정성 분석, JSON 유효성, 잠재적 feature leakage를 수정해야 한다.

  • 저장소 비교: 제공된 증거에서 workspace, artifact, 강점, 약점이 동일하게 나타나므로 두 제출물은 동률이다.두 제출물 모두 동일한 workspace 경로와 일치하는 저장소 내용을 가리키므로 어느 쪽도 더 낫지 않다.
  • 저장소 비교: 두 저장소 모두 report, 색인된 deliverable, 9개 plot, 정리된 code, 고정된 dependency, results file을 포함해 artifact checklist를 실질적으로 충족한다.필수 PNG는 deliverables/plots/ 아래에 있으며, run_pipeline.py가 entry point이고 주요 JSON artifact도 제공된다.
  • 정량적 품질: 두 report 모두 정량적 불일치를 포함한다. GBM significance와 primary-model identity를 잘못 기술하고, 5-day IC에서 뒤처지는 model보다 ElasticNet이 우수하다고 주장한다.보고된 5-day GBM IC는 0.039이고 p=0.122다. ElasticNet의 5-day IC는 −0.0458로, Ridge의 0.0896 및 GBM의 0.0391보다 낮다.
  • 한계: 두 제출물 모두 실질적인 pre/post-2020 stability analysis에 실패하고, 비표준 JSON NaN token을 포함하며, proxy shock 구성에서 잠재적 feature leakage를 해결하지 않은 채 남겨 둔다.stability field는 비어 있거나 null이며, 발췌 내용만으로는 event 이후 shock feature가 겹치는 return prediction보다 먼저 안전하게 lag 처리되었음을 입증할 수 없다.

3b. Pairwise history delta checklist (반복적으로 수정할 문제) · 4. Instructions

이 체크리스트는 반복적으로 나타난 과거의 결함을 우선시하고, 구조화된 communication, feedback, verification을 통해 single-agent 실행보다 측정 가능한 이점을 만들도록 multi-agent 설계를 수정한다.

  • 3b. Pairwise history delta checklist (반복적으로 수정할 문제): 수정 과정은 metric 불일치, robustness 공백, null/NaN 결함, reproducibility 공백, 취약한 validation 또는 testing을 포함해 반복되는 history 문제를 우선시한다.수치가 높을수록 revision history에서 해당 문제가 더 자주 반복되었음을 의미한다.
  • 4. Instructions: 설계 업데이트는 query의 원래 의도와 deliverables를 유지하면서 evidence로 식별된 약점을 해결한다.
  • 4. Instructions: Output-to-orchestrator contract는 구조화된 downstream inputs를 생성해야 하며, orchestrator는 더 좁은 범위와 업데이트된 acceptance criteria를 적용해 subagent를 다시 호출해야 한다.
  • 4. Instructions: 수정된 설계는 specialist parallelism, cross-agent validation, inter-agent communication, conflict-resolution loop를 통해 진정한 multi-agent 이점을 만들어야 한다.
  • 4. Instructions: Feedback은 구체적이고 evidence-grounded해야 하며, 일반적인 coordination 주장이 아니라 구체적인 파일, metric 또는 history signal을 인용해야 한다.
  • 4. Instructions: 제안된 response는 replacement design block을 제공하고, 변경 사항을 열거하며, mechanistic benefit을 설명하고, evidence를 식별하고, 예상 impact를 명시하며, verification check를 정의해야 한다.
  • 4. Instructions: Replacement design block은 문제 해결을 위해 candidate agent 중에서 agent team을 만들라는 지정된 instruction으로 시작해야 한다.

D. 과제 예시

부록은 robotics, pharmacy, quantitative research를 아우르는 30개 과제 평가 벤치마크의 대표 예시를 제시한다.

  • D. 과제 예시: 평가 벤치마크는 세 도메인에 걸쳐 30개 과제로 구성된다.도메인은 robotics, pharmacy, quantitative research다.
  • D. 과제 예시: 각 도메인은 벤치마크에 10개 과제씩 기여한다.
  • D. 과제 예시: 부록은 벤치마크 과제 도메인의 대표 예시를 제공한다.

D.1. ML Research Task (Robotics)

이 Robotics task는 robot 관련 instruction classification을 위해 소형 vision-language model을 재현 가능한 방식으로 fine-tuning하는 실험을 요구한다. 공개 또는 curated action-caption dataset을 사용해 accuracy, calibration, paraphrase robustness를 평가한다.

  • Task: 이 실험은 action type, object category, spatial relation을 포함하는 robot 관련 instruction classification을 위해 소형 vision-language model을 fine-tuning한다.actions와 정렬된 EPIC-KITCHENS captions 또는 curated Something-Something V2 subset을 dataset으로 사용할 수 있다.
  • Evaluation: 평가는 accuracy, calibration, paraphrase에 대한 robustness를 다룬다.필수 시각화에는 per-class accuracy, confusion matrices, calibration reliability, paraphrase robustness drop, learning curves가 포함된다.
  • Deliverables: Deliverables에는 conference-style research report, indexed outputs, plots, 재현 가능한 code, dataset preparation, fine-tuning, evaluation, paraphrase generation, requirements.txt가 포함된다.Paraphrase는 공개 paraphrase model 또는 rule-based templates로 생성할 수 있다.

D.2. ML 연구 과제(정량)

이 정량 연구 과제는 누수 방지 평가와 시장중립 백테스트를 사용해 Wikipedia pageviews가 Dow 30 주식의 단기 수익률 예측을 개선하는지 검증한다. 또한 placebo testing, 재현 가능한 산출물, 종합적인 예측 및 포트폴리오 지표를 요구한다.

  • 과제 및 데이터: 이 과제는 SPY를 벤치마크로 삼아 Wikipedia pageviews가 Dow 30 구성 종목의 익일 및 익주 수익률 또는 변동성 예측을 개선하는지 조사한다.데이터 universe는 Wikipedia에 등재된 Dow 30 구성 종목과 SPY를 사용하며, 가격과 거래량은 Yahoo Finance에서 수집한다.
  • Feature 구성: Feature에는 비정상 pageview 급증, attention momentum, 요일별 조정, earnings date와의 상호작용이 포함된다.또한 선택적 거시경제 통제변수를 허용하며, earnings-calendar 스크래핑이 불안정할 경우의 fallback 절차를 문서화해야 한다.
  • 모델링 및 평가: 평가는 누수 방지 모델링, purged time-series cross-validation, 거래비용을 반영한 시장중립 long/short attention-strategy 백테스트를 사용한다.인과관계 양상의 placebo는 pageviews를 +7일 이동한 뒤 예측 신호가 사라지는지 확인한다.
  • 산출물: 산출물에는 conference-style 연구 보고서, 재현 가능한 Python 코드, 시각화, 매핑, 모델 비교, 그리고 예측·위험·거래·placebo 성능을 포괄하는 지표가 포함된다.필수 지표에는 IC, RankIC, Predictive R2, Sharpe ratio, beta, maximum drawdown, turnover, transaction costs, placebo-test metrics가 포함된다.

D.3. ML 연구 과제 (Pharmacy)

이 과제는 ESM-2 protein sequence embedding과 PDB-derived graph feature를 융합하면 sequence-only 및 structure-only 표현보다 enzyme commission number 예측이 향상되는지 평가한다. 재현 가능한 데이터, modeling, evaluation, reporting 산출물이 필요하다.

  • 과제: 이 실험은 protein sequence와 structure에서 enzyme commission number를 예측하기 위해 sequence-only, structure-only, fused representation을 비교한다.알려진 structure를 보유한 protein에 초점을 맞추며, Protein Data Bank에서 도출한 graph feature와 ESM-2 embedding을 사용한다.
  • 데이터 출처: 이 연구는 public SIFTS database를 통해 확보한 public UniProt/Swiss-Prot enzyme annotation과 PDB mapping을 사용한다.
  • 성공 기준 및 산출물: 성공 여부는 multimodal fusion이 prediction performance를 향상하는지로 평가하며, macro 및 micro F1, EC level 1–4에 걸친 hierarchical accuracy, coverage statistic을 사용한다.산출물에는 conference-style report, indexed file, evaluation plot, 재현 가능한 Python code, results/metrics.json의 metric이 포함된다.

E. 평가자 프롬프트

평가자는 엄격하고 증거 중심적인 정량 연구 rubric에 따라 Leval을 사용해 완료된 두 제출물을 pairwise로 비교한다. 프롬프트는 task specification을 유일한 계약으로 간주하고, workspace 내용은 증거로만 사용하며, 명시적으로 요청된 산출물을 확인하도록 요구한다.

  • Pairwise 비교: Leval은 senior quantitative researcher의 관점에서 완료된 두 제출물을 비교하며, empirical rigor, leakage discipline, uncertainty, baselines, reproducibility, 그리고 서술과 numeric artifacts 간 일관성을 평가한다.평가자는 엄격하고 실용적이며 증거 중심적으로 판단하도록 지시받는다.
  • 평가 규칙: task block은 유일한 production contract이며, workspace sections는 증거만 제공하고 파일 내용을 지어내는 근거로 사용할 수 없다.프롬프트는 task에 명시된 모든 필수 artifact를 사용하도록 평가자에게 추가로 지시한다.
  • 예시 task: 예시 task는 Robosuite data, predictive modeling, ECE, AUROC, 그리고 decision utility를 사용해 robot-plan success-probability calibration을 평가하도록 요구한다.task는 execution difficulty를 변화시키고 execute할지 replan할지를 묻는다.
  • 예시 task: 필수 deliverables에는 conference-style report, index, 이름이 지정된 다섯 개 plot, reproducible code, 그리고 AUROC, average precision, ECE를 포함하는 metrics가 있다.프롬프트는 reliability, temperature, ROC, decision-utility, difficulty-bin visualization을 명시한다.

F. 정규화된 비용, 출력 토큰 및 cache read/write 분포

Figure 14는 30개의 ML 합성 과제에서 정규화된 비용, 출력 토큰 및 cache read/write의 분포를 요약하며, boxplot 추세는 해당 평균값과 일관된다.

  • Figure 14의 boxplot은 30개의 ML 합성 과제에서 정규화된 비용, 출력 토큰 및 cache read/write의 분포를 보여주며, Figures 5b, 6c, 7e의 평균값과 일관된다.
Loading 2607.15524v1…