PaperlayerView exact revision on arXiv

Source-linked AI summary

$R^3$-Bench: LLMs Struggle with Resource-Rational Reasoning under Shared Budgets

Peisong Wang, Zhiwei Ma, Bowen Liu, Feixue Liu, Aochuan Chen, Chenyi Zi, Hongchuan Zeng, Yuhan Li, Jia Li

arXiv:2608.16033v1cs.CL

TL;DR

기존 벤치마크는 대개 과제를 분리해 평가하므로, 공유 예산에서 계산을 어떻게 배분하는지는 검증하지 않는다. R3-Bench는 matched single-problem competence와 공유 예산 contest 성능을 비교해 지속적인 격차를 확인했으며, 그 oracle은 72개 셀 중 71개에서 엄격히 높다.

  • 문제

    기존 벤치마크는 문제를 독립적으로 평가하므로, 하나의 예산을 공유하는 여러 문제에 걸친 계산 배분에 관한 증거가 제한적이다.

  • 방법

    R3-Bench는 세 도메인과 두 설정에서 six-problem contest를 평가하고, matched single-problem 실행을 사용해 equal-allocation replay와 empirical oracle을 구성한다.

  • 결과

    oracle은 모든 셀에서 contest 점수와 같거나 높고, 71개에서는 엄격히 높으며, moderate tool-free pressure에서 equal allocation은 6개 모델 중 3개에서 contest policy를 능가한다.

  • 시사점 및 한계

    single-problem competence만으로는 문제 간 효과적인 배분을 보장하지 않으며, 경량 external scheduling도 이 격차를 해소하지 못한다.

  • 시사점 및 한계

    고정된 external scheduling은 도메인 전반에서 oracle보다 훨씬 낮은 수준에 머물고, adaptive inner scheduling policy의 학습은 향후 과제로 남는다.

Abstract

from arXiv · show

In cognitive science, resource rationality asks how an agent should allocate limited computation to maximize expected value. Most reasoning and agent benchmarks use independent per-task budgets; existing shared-budget studies do not calibrate suite performance against the same model's demonstrated single-problem competence. We introduce $R^3$-Bench, which evaluates six-problem suites under shared budgets across mathematics, competitive programming, and abstract reasoning in tool-free and agentic settings. Matched single-problem response curves define an offline empirical oracle over observed successes. Across 72 main-table cells for six models, the oracle mean matches or exceeds the contest mean in all cells and is strictly higher in 71. Under moderate tool-free pressure, equal-allocation replay also exceeds contest performance for four of six models. Trajectory diagnostics reveal limited strategy updating and pressure-dependent failure patterns. In a three-model diagnostic under strong agentic pressure, at least one fixed scheduler exceeds the contest mean in six of nine cells, but no policy dominates across domains. These results expose a persistent gap between demonstrated competence and shared-budget realization.

1 서론

R3-BENCH는 LLM이 개별적으로 예산이 할당된 과제를 푸는 대신, shared budget이 적용된 6문제 suite에서 computation을 합리적으로 배분하는지를 평가한다. 그 결과 limited adaptation과 pressure-dependent allocation failure로 인해 single-problem competence와 shared-budget performance 사이에 지속적인 격차가 있음을 보인다.

  • 동기: 기존 reasoning 및 agent benchmark는 문제별로 독립적인 예산을 할당하므로, shared computational constraint 아래 concurrent task 간 allocation을 평가하지 않는다.Resource-rational reasoning에서는 expected gain이 변함에 따라 계속 진행할지, tools를 사용할지, 검증할지, task를 전환할지, 중단할지를 결정해야 한다.
  • Benchmark 설계: R3-BENCH는 세 domain 각각에서 50개의 6문제 contest를 하나의 shared budget 아래 배치하고, tool-free 및 agentic setting에서 평가한다.Matched single-problem response curve와 equal-allocation replay를 통해 입증된 problem-solving competence와 shared budget 아래에서의 실현을 분리한다.
  • 결과: 72개의 flagship model–setting–pressure–domain cell 전반에서 oracle은 모든 cell에서 contest score와 같거나 높으며, 71개에서는 strictly higher다.Moderate tool-free pressure에서는 equal allocation도 6개 model 중 3개의 contest policy를 능가하지만, 더 큰 budget이나 tools가 격차를 일관되게 줄이지는 못한다.
  • 행동 진단: 6개 model 중 Five of six models는 suite의 절반을 초과해 다루지만, resource-rational strategy update에 대한 서술적 50% reference를 넘는 것은 only DS-Pro다.Coverage는 눈에 보이는 실질적 problem-specific work가 수행된 problem slot의 비율이며, update는 새로운 evidence와 남은 shared budget에 반응한다.
  • Trajectory 분석: Strong pressure에서는 oracle-selected failure가 대개 다른 문제에서 shared budget을 exhaust하며, moderate pressure에서는 partial progress 이후 중단하는 경우가 더 많다.두 failure type 모두 model이 isolation에서 이미 해결한 문제와 관련되며, 어떤 문제에 computation을 얼마나 배분하는지가 핵심임을 시사한다.

2 관련 연구

기존 reasoning 및 agent 벤치마크는 독립적인 budget으로 과제별 competence를 측정하는 반면, budget-aware 방법은 개별 문제 내부 또는 pipeline 전반에서 resource를 최적화한다. R^3-Bench는 여러 domain과 setting에서 matched single-problem competence를 기준으로 shared-budget suite를 평가해 이 간극을 다룬다.

  • 과제별 reasoning 및 agent 평가: Reasoning 및 agent 벤치마크는 여러 domain과 tool-use setting을 아우르지만 과제를 독립적으로 평가해, suite 전반의 computation allocation이 아니라 과제별 competence를 측정한다.수학, science question answering, graph problem, competitive programming과 함께 web interaction 및 long-horizon software execution을 포함한다.
  • Budget-aware reasoning 및 resource allocation: Budget-aware 방법은 개별 문제 내부에서 sampling, token 또는 tool-use budget을 조정하는 반면, orchestration 방법은 model 간 또는 pipeline stage 간에 resource를 할당한다.어느 접근도 여러 문제가 하나의 shared budget을 두고 경쟁하게 만들지는 않는다.
  • Budget-aware reasoning 및 resource allocation: R^3-Bench는 matched response curve, equal-allocation replay 및 offline empirical oracle을 사용해 shared-budget suite behavior를 isolated-problem competence와 비교한다.이 benchmark는 tool-free 및 agentic setting 모두에서 세 domain을 다룬다.

3 방법론: R3-BENCH

R3-BENCH는 고정된 계산 예산을 공유하는 6문제 contest에서 resource-rational allocation을 평가한다. tool-free token budget과 agentic action budget에 걸쳐 난이도 구성을 통제하고 model-relative pressure를 적용한 matched contest 및 standalone 평가를 사용한다.

  • Task formats: 각 contest는 하나의 공유 allowance 아래 6문제를 제시하며, standalone 평가는 문제를 독립적으로 제시해 문제 간 allocation 없이 문제 해결 능력을 측정한다.contest 평가에서 모델은 어떤 문제를 시도할지와 각 문제에 얼마만큼의 budget을 allocation할지를 결정한다.
  • Evaluation settings: R3-BENCH는 output-token budget을 사용하는 tool-free reasoning과 action budget을 사용하는 agentic interaction에서 동일한 contest를 평가하며, pool, contest, parsing, grading을 공유한다.tool-free 실행은 하나의 자유 형식 completion을 생성하고, agentic 실행은 실행 중 correctness feedback 없이 interactive shell에서 command와 code를 사용한다.
  • Benchmark construction: 각 domain의 50개 contest는 동결된 300-problem pool과 Easy 3개, Medium 2개, Hard 1개의 고정 구성으로 이루어져, coverage–depth allocation trade-off를 통제한다.난이도 tier는 세 reference model의 평균 standalone output length를 기준으로 정하며 prompt에는 공개하지 않는다.
  • Budget calibration: model-specific calibration은 각 모델의 unbudgeted resource use를 기준으로 pressure를 상대적으로 표현하며, tool-free reasoning에는 output token을, agent에는 count된 action을 사용한다.parameter ρ는 relative pressure를 나타낸다. ρ = 0.2는 strong pressure이고, ρ = 0.8은 moderate pressure다.
  • Outcomes and diagnostics: 주요 outcome은 6문제 contest당 평균 정답 수이며, problem-level accuracy와 allocation 또는 execution 원인에 따라 oracle-selected miss를 분류하는 diagnostics를 함께 제시한다.miss 원인에는 시도하지 않음, 너무 늦게 시도함, 부분적 진전 후 중단함, 다른 곳에 budget을 사용함, tool-feedback error, formatting 또는 finalization error, 실제로 해결하지 못한 경우가 포함된다.

4 SOTA LLM 벤치마킹

72개의 model–setting–pressure–domain 셀에서 offline oracle은 모든 셀에서 contest 성능과 같거나 높았고, 71개에서는 엄격히 높았다. 남은 격차는 순서 민감적 지출, 제한적인 online 전략 업데이트, pressure 의존적 실패 양상, 그리고 ECI capability distance와 무관한 allocation quality에 기인한다.

  • Tool-free 결과: ρ = 0.8에서 equal allocation은 DeepSeek-V4-Pro, Qwen3.7-Max, GLM-5.2, Claude-Opus-4.8의 contest 성능을 상회한다.oracle은 두 pressure 수준 모두에서 6개 모델의 contest score를 상회하며, 12개 model–pressure 쌍에서 평균 격차는 정답 1.16개다.
  • 주요 결과: 보고된 72개 셀에서 offline response-curve oracle은 모든 셀의 contest score와 같거나 높았고, 71개에서는 이를 상회했다.이 결과는 관찰된 per-task 성공과 실제 shared-budget 성능 사이에 empirical headroom이 있음을 보여준다.
  • Tool-free diagnostics: Position 6의 accuracy는 12개 series 모두에서 position 1보다 낮았고, 뒤쪽 position일수록 answer는 줄고 budget truncation은 늘었다.Strong pressure에서 첫 position은 귀속된 output의 20.5–52.9%를 받았고, moderate pressure에서는 16.9–23.5%를 받았다. 5개 모델은 더 이른 시점에 spending을 집중했으며, Qwen은 예외였다.
  • Agentic diagnostics: Agentic trajectory에서 DS-Pro, Qwen, GLM, Opus는 equal-domain macro의 38.5% to 63.4%에서만 전략을 업데이트했으며, Hy와 GPT는 전혀 업데이트하지 않았다.많은 trajectory가 tool feedback을 관찰했지만 기존 allocation strategy를 계속 사용해 문제 간 online reallocation이 제한됐다.
  • Capability analysis: Capability distance는 allocation quality에 대한 정보를 전혀 제공하지 않는다. ECI score가 비슷하거나 다른 model pair는 comparable한 Gap Ratio 분포를 보였고, model ordering은 역전됐다.Tool-free Math에서 ρ=0.2일 때 highest-ECI model의 Gap Ratio는 43.75%였지만, 중간 순위 model은 4.32%였다.

5 할당 격차 회복

경량 온라인 스케줄링은 할당 격차의 일부를 회복하지만 여전히 도메인 의존적이다. 9개 모델–도메인 셀 중 6개에서 개입이 contest reference를 앞섰으나, 모든 도메인에서 우세한 policy는 없었다. 더 복잡한 지시와 정적 외부 스케줄링은 할당을 안정적으로 개선하지 못했으며, 향후 과제로 학습된 inner policy가 요구된다.

  • 이 diagnostic에서는 서로 다른 regime을 포괄하는 세 모델을 사용해 경량 온라인 스케줄링이 할당 격차의 일부를 회복할 수 있는지 검증한다.DeepSeek-V4-Pro는 도메인 간 성능이 강한 solver이지만 Code 결과에는 여전히 상당한 oracle 격차가 있으며, GLM-5.2는 도메인 민감도가 높다.
  • 9개 중 6개의 모델–도메인 셀이 contest reference를 앞섰지만, contest reference, A, B는 각각 세 행에서 최선의 non-oracle score를 기록했다.모든 모델에서 두 개입 하에 Code가 개선된 반면, Math와 AR은 모델에 따라 달랐고 스케줄링이 때로는 성능을 저하시켰다.
  • B는 모든 Code 행에서 A에 뒤처지고, 모든 AR 행에서는 앞서며, Math에서는 결과가 갈렸는데, 이는 verification이 할당을 일관되게 개선하기보다 coverage 효과를 변화시킴을 보여준다.Check는 불확실성을 해소할 때는 도움이 되지만, 단지 budget만 소모할 때는 방해가 된다.
  • Hy-3의 최선의 non-oracle score도 모든 도메인에서 oracle보다 훨씬 낮게 유지되며, Code에서의 향상이 Math나 AR로 확장되지 않는다.정적 지시는 계산을 재분배하지만, 진행 상황을 해석하고 계획을 수정하는 모델의 능력을 대체하지 못한다.
  • inner policy를 학습하면 도메인, 진행 품질, 잔여 budget에 따라 스케줄링을 조건화할 수 있지만, 학습과 평가는 여전히 향후 과제로 남아 있다.후보 action에는 covering, continuing, switching, verifying, stopping이 있으며, 이를 통해 올바른 모델 결정에 대한 interference를 줄일 수 있다.

6 결론 … D 평가 프롬프트 템플릿

R3-BENCH는 shared-budget six-problem suite에서 resource-rational reasoning을 평가하며, single-problem competence가 mathematics, competitive programming, abstract reasoning의 세 domain에서 효과적인 allocation을 보장하지 않음을 보인다. 부록은 이러한 평가를 뒷받침하는 dataset, protocol, parsing 및 judging procedure, oracle replay, prompt template을 정의한다.

  • 6 결론: 이 benchmark는 하나의 shared computational budget 아래 여러 problem을 배치하고, 세 domain에서 동일 model이 보인 single-problem competence와 contest performance를 비교한다.따라서 resource-rational reasoning에는 언제 계속하고, 전환하고, 남은 computation을 사용할지 결정하는 policy가 필요하다.
  • 6 결론: R3-BENCH는 tool-free 및 agentic setting에서 model의 response-curve oracle과 shared-budget contest performance 사이에 persistent gap이 있음을 확인한다.이 gap은 computation을 어디에, 얼마나 allocation하는지 모두에서 발생하는 failure를 반영한다. 경량 scheduling과 online adaptation은 도움이 되지만 이를 해소하지는 못한다.
  • 부록 구성: 부록은 data source, thinking-model protocol, answer parsing 및 judging, evaluation prompt, 추가 shared-budget analysis를 문서화한다.또한 response-curve oracle과 offline knapsack replay, action accounting, budget calibration, 상세 contest result, pressure analysis를 포함한다.
  • E Response-Curve Oracle and Offline Knapsack Replay: response-curve oracle과 offline replay는 shared budget 아래에서 관측된 single-problem outcome을 재allocation하기 위한 benchmark의 comparison framework를 제공한다.부록 구성에서는 이 analysis를 response-curve oracle과 offline knapsack replay로 명시한다.
  • A Data Sources: benchmark는 Omni-MATH, MathNet, LiveCodeBench Pro, Reasoning Gym을 활용해 mathematical, competitive-programming, procedural reasoning task를 포괄한다.이 source들은 Olympiad-level mathematics, multilingual 및 multimodal math problem, contamination이 줄어든 programming problem, 검증 가능한 reasoning environment를 제공한다.
  • C Answer Parsing and Judging: output은 problem-level answer로 parsing한 뒤 domain-specific correctness procedure로 judging하며, 이후 six-problem contest accuracy로 aggregation한다.missing, malformed, unparsable output과 judge 또는 verifier failure에는 0 credit을 부여한다. 반면 behavioral label은 diagnostic 용도로만 유지되며 scoring이나 oracle construction에는 영향을 주지 않는다.
  • D Evaluation Prompt Templates: evaluation prompt는 shared-budget objective를 명시적으로 드러내면서 independently parseable한 domain-specific final answer를 요구하고, partial contest submission을 허용한다.tool-free prompt에서는 external tool을 금지하고, agentic prompt에서는 native tool을 허용하되 live judge, hidden test, reference solution은 금지한다.

E Response-Curve Oracle 및 Offline Knapsack Replay · F Agentic Setting의 Action Accounting 및 Tool Whitelist · G Budget Calibration

이 논문은 offline replay를 사용해 입증된 single-problem competence와 shared-budget allocation을 분리하고, counted agentic actions를 정의하는 동시에 domain-specific resource caps를 calibration한다. oracle은 관측된 response curves에 기반한 empirical diagnostic이지 theoretical performance bound가 아니다.

  • E Response-Curve Oracle 및 Offline Knapsack Replay: Equal-allocation replay는 여섯 문제 각각에 관측된 correct attempt가 하나 이상 존재하고, 그 realized cost가 shared contest budget의 one sixth 이내에 들어가는지를 검증한다.oracle의 nominal caps와 달리, equal allocation은 realized attempt costs를 사용하며 incorrect, malformed, unparsed, missing 또는 unjudged attempts를 제외한다.
  • E Response-Curve Oracle 및 Offline Knapsack Replay: 두 replay 모두 post-hoc diagnostics로, model을 다시 실행하거나, outputs를 생성하거나, 사용하지 않은 shares를 이전하거나, 문제 간 thresholds를 조정하지 않고 judged single-problem outcomes를 재사용한다.이는 새로 부과된 caps 아래에서 동일한 successes가 다시 나타나리라는 보장이 아니라, 관측된 allocation headroom을 측정한다.
  • E Response-Curve Oracle 및 Offline Knapsack Replay: Response-curve oracle은 contest의 shared budget을 여섯 문제에 재할당하고, exact multiple-choice knapsack을 통해 문제마다 관측된 grid level을 최대 하나씩 선택한다.문제를 unfunded 상태로 남길 수 있으며, 관측된 success rate가 더 높다면 더 저렴한 level을 선택할 수 있다.
  • E Response-Curve Oracle 및 Offline Knapsack Replay: Oracle은 empirical grid와 five-repeat replay 안에서만 optimal하므로, 그 gap은 theoretical upper bound가 아니라 diagnostic allocation headroom을 반영한다.유한한 grid resolution과 sampling error로 인해 더 나은 allocations가 누락되거나 관측된 success rates가 잘못 추정될 수 있다.
  • F Agentic Setting의 Action Accounting 및 Tool Whitelist: Agentic budgets는 parsed executable problem-solving actions를 세며, 각 accepted counted command에 model turns나 이후 execution success와 무관하게 unit cost one을 부여한다.Commands는 counted, free, blocked 또는 protocol errors로 분류되며, failed, timed-out 또는 erroring counted actions에는 비용이 환불되지 않는다.
  • F Agentic Setting의 Action Accounting 및 Tool Whitelist: Shared compute-tools policy는 interpreters, compilers, calculators, tests, solver-like programs 및 data processing을 count하지만, inspection, bookkeeping, file staging 및 final-artifact writes는 free로 둔다.동일한 accounting rules가 mathematics, competitive programming 및 abstract reasoning 전반에 적용된다.
  • G Budget Calibration: Budget calibration은 pure natural-language reasoning에는 output-token caps를, agentic reasoning에는 counted-action caps를 사용하며, 값은 frozen six-model cell inventory에서 직접 취한다.Caps는 가정된 unconstrained baseline으로부터 재구성되지 않는다.

H 상세 공유 예산 Contest 결과

Formal shared-budget contest는 표준화된 six-problem suite에서 난이도별 정확도를 보고하며, Gap Ratio는 ECI로 측정한 model capability와 거의 관련이 없다. 어떤 cell도 통계적 유의성에 도달하지 않았고, pooled explanatory power는 무시할 수 있는 수준이다.

  • Formal contest 설정: 각 model–budget condition은 동일한 50개 six-problem suite를 사용하며, 다섯 차례 실행해 condition당 총 1500 judged runs를 구성한다.suite는 easy instance 150개, medium instance 100개, hard instance 50개로 구성되며, E, M, H, All은 난이도별 및 전체 정확도를 보고한다.
  • 난이도별 정확도 세분화: 표 10과 표 11은 쉬움, 보통, 어려움 문제 단계별 정식 대회 정확도와 전체 성능을 세분해 제시한다.E, M, H 열은 각각 750회, 500회, 250회 실행을 포함하며, All 열은 전체 1500회 실행을 포함한다.
  • Gap Ratio의 판별 타당도: 어떤 cell도 p < 0.05에 도달하지 않았으며, mean Spearman correlation은 −0.29 (p = 0.37), pooled within-cell R2는 0.01 (p = 0.70)이다.이 결과는 capability ordering이 allocation-gap ordering을 거의 설명하지 못한다는 결론을 뒷받침한다.

I 모델 인터페이스 및 실험 구성 … J.3 낭비된 출력

부록은 tool-free 및 agentic 평가 인터페이스를 명시하고, oracle portfolio, selected miss, output allocation, wasted reasoning을 통해 budget pressure에 따른 행동을 분석한다. 모든 진단에서 oracle selection은 더 쉬운 문제를 선호하고, 앞쪽 position이 상당한 출력을 흡수하며, 귀속된 출력의 41.2–74.6%가 결국 오답인 문제에 사용된다.

  • I 모델 인터페이스 및 실험 구성: Tool-free evaluation은 실행이나 feedback 없이 최종 답을 반환하는 반면, agentic evaluation은 Appendix F의 action-accounting 규칙에 따라 Harbor/Terminus-2 shell을 사용한다.
  • I 모델 인터페이스 및 실험 구성: 모델은 R3-BENCH tuning 없이 provider-recommended sampling configurations를 사용하며, 문제마다 다섯 번의 independent run을 수행하고 GPT-5.5와 Claude-Opus-4.8에서는 thinking을 비활성화한다.
  • J Budget Pressure 하의 추가 분석: 분석은 domain 내에서 통계를 계산한 뒤 available-domain macro를 사용해 해당되는 domain 전체에 동일한 가중치로 평균을 낸다.
  • J.1 Oracle Portfolio: Easy 문제는 12개 curve-oracle portfolio 모두에서 suite 내 50% 비중을 초과하는 반면, Hard 문제는 모든 portfolio에서 1/6 비중에 미치지 못한다.
  • J.2 Selected Misses 및 Position별 Output Accrual: 12개 model–budget panel 모두에서 Easy 또는 Medium 중 적어도 하나의 selected-miss rate가 Hard rate를 초과하며, 11개 panel에서는 둘 다 초과한다.
  • J.2 Selected Misses 및 Position별 Output Accrual: 강한 pressure에서는 첫 번째 position이 귀속된 출력의 20.5–52.9%를 소비하는 반면, 중간 pressure에서는 16.9–23.5%를 소비한다. 강한 pressure에서 증가하지 않는 유일한 예외는 Qwen이다.
  • J.3 낭비된 출력: 총 wasted output은 12개 available-domain model–budget panel에서 41.2%에서 74.6%까지이며, 모든 model에서 ρ = .2일 때보다 ρ = .8일 때 더 낮다.

J.4 누락 및 위치 진단

누락 진단은 압력이 높아질수록 실패가 예산 절단으로 이동하고, suite 후반 위치일수록 응답되지 않거나 절단되는 비율이 증가함을 보여준다. 능력 순서는 allocation-gap 순서를 거의 설명하지 못하며, 이는 competence만으로는 shared-budget allocation을 잘 예측하기 어렵다는 것을 의미한다.

  • 누락 진단: 중간 수준의 압력에서는 여섯 모델 모두 더 많은 slot에 응답하고 절단은 줄어드는 반면, 강한 압력에서의 절단 비율은 모델 macro 간 8.7%–68.0%에 걸쳐 나타난다.중간 수준의 압력에서 절단 비율은 2.5%에서 19.3%까지다.
  • 위치 진단: 위치 1에서 위치 6으로 갈수록 모든 12개 model–pressure series에서 응답률은 하락하고 judged budget-truncation rate는 상승하며, 대체로 강한 압력에서 그 변화가 더 가파르다.Figure 12는 accuracy curve에 대응하는 trajectory-level 결과를 제공한다.
  • 판별 타당도: 평균 capability 순서는 allocation-gap 순서를 거의 설명하지 못한다. global Spearman correlation은 −0.29 (p = 0.37)이고, pooled within-cell R2는 0.01 (p = 0.70)이다.discriminant-validity 분석은 다섯 모델과 120회의 permutation을 사용한다.

K 궤적의 인간 주석

인간 주석자들은 근거 기반 행동 루브릭을 사용해 36개 모델–압박–도메인 셀에 걸친 18,000개의 tool-free 및 agentic 궤적을 철저히 라벨링했다. 주석은 인과적 효과를 주장하지 않고 oracle-gap의 원인, 적응, engineering 이슈, decision-regret 패턴을 구분한다.

  • 범위와 주석 단위: 36개 셀에 걸친 18,000개의 궤적을 10명의 인간 주석자가 공유 codebook과 표준화된 궤적 기록을 사용해 철저히 주석했다.각 셀은 tool-free와 agentic 설정 모두에서 50개 contest와 5개의 독립 궤적으로 구성되었으며, 주석자들은 각자 1,800개의 궤적을 배정받았다.
  • 주석 절차: 모든 긍정적 행동 라벨에는 정확한 뒷받침 인용문과 단계 또는 이벤트 식별자가 필요했으며, 증거가 없거나 추측에 불과한 경우에는 부정 또는 증거 불충분 라벨을 부여했다.Verifier correctness, reward, oracle 필드는 주석자가 수정할 수 없는 고정 입력이었다.
  • Oracle-gap 귀속 루브릭: Oracle이 선택한 실패에는 never attempted, attempted too late, partial progress, budget spent elsewhere, tool-feedback errors, formatting failures, genuinely unsolved와 같은 1차 귀속 하나를 부여했으며, 증거 불충분 사례는 제외했다.따라서 보고된 비율은 모든 실패가 아니라 행동으로 귀속 가능한 실패를 사용한다.
  • Online-adaptation 루브릭: Online-adaptation 라벨에는 명시적인 난이도 또는 feedback 관찰, 이후의 실질적인 strategy revision, 그리고 resource-rational 업데이트의 경우 feedback, value, cost, probability, difficulty 또는 opportunity cost와의 명시적 인과 연결이 필요했다.Attempted-but-failed 업데이트에서는 수정된 전략이 실제로 실행되고 이후에도 동일한 부족분이 계속 관찰되어야 했다.
  • Decision-regret 루브릭: Decision-regret 라벨은 구체적인 궤적 증거를 바탕으로 undercoverage, overcommitment, late budget exhaustion, premature shelving, weak finalization을 포착했지만, 인과적 효과가 아니라 관찰 가능한 패턴으로 규정했다.각 패턴에는 실행 가능한 미처리 작업, 약한 feedback에도 불구한 불균형한 지출, 회피 가능한 예산 소진, 제출 가능한 상태였지만 누락되거나 잘못 형식화된 출력과 같은 구체적 증거가 필요했다.

L 행동 좌표 … N.2 사례 II: 성공적인 단독 실행보다 더 많은 귀속 출력

통합된 절들은 행동 좌표, scheduler 개입, trajectory 사례 연구를 통해 shared-budget 실패를 진단한다. 폭넓은 문제 커버리지가 adaptive allocation을 보장하지는 않으며, 단순한 guard는 과도한 투자를 겨냥할 수 있고, 성공적인 단독 실행보다 더 많은 귀속 출력에도 불구하고 개별 실패가 지속될 수 있음을 보인다.

  • L 행동 좌표: 폭넓은 커버리지만으로 resource-rational reasoning이 함의되지는 않는다. 모델은 많은 문제를 다루면서도 새로운 증거에 따라 budget allocation을 수정하는 경우는 드물 수 있다.Figure 1은 tool-free와 agentic setting, 두 pressure 수준, 사용 가능한 모든 domain을 결합한다. 사분면 label은 잠재적 model type이 아니라 coordinate region을 설명한다.
  • M Online Scheduler 지침: scheduler 연구는 model, suite, budget, tool, parser, judging protocol을 고정한 채 contest reference를 coverage guard 및 coverage-plus-verification guard와 비교한다.coverage guard는 반복 투자에 앞서 모든 visible problem이 initial paid probe를 받도록 요구한다. verification gate는 stable candidate가 바뀌지 않는 한 반복 checking을 제한한다.
  • N Trajectory 수준의 Allocation Failure 및 Recovery 사례 연구: trajectory 사례 연구는 formal outcome, complete trajectory와 artifact, 탐지된 infrastructure failure의 부재를 기준으로 선정한 14개의 수동 감사 candidate case를 사용해 aggregate allocation-failure mechanism을 보여준다.최종 correctness는 domain-specific parser 또는 verifier에서 도출된다. behavioral label은 trajectory를 진단하며, oracle evidence는 한 번의 contest trajectory에서 재현이 보장된다는 뜻이 아니라 관찰된 allocation 여지를 나타낸다.
  • N.1 사례 I: Local Debugging이 oracle이 선택한 네 문제를 밀어냄: DeepSeek-Chat은 집계된 10개 action을 모두 Problem C에 사용해 0/6을 기록하고 다섯 문제를 손대지 않은 반면, cap-limited oracle은 다른 네 문제를 선택해 4/6에 도달한다.Problem A, B, D, E에는 각각 두 action에서 accepted observed response-curve point가 존재한다. 따라서 고유한 8-action selected optimum과 경험적으로 도달 가능한 네 개의 displaced opportunity가 산출된다. Problem C는 easy benchmark tier에 속한다.
  • N.2 사례 II: 성공적인 단독 실행보다 더 많은 귀속 출력: Code Set 9에서 ρ = 0.8일 때 DeepSeek-Chat은 두 contest problem을 풀지만, response-curve oracle은 Problem F를 포함한 세 문제를 선택한다. Problem F는 단독 실행에서 173 output tokens로 풀린다.contest는 Problem F에 322.4 Stage-1 tokens를 귀속하지만 complete program은 틀렸다. 이는 section-length attribution이며, 173 tokens는 표본 추출된 successful point 중 최저값이다.
  • N.2 사례 II: 성공적인 단독 실행보다 더 많은 귀속 출력: contest failure는 truncation이나 incomplete implementation이 아니라 task misinterpretation이다. Stage 1은 사용 가능한 5,065 tokens 중 1,618에서 끝나지만, 모델은 initial 10 뒤의 모든 character가 0이어야 한다고 잘못 요구한다.standalone solution은 nonzero exponent suffix를 허용하지만, contest program은 더 강한 all-zero rule을 구현해 wrong-answer verdict를 받는다. Stage 2는 동일한 잘못된 code만 추출한다.

N.3 사례 III: 프로토콜에 따른 보류 후 약한 최종화 · N.4 대응 개입 예시: 추가 정답 2개를 포함한 더 넓은 커버리지

대응 개입은 동일한 7회 행동 예산에서 더 넓은 커버리지가 정답 2개를 추가할 수 있음을 보이는 한편, 추상 추론 사례는 알려진 결함이 식별된 뒤 약한 최종화를 보인다. 두 사례는 함께 coverage-first scheduling의 이점과 비용, 그리고 shelving failure를 oracle-recoverable gap으로 해석하는 데 따르는 한계를 보여준다.

  • N.3 사례 III: 프로토콜에 따른 보류 후 약한 최종화: Problem 3에서 처음 전환한 것은 다른 문제들에 초기 probe가 없었기 때문에 프로토콜에 따른 것이지만, 이후 돌아가기를 거부한 것은 oracle-recoverable gap이 아니라 약한 최종화를 반영한다.커버리지가 완료된 뒤에는 guard가 알려진 결함으로 돌아가는 것을 더 이상 막지 않지만, 연결된 contest별 response-curve oracle record는 존재하지 않는다.
  • N.3 사례 III: 프로토콜에 따른 보류 후 약한 최종화: rho = 0.8에서 DS-Pro는 7회 행동 중 6회를 사용하고, 6개 추상 추론 문제 중 3개를 해결한 뒤 1회 행동을 사용하지 않고 종료한다.이 실행은 고정된 rho = 0.2 scheduler-intervention cell의 범위 밖에 있다.
  • N.3 사례 III: 프로토콜에 따른 보류 후 약한 최종화: 에이전트는 자신의 palindrome 후보가 문자를 누락한다는 것을 식별하지만, 모든 문제가 커버된 뒤에도 유료 행동이 1회 남아 있는데 잘못된 답을 유지한다.후보는 입력의 68자에 비해 65자이며 h, k, r이 각각 한 번씩 누락되어 있다. 실행 중에는 사후 검사가 노출되지 않았다.
  • N.4 대응 개입 예시: 추가 정답 2개를 포함한 더 넓은 커버리지: 2/6에서 4/6으로: Strategy B는 동일한 7회 행동 예산에서 대응 coding contest의 contest reference를 능가한다.두 전략 모두 7회의 계수된 행동을 실행한다. contest reference의 점수는 2/6이고 Strategy B의 점수는 4/6이다.
  • N.4 대응 개입 예시: 추가 정답 2개를 포함한 더 넓은 커버리지: 대응 비교는 동일한 7회 행동 예산, tools, parser, verifier, 그리고 보고된 A0.2 configuration을 사용해 Code Set 12에서 DS-Pro를 실행한다.Strategy B는 Appendix M의 coverage guard와 verification gate를 추가하며, contest reference는 baseline agent다.
  • N.4 대응 개입 예시: 추가 정답 2개를 포함한 더 넓은 커버리지: Strategy B는 집중된 초기 depth에서 더 넓은 커버리지로 행동을 재배분해 contest reference가 한 번도 다루지 않은 Problems D and E를 수락한다.contest는 (3, 3, 0, 0, 0, 1)을 할당하는 반면, Strategy B는 (2, 1, 1, 1, 1, 1)을 할당한다.
  • N.4 대응 개입 예시: 추가 정답 2개를 포함한 더 넓은 커버리지: 더 넓은 커버리지 비교는 궤적이 independent model samples이므로 예시적일 뿐 결정론적이지 않으며, 그 메커니즘은 도메인 전반에 균일하게 이전되지 않는다.차단된 재투자는 예산을 소비하지 않지만, coverage guard는 여전히 각 문제에 유료 probe를 요구한다.
  • N.4 대응 개입 예시: 추가 정답 2개를 포함한 더 넓은 커버리지: 커버리지는 7회 행동 중 6회를 소비하므로 Strategy B에는 Problem A에서 추가 depth를 수행할 1회 행동이 남지만, Problems B와 C의 depth는 줄어든다.Problem B는 2회 적은 행동으로도 정답을 유지하는 반면, 1회 행동은 해결되지 않은 어려운 Problem C에 사용된다.

O 대상 내 맥락 스트레스 진단

대상 내 진단은 여섯 문제를 함께 제시할 때 문제 간 자원 배분과 무관하게 맥락 간섭이 발생하는지 검증한다. 12개 cell 전반에서 suite 맥락은 target-only 성능에 대체로 거의 영향을 주지 않았지만, Qwen3.7-Max는 Coding에서 더 큰 차이를 보였다.

  • 실험 설계: 이 진단은 여섯 문제 suite 맥락은 유지하되, 실행 가능한 여러 문제 중 선택하거나 문제 간 자원을 배분할 필요는 제거한다.각 target position을 한 번씩 평가하며, stress 결과를 문제에 대응하는 single-problem reference와 짝지었다.
  • 실험 설계: 이 실험은 tool-free 및 agentic 수학, competitive programming, abstract reasoning setting에서 Qwen3.7-Max와 DeepSeek-V4-Pro를 평가한다.domain별로 결정론적으로 sampling한 suite 10개를 사용하고, 이를 model과 setting 간에 공유해 총 720개의 stress episode를 산출했다.
  • 통제와 분석: 저자들은 이 분석을 contest–oracle gap의 인과적 분해가 아니라 robustness diagnostic으로 다룬다.control–stress 차이는 suite 내에서 평균낸 뒤, 10개 suite에 걸쳐 동일한 가중치로 평균냈다.
  • 결과: 12개 model–setting–domain cell에서 control–stress 차이의 비가중 평균은 1.1 percentage points였고, 그중 아홉 차이는 최대 5 points였다.DeepSeek-V4-Pro의 여섯 cell은 모두 차이가 최대 5 points였지만, Qwen3.7-Max는 tool-free Coding에서 6.7 points, Agentic Coding에서 8.3 points로 더 큰 차이를 보였다.
Loading 2608.16033v1…