Prescriptive Scaling Reveals the Evolution of Language Model Capabilities

Hanlin Zhang; Jikai Jin; Vasilis Syrgkanis; Sham Kakade

Source-linked AI summary

Prescriptive Scaling Reveals the Evolution of Language Model Capabilities

Hanlin Zhang, Jikai Jin, Vasilis Syrgkanis, Sham Kakade

arXiv:2602.15327v22026년 2월 17일cs.LGcs.AIcs.CLstat.ML

TL;DR

이 논문은 다양한 post-training을 거친 language model에서 pre-training compute가 달성 가능한 downstream accuracy를 얼마나 안정적으로 예측할 수 있는지 묻는다. 높은 조건부 분위수 sigmoid capability boundary를 추정한 결과, 대부분의 task에서는 시간에 따라 안정적이지만 math reasoning에서는 boundary가 변하는 것으로 나타난다.

문제
기존 scaling law는 다양한 post-training 방식에서 pre-training compute를 달성 가능한 downstream accuracy로 연결하는 데 제한적인 근거만 제공한다.
방법
논문은 log pre-training compute의 단조적이고 포화되는 sigmoid 함수로 높은 조건부 분위수 capability boundary를 추정하고, 그 시간적 타당성을 검증한다.
결과
capability boundary는 6개 task 중 4개에서 비교적 안정적이지만, math reasoning에서는 시간이 지날수록 일관되게 향상되는 boundary가 나타난다.
시사점 및 한계
이 framework는 의사결정에 활용할 수 있는 compute-to-performance expectation을 제공하는 동시에, 방법의 발전으로 달성 가능한 capability ceiling이 변하는 task를 식별한다.
시사점 및 한계
질적으로 새로운 recipe class 또는 architecture family는 동일한 compute에서 달성 가능한 boundary를 높일 수 있으므로, fit을 갱신해야 할 수 있다.

Abstract

from arXiv · show

Machine learning model performance improvements tend to arise from competition and application. For deployment, we consider prescriptive scaling laws: given a pre-training compute budget, what downstream accuracy is attainable with contemporary post-training practice, and how stable is that mapping as the field evolves? Using large-scale observational evaluations with 5k existing and 2k newly evaluated model checkpoints spanning 2022-2026 across six benchmarks, we estimate capability boundaries, high conditional quantiles of benchmark scores as a function of log pre-training FLOPs, via smoothed quantile regression with a monotone, saturating sigmoid parameterization. We validate temporal reliability by fitting on earlier model generations and evaluating on later releases: across four of six tasks, the out-of-distribution coverage error remains below 2%, while math reasoning exhibits a consistently advancing boundary over time. For instance, at a budget of 10^24 FLOPs, the estimated attainable accuracies are 0.83 on IFEval and 0.54 on MATH Lvl 5. We then extend our approach to analyze task-dependent saturation and to probe contamination-related shifts on math reasoning tasks. Finally, we introduce a balanced I-optimal sampling algorithm that recovers near-full-data frontiers using roughly 20% of the parameter-count-weighted evaluation budget, as low as 5% on some tasks, while maintaining comparable calibration. Together, our work releases Proteus-2k, the latest model performance evaluation dataset, and introduces a practical methodology for translating compute budgets into reliable performance expectations and for monitoring when capability boundaries shift across time.

1 서론

이 논문은 단조적이고 포화하는 sigmoid capability boundary를 사용해 pre-training compute로부터 post-trained performance의 달성 가능 수준을 예측하는 prescriptive scaling law를 개발한다. 대부분의 task에서는 이 boundary가 시간에 따라 안정적이지만 math에서는 변화하며, adaptive sampling을 통해 효율적인 평가도 가능함을 보인다.

1 서론: pre-training compute를 늘리면 일반적으로 downstream performance가 향상되지만, 유사한 FLOPs를 사용하는 모델들도 reasoning, instruction following, domain-specific question answering에서 상당한 이질성을 보일 수 있다.이러한 이질성 때문에 평균적인 compute 추세에만 의존하기보다 post-trained performance의 달성 가능 수준을 예측해야 한다.
1 서론: post-trained performance는 pre-trained performance보다 예측 가능하며, sigmoid boundary는 compute-agnostic baseline의 3.6%보다 낮은 2.2% OOD calibration error를 달성한다.이 boundary는 log-compute의 단순한 단조적·포화 sigmoid로 모델링된다.
1 서론: capability boundary는 6개 task 중 4개에서 시간에 따라 비교적 안정적으로 유지되는 반면, math reasoning에서는 지속적으로 개선되는 boundary가 나타난다.시간순 train/validation split을 사용하면 compute와 달성 가능 accuracy 사이의 관계가 언제 신뢰할 수 있고 언제 변하는지 확인할 수 있다.
1 서론: saturation analysis는 일부 task에서 안정적인 size-determined ceiling을, math에서는 변화하는 ceiling을 식별하며, contamination analysis에서는 명확한 AIME-2025 score inflation을 발견하지 못한다.이 사례 연구들은 prescriptive scaling을 적용해 task-dependent limit과 잠재적 contamination effect를 구분한다.
1 서론: adaptive sampling은 전체 parameter-count-weighted evaluation budget의 일반적으로 20%를 사용해 sigmoid capability boundary를 복원하며, 일부 task에서는 5%만으로도 가능하다.이 방법은 제한된 computation budget에서 정확한 frontier 복원을 목표로 한다.

2 Post-training Capability Boundary 추정

Prescriptive Scaling은 pre-training FLOPs가 현재의 post-training 관행에서 달성 가능한 downstream 성능으로 어떻게 변환되는지 묻는다. 이 절에서는 이러한 매핑을 경험적 high-quantile capability boundary로 정식화하고, quantile accuracy와 local coverage를 사용해 후보 monotone model을 평가한다.

2 Post-training Capability Boundary 추정: Prescriptive Scaling은 pre-training compute를 현재의 post-training 관행하에서 달성 가능한 downstream benchmark 성능을 예측하기 위한 조절 가능한 설계 입력으로 취급한다.추정된 boundary는 관측된 model ecosystem의 post-training method, data curation, evaluation protocol을 조건으로 한다.
2 Post-training Capability Boundary 추정: Capability boundary는 log10 pre-training FLOPs가 주어졌을 때 관측 score의 conditional τ-quantile을 추정하며, 실제로 관측된 정확도의 진정한 최댓값을 추정하는 것은 아니다.이 정식화는 만연한 outlier를 다루고, 관측된 model population에 대한 경험적 attainable boundary를 나타낸다.
2 Post-training Capability Boundary 추정: 후보 boundary model은 constant, binwise-constant, monotone saturating sigmoid, 그리고 더 유연한 monotone I-spline function으로 구성된다.sigmoid는 예측값을 [0, 1]로 제한하고 nonnegative compute slope와 saturation을 부과하며, I-spline은 이러한 monotone structure를 일반화한다.
2 Post-training Capability Boundary 추정: Quantile accuracy는 smoothed pinball loss로 측정하며, τ가 one에 가까울 때 under-prediction을 강조하는 비대칭 penalty를 적용한다.이 metric은 training period와 out-of-distribution validation period 모두에 대해 보고되지만, error가 발생한 위치와 방향을 가릴 수 있다.
2 Post-training Capability Boundary 추정: Coverage error는 각 log-compute bin에서 empirical local coverage와 target quantile 사이의 signed difference를 측정한다.이는 서로 다른 compute level에서 fitted boundary가 의도한 quantile coverage를 달성하는지 검증한다.

3 Post-training 성능 경계를 위한 Sigmoid Scaling Laws

Post-training capability boundary는 log-compute의 sigmoid 함수로 상당히 잘 근사되며, 대부분의 task에서 강한 out-of-distribution calibration을 보이지만 MATH LVL 5에서는 시간적 drift가 나타난다. Pretrained accuracy와 비교하면 post-trained boundary가 달성 가능한 성능을 더 안정적으로 예측하며, pretraining과 post-training 사이의 격차는 task에 따라 다르다.

3.1 Open-weight models: Sigmoid boundary는 I-spline의 in-distribution loss와 일치하며 estimator 중 최상의 out-of-distribution calibration을 달성한다.이는 후속 분석에서 Sigmoid를 기본 boundary class로 사용할 근거가 된다.
3.1 Open-weight models: BBH, GPQA, MMLU-PRO, MUSR에서는 coverage error가 ±2% 이내에 머무르지만, MATH LVL 5에서는 최초 split에서 under-coverage와 상승한 pinball loss가 나타난다.이러한 이탈은 시간에 따라 유효 boundary가 non-stationary하다는 뜻이며, 체계적인 under-coverage는 새로운 recipe나 architecture family가 달성 가능한 boundary를 위로 이동시켰다는 신호일 수 있다.
3.2 Pre-training versus post-training: Pretrain–post-train gap은 task dependent하다. pretrained model은 MMLU-PRO에서 post-trained boundary에 근접하지만, MATH LVL 5와 IFEVAL에서는 그보다 상당히 낮은 수준에 머문다.지식 집약적 task에서는 격차가 더 작고, reasoning 및 instruction-following task에서는 post-training gain이 더 크다.
3.2 Pre-training versus post-training: Post-trained capability boundary는 compute에 대해 일관되게 monotone하지만, pretrained accuracy는 model family 전반에서 monotonicity를 자주 위반한다.따라서 compute는 raw pretrained accuracy보다 potential을 더 안정적으로 예측한다. pretrained model 중에서는 더 큰 compute로 학습한 base가 더 작은 model보다 낮은 점수를 받을 수 있다.
3.1 오픈 웨이트 모델: Leaderboard에 적합된 경계는 사월 2024년부터 삼월 2026년까지의 2.4k개 held-out open-weight 모델에서 관측된 최고 성능을 계속 상회하는 상한으로 기능하며, 주된 예외는 MATH LVL 5다.held-out 모델은 leaderboard에 포함되지 않았으며, 2025-03-13 폐지 이후 출시된 모델도 포함된다.

4 제한된 예산에서의 Capability Boundary 추정

이 절에서는 compute regime을 포괄하면서 boundary uncertainty를 최소화하도록 parameter-count-weighted budget하에서 model evaluation을 선택하는 balanced I-optimal design을 소개한다. 전체 evaluation budget의 약 20%로 near-full-data capability boundary를 복원하며, GPQA와 MUSR에서는 5%로 복원한다.

Balanced I-optimal objective: balanced I-optimal design은 모든 compute bin을 포괄하도록 유도하면서 평균 predictive variance를 최소화한다.목적 함수는 predictive variance 항과 bin-balance 항을 결합하며, λ는 boundary uncertainty와 coverage 사이의 trade-off를 조절한다.
Cost and budget: Evaluation cost는 parameter count에 선형 비례하도록 모델링하며, 선택된 model은 각 period의 전체 evaluation cost 중 사용자가 정한 비율 α로 제약된다.선택된 subset은 period별 budget 이내에 있어야 하며, 다음 period에 대한 정확한 out-of-distribution prediction을 지원해야 한다.
Implementation: greedy gain-per-cost heuristic은 model metadata와 local sigmoid-boundary Jacobian만 사용해 design을 근사적으로 최적화한다.이 방법은 모든 candidate model을 완전히 evaluation하지 않고 compute location, evaluation cost, local sensitivity information을 사용한다.
Empirical behavior: ≈20% budget으로 near-full-data capability boundary를 복원하며, GPQA와 MUSR은 α = 5%에서 거의 동일한 추정치를 얻는다.period와 task 전반에서 α가 증가하면 error가 빠르게 감소하고 20%에서 50% 사이에서 안정화된다.

5 사례 연구: 포화와 오염 진단

사례 연구는 달성 가능한 성능 상한이 task와 model size 모두에 크게 의존하는 반면, frontier-model scaling은 sigmoid boundary와 일관되며 contamination 진단에서는 집계 수준의 AIME-2025 inflation에 대한 명확한 증거를 찾지 못했음을 보여준다. 특히 13B models는 후기 MATH Lvl 5 boundary에 근접하지만 MMLU-Pro의 boundary에는 여전히 크게 못 미친다.

동기: 이 진단은 두 가지 시간 의존적 evaluation 우려를 다룬다. score 관계가 변화함에 따른 task-dependent saturation과 contamination 또는 test task에 대한 training을 포함한 artifact다.이 절은 pre-training compute의 함수로 capability-boundary를 추정하는 데서 나아가 prescriptive scaling을 확장한다.
Task-dependent saturation: 13B models는 MATH Lvl 5에서 q̂0.98 ≈0.94에 도달하지만 최신 기간의 MMLU-Pro에서는 ≈0.52에 그쳐, task-dependent small-model ceiling을 드러낸다.Larger models는 MMLU-Pro에서 우위를 유지하는 반면, small models는 Math의 top boundary에 근접한다.
Frontier-model external validity: closed-source frontier-model의 GPQA diamond evaluations에서 Sigmoid boundary와 I-spline boundary는 대체로 largely similar하며, sigmoid scaling law의 external validity를 뒷받침한다.boundary는 compute가 알려진 models를 사용해 fitting되며, 추가 frontier-leaderboard 결과는 Section H에 제시된다.
Contamination diagnostics: MATH-500 대비 positive AIME-2025 shift는 통계적으로 유의하지 않으며 (p-value = 0.15), release 이후 AIME-2025 score가 이례적으로 높아졌다는 집계 수준의 명확한 증거를 제공하지 않는다.분석은 release group 간 겹치는 MATH-500 score range를 사용하며, n = 90이다.

6 관련 연구

고전적 scaling laws는 통제된 설정에서 model size, data, compute와 pretraining loss를 연결하며(Hoffmann et al., 2022; Kaplan et al., 2020), 관련 연구는 향후 model development를 위한 실행 가능한 지침을 모색한다(Hernandez et al., 2021; Kaplan et al., 2020; McCandlish et al.). 본 연구는 이들 algorithmic approach를 보완하여 이질적인 post-training pipeline을 추상화하고, engineering 의사결정에 부합하는 대규모 관측 분석을 가능하게 한다.

고전적 scaling laws는 통제된 설정에서 model size, data, compute와 pretraining loss를 연결한다(Hoffmann et al., 2022; Kaplan et al., 2020).
관련 연구는 scaling forecast를 향후 model development를 위한 실행 가능한 지침으로 전환한다(Hernandez et al., 2021; Kaplan et al., 2020; McCandlish et al.).
본 논문은 이질적인 post-training pipeline을 추상화하고, 유사한 pretraining FLOPs를 갖는 model을 engineering 의사결정에 부합하는 대규모 관측 분석을 위한 하나의 domain으로 취급함으로써 algorithmic advance를 보완한다.

7 결론

이 논문은 사전학습 compute budget을 신뢰할 수 있는 downstream 성능 기대치로 매핑하는 의사결정 지향 프레임워크인 prescriptive scaling을 제시한다. 대부분의 task에서 달성 가능한 post-training 성능은 log-compute의 단순한 단조 sigmoid 함수로 나타나며 시간에 따라 안정적임을 보인다.

결론: Prescriptive scaling은 contemporary post-training practice에서 사전학습 compute budget을 신뢰할 수 있는 고확률 downstream 성능으로 매핑한다.이 프레임워크는 대규모의 이질적인 model population에서 high-quantile capability boundary를 추정한다.
결론: 달성 가능한 post-training 성능은 log-compute의 단순한 단조 sigmoid 함수로 잘 근사된다.
결론: 대부분의 task에서 capability boundary는 시간에 따라 안정적이다.

부록 … B.3 Full I-spline Definition

부록에서는 high-quantile pinball regression이 안정적이고 확률적으로 해석 가능한 capability-boundary estimator임을 정당화하고, binning과 monotone I-spline 구현을 명시한다. 또한 이 접근법이 outlier-driven maxima를 피하면서 신뢰성 있게 달성 가능한 upper-envelope performance를 추정함을 보인다.

A.1 Pinball Loss의 특성: τ = 0.98에서 smoothed pinball loss는 true upper envelope와 밀접하게 일치하는 반면, squared loss는 높은 compute에서 달성 가능한 performance를 과소평가한다.비대칭 loss는 high-performing model보다 낮은 boundary를 강하게 penalize하고 underperforming point는 대부분 무시한다.
A.2 Quantile Regression을 통한 Performance Frontier: High-quantile regression은 bin-wise maxima보다 안정적이다. maxima는 sample count에 따라 변하고 간헐적인 extreme model에 의해 좌우되기 때문이다.τ ≈0.98과 같은 quantile은 상단에 가깝게 유지하면서 단일 outlier run에 대한 민감도를 낮춘다.
A.2 Quantile Regression을 통한 Performance Frontier: High conditional quantile은 확률적 capability boundary를 제공하며, 가장 운이 좋았던 observed model이 아니라 compute C에서 높은 확률로 달성 가능한 performance를 나타낸다.이 해석은 bin별 및 period별 coverage check를 뒷받침한다.
A.2 Quantile Regression을 통한 Performance Frontier: 이 boundary는 임의로 많은 parallel bet을 가정하지 않고 competitive training pipeline에서 신뢰성 있게 도달 가능한 top-tier performance를 형식화한다.이는 특정 compute 값에서 지금까지 학습된 단 하나의 best model을 찾는 것과 개념적으로 다르다.
B.1 구체적인 Outlier 예시: Benchmaxx-Llama-3.2-1B-Instruct는 0.83 BBH와 0.48 MATH LVL 5에 도달하는 반면, second-best Llama-3.2-1B derivative는 0.36과 0.08에 그친다.이 예시는 재현 가능한 algorithmic improvement와 overfitting 또는 leakage로 발생한 고립된 spike를 구분해야 함을 보여준다.
B.2 Binwise Model을 위한 전체 Bin Construction Algorithm: Group-aware equal-mass binning은 bin 내부에서 동일한 compute 값을 보존하고, 인접 bin을 병합해 minimum bin size를 강제한다.유효한 bin 수는 고유한 compute level의 수에 의해 제한된다.
B.3 Full I-spline Definition: I-spline estimator는 nonnegative M-spline basis를 사용해 유연한 monotone function을 parameterize하므로 각 I-spline basis function은 nondecreasing하다.이 parameterization은 Ramsay (1988)에 기인한다.
B.3 Full I-spline Definition: I-spline coefficient를 constrain하면 g(z)가 nondecreasing이 되며, 여기에 σ를 적용하면 [0, 1] 범위의 monotone saturating boundary qτ(z)를 얻는다.결과 prediction은 bounded되고 compute에 따라 saturate한다.

C Pre-training과 Post-training 진단 … D.2 Figure 2의 기반이 되는 bin별 진단

Post-training은 IFEVAL과 MATH LVL 5에서 가장 큰 향상을 보이는 반면, 다른 네 과제의 향상 폭은 더 작다. bin별 진단에서는 편차가 일부 중간~고 compute bin에 집중되며, 다른 구간에서는 경미한 오차만 나타나 scaling이 안정적임을 보여준다.

C Pre-training과 Post-training 진단: 진단에서는 base identity와 compute를 일치시킬 때, pretrained checkpoint와 적합된 post-trained sigmoid capability boundary를 boundary distance 및 paired post-training lift를 사용해 비교한다.Open LLM Leaderboard의 공식 label과 pretrained label로 pretrained subset을 정의하며, Llama, Qwen, Gemma와 같은 인기 있는 open-weight family를 중점적으로 포함한다.
C Pre-training과 Post-training 진단: 관측된 pretraining compute 전반에서 Post-training gain은 IFEVAL과 MATH LVL 5에서 가장 크고, MMLU-PRO, BBH, GPQA, MUSR에서는 더 작게 나타난다.Figure 9는 pretrained checkpoint가 post-trained capability boundary 아래에 있는 거리와 paired post-training lift를 모두 정량화하고, Figure 10은 이에 대응하는 boundary를 중첩해 표시한다.
D.1 Section 3의 생략된 세부사항: rolling protocol은 각 boundary를 P_t에 적합하고 P_t+1에서 평가하며, z = log10 C에서 training 및 validation 범위가 겹치는 구간으로 OOD evaluation을 제한한다.Base-model table은 네 개의 기간을 다루며, 최소 열 번 사용된 model만 포함한다.
D.1 Section 3의 생략된 세부사항: Table 2의 상대적 변화는 constant baseline을 기준으로 계산하며, pinball-loss 또는 coverage-error 값이 더 음수일수록 성능이 더 좋음을 의미한다.Appendix에서는 training-period bin edge를 OOD evaluation에 재사용해 bin별 coverage를 정의하며, 음의 signed deviation은 under-coverage를 의미한다.
D.2 Figure 2의 기반이 되는 bin별 진단: 보충 bin별 진단에서는 training period를 기반으로 구성하고 train–OOD overlap으로 제한한 log-compute bin을 사용해 MMLU-PRO, MATH LVL 5, IFEVAL을 평가한다.Figures 12와 13은 시간 구간 전반의 bin별 OOD coverage와 pinball-loss breakdown을 보고한다.
D.2 Figure 2의 기반이 되는 bin별 진단: 가장 큰 coverage 및 pinball-loss 편차는 compute 전반에 균일하게 발생하기보다 일부 중간~고 compute bin에 집중된다.여섯 과제에 걸친 완전한 ID 및 OOD coverage-error와 pinball-loss 패턴은 Figures 14와 15에 제시된다.
D.2 Figure 2의 기반이 되는 bin별 진단: MMLU-PRO, MATH LVL 5, IFEVAL을 제외한 나머지 benchmark에서는 compute bin 전반에 걸쳐 ID 및 OOD 오차가 경미하게 나타나며, 이는 stable scaling을 시사한다.이 결론은 나머지 과제에 대한 완전한 bin별 진단에 근거한다.

E 모델 크기에 대한 Scaling Laws · F 새로 평가된 모델

이 논문은 capability-boundary 분석을 compute에서 모델 크기로 확장해 여러 task에서 시간에 따른 안정화를 확인하고, Proteus-2k에서 새로 선정한 open-weight 모델의 평가 결과를 공개한다. 새 모델 평가는 널리 사용되는 Hugging Face 호환 모델과 최근 업계 출시 모델을 포함하며, 결과는 모델 세대 상태에 따라 정리된다.

E 모델 크기에 대한 Scaling Laws: 모델 크기는 sigmoid capability boundary의 보완적 단일 predictor로 사용되며, 무한한 pretraining data가 주어졌을 때 작은 모델이 무엇을 습득할 수 있는지를 보여준다.이는 pretraining compute 또는 모델 크기를 pretraining token size와 함께 사용하는 고전적 scaling laws와 대조된다.
E 모델 크기에 대한 Scaling Laws: Figure 16은 모델 크기의 함수로 표현한 sigmoid capability boundary를 비교한다.이 figure는 수치형 cell 값이 제공되지 않은 상태에서 해당 절의 모델 크기 scaling-law 비교를 제시한다.
E 모델 크기에 대한 Scaling Laws: MATH LVL 5와 IFEVAL은 고정된 모델 크기에서 초기에는 향상되지만, capability-boundary curve는 이후 기간에 안정화된다.Figure 17은 연속된 기간과 task에 걸친 sigmoid performance boundary를 비교한다.
F 새로 평가된 모델: 새로 평가된 open-weight set에는 lmeval-harness와 호환되는 인기 Hugging Face 모델과 유명 업계 연구소에서 수작업으로 선정한 최신 모델이 포함된다.업계 연구소의 예로는 OLMo-3, Nemotron nano, Nemotron cascade가 있다.
F 새로 평가된 모델: 평가 결과는 Proteus-2k dataset으로 공개되며, 선정된 subset에는 Open LLM Leaderboard에 없는 새로운 base model이 포함된다.선정된 subset은 proteus-selected로 별도 제공된다.
F 새로 평가된 모델: 결과는 release era에 따라 구분되며, 이전 모델은 Figure 18에, 이후 모델은 Figure 19에 제시되고, base model이 새로운지 여부에 따라 다시 나뉜다.Table 5는 base-model family별 새로 평가된 모델 수를 요약한다.

G Smoothed-Pinball Hyperparameter에 대한 민감도 … H.3 잠재 능력 요인과 처방적 경계

부록 분석에 따르면 estimator는 smoothed-pinball hyperparameter에 강건하며, 오래된 leaderboard 데이터와 PCA는 시간적 포화와 하나의 잠재 능력 요인에 집중된 compute scaling을 보여준다.

G Smoothed-Pinball Hyperparameter에 대한 민감도: 저차원 sigmoid family에는 명시적 단조성 및 범위 제약이 있으므로 in-period cross-validation은 불필요하며, 평가의 난점은 in-period overfitting이 아니라 period shift가 지배한다.κ는 주로 비매끄러운 check loss에 대한 근사를 제어하고, λ는 주로 수치적 regularization을 제공한다.
G Smoothed-Pinball Hyperparameter에 대한 민감도: 고정 default (κ, λ) = (50, 10−3)와 in-period에서 조정한 hyperparameter 사이에서 OOD pinball loss와 coverage는 사실상 변하지 않는다.Figure 20은 Pt+1에서의 비교를 보고하며, 선택된 값은 대체로 κ ∈{20, 50} 및 λ ∈{10−4, 10−3}에 집중된다.
G Smoothed-Pinball Hyperparameter에 대한 민감도: swept grid 전반에서 성능은 넓은 합리적 영역에서 안정적이지만, ridge weight λ = 10−1이 지나치게 크면 저하된다.sweep은 temporal drift가 가장 뚜렷한 BBH와 MATH LVL 5를 포괄한다.
G Smoothed-Pinball Hyperparameter에 대한 민감도: κ가 중간 정도가 되면 그 영향은 작고, λ가 작을수록 coverage가 약간 개선될 수 있다.coverage-error sweep에서 보이듯 coverage는 λ가 지나치게 클 때 가장 민감하다.
H.1 Frontier Model의 Public Leaderboard: Epoch AI의 더 작고 더 폐쇄적인 model set에서는 MATH Lvl 5와 Mock ATME에 FLOPs 관련 향상이 나타나지 않는 반면, GPQA diamond는 FLOPs에 따라 뚜렷하게 scaling된다.이 sigmoid scaling-law 결과는 Figure 23에 제시된다.
H.2 Open LLM Leaderboard v1 결과: 오래된 Open LLM Leaderboard v1 결과에서는 P1에서 P2로 갈 때 GSM8K와 TruthfulQA가 크게 향상된 뒤, P3까지 모든 benchmark가 포화된다.v1 결과는 더 새로운 v2 leaderboard의 결과와 다르다.
H.3 잠재 능력 요인과 처방적 경계: PC1은 compute에 따라 뚜렷하게 scaling되는 반면, PC2와 PC3의 capability boundary는 거의 평평하여 관측된 leaderboard scaling이 대체로 하나의 component를 반영할 수 있음을 시사한다.principal-component scaling 패턴은 Figure 25에 제시된다.

I Open LLM Leaderboard 버전 및 태스크 전반의 포화 분석 · J Balanced I-Optimal Design을 위한 Greedy Optimization · Algorithm 1: Balanced I-Optimal Design을 위한 Greedy Optimization

부록은 포화가 태스크와 leaderboard 버전에 따라 달라짐을 보이는 한편, local frontier geometry, information gain, compute-bin balance를 활용해 평가를 선택하는 balanced I-optimal greedy design을 자세히 설명한다. Algorithm 1은 이 절차를 효율적으로 구현하며, 이후의 in-sample 및 out-of-sample calibration 분석을 지원한다.

I Open LLM Leaderboard 버전 및 태스크 전반의 포화 분석: Open LLM Leaderboard v2에서는 Task dependence가 뚜렷하다. 지식 중심 태스크는 MATH Lvl 5와 같은 순수 reasoning 태스크보다 소형 모델의 지배가 덜하다.이 진단은 관측적이며, 시간에 따른 제출 모델, training recipe, post-training, benchmark targeting을 반영한다.
I Open LLM Leaderboard 버전 및 태스크 전반의 포화 분석: 많은 Open LLM Leaderboard v1 태스크에서는 frontier convergence가 강하게 나타나므로, “scaling의 종말”에 관한 결론은 benchmark suite에 민감하다.부록은 archived v1과 current v2 suite 모두에 대해 Hooker (2025, Figure 3)의 논리를 재현한다.
J Balanced I-Optimal Design을 위한 Greedy Optimization: balanced design은 각 기간의 evaluation-size budget 아래에서 candidate subset을 선택해 Φλ(S) = Φinfo(S) + λ Φbal(S)를 최대화한다.후보는 log pre-training compute, evaluation cost, compute-bin index로 정의된다.
J Balanced I-Optimal Design을 위한 Greedy Optimization: nominal parameters에서 high-quantile sigmoid boundary의 Local Jacobians는 information 및 balance 계산에 사용되는 후보 및 bin-level geometry를 제공한다.frontier의 파라미터 수는 p = 4이며, 실험에서는 bin weight가 uniform이다.
Algorithm 1: Balanced I-Optimal Design을 위한 Greedy Optimization: Sherman–Morrison update는 closed-form marginal information gain을 제공하므로, matrix refactoring 없이 각 후보 평가를 O(p^2) operations로 줄인다.작은 ridge term η > 0은 inverse-information 계산을 안정화하며, anchor set은 well-conditioned local geometry를 보장한다.
Algorithm 1: Balanced I-Optimal Design을 위한 Greedy Optimization: Algorithm 1은 range-spanning anchor model로 초기화한 뒤, compute-bin count를 업데이트하면서 feasible candidate 중 gain-per-cost가 양수이고 가장 큰 후보를 반복적으로 추가한다.Anchor는 관측된 compute의 최솟값과 최댓값을 포괄하며, 가능한 경우 nominal sigmoid inflection point z⋆ = −a0/b0도 포함한다.
Algorithm 1: Balanced I-Optimal Design을 위한 Greedy Optimization: Figures 28 and 29는 evaluation budget 및 태스크 전반에서 balanced design이 다음 기간의 in-sample 및 out-of-sample coverage calibration error와 pinball loss에 미치는 영향을 평가한다.coverage error와 pinball loss는 각각 period t에서 추정한 boundary를 사용해 period t + 1에서 budget parameter α의 함수로 표시된다.