PaperlayerView exact revision on arXiv

Source-linked AI summary

Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090

Kairong Luo, Jiarui Cui, Yaorui Yin, Shengqi Chen, Yiming Yang, Linxiang Gao, Yanmohan Wang, Mingzhe Zhang, Kaiyue Wen, Kaifeng Lyu, Wenguang Chen

arXiv:2608.27370v1cs.CLcs.LG

TL;DR

비용 효율적이고 재현 가능한 language-model pretraining은 기존의 공개 recipe도 여전히 감당하기 어려운 compute budget을 요구할 수 있어 여전히 어렵다. 이 논문은 하드웨어 접근성이 높고 비용 효율적인 pretraining recipe를 제시하고, 소비자용 RTX 5090 GPU에서 Puro-2B 모델을 학습해 약 $4.4K의 비용으로 Qwen2-1.5B 성능에 도달하며, 최상의 checkpoint는 약 $6.9K의 비용으로 Qwen2.5-1.5B에 근접한다.

  • 문제

    기존의 공개 pretraining recipe는 많은 학계 연구자와 자원이 제한된 연구자에게 여전히 너무 비싸 완전한 training pipeline에 대한 재현 가능한 연구를 제한한다.

  • 방법

    이 논문은 시스템·알고리즘·데이터 설계를 아우르는 재현성 recipe를 개발한 뒤, 소비자용 RTX 5090 GPU에서 2B 파라미터 모델을 from scratch로 학습한다.

  • 결과

    Puro-2B 모델은 약 $4.4K의 비용으로 Qwen2-1.5B 성능에 도달하며, 최상의 checkpoint는 약 $6.9K의 비용으로 Qwen2.5-1.5B에 근접한다.

  • 시사점 및 한계

    결과는 billion-parameter 규모에서 유용한 from-scratch pretraining이 저비용 소비자용 GPU pipeline으로 실현 가능함을 보여준다.

  • 시사점 및 한계

    MuonH 및 FP8 ablation은 TPP=20을 사용한 반면, production training은 TPP=700을 사용하므로 해당 ablation 결과를 production으로 직접 외삽하는 데 한계가 있다.

Abstract

from arXiv · show

Language model pretraining has become almost synonymous with prohibitive cost, placing it out of reach for much of the academic and open-source communities. Although strong open-source efforts already exist, including open-weight models and open-source training recipes, a cost-efficient, hardware-accessible, and open-source pretraining recipe has long been missing. Even at a small scale, training Llama-3.2-3B costs over \$1.5M, and reproducing SmolLM3-3B needs over \$700K. In this report, we present an open pretraining recipe designed to lower this barrier. Using this recipe, we train a collection of Puro-2B models from scratch on up to 1.4 trillion tokens with FP8 precision on consumer-grade RTX 5090 GPUs. The models in the collection differ in token budgets and selected recipe variants. Our best model is trained at a compute cost of less than \$6.9K and approaches Qwen2.5-1.5B performance under our evaluation protocol. This cost efficiency is enabled by a combination of approaches, including hardware selection, low-precision training, hyperball optimization, curriculum model averaging, and the data recipe. Beyond the recipe itself, we provide two additional results. First, across the Puro-2B collection, we derive a Puro Cost Scaling Law that relates training cost to average model performance; the fitted law suggests that about \$4.4K, less than \$5,090, is sufficient to reach the performance of Qwen2-1.5B. Second, as an end-to-end case study, we examine how pretraining data curricula shape downstream performance after post-training. Such controlled studies are enabled by having access to the full pretraining pipeline rather than model weights alone. We release the full training recipe for Puro-2B, including data, code, and model weights under Apache 2.0 at https://huggingface.co/collections/thu-pacman/puro-2b.

1 서론

이 논문은 기존 언어 모델 학습의 높은 비용과 불완전한 투명성에 대응하는, Puro-2B용 저비용·재현 가능한 open pretraining recipe를 제시한다. 최상의 checkpoint는 $6.9K에서 Qwen2.5-1.5B에 근접하며, 전체 collection은 약 $4.4K에서 Qwen2-1.5B를 능가한다. 또한 저자들은 관련 산출물을 Apache 2.0으로 공개한다.

  • 동기: open-weight 공개가 이루어졌음에도 기존 pretraining 비용은 여전히 감당하기 어려운 수준이며, 이로 인해 academic researcher가 pipeline을 재현하고 training behavior를 연구하는 능력이 제한된다.논문은 재현성을 위해 model weights뿐 아니라 data, software, infrastructure, training details, 투명한 비용 산정이 필요하다고 주장한다.
  • Recipe: 이 recipe는 접근 가능한 infrastructure에서 2B-parameter Puro-2B checkpoint collection을 처음부터 학습하며, training budget과 recipe variant를 달리한다.이 collection은 dense billion-parameter/trillion-token pretraining을 대상으로 설계되었고 Qwen2-1.5B 및 Qwen2.5-1.5B와 비교 평가된다.
  • Open release: 저자들은 recipe의 재현과 검사를 가능하게 하도록 dataset, model weights, intermediate checkpoint, configuration, implementation을 공개한다.공개 항목에는 10개 checkpoint version, data manifest와 component, training code, data-processing code가 포함되며, upstream data term은 component별로 다르다.
  • 방법: 이 efficiency stack은 RTX 5090 hardware, blockwise FP8, MuonH optimization, Curriculum Model Averaging, proxy-guided data selection을 결합한다.각 component는 각각 computation당 비용, throughput, token efficiency, training-data ordering, dataset-mixture design을 대상으로 한다.
  • Scaling law: Puro Cost Scaling Law는 CMA 없이 uniform Phase 2 data를 사용하는 scale-down scenario에서 rental-equivalent training budget과 model capability의 관계를 나타낸다.이 법칙은 서로 다른 Phase 2 token budget으로 학습한 resumed Phase 1 checkpoint에 맞춰진다.
  • Post-training case study: Matched post-training에서도 curriculum의 이점은 유지되며, curriculum initialization은 더 높은 GSM8K accuracy를 달성하고 15-task aggregate 및 대부분의 component evaluation을 향상시킨다.비교 결과는 집중된 mathematics setting과 더 큰 mathematics setting, 그리고 더 광범위한 instruction setting에 걸쳐 보고된다.
  • 결과: 약 $4.4K에서 Puro-2B model은 Qwen2-1.5B를 능가하며, 최상의 checkpoint는 $6.9K에서 Qwen2.5-1.5B에 근접한다.이 결과는 저비용 open pretraining이 오늘날 실용적이라는 논문의 주장을 뒷받침한다.

2 개요

Puro-2B recipe는 공개적으로 수집한 data, consumer-grade RTX 5090 hardware, 2단계 pretraining, curriculum-aware optimization 및 averaging, post-training, evaluation을 결합한다. 명시된 budget 산정 기준에서 보고된 비교 성능은 Qwen2-1.5B와 Gemma-2-2B를 능가하며, reproduction cost에는 최종 production pretraining에 사용된 compute만 포함된다.

  • 개요: 전체 pipeline은 공개적으로 접근 가능한 source에서 corpus를 구축하고, cost-efficient hardware를 선택하며, 2단계 pretraining을 수행하고, model을 averaging한 뒤 post-training과 evaluation을 진행하고 cost를 산정한다.Figure 3은 이 open, low-cost workflow를 일반적인 관행과 대조한다.
  • 2단계 pretraining, curriculum, optimization: Phase 1에서는 438.8B tokens를 처리하고 Phase 2에서는 960.0B tokens를 처리하며, canonical run은 Phase 2 data에 curriculum을 적용한다.curriculum은 각 scored source에서 더 선호되는 부분을 training 후반에 제시한다.
  • 2단계 pretraining, curriculum, optimization: Hyperball optimization은 선택된 scale-invariant에 가까운 matrix를 MuonH로 update하고, AdamW는 공유된 base learning-rate schedule에 따라 나머지 parameter를 update한다.MuonH는 update된 matrix를 초기 Frobenius radius로 다시 projection하며, weight-learning-rate schedule은 base schedule의 10배다.
  • 평가 및 post-training: PuRo-2B는 명시된 유사 오픈 레시피의 학습 비용 중 육분의 일보다 적은 비용으로 Qwen2-1.5B와 Gemma-2-2B를 능가한다.비교 대상은 추론, 수학, 코딩 전반에서 규모가 유사한 open-weight 모델과 재현 가능한 오픈 레시피 모델이다.
  • Cost 산정: 대표적인 reproduction cost에는 최종 확정된 2단계 pretraining rerun 1회의 compute만 포함되며, data 작업, experiment, post-training, evaluation, averaging, labor, non-accelerator resource는 제외된다.측정된 GPU-hours는 정규화된 RTX 5090 rental-equivalent rate를 사용해 환산한다.

3 학습 레시피

이 레시피는 소비자용 RTX 5090 하드웨어, 통신 및 병렬화 최적화, FP8 training, Hyperball effective-learning-rate control, 데이터 및 averaging 선택을 결합해 비용 효율적인 pretraining을 가능하게 한다. 이러한 구성 요소는 BF16-equivalent quality를 유지하면서 높은 utilization을 달성하고, 명시된 조건에서 downstream recipe 성능을 향상한다.

  • 하드웨어 선택: RTX 5090은 H200 대비 BF16 및 FP8 compute efficiency가 약 2.7× 높아 peak throughput은 낮지만 consumer-GPU pretraining을 선택할 근거가 된다.대상 모델은 구성된 클러스터에서 약 73% mixed-precision effective MFU에 도달할 만큼 작다.
  • 하드웨어 최적화: P2P optimization은 단방향 bandwidth를 31.5에서 56 GB/s로, 양방향 bandwidth를 32에서 111 GB/s로 높이고, latency를 14.3에서 0.4 µs로 줄인다.이러한 수정은 PCIe limits의 제약을 받으므로 hardware topology가 지원하는 경우에만 활성화해야 한다.
  • 병렬 학습: 선택한 parallel configuration은 24개 GPU에서 global batch size 1536을 사용하며, MBS = 2, PP = 2, DP = 12로 GPU당 median 238 TFLOP/s를 유지한다.이 configuration은 layout (18|10)5를 사용하며 exhaustive enumeration에서 찾은 가장 빠른 strategy와 일치한다.
  • FP8 학습: Blockwise FP8은 다섯 가지 model size에서 BF16 대비 validation loss를 0.0031–0.0039 높이며, 이는 98.0% BF16-equivalent compute retention에 해당한다.Model weights는 BF16으로 유지되며, release 또는 deployment representation은 별도의 post-training conversion을 통해 생성된다.
  • Hyperball 최적화: Hyperball은 effective learning rate를 직접 schedulable하게 만들며, aligned effective-LR Muon은 final validation loss 3.030에 도달해 3.029의 MuonH에 근접한다.Ordinary Muon의 unaligned effective learning rate는 초기에 빠르게 감소하는 반면, MuonH는 지정된 linear-decay schedule을 따르며 training 종료 무렵 이를 추월한다.
  • 레시피 ablation: Curriculum ordering은 model averaging 없이 1.18 points, 대응하는 model averages에서는 1.61 points만큼 scores를 향상하며, 더 긴 peaks 또는 horizons는 더 긴 decay를 선호한다.Curriculum 비교값은 averaging 없이 57.17 대 55.99, averaging 적용 시 57.18 대 55.57이며, decay 결과는 Figures 6 및 18에서 도출된다.

4 평가

PuRo-2B는 15개 benchmark에서 공통의 deterministic pipeline으로 소형 language model과 비교 평가되며, mathematics/code와 reasoning/knowledge 모두에서 Qwen2-1.5B를 앞서고 Qwen2.5-1.5B에 근접한다. 또한 RTX 5090 hardware, MuonH, FP8, Puro Cost Scaling Law를 포함해 recipe별 cost와 efficiency 요인을 분석한다.

  • 평가 설정: 15개 benchmark에서 pretrained/base model을 mathematics와 code, 그리고 reasoning과 knowledge에 걸쳐 비교하며, 모든 model은 일관된 revision, prompt, decoding, postprocessing 조건에서 평가된다.pipeline은 6개 task에 generation-based evaluation을 사용하며, 지원되는 경우 cloze와 multiple-choice formulation을 모두 평가한다. Aggregate에는 각 model에서 더 나은 formulation을 선택하며, score는 percentage이고 average는 unweighted다.
  • Mathematics와 code: mathematics와 code에서 43.50 average를 기록해 Qwen2-1.5B보다 3.21 points 높고, Qwen2.5-1.5B와의 차이는 4.02 points 이내다.PuRo-2B는 Instella-3B, OLMoE-A1B/7B, MiniCPM5-1B-Base를 포함한 여러 open-recipe baseline을 앞서지만, Yulan-Mini-2.4B, SmolLM3-3B-Base, MobileLLM-R1-950M-base에는 뒤진다.
  • Hardware efficiency: H200보다 unit price당 peak BF16 compute가 2.77× 높고 unit price당 peak FP8 compute가 2.74× 높으며, mixed-precision training에서 73% MFU를 달성한다.이 수치는 recipe에서 설명한 RTX 5090 specification-and-price proxy와 tuned training configuration을 사용한다.
  • Recipe efficiency: 완전한 MuonH recipe의 compute-equivalent multiplier는 1.19×이며, 동일한 validation loss에서 이론적 compute가 16.1% less theoretical compute에 해당한다.이 추정치는 TPP=20 matched scaling ladder에서 도출되며, fitted horizontal multiplier를 production setting으로 이전한다. 이는 sequential end-to-end speedup이 아니라 counterfactual quality-equivalent saving이다.
  • Recipe efficiency: blockwise FP8은 98.0% BF16-equivalent compute retention을 보이며, BF16 quality를 맞추려면 nominal compute가 약 2.0% additional nominal compute 필요함을 뜻한다.이 추정치는 5개 ladder scale에 걸친 shared-shape fit에 기반하며, precision quality retention과 throughput speedup을 분리한다.
  • Puro Cost Scaling Law: Puro Cost Scaling Law는 여러 budget에서 계속 수행한 Phase 2 run으로부터 recipe-specific cost–performance relationship을 규정하며, model family 전반에 적용되는 universal law는 아니다.이 분석은 compute와 시간이 제한된 community의 scale-down behavior를 설명하기 위한 것이다.

5 사후 학습

비용 스케일링 분석에 따르면 약 $4.4K의 uniform checkpoint만으로도 curriculum model averaging 없이 Qwen2-1.5B를 이미 상회하며, 명시된 회계 프로토콜에서 PuRo-2B는 comparator frontier보다 위쪽이면서 왼쪽에 위치한다.

  • 비용 스케일링: CMA가 적용되지 않은 uniform checkpoint는 약 $4.4K의 비용만으로도 Qwen2-1.5B를 이미 상회한다.shifted fit을 적용하면 in-sample RMSE가 0.452에서 0.209로 감소한다.
  • 추정 절차: 분석에서는 주로 보고된 GPU-hours를 바탕으로 compute를 추정하고, Table 6의 기준 대여 요율을 사용해 환산한다. 그렇지 않으면 가용한 경우 보고된 accelerator 및 MFU 정보를 사용해 C = 6ND를 적용한다.이러한 통계가 제공되지 않으면 70% MFU에서 H100-equivalent GPU-hours라고 가정한다.
  • Pareto frontier: 명시된 accelerator-cost 가정에서 PuRo-2B의 rental-equivalent cost–performance point는 comparator frontier보다 더 유리하다.이러한 분리는 fully-open comparator들 사이에서 특히 두드러진다.

5 Post-Training 결과 및 분석

Curriculum/CMA pretraining 초기화는 supervised adaptation 이후에도 우위를 유지하며, 집중 및 확장 설정에서 수학 성능을 높이고 대부분의 평가에서 broad instruction-tuning 결과를 개선한다.

  • 실험 범위: 이 연구들은 점점 더 폭넓은 supervised 설정에서 uniform global-reshuffle와 curriculum/CMA Phase 2 endpoint를 비교하며, recipe 차이가 adaptation 이후에도 지속됨을 보인다.curriculum/CMA endpoint에는 late constant-LR continuation과 six-checkpoint averaging이 포함된다.
  • 집중 수학 실험: step 172에서 GSM8K 평균 정확도가 68.66% 대 66.89%로, 반복 실행 전반에서 curriculum 초기화가 1.77 percentage-point gain을 보인다.집중 비교에서는 pretraining replay 없이 uniform global-reshuffle와 curriculum/CMA endpoint를 사용한다.
  • 확장 수학 실험: step 2,431에서 GSM8K 평균 정확도가 76.12% 대 74.10%로, curriculum 초기화가 2.02 percentage-point gain을 보이며 모든 실행에서 앞선다.이 확장 설정은 더 큰 mathematics SFT mixture, small replay component, 더 긴 budget을 사용한다. 절대 점수는 집중 설정과 직접 비교할 수 없다.
  • 광범위한 instruction 실험: 15-task macro-average는 56.58% 대 54.99%이며, curriculum은 15개 component evaluation 중 13개와 전체 18개 evaluation 중 15개에서 성능을 높인다.이러한 향상은 mathematics-focused SFT를 넘어 IFEval, BBH, MMLU-Pro까지 이어지지만, 개별적인 하락도 appendix에서 나타난다.

6 관련 연구

기존 open-model 및 open-recipe 연구는 투명성과 재현성을 높였지만, 상당한 하드웨어 및 학습 비용으로 인해 실제 접근성은 여전히 제한적이다. PuRo-2B는 처음부터 학습한 FP8 기반 2B 모델과 비용을 전부 산정한 end-to-end RTX 5090 pipeline으로 이 격차를 해소한다.

  • Open recipe: Open-recipe 프로젝트는 data, checkpoint, code, log, 재현 가능한 configuration을 공개하여 learning dynamics, data selection, scaling 연구를 가능하게 한다.예로는 Pythia, OLMo, OLMoE, SmolLM3, Yulan-Mini-2.4B, Instella가 있다 [10] [35] [64] [52].
  • 접근성 격차: 이러한 개방성에도 불구하고 대표적인 open-recipe 프로젝트는 대규모 특수 목적 cluster를 필요로 하므로, 재현성과 실제 접근성 사이에 격차가 남는다.Yulan-Mini-2.4B는 48 A800 GPU, SmolLM3는 384 H100 GPU, Instella-3B의 first stage는 128 MI300X GPU를 사용했다 [52].
  • Cost accounting: 저비용 학습을 위해서는 token count나 FLOPs만으로 판단하지 말고 workload, 실제 hardware throughput, hardware price, model quality를 함께 산정해야 한다.이 논문은 명시적인 accounting boundary 아래에서만 cost가 의미를 갖는다고 본다.
  • 효율화 방법: 관련 효율화 연구는 low precision, architecture, data selection, staged training, systems optimization을 통해 execution cost 또는 training workload를 줄인다 [63] [26] [73] [111] [84] [55].이 접근법들은 고정된 workload의 cost 또는 workload 자체를 줄이는 데 초점을 두며, 반드시 접근 가능한 end-to-end pretraining pipeline을 제공하는 것은 아니다.
  • Consumer hardware: Consumer-GPU 연구는 관련 training operation의 실행 가능성을 입증했지만, QLoRA는 original pretraining cost를 바꾸지 않으며 기존 연구는 주로 개별 기법에 초점을 둔다 [28] [83] [73].LLMQ는 RTX 4090 GPU에서 full-model pretraining을 연구하고, Quartet II는 단일 RTX 5090에서 NVFP4 throughput을 측정한다.
  • PuRo-2B의 위치: PuRo-2B는 처음부터 학습한 2B 모델, more than 1.4T training tokens, FP8 precision, 측정된 accelerator 사용량, 명시적인 replication-cost boundary를 결합한다.End-to-end 평가는 최종 model quality와 replication cost를 모두 측정한다.

7 결론 및 향후 방향 · B 비용 가정

이 보고서는 PuRo-2B collection을 통해 검증된 비용 효율적이고 하드웨어 접근성이 높은 pretraining recipe를 제시하며, 점검 가능한 pretraining curriculum이 post-training 결과에 영향을 미친다는 점을 보인다. 향후 연구는 post-training, 더 폭넓은 architecture, 확장된 hardware recipe를 대상으로 한다.

  • 7 결론 및 향후 방향: PuRo-2B model 하나가 consumer-grade RTX 5090 GPU에서 reproducibility recipe를 사용해 약 $4.4K의 비용으로 Qwen2-1.5B 성능에 도달한다.model collection은 서로 다른 training budget과 recipe variant를 아우르며, pipeline의 비용–성능 tradeoff를 드러낸다.
  • 7 결론 및 향후 방향: PuRo-2B collection은 training budget과 recipe variant 전반의 비용–성능 tradeoff를 직접 보여준다.collection은 consumer-grade RTX 5090 GPU에서 from scratch로 학습된다.
  • 7 결론 및 향후 방향: Phase 2 pretraining recipe의 차이는 supervised post-training adaptation 이후에도 측정 가능하게 남는다.이 case study는 model weight만이 아니라 완전히 점검 가능한 pretraining pipeline을 통해 가능해진다.
  • 7 결론 및 향후 방향: Curriculum initialization은 adaptation 이후 focused-mathematics endpoint accuracy를 평균 1.77 percentage points 향상시킨다.이 결과는 서로 다른 Phase 2 pretraining recipe를 supervised post-training까지 추적한 데서 나온다.
  • 7 결론 및 향후 방향: 더 큰 mathematics recipe는 supervised post-training 이후 평균 2.02-point mean gain을 낳는다.이 비교는 Phase 2 pretraining recipe가 downstream performance를 어떻게 형성하는지 다룬 case study의 일부다.
  • 7 결론 및 향후 방향: 향후 연구는 reproducibility recipe를 pretraining에서 post-training으로 확장하고, agentic capabilities를 강조한다.보고서는 foundation을 확장하기 위한 첫 번째 방향으로 post-training을 제시한다.
  • 7 결론 및 향후 방향: 향후 방향에는 looped Transformer, linear-attention model, mixture-of-experts architecture 및 기타 emerging design이 포함된다.이러한 연구는 standard dense Transformer를 넘어 architectural space를 확장한다.
  • 7 결론 및 향후 방향: 저자들은 RTX 5090 GPU를 넘어 hardware recipe도 확장할 계획이다.이는 reproducibility foundation을 확장하기 위한 추가 방향으로 제시된다.

A 한계 · B 재현 비용 가정

이 보고서는 처리된 데이터 curriculum 비교, 기본적인 중국어 coverage, overtrained fixed-2B regime, recipe-specific cost-scaling curve로 주장을 제한한다. 15-task 평균과 보고되었거나 추정된 accelerator cost의 계층을 바탕으로 cost–performance 좌표를 구성한다.

  • A 한계: 대부분의 training data가 처리되거나 filtering된 open dataset에서 오기 때문에, curriculum 비교에는 모든 proxy와 최종 benchmark를 대상으로 한 엄격한 corpus-wide exact- 또는 near-duplicate audit가 없다.이 한계는 curriculum 비교의 증거력을 약화할 수 있지만, 제공된 passage에서는 post-training advantage가 base check를 넘어 지속된다고 설명한다.
  • A 한계: 중국어 capability는 기본적인 coverage 목표에 그치므로, release-facing comparison table에서는 중국어 score를 제외하지만 data-mixture decision을 audit하기 위해 중국어 proxy axis는 유지한다.대신 headline evaluation은 제공된 passage에 명시된 대로 mathematics, code, reasoning axis에 초점을 둔다.
  • A 한계: Puro-2B는 2B parameter에 약 1.4T token, 즉 parameter당 약 700 token을 사용하므로, compute-optimal design이라기보다 data-rich한 overtrained regime이다.선택된 지점은 RTX 5090 memory 및 communication limit, 달성 가능한 benchmark quality, 그리고 dense base model에 대한 community support 사이의 균형을 이룬다.
  • A 한계: Puro-2B의 fixed-2B cost-scaling law는 recipe-specific이며 model-size scale-up law를 확립하지 않는다. 또한 RTX 5090 HBM capacity가 더 큰 model을 제한할 가능성이 있다.Model size 또는 world size를 확장하려면 새로운 communication 및 memory design이 필요하며, 더 작은 vocabulary나 embedding/LM-head partition이 포함될 수 있다.
  • B 재현 비용 가정: Figure 1은 Puro-2B uniform ($4.4K) 및 canonical curriculum ($6.9K) endpoint를 사용하며, 더 광범위한 uniform 및 curriculum variant는 Figure 13b에 요약되어 있다.두 endpoint cost는 Table 1에 요약되어 있고, curriculum model averaging은 Figure 7에 설명되어 있다.
  • B 재현 비용 가정: Performance coordinate는 15개 benchmark 전체의 unweighted arithmetic mean이며, plot된 모든 model에는 15개 score가 모두 있어야 한다.Benchmark set에는 GSM8K, MATH, sanitized-MBPP, HumanEval, MMLU, MMLU-Pro, ARC-Challenge, ARC-Easy, BoolQ, CommonsenseQA, HellaSwag, PIQA, SocialIQA, WinoGrande, BBH가 포함된다.
  • B 재현 비용 가정: 재현 비용은 먼저 보고된 monetary cost를 사용한 뒤, Table 6 rate로 보고된 GPU-hour를 변환하거나 GPU count와 elapsed time으로 GPU-hour를 H = GT로 계산한다.변환된 cost는 audit ledger에 RMB를 유지하고 USD coordinate를 위해 6.8067로 나눈다.
  • B 재현 비용 가정: 토큰 수만 이용 가능한 경우에는 H100 동급 Fa = 989.5 TFLOP/s와 η = 0.70을 사용해 C = 6ND로 비용을 추정하며, 사용 가능한 비용 근거가 없는 항목은 제외한다.모델별 토큰 수를 우선 사용하고, family-level budget은 추정치로 표시하며, 이상적인 MFU 가정에 따른 counterpart 추정치는 비용의 하한이다.

C 학습 세부 사항

Puro-2B의 보고된 학습 비용은 측정된 실제 학습 시간과 현지 RTX 5090 가격을 기준으로 하며, 총 $6,891이다. 비교 frontier는 Puro-2B를 제외한 뒤 cost-score 비지배 모델을 유지한다.

  • 비용 산정: 보고된 Puro-2B 학습 비용은 $6,891이며, GPU-hour당 2.0833 RMB를 적용한 22,514.41 GPU-hours로부터 계산된다.측정된 실제 학습 시간은 Phase 1의 6,009.46 GPU-hours와 Phase 2의 16,504.95 GPU-hours로 구성된다.
  • Pareto frontier: 점선 비교 frontier는 Puro-2B를 제외하고, 다른 비교 모델 중 더 낮은 비용과 더 높은 score를 동시에 갖는 모델이 없는 모델을 유지한다.동일한 비용에서는 score가 가장 높은 점만 유지하며, 나머지 점은 모든 더 낮은 비용의 score를 초과할 때 유지된다.

C Production Training Details

정식 PuRo-2B production run은 MuonH/AdamW optimization과 고정된 4,096-token sequence를 사용하는 2단계 mixed-precision 설정이다. Phase 2는 서로 다른 decay horizon을 적용해 공유된 Phase 1 endpoint에서 재시작하며, pipeline은 computation component별로 FP8, BF16, FP32를 할당한다.

  • Production run 설정: 정식 run은 sequence length 4,096, global batch size 1,536, micro-batch size 2를 사용하며, 선택된 matrix weight에는 MuonH를, 나머지 parameter에는 AdamW를 적용하고 blockwise E4M3 FP8을 사용한다.MuonH는 zero weight decay를 사용하고 AdamW는 weight decay 0.1을 사용한다. Hyperball weight learning rate는 base rate의 10배다.
  • Phase 1 learning rate schedule: Phase 1은 p = 1/2, τ = 1,000 steps, 1,000-step warmup, 5 × 10−4 asymptotic floor를 갖는 power-decay schedule을 사용해 continual training을 지원한다.Warmup은 1,536,000 samples에 해당하며, MuonH가 제어하는 matrix group에는 10× optimizer multiplier를 적용한다.
  • FP8 implementation pipeline: FP8 pipeline은 linear-layer GEMM에 blockwise E4M3를, hidden/residual flow, LayerNorm, embedding에 BF16을 사용하며, gradient, optimizer state, softmax는 FP32로 유지한다.열거된 GEMM에는 forward propagation, data-gradient, weight-gradient computation이 포함된다.
  • Phase 2 learning rate schedule: Phase 2는 η0 = 1.04 × 10−3에서 공유된 Phase 1 endpoint로부터 재시작하며, 약 60.1, 120.1, 240.2, 480.5, 960.9B token의 다섯 decay horizon을 사용한다.모든 schedule은 ηmin = 10−5를 공유한다. 정식 run은 마지막 29B-token learning-rate decay를 step 218,000부터 시작하는 curriculum model averaging으로 대체한다.

D MuonH Scaling-Ladder 분석

MuonH scaling-ladder 분석은 통제된 TPP=20 설정에서 0.17B부터 1.7B까지 다섯 모델의 optimizer 및 precision 효율을 비교한다. MuonH는 updated Muon 대비 1.19×의 compute-equivalent multiplier를 달성하며, blockwise FP8은 유효 compute의 98.0%를 유지하고 1.7B throughput을 1.36× 높인다.

  • 실험 설정: 이 ladder는 0.17B부터 1.7B까지 다섯 모델로 구성되며, 모든 모델은 동일한 data, tokenizer, sequence length, batch size, validation set, learning-rate decay를 사용해 scaling parameter당 20 tokens로 scratch부터 학습했다.각 run은 sequence length 4,096, global batch size 512, warmup 1%를 사용하며, validation set은 Nemotron-CC [89] [8]의 subset이다.
  • Compute-equivalent fitting: compute-equivalent 비교에서는 baseline과 variant 관측값을 shared loss-shape parameters 및 variant-specific amplitude와 함께 joint fitting하여 horizontal efficiency shift를 추정한다.이 restricted fit은 learning-rate schedule을 선택하거나 2B production run의 absolute loss를 예측하는 데 사용하지 않는다.
  • MuonH scaling 결과: 1.19× compute-equivalent efficiency를 통해 MuonH는 16.1% less compute로 updated Muon baseline loss와 일치한다. 이는 five-size ladder와 1.68 × 10^22-FLOP 2B/1.4T-token transfer에 기반한다.Leave-one-model-out fit은 1.17–1.28× 범위이지만, transfer는 horizontal efficiency factor가 ladder의 TPP=20 regime을 넘어선 뒤에도 유지된다고 가정한다.
  • Precision 및 throughput 분해: Blockwise FP8은 theoretical compute를 고정했을 때 validation loss가 0.0031–0.0039 더 높음에도 BF16 대비 유효 compute의 98.0%를 유지한다.Leave-one-size-out fit은 97.6–98.1% 범위이며, 이는 matched quality에서 nominal-compute penalty 2.0%에 해당한다.

E Post-Training 세부 사항 · F Learning Rate Schedule 진단

집중 수학, scaled mathematics, broad instruction 설정 모두에서 curriculum initialization은 uniform initialization보다 일관되게 post-training 성능을 높이지만, transfer gain은 균일하지 않다. 또한 논문은 learning-rate schedule에 대한 추가 진단과 fitting 결과를 제공한다.

  • E Post-Training 세부 사항: Curriculum initialization은 endpoint를 포함한 6개의 focused mathematics 비교 모두에서 우세했으며, 향상 폭은 1.36점에서 2.12점까지였고 평균 1.77점이었다.이 focused experiment에서는 세 가지 SFT data order를 반복하고, 사전에 정의한 intermediate 및 endpoint step에서 측정한다.
  • E Post-Training 세부 사항: focused post-training configuration은 MuonH, 10^-5 base learning rate, 10-times Hyperball matrix-group multiplier를 사용하며 RTX 5090 GPU 8개로 구성된다.지정된 optimizer 및 parallelism configuration에서 base learning rate는 10^-7로 종료된다.
  • E Post-Training 세부 사항: focused GSM8K evaluation은 zero-shot ChatML prompting, greedy BF16 generation, 512-token limit을 사용해 1,319 test examples 전체를 평가한다.정답 여부는 normalization 및 structured answer extraction 후 exact numeric equivalence로 결정한다.
  • E Post-Training 세부 사항: 모든 focused GSM8K row에서 uniform-only correct answers보다 curriculum-only correct answers가 많으며, 이는 gain이 단순한 averaging effect만이 아니라 question coverage의 변화에서 비롯됨을 나타낸다.분석에는 IoU와 asymmetric C-only/U-only counts를 사용하며, manual inspection으로 numerical correctness와 termination 및 parsing behavior를 구분한다.
  • E Post-Training 세부 사항: Curriculum은 세 번의 scaled mathematics endpoint run 모두에서 앞섰으며, 평균 GSM8K improvement는 2.02 percentage points이고 범위는 1.21–3.26 points다.scaled setting에는 99,989 replay records를 포함한 2,014,933 conversations가 포함되며, 2,431 optimizer steps 동안 실행된다.
  • E Post-Training 세부 사항: Curriculum은 broad instruction macro-average를 1.59 percentage points 높였으며, 15개 component evaluation 중 13개에서 더 높은 성능을 보인다.macro-average는 15개 task score의 unweighted average이며, underlying unrounded score로 계산된다.
  • E Post-Training 세부 사항: Curriculum은 보고된 18개 evaluation 중 15개에서 더 높은 성능을 보였고, IFEval과 MMLU-Pro에서는 향상되었지만 BBH에서는 소폭 감소했다.이 추가 task들은 별도의 prompt와 scorer를 사용하며 primary 15-task macro-average에서 제외된다.
  • F Learning Rate Schedule 진단: learning-rate schedule diagnostics section은 추가 diagnostics 및 fitting 결과를 제공한다.제공된 passage에는 추가 diagnostic finding이 없다.

F.1 Effective Learning Rate Schedule을 위한 Multi-Power Law

Multi-Power Law는 schedule-loss modeling을 scalar 또는 effective learning-rate exposure에 맞게 조정하고, learning-rate 감소에 대한 지연 correction을 추가한다. 두 run을 이용한 diagnostic에서 effective learning rate는 ordinary learning rate보다 held-out validation loss를 평균적으로 더 잘 예측하며, 초기 effective-rate decay는 run 간 차이를 설명하는 데 도움이 된다.

  • Model construction: MPL은 누적 learning-rate exposure를 effective optimization-time coordinate로 취급하고, learning-rate signal의 감소에 대한 schedule-shape correction을 추가한다.baseline은 Chinchilla-like인 반면, correction은 exposure가 비슷하지만 decay pattern이 다른 schedule을 구분한다.
  • Model construction: response model은 각 learning-rate 감소가 loss에 주는 benefit을 subsequent exposure에 따라 지연하며, 아직 실현되지 않은 fraction은 (1 + x)^-β로 감소한다.G(x)는 exposure가 누적될수록 one에 가까워지며, time t까지 실현된 eventual reduction의 fraction을 나타낸다.
  • Analytical simplification: G(x) = 1 단순화는 response-weighted sum을 telescoping하여, cumulative exposure와 qwarm에서 qt까지의 net decrease만 남긴다.B > 0인 decaying schedule에서는 final term이 predicted loss를 낮추지만, 이 approximation은 개별 reduction이 발생한 시점을 버린다.
  • Empirical transfer: diagnostic은 두 BF16 ordinary-Muon run에서 ηt와 ρt의 post-warmup validation curve를 fitting하며, 각 signal을 자체 post-warmup peak로 normalize하고 final 20%를 hold out한다.three-stage protocol은 power-only, power-plus-schedule-drop, full-response MPL variant를 fitting한다.
  • Empirical transfer: mean held-out RMSE가 0.0210 versus 0.0265로 effective LR을 ordinary LR보다 선호하며, 가장 큰 gain은 base Muon에서 0.0270 versus 0.0422로 나타난다.aligned Muon에서는 두 representation의 predictive power가 비슷하며, RMSE는 0.0149와 0.0108이다.
  • Empirical interpretation: 초기 effective LR decay는 ordinary Muon이 추가 decay potential을 잃는 현상과 연결되며, MuonH와 aligned Muon은 linear LR decay를 사용해 결국 이를 넘어선다.이 해석은 Equation (17)과 Figure 5에 제시된 schedule behavior를 따른다.

F.2 WSD Sweep와 제한된 Compute 일정 추정 … H.4 가능한 비교의 범위

이 논문은 제한된 compute에서 WSD 일정을 선별하기 위해 formal MPL을 사용하며, Puro-2B의 curriculum, continuation, averaging pipeline을 기록한다. 가능한 비교는 joint configuration을 뒷받침하지만 개별 설계 선택의 이득을 분리하지는 않는다.

  • F.2 WSD Sweep와 제한된 Compute 일정 추정: 관측하지 않은 15개 WSD 일정에서 two-anchor estimator는 mean curve RMSE 0.0157과 endpoint MAE 0.0067을 달성했으며, 예측된 optimal ratio는 0.33에서 0.85로 상승한다.이 estimator는 후보 peak-rate 및 decay 설정을 선별하는 데 사용되지만, 넓은 plateau, noisy minimum, configuration당 하나의 seed 때문에 정밀도가 제한되므로 optimum을 인증하지는 않는다.
  • F.2 WSD Sweep와 제한된 Compute 일정 추정: WSD diagnostic은 long-decay feature를 뒷받침하지만 open-ended Phase 1 schedule의 정확한 power exponent를 확립하지는 않는다.Phase 1 power schedule의 continual-training 역할은 추론된 optimum이 아니라 설계 속성으로 남는다.
  • F.3 Hyperball: Hyperball 없이 prescribed effective LR을 유지하면 weight norm이 증가하는 동안 orthogonalized Muon-update norm은 대략 일정하게 유지되면서 hill-like scalar LR이 나타날 수 있다.구성된 WSD 예시는 effective LR을 0.02까지 ramp한 뒤 유지하고, step 4,000에서 terminal decay를 시작한다. 이는 feasibility를 보여줄 뿐 optimality나 universality를 보여주지는 않는다.
  • G SCALING CHECKPOINT LEDGER; G Puro-2B Scaling Checkpoint Ledger: scaling checkpoint ledger는 Figure 2(b)의 accounting coordinate를 고정하며, 각 행에서 Phase 1을 공유하고 Phase 2 token은 중복된 pool data가 아니라 schedule consumption으로 계산한다.Endpoint 비교는 Figures 7 및 13b에 시각화되어 있고, Table 16은 checkpoint lineage와 normalized RTX 5090 cost accounting을 기록한다.
  • H Curriculum Construction and Model Averaging; H.1 Scalable Construction of Component-Local Curriculum Buckets: curriculum은 component-local token-percentile coordinate를 할당하고, 동일한 percentile range를 376 production bucket으로 정렬하며, source 전체에 단일 global quality ranking을 강제하지 않는다.각 bucket은 약 2.5B token을 포함하고 모든 component에서 대략 동일한 token fraction을 보존한다.
  • H.2 Phase Transition and Uniform-Order Control: Phase 2 transition은 약 43.9B token으로 구성되며, deterministic Phase 1 replay에서 21.9B, Phase 2의 가장 이른 2.34%에서 21.9B를 포함한다. 한편 uniform control은 동일한 token multiset을 유지하되 순서를 재배열한다.Phase 2 early range는 이미 component pool에 포함되어 있으므로 production total에는 Phase 1 replay만 추가된다. 정확한 재현에는 manifest, source revision, checksum도 필요하다.
  • H.3 Constant-LR Continuation and Checkpoint Averaging: production export는 step 218,000에서 재개한 constant-LR continuation과 6개 late checkpoint의 equal-weight average를 사용하지만, 이 configuration들은 matched ablation이 아니었다.continuation은 group-level effective LR을 4.08 × 10−4로 고정한다. 6-checkpoint average는 469 optimizer step, 즉 약 2.95B token에 걸치며 optimizer state는 제외한다.
  • H.4 Scope of the Available Comparison: 가능한 evidence는 curriculum ordering, continuation, averaging을 분리하지 않고 complete Phase 2 configuration을 비교하므로, 결과는 joint curriculum-and-averaging configuration으로 해석된다.분리된 attribution에는 matched factorial run, continuation branch 또는 rate control, repeated seed가 필요하다. 대신 downstream analysis는 matched post-training 아래에서 curriculum과 uniform endpoint를 비교한다.

I 데이터 레시피 세부사항 … I.3 Proxy-to-Mixture 결정 감사

이 논문은 구체화된 데이터 구성요소와 라이선스 범위를 명시하고, 통제된 Qwen3-0.6B proxy로 후보 source를 평가하며, correlation PCA로 capability aggregation을 감사한다. 또한 이 결과를 바탕으로 수학 source를 비교하고 Phase 2 mixture 변화를 맥락화한다.

  • I 데이터 레시피 세부사항: Dataset accounting은 고유 upstream-token 추정치가 아니라 구체화되고 토큰화된 구성요소 노출량을 보고하며, family 행은 서로 겹치는 configuration을 집계할 수 있다.이 표는 고정된 Phase 1 및 Phase 2 구성요소 pool을 다루며, 라이선스 항목은 검증된 조건과 누락되었거나 검증되지 않은 라이선스를 구분한다. 일부 NVIDIA 적용 데이터는 training을 허용하지만 raw-data 재배포는 금지한다.
  • I.1 Proxy-Measurement Protocol: 각 proxy 조건은 86B-token Qwen3-0.6B checkpoint에서 시작해 약 8.4B continuation token을 받으며, 차이는 candidate source 또는 source 내부 slice에만 있다.이 protocol은 2,000 steps, sequence length 4,096, global batch size 1,024를 사용하고, 고정 suite benchmark를 Math, Code, Chinese, General 축으로 집계한다.
  • I.1 Proxy-Measurement Protocol: 사용 가능한 token이 5B 미만인 source는 건너뛰고, 더 큰 scored source는 0th, 25th, 50th, 75th score quantile에서 probe한다.Unscored source와 5B–50B token을 포함하는 scored source에는 약 4B token을 목표로 하는 adaptive sample을 하나 할당하며, 필요할 경우 최대 다섯 번 재시도한다.
  • I.1 Proxy-Measurement Protocol: 갑작스러운 distribution 변화를 피하기 위해 candidate share는 처음 1,600 steps 동안 0%에서 80%로 증가하고, 마지막 400 steps 동안 80%로 유지된다.그 결과 feature vector는 proxy scale, continuation schedule, candidate share, evaluation suite에 조건부로 남는다.
  • I.2 Proxy Capability Aggregation 및 PCA Audit: 네 capability 축은 standardized benchmark group의 평균을 낸 뒤 correlation PCA 전에 두 번째 standardization을 거치며, 첫 두 component는 각각 variance의 34.5%와 28.1%를 설명한다.PC1은 주로 General과 Code를 대비시키고, PC2는 loading이 설명하는 나머지 capability 방향을 주로 대비시킨다.
  • I.2 Proxy Capability Aggregation 및 PCA Audit: PCA는 optimization objective가 아니라 descriptive 분석이다. component sign은 임의적이며 variance-maximizing rotation은 utility를 정의하지 않기 때문이다.따라서 recipe 비교에는 Figure 20의 Math–General 비교를 포함해 원래의 aggregate 축을 사용한다. Figure 20은 이러한 비교가 causal gain을 입증하지 않는다고 명시적으로 경고한다.
  • I.3 Proxy-to-Mixture 결정 감사: Phase 2는 13.5B MegaMath-Web-Pro token을 추가하고 FineMath를 제거하며, Nemotron-CC-Math 4+와 SwallowMath mixture share를 각각 2.62%에서 0.26%로, 1.64%에서 0.26%로 줄인다.proxy 비교에서 MegaMath-Web-Pro의 Math 및 General aggregate는 2.884와 0.667로 보고되며, Nemotron-CC-Math 4+는 (2.821, 0.345), SwallowMath는 (2.746, −0.387), FineMath는 (1.269, −0.317)이다.
  • I.3 Proxy-to-Mixture 결정 감사: proxy audit은 DCLM q00, MegaMath-Web-Pro, MegaMath-Code, FineWeb-Edu-CN q00가 각각 General, Math, Code, Chinese aggregate에서 선두임을 확인하지만, 이것이 selection rule이 아니라 ex post 결과임을 지적한다.Production range는 proxy slice와 동일하지 않으며, axis leader와 production mixture에는 repeated-seed uncertainty estimate가 없다.
Loading 2608.27370v1…