Olmo 3

1 서론

• Olmo 3는 최종 weight만이 아니라 data, code, checkpoint, dependency를 포함한 full model flow를 릴리스해 개발 전 과정에서 intervention과 study를 가능하게 한다.릴리스는 초기 구상부터 최종 model까지 모든 단계를 포괄한다.출처: §1 · p. 3
• Olmo 3 Think 32B는 training token을 six times fewer 사용하면서 Qwen 3 32B와 경쟁력 있는 성능을 보이며, reasoning chain을 원래 training data까지 추적할 수 있다.Olmo 3 Think는 최종 답변 전에 intermediate thinking trace를 생성한다.출처: §1 · p. 3, Figure 1 · p. 3
• Olmo 3 Instruct 7B와 32B는 general chat과 function calling에서 shorter response를 생성하면서 여러 comparable open-weight model을 능가하고 Qwen 3와의 격차를 좁힌다.이 model은 response latency를 줄이기 위해 intermediate thinking output을 생성하지 않는다.출처: §1 · p. 3
• 이 family에는 Olmo 3 Base에서 직접 학습해 base-model data가 reinforcement-learning performance에 미치는 영향을 드러내는 RL-Zero 7B가 포함된다.완전 공개 setup은 data effect를 RL에서 연구할 수 있게 한다.출처: §1 · p. 4
• Olmo 3는 pretraining, midtraining, long-context extension, supervised finetuning, preference tuning, reinforcement learning을 아우르는 Dolma 3 및 Dolci dataset을 도입한다.이 dataset은 reasoning, coding, math, knowledge, instruction following, long-context capability를 목표로 한다.출처: §1 · p. 4
• Olmo 3는 model pipeline 전반에서 distributed experimentation과 centralized evaluation을 결합한 development framework와 OlmoBaseEval, OlmoRL을 추가한다.명시된 목표는 data processing, evaluation, pretraining, reinforcement learning 전반에서 capability-driven improvement를 조율하는 것이다.출처: §1 · p. 4

2 Olmo 3 모델 플로

• Olmo 3 training은 base-model training과 post-training으로 나뉘며, 각 주요 단계는 서로 다른 data-and-method recipe를 사용하는 하위 단계로 다시 나뉜다.Figure 2는 이 구성을 model flow로 제시한다.출처: §2 · p. 4, Figure 2 · p. 4

2.1 Base Model Training

• Olmo 3 Base는 7B 또는 32B model에 대해 최대 5.9T pretraining token, 100B midtraining token, 그리고 50B 또는 100B long-context-extension token을 사용한다.각 단계는 math, code, reasoning, instruction following, long-context understanding을 비롯해 post-training 중 필요한 capability를 강화하도록 설계된다.출처: §2.1 · pp. 4–5
• OlmoBaseEval은 관련 task를 집계하고, small-scale proxy metric을 개발하며, example selection을 통해 signal-to-noise를 개선함으로써 compute-efficient한 base-model 의사결정을 지원한다.이 suite는 random-chance performance와 benchmark noise와 구별하기 어려운 작은 score 차이를 다룬다.출처: §2.1 · pp. 4–5
• Dolma 3는 global deduplication, olmOCR science PDF, token-constrained mixing, quality-aware upsampling을 사용하며, midtraining에는 feedback loop, centralized integration test, instruction 또는 thinking data를 추가한다.data curriculum은 code, math, general knowledge, reasoning, post-training readiness를 목표로 한다.출처: §2.1 · p. 5
• Long-context extension은 Dolma 3 Longmino Mix와 대규모 olmOCR science-PDF collection을 사용해 최대 65K context와 comparable model 대비 경쟁력 있는 long-context performance를 가능하게 한다.collection에는 8K token 초과 문서 22.3M개 이상과 32K token 초과 문서 4.5M개가 포함된다.출처: §2.1 · p. 5

2.2 Post-training

• Post-training은 SFT, DPO, RLVR을 통해 Think를 개발하고, concise-response 및 function-calling optimization을 통해 Instruct를 개발하며, fully open하고 decontaminated한 RLVR setup을 통해 RL-Zero를 개발한다.OlmoRL 개선으로 더 길고 안정적인 run이 가능해졌으며, RL training에서 보고된 4x speedup을 달성했다.출처: §2.2 · pp. 5–6

2.3 결과

• Olmo 3 Think는 가장 강력한 완전 공개 추론 모델로 보고되었으며, 여러 유사 모델을 능가하고 Qwen 3 및 Qwen 3 VL과의 격차를 좁히면서 토큰을 약 6배 적게 사용한다.Table 1은 post-training 평가 suite의 개요를 제공한다.출처: §2.3 · p. 6, Table 1 · p. 7

2.4 Costs

• Olmo 3 Think 32B training에는 1,024 H100 GPU에서 약 56일이 소요되었으며, pretraining 단계에 약 47일, post-training에 9일이 걸렸다.반복적인 checkpoint evaluation과 post-training sweep은 pretraining만으로도 상당한 resource를 소모한다.출처: §2.4 · pp. 7–8

3.1 Olmo 3 Base의 주요 결과

• Olmo 3 Base는 최고 수준의 fully-open 32B 모델이며, 7B에서 fully-open Math와 Code 성능이 가장 뛰어나고 모든 규모에서 경쟁력 있는 MCQA와 GenQA 결과를 달성한다.32B에서는 Stanford Marin 32B와 Apertus 70B를 능가하며, 7B에서는 Math와 Code에서 fully-open 모델을 앞서고 해당 composite에서는 가장 강력한 open-weight 모델에만 뒤진다.출처: §3.1 · p. 8

3.2 Modeling과 Architecture

• Olmo 3 Base는 pretraining과 midtraining에서 8192-token context를 사용하고, 매 네 개 layer 중 세 개에 sliding-window attention을 적용하며, final layer에서는 full attention을 유지한다.sliding window의 크기는 4096으로, 확장 가능한 long-sequence training과 관리 가능한 inference 비용을 지원한다.출처: §3.2 · pp. 8–9

3.3.1 Task Clustering

• OlmoBaseEval은 70개 external model에서 얻은 23K scores를 사용해 유사한 model ranking을 보이는 benchmark를 cluster한 뒤, task-format 일관성을 보존하도록 cluster를 수동 조정한다.그 결과 cluster는 MCSTEM, MCNon-STEM, GenQA, Math, Code, Code FIM이다.출처: §3.3.1 · pp. 11–12

3.3.2 Scaling 분석

• Scaling 분석에 따르면 Base Easy는 작은 data-ablation 규모에서 signal을 제공하는 반면 Base Main은 큰 규모에서도 여전히 포화되지 않아 midtraining data 실험을 위한 여지를 남긴다.분석에는 low- 및 high-compute regime 전반의 OLMo 2 scaling-law model 25개와 open-weight model 70개가 사용된다.출처: §3.3.2 · p. 12

3.3.3 Signal-to-Noise 분석

• Signal-to-noise 분석은 macro-average에서 noisy benchmark를 제거하면서 CruxEval의 code input/output prediction과 같은 distinctive capability는 보존한다.이 절차는 가능한 경우 1K subset에서 full evaluation set으로 확장하며, aggregate reliability를 높이도록 generation setting을 조정할 수 있다.출처: §3.3.3 · p. 13, Figure 7 · p. 13

3.3 Experimental Design과 Evaluation

• OlmoBaseEval은 capability 기반 task cluster, small-scale proxy metric, signal-to-noise filtering을 결합해 model scale 전반의 development decision을 안내한다.이 evaluation framework는 43개 task, small compute budget을 위한 Base Easy suite, final pretraining과 midtraining을 위한 Base Main suite, 네 개의 held-out benchmark로 구성된다.출처: §3.3 · pp. 10–11, §3.3.4 · p. 13

3.4 Stage 1: Pretraining

• Dolma 3 Mix는 trillion-token 규모의 global deduplication tooling, token-constrained mixing, quality-aware upsampling, pretraining용 olmOCR science-PDF data를 도입한다.최종 pretraining mix는 6T tokens를 포함하며, structured task data는 이후 midtraining과 long-context stage를 위해 보류된다.출처: §3.4 · pp. 13–14

3.4.1 Web Data Pool 준비

• Heuristic filtering은 data pool을 84.6% 줄여 38.8B documents를 남기며, 이어지는 세 단계 deduplication procedure는 38.7B를 9.7B로 줄여 75% reduction을 달성한다.Substring processing은 text bytes의 14%를 제거해 9.7B documents를 남기며, 이 문서의 uncompressed text 총량은 36.5T bytes다.출처: §3.4.1 · pp. 15–16
• Web data pool은 24개 topic과 20개 quality tier로 나뉜 8T annotated tokens를 포함해 pretraining mixture를 세밀하게 제어한다.문서는 topic과 quality에 따라 분류되어, 이후 filtering과 topic reweighting 전에 480개의 서로 겹치지 않는 subset을 만든다.출처: §3.4.1 · p. 16

3.4.2 olmOCR science PDFs Data Pool 준비

• olmOCR science-PDF pipeline은 238 million documents를 crawl한 뒤 extraction, deduplication, PII, heuristic stage를 거쳐 filtering하여 108 million topical documents를 생성한다.Intermediate corpus는 extracted PDF 160 million개, deduplication 후 156 million개, PII filtering 후 148 million개로 구성된다.출처: §3.4.2 · pp. 16–17

3.4.3 Code, Math 및 기타 source 준비

• 추가 source로 Stack-Edu의 programming data, Proof-Pile-2와 FineMath의 LaTeX-preserving math data, filtering된 English 및 Simple Wikipedia와 Wikibooks가 포함된다.FineMath documents는 quality score가 4점 만점에 최소 3점일 때 유지된다.출처: §3.4.3 · p. 17

3.4.4 Data Pool의 Sampling과 Mixing

• Conditional mixing은 기존 optimized mixture를 frozen virtual domain으로 취급해 data domain이 바뀔 때 full swarm을 재계산하지 않고 효율적으로 adaptation할 수 있게 한다.Base procedure는 proxy model을 training하고 task별 regression을 fitting한 뒤 token-availability constraint 아래에서 mixture weight를 최적화한다.출처: §3.4.4 · pp. 18–19
• Optimized data mixing은 natural distribution 대비 web-text 성능을 평균 0.056 BPB, 최대 0.209 BPB 향상시키며, 54개 task 중 13개에서 degradation이 발생하지만 어느 것도 0.035를 넘지 않는다.Optimized mixture는 STEM topic의 weight를 높이며, Stack-Edu mixing은 Python을 선호하고 두 개를 제외한 모든 coding benchmark를 향상시킨다.출처: Figure 9 · p. 18, §3.4.4 · p. 19

3.5 Stage 2: Midtraining

• Midtraining은 Dolma 3 Dolmino Mix의 100B high-quality tokens를 사용하고, distributed source-level feedback loop와 centralized integration test를 결합한다.이 mix는 code, math, general-knowledge QA에 대한 targeted curation을 확장하며, 이후 post-training을 위한 instruction data와 thinking trace도 포함한다.출처: §3.5 · pp. 20–22

3.5.1 Methodological Framework

• Midtraining framework는 candidate dataset을 matched 10B-token web-only baseline에 대해 5B-token microanneal로 평가한 뒤, 유망한 조합을 100B-token integration run과 SFT assessment로 검증한다.다섯 차례의 주요 integration round를 진행했으며, Round 1, 3, 5를 보고한다. Round 5에는 새로운 decontamination process가 포함된다.출처: §3.5.1 · p. 22

3.5.2 최종 Data Mix의 Capability 개선

• 최종 midtraining mix는 pretraining의 고품질 web 및 PDF data를 유지하면서 math, coding, knowledge elicitation, instruction following, reasoning 향상을 목표로 한다.Math의 경우 25개 source를 80회 microanneal run으로 평가해 5개의 math-specific source를 선택했으며, 그중 4개는 새로 합성되었다.출처: §3.5.2 · pp. 22–23
• 최종 mix는 synthetic 및 curated dataset을 통해 math, code, QA, instruction, thinking, knowledge를 목표로 하며, 고품질 data의 재작성본과 capability-specific source를 포함한다.예로 TinyMATH, CraneMath, CraneCode, Reddit-to-Flashcards, Wiki-to-RCQA, meta-reasoning data가 있다.출처: §3.5.2 · pp. 23–25
• Quality-filtered stem-heavy crawl은 web-only baseline 대비 MCNon-STEM, MCSTEM, Math를 각각 approximately 2 points 향상시킨다.Filter threshold는 0.6이며, crawl된 data의 상위 2.83%를 선택한다.출처: §3.5.2 · p. 26

3.5.3 Decontamination

• Decon은 strided n-gram matching으로 benchmark overlap을 탐지하고, match를 contaminated cluster로 확장한 뒤 조정된 threshold를 초과하는 document를 제거한다.Protocol은 precision과 recall을 높이기 위해 question, answer, passage, multiple-choice matching에 맞게 개선되었다.출처: §3.5.3 · p. 26

3.5.4 주요 Findings

• Candidate midtraining mix는 base 및 subsequent SFT evaluation을 일관되게 향상시키며, decontaminated data를 사용하는 것은 Round 5뿐이므로 이후 gain은 과소평가되었을 가능성이 높다.Table 6은 대표적인 candidate mix 전반에서 이러한 development trajectory를 보여준다.출처: §3.5.4 · p. 27, Table 6 · p. 27
• Domain-skewed mix는 capability 간 trade-off를 만든다. math-code-thinking은 math와 code를 향상시키지만 QA를 저하시키고, Gen-QA는 QA를 유지하는 대신 math와 code를 크게 줄인다.최종 mix는 어느 한 group도 최대화하지 않고 이들 domain의 균형을 맞춘다.출처: §3.5.4 · p. 27, Table 7 · p. 27
• Instruction과 thinking data를 고정된 token count에서 추가하면 모든 base evaluation measure가 향상되어 post-training 이전에도 aggregate benefit이 있음을 보여준다.Table 10은 이러한 post-training 지향 subset의 유무에 따른 run을 비교한다.출처: §3.5.4 · p. 28, Table 10 · p. 29
• Special chat token은 harmful base-model emission을 유발한다. GSM8K는 49.43에서 0으로, CruxEval은 32.89에서 18.91로 하락하므로 Olmo 3는 대신 newline formatting을 사용한다.Special token이 없는 ordinary-text chat template은 더 작은 하락을 유발해, 해당 token이 원인임을 시사한다.출처: §3.5.4 · p. 28
• Olmo 3 Base 32B model souping은 MCSTEM을 nearly 1 point, GenQA를 0.4, Math를 2.9와 1.6, MMLU를 about 1, GSM Symbolic을 5와 2 points 향상시킨다.Merged checkpoint를 최종 midtrained 32B model로 선택했으며, 7B model에서는 유사한 merging gain이 나타나지 않는다.출처: §3.5.4 · p. 30, §3.6 · p. 30

3.6 Stage 3: Long-context Extension

• Olmo 3는 600 billion tokens가 넘는 natural 및 synthetic long text를 포함하는 dataset인 Dolma 3 Longmino Mix를 사용해 context window를 8,192에서 65,536 tokens로 확장한다.Long-context stage는 긴 input을 처리하고 긴 intermediate sequence를 통한 test-time scaling을 지원하는 것을 목표로 한다.출처: §3.6 · p. 30

3.6.1 Long Context Data 수집

• Gzip filtering이 LongPpl 기반 대안보다 우수하므로, 최종 long-context data pipeline은 text 중 가장 압축 가능하거나 가장 압축 불가능한 20%를 제외한다.LongPpl은 key-token frequency와 spread를 평가하지만, 실험한 exclusion strategy는 gzip filtering을 능가하지 못한다.출처: §3.6.1 · pp. 31–32

3.6.2 Synthetic Augmentation 실험

• Synthetic augmentation은 language model에 prompting하기 전에 salient noun phrase와 snippet을 선택해 긴 science-PDF document에 aggregation task를 삽입한다.Task에는 32,768에서 65,536 tokens 사이의 document를 대상으로 생성된 Common Word Extraction과 Rewriting EXpressions가 포함된다.출처: §3.6.2 · pp. 32, 34

3.6.3 Data Mix와 Token Budget 선택

• 34% long-context와 66% short-context mix는 reverse mix의 2.5 points에 비해 OlmoBaseEval degradation을 0.8 points로 줄이며, 더 긴 extension은 long-context 성능을 향상시킨다.최종 extension은 Olmo 3 7B에 50B tokens, Olmo 3 32B에 100B tokens를 사용한다.출처: §3.6.3 · p. 34

3.6.4 Extension을 위한 Training Recipe 구성

• 최종 recipe는 full-attention layer에만 YaRN을 적용하고, best-fit document packing과 intra-document masking을 사용하며, 마지막 세 개의 32B extension checkpoint를 merge한다.Best-fit packing은 long-context benchmark를 크게 향상시키고, intra-document masking은 document 간 attention signal을 방지한다.출처: §3.6.4 · pp. 34–35

3.7 Base Model Results

• Olmo 3는 OLMo 2보다 science, math, code metric을 향상시키지만 general-knowledge benchmark에서는 약간 저하되며, 저자들은 이를 STEM data를 강조하고 upsampling한 결과로 설명한다.Table 13은 Olmo 3를 다른 open base model과 함께 pretraining, midtraining, long-context stage 전반에서 비교한다.출처: §3.7 · p. 35, Table 13 · p. 36

4 Olmo 3 Think

• 후속 학습 레시피는 수학, 코딩, instruction following, 일반 대화를 아우르는 선별된 Dolci Think SFT, DPO, RL 데이터셋을 사용하며, 세 단계 모두에서 성능 향상이 관찰된다.Dolci Think에는 긴 synthetic reasoning trace, capability-contrastive preference pair, 도전적인 reinforcement-learning prompt가 포함된다.출처: §4 · p. 37, §4.4 · p. 44

4.1.2 주요 결과

• Olmo 3 Think 32B는 최고의 fully-open 32B 모델로 보고되며, Gemma 2/3 27B와 Qwen 2.5 32B-Instruct를 능가하고 6× 더 적은 토큰으로 Qwen 3 및 Qwen 3VL과의 격차를 좁힌다.Olmo 3 Think-7B도 여러 open-weight 7B thinking model을 능가하지만 knowledge task에서는 Qwen 3에 뒤처진다.출처: §4.1.2 · p. 38, Table 14 · p. 38
• OlmoRL 학습을 750단계에서 2300단계로 연장하면 AIME, ZebraLogic, IFEval, IFBench가 향상되지만, AlpacaEval은 5점 하락하고 대부분의 다른 benchmark는 대체로 변하지 않는다.계산 자원 제약으로 실행을 중단했을 때 확장 실행은 아직 완전히 포화되지 않았다.출처: §4.1.2 · p. 38, §4.2 · p. 38

4.2.1 Dolci Think SFT: 데이터 큐레이션

• Dolci Think SFT는 수집된 prompt, 재생성된 reasoning trace, 광범위한 license·quality·topic·decontamination filtering, 그리고 최종 데이터셋 구성에 반영되는 category-level mixing 실험을 결합한다.각 데이터셋이 적어도 하나의 평가에서 기여하므로 최종 혼합에는 테스트한 각 category의 일부가 최소한 유지된다.출처: Step 1: sourcing prompts and… · p. 41

4.3 Delta Learning을 통한 Preference Tuning

• Dolci Think DPO는 preference tuning을 capability-oriented contrastive learning으로 취급하고, Qwen 3 32B의 thinking completion과 더 약한 Qwen 3 0.6B 응답을 짝지어 reasoning-quality delta를 만든다.Qwen3 32B thinking trace에 대한 추가 supervised finetuning은 SFT 성능을 저하시킨 반면, 해당 trace를 더 나쁜 응답과 짝지으면 유용한 contrastive signal을 제공한다.출처: §4.3 · p. 42, §4.3.1 · p. 43

4.4 OlmoRL을 활용한 Reinforcement Learning: 화룡점정

• OlmoRL은 filtering, active sampling, token-level loss normalization, KL loss 제거, asymmetric clipping, truncated importance sampling으로 GRPO를 확장하여 도메인 전반에서 더 길고 안정적인 RL을 수행한다.RL 단계는 verifiable reward와 language-model-judge reward를 결합하고, 수학·코딩·instruction following·일반 chat에 걸친 약 100K개의 Dolci-Think-RL prompt를 사용한다.출처: §4.4 · p. 44, §4.4.1 · pp. 44–45

4.4.1 OlmoRL 알고리즘 세부사항

• OlmoRL은 truncated importance sampling과 group-relative advantage를 사용하는 token-level clipped objective를 적용하며, difficulty bias를 제거하기 위해 standard-deviation normalization을 생략한다.알고리즘은 token-level loss, clip-higher, truncated importance sampling을 결합한다. verifier reward는 도메인별로 계산되며 advantage는 상대적인 group reward에 기반한다.출처: §4.4.1 · p. 45

4.4.2 Dolci-Think-RL: State-of-the-art RLVR 데이터셋 큐레이션

• Dolci-Think-RL은 수학·코딩·instruction following·일반 chat에 걸친 대략 100K개의 sample로 구성되며, 자동으로 검사되는 verifiable 또는 non-verifiable reward를 포함한다.데이터셋은 도메인별 수집 및 filtering을 사용하며, 코딩용 test-case pair와 pass rate가 62.5%를 초과하는 sample을 제거하는 offline difficulty filtering을 포함한다.출처: §4.4.2 · pp. 46–47

4.4.3 Open Instruct의 OlmoRL 인프라

• RL 인프라는 fully asynchronous actor-learner 실행과 active sampling을 사용하며, 최대 32K token의 rollout과 reasoner model에서 평균 10K 초과의 rollout을 지원한다.추론에는 32B reasoner model에 학습 계산량의 약 5배, 7B reasoner model에 약 14배가 사용되었다.출처: §4.4.3 · p. 48

4.5 주요 결과

• DPO는 SFT보다 더 나은 RL 출발점으로 남으며, 혼합 도메인 학습은 도메인별 과최적화를 피하고 더 광범위한 downstream 성능을 보존한다.RL 이후 DPO는 일관되게 SFT를 능가하는 반면, 단일 도메인 학습은 대상 평가를 향상시키면서 다른 평가를 악화시킬 수 있다. 최종 혼합은 더 낮은 학습 reward에도 유사하거나 더 나은 downstream 성능을 달성한다.출처: §4.5 · pp. 50–51
• RL reward는 도메인마다 증가율은 다르지만 모든 도메인에서 꾸준히 증가하며, DPO는 Qwen3-32B 응답과 더 약한 Qwen3-0.6B 응답을 대조함으로써 직접 모방을 능가한다.Qwen3-32B chosen response에 대한 직접 supervised finetuning은 초기 SFT model을 저하시킨 반면, DPO는 수학 및 코드 추론에서 큰 향상을 내고 pass@1 변환을 넘어 reasoning frontier를 확장한다.출처: §4.5 · pp. 49–50, Table 21 · p. 50
• Continuous batching과 inflight update는 절반의 GPU로 RL 학습을 두 배 빠르게 수행하게 하여, 긴 추론 실행을 더 다루기 쉽게 만든다.Inflight weight update는 동일한 자원에서 정확도를 저하시키지 않고 최대 4x 더 빠른 throughput을 제공하며, continuous batching은 가변 길이 생성으로 인한 낭비를 방지한다.출처: §4.4.3 · pp. 48–49, §4.5 · p. 51, Table 23 · p. 51
• Continuous batching과 inflight update는 9개 노드에서 14일이 걸리던 1 epoch 학습을 5개 노드에서 7일로 단축한다.Benchmark 설정은 64개 prompt에서 각 학습 단계마다 128개의 completion을 생성하며, 최대 output 및 input 길이는 각각 32000과 2048이다.출처: §4.5 · pp. 51–52
• RLVR을 DPO에서 시작하는 것이 SFT에서 시작하는 것보다 전반적으로 바람직하지만, 더 나은 초기화는 평가에 따라 달라진다.비교는 RLVR 학습 중 AlpacaEval, Omega-500, AIME 2025를 포괄한다.출처: Figure 19 · p. 52
• 혼합 학습 데이터는 높은 AlpacaEval 성능을 유지하면서 유사한 IFEval 성능을 달성해 과적합을 방지하며, delta learning을 적용한 DPO는 SFT보다 pass@K를 일관되게 향상시킨다.pass@K 향상은 AIME 2024 및 2025에서 더 높은 K 값에서도 유지된다.출처: Figure 20 · p. 52
• 최종 RL 단계는 IFEval과 보지 못한 IFBench 평가 모두에서 정밀한 instruction following을 가장 크게 향상시킨다.이 결과는 후속 학습 단계 전반에서 7B 및 32B 규모의 Olmo 3 Think와 Instruct model을 대상으로 한다.출처: §4.5 · p. 52, Table 24 · p. 53
• 도메인별 RL 학습은 전체 데이터 혼합보다 더 높은 학습 reward를 내지만, 더 높은 train reward가 downstream 성능을 반드시 향상시키지는 않는다.비교는 전체 혼합 데이터에 대한 general, instruction-following, mathematics subset을 대상으로 한다.출처: Figure 20 · p. 52, Figure 21 · p. 53

5 Olmo 3 Instruct

• Olmo 3 Instruct는 inference-time reasoning 없이 흔한 조언 요청 및 정보 회상 상호작용을 대상으로 하며, 사용자 질의에 빠르고 유용하게 응답한다.학습은 tool use와 효율적인 응답도 추가로 목표로 한다.출처: §5 · p. 53

5.1 Olmo 3 Instruct 주요 결과

• AIME 2025에서 57.9, IFBench에서 39.7을 기록한 결과는 Olmo 3.1 Instruct 32B가 AIME 2025에서 Qwen 3 32B (No Thinking)를, IFBench에서 32B 규모의 Qwen 3 및 Qwen 3 VL을 능가함을 보여준다.또한 Qwen 2.5 32B, Gemma 3 27B, Apertus 70B를 포함해 비슷한 규모의 대부분 open model보다 높은 성능을 보인다.출처: §5.1 · p. 54, Table 25 · p. 54

5.2.1 Function-calling Training Data

• function-calling data는 MCP server의 소규모 real-interaction trajectories와 다양한 multi-turn, multi-step, refusal pattern을 포함하는 확장 가능한 SimFC trajectories를 결합한다.실제 trajectory는 scholarly science QA와 web-search QA를 다루며, SimFC는 기존 dataset과 public MCP server의 tool set 및 API를 사용한다.출처: §5.2.1 · pp. 54–56
• Pythonic code-block call, XML delimiter, environment role, 전용 tokenizer token을 포함하는 통합 OpenAPI 기반 format을 사용해 tool-use behavior를 안정화한다.Function calling은 intrinsic BFCLv3 accuracy와 LitQA2 및 SimpleQA에서 ASC와 Serper tool을 사용한 extrinsic task completion으로 평가한다.출처: §5.2.1 · p. 56

5.3 Preference Tuning with Dolci Instruct DPO

• Dolci Instruct DPO는 GPT가 평가한 contrastive pair, synthetic multi-turn conversation, length-control intervention을 추가해 general alignment, conversational usability, 간결성을 향상한다.선택된 chat response와 거부된 chat response는 preference-data length bias를 완화하기 위해 최대 100 token 차이가 나도록 필터링한다.출처: §5.3 · p. 57, §5.3.1 · p. 59

5.3.2 Prompt Mixing

• 직접 설계한 preference prompt mix는 uniform random sampling보다 뛰어난 성능을 보이는 반면, code domain upsampling은 예상과 달리 code benchmark 성능을 낮출 수 있다.최종 mix는 domain-subset ablation 후 9개 후보 mixture에서 경험적으로 선택한다.출처: §5.3.2 · p. 59

5.2.2 Curating Dolci Instruct SFT

• Olmo 3 Think SFT checkpoint에서 SFT를 시작하면 Olmo 3 Instruct 성능이 크게 향상되면서도 thinking trace 없이 간결한 답변을 유지한다.Dolci Instruct SFT는 general chat, reasoning, function calling을 개선한 OLMo 2 Instruct mixture를 기반으로 한다.출처: §5.2 · p. 54, §5.2.2 · p. 57, §5.5 · p. 61

5.5 주요 발견

• 선택된 response와 거부된 response 사이의 높은 대비는 DPO gain에 핵심적이다. 거부된 response를 약화하는 delta-aware intervention을 적용하면 GPT가 평가한 pair가 OLMo 2 preference-data baseline보다 유의하게 높은 성능을 보인다.response generator와 judge만 개선하는 방식은 synthetic completion에 의미 있는 대비가 부족했기 때문에 실패했다.출처: §5.3.1 · pp. 58–59, §5.5 · p. 61
• DPO 중 length control은 AIME와 MATH처럼 길이에 민감한 evaluation의 score를 낮추지만, output을 크게 짧게 만들고 usability를 향상한다.내부 정성 평가에서는 거의 일관되게 더 짧고 직접적인 model을 선호했다.출처: §5.5 · p. 61
• 7B 규모에서는 length-controlled DPO initialization이 보정되지 않은 고득점 DPO checkpoint보다 더 안정적인 RL progress를 만들고 궁극적으로 더 높은 성능을 낸다.저자들은 더 짧은 output이 고정된 8K RL context window를 더 효과적으로 사용하는 반면, 보정되지 않은 initialization은 더 이른 불안정성 또는 성능 저하를 보인다고 추정한다.출처: §5.5 · p. 61
• Preference-tuning 성능은 task-dependent dataset size에서 정점에 도달하므로, 추가 최적화가 downstream performance를 저해할 수 있다.AlpacaEval과 ZebraLogic은 약 75–100K sample에서 정점에 이르지만, AIME2024는 그 시점에 아직 포화되지 않았다. 따라서 학습에서는 dataset size와 learning rate를 sweep한다.출처: §5.5 · p. 61, Figure 23 · p. 62
• Tool use는 평가한 모든 model에서 SimpleQA를 크게 향상하는 반면, Qwen model은 Olmo 3 Instruct 7B와 달리 LitQA2에서 대부분 parametric knowledge에 의존한다.두 Qwen model은 tool을 제공하면 LitQA2 성능이 하락한다.출처: §5.5 · p. 62, Table 31 · p. 62
• delta-learning과 GPT가 평가한 preference pair를 결합하면 어느 한 source만 사용하는 것보다 뛰어난 성능을 보이며 가장 큰 평균 gain을 낸다.결합한 preference data는 이전 OLMo 2 preference data보다도 크게 뛰어난 성능을 보인다.출처: §5.5 · p. 61, Table 32 · p. 63

6 Olmo 3 RL-Zero

• Olmo 3 RL-Zero는 math, code, instruction following, general chat, mixed objectives 전반에서 Olmo 3 Base로 decontaminated RLVR을 수행하기 위한 Dolci RL-Zero dataset과 OlmoRL code를 공개한다.이 설정은 pretraining 또는 midtraining data leakage 없이 RLVR 효과를 분리해 분석하도록 설계됐다.출처: §6 · p. 63

6.1 Base에서 Dolci RL-Zero를 사용한 Reinforcement Learning

• math RL-Zero dataset은 filtering, deduplicating, clustering을 거치고 final base model이 이미 푼 질문을 제거해 구축한 13.3K decontaminated prompts로 구성된다.code, instruction-following, general-chat data는 Dolci Think RL에서 subsampling한다.출처: §6.1 · p. 63
• RL-Zero는 도메인별 simple prompts, 정제된 evaluation formatting, 16K-token training responses, temperature 1.0에서의 32K-token evaluation responses를 사용한다.이러한 선택은 긴 reasoning을 수용하고 pass@k evaluation을 위한 다양성을 높인다.출처: §6.1 · pp. 63–64

6.2 주요 결과

• Olmo 3 Base는 math RL 중 decontaminated AIME evaluations에서 pass@32를 포함해 꾸준히 향상되며, 최종 7B 성능은 더 작은 model과 더 적은 training steps를 사용하고도 DAPO에 근접한다.저자들은 이를 기존 RLVR experiments보다 효율적인 대안으로 설명한다.출처: §6.2 · p. 64, Figure 24 · p. 64
• Mixed-domain RL은 여러 도메인을 향상하지만, 각 도메인은 대응하는 single-domain run에 비해 under-optimized 상태이므로 이 mix는 까다로운 multi-objective RLVR benchmark가 된다.이 설정은 multi-objective RLVR에서 도메인 간 상호작용을 향후 연구할 수 있게 한다.출처: §6.2 · p. 64, Figure 24 · p. 64
• RL-Zero는 midtraining ablations를 위한 testbed를 제공한다. reasoning data가 부족하면 response length stagnant 상태가 지속되고 backtracking 및 answer verification과 같은 behavior가 나타나지 않는다.이를 통해 RL에서 downstream reasoning을 사용해 대안적인 midtraining approaches를 비교할 수 있다.출처: §6.2 · pp. 64–65, Figure 25 · p. 65
• Active sampling은 non-zero-advantage completions로 구성된 완전한 batch를 일관되게 유지하고 math run에서 training-loss variance를 크게 줄인다.이 method는 non-zero advantage를 기준으로 filtering한 뒤 prompts를 지속적으로 resample한다.출처: §6.2 · p. 65, Figure 26 · p. 65
• random binary rewards로 training하면 no benchmark gains가 나타나지 않으며, 이는 decontaminated evaluation setup이 training data와 evaluation sets 간의 유의미한 overlap을 제거한다는 결론을 뒷받침한다.이 experiment는 spurious rewards가 memorized solutions를 이끌어낼 수 있는지 검증한다.출처: §6.2 · p. 65, Figure 27 · p. 66

A.1 Base Model 추가 학습 세부사항

• Figure 28은 Olmo 3 Base 7B와 32B 모두의 pretraining 중 cross-entropy loss와 total gradient norm을 추적한다.가독성을 위해 gradient-norm curve에는 20 step에 대한 exponential moving average를 사용한다.출처: §A.1 · p. 85, Figure 28 · p. 86
• Olmo 3는 효율을 높이기 위해 7B에서 multi-head attention을, 32B에서 grouped-query attention을 사용한다.Architecture는 Table 33에 요약되어 있다.출처: Table 33 · p. 85
• Training configuration은 pretraining, midtraining, long-context extension을 포함하며, throughput은 8× NVIDIA H100 80GB 노드로 구성된 cluster에서 측정한다.Configuration에는 HSDP sharding과 Llama3-style context parallelism을 사용한다.출처: §A.1 · p. 84, Table 34 · p. 85
• 32B에서는 cosine learning-rate schedule, 두 배로 늘린 batch size, checkpoint를 평균한 두 번의 midtraining run, 그리고 50B가 아닌 100B의 long-context-extension token을 사용한다.이러한 선택은 7B training configuration과 다르다.출처: Table 35 · p. 86

• 104개 dump의 252.6B CommonCrawl 문서를 처리해 2013년 중반부터 2024년 후반까지를 아우르는 초기 pretraining pool을 구성했다.dump의 범위는 CC-MAIN-2013-20부터 CC-MAIN-2024-51까지이며 Resiliparse로 linearize했다.출처: §A.2.1 · p. 87
• pool의 76%는 heuristic filter로, 추가 2.5%는 English filtering으로 제거되어 38.7B documents가 남았으며 survival rate는 15.1%였다.filter는 spam, 문서 길이, 기호, 반복, boilerplate, 언어, 문제가 있는 문장을 대상으로 한다.출처: §A.2.1 · p. 87
• heuristic filter는 교환법칙이 성립하고 English filtering이 가장 느리므로, language filtering을 마지막에 배치하면 processing efficiency를 높일 수 있다.출처: §A.2.1 · p. 87
• filtering procedure는 초기 corpus의 84.9%를 제거했으며 i4i.32xlarge EC2 instance에서 약 1,030 시간이 걸렸다.Table 36은 processing step별 비용과 제거 내역을 요약한다.출처: Table 36 · p. 87, §A.2.1 · p. 87

• 세 단계 파이프라인은 전역 exact deduplication, Jaccard 검증을 포함한 32-way MinHash deduplication, 56-way fuzzy suffix-array deduplication을 결합한다.출처: §A.2.2 · p. 87
• exact-deduplication 단계는 두 번의 pass를 사용한다. 전역 deduplication 전에 각 dump별 처리를 수행하는 편이 계산적으로 더 효율적이기 때문이다.Duplodocus는 exact 및 MinHash deduplication을 지원하고, bsade는 suffix-array deduplication을 지원한다.출처: §A.2.2 · p. 88
• Exact deduplication은 입력 문서의 66%를 제거하여 MinHash 처리 전에 코퍼스를 12.7B개 문서로 축소한다.먼저 각 dump 내부에서 deduplication을 수행한 다음, 집계된 코퍼스 전체에 걸쳐 전역 pass를 수행한다.출처: §A.2.2 · p. 88
• MinHash deduplication은 입력의 24%를 제거하며, 실제 Jaccard-similarity 검증 후 9.8B개 문서를 남긴다.이 절차는 crawl date에 따라 각 문서의 최신 버전만 유지한다.출처: §A.2.2 · p. 88
• Fuzzy suffix-array deduplication은 반복되는 500-byte sequence가 최소 80%를 차지하는 span의 양 끝에 반복될 때 해당 반복 구간을 제거한다.그러한 양끝 반복 구조가 없는 span에서는 개별적으로 반복되는 500-byte sequence를 제거한다.출처: §A.2.2 · p. 88
• Exact, MinHash, suffix-array deduplication 후 최종 코퍼스에는 9.7B개 문서가 포함된다.출처: §A.2.2 · p. 88

• 말뭉치는 WebOrganizer의 140M-parameter classifier 대신 FastText classifier를 사용해 24개 WebOrganizer 토픽 카테고리로 나뉜다.출처: §A.2.3 · p. 89
• 이 classifier는 Llama가 라벨링한 WebOrganizer 데이터와 gpt-4.1 및 o4-mini로 라벨링한 506,746개 예시로 학습된다.출처: §A.2.3 · p. 89
• Classifier 성능은 원래 WebOrganizer 논문에서 사용한 홀드아웃 20,000개 문서 샘플로 평가된다.출처: §A.2.3 · p. 89

• 이 절차는 데이터를 단순히 high- 또는 low-quality로 filtering하는 대신 각 topic 내부의 quality composition을 제어해 topic-level mixture prescription의 한계를 다룬다.출처: §A.2.4 · p. 89
• Olmix는 선택된 token 수의 합이 지정된 총량이 되면서 어떤 quality bucket도 M배를 초과해 upsample되지 않도록 topic별 upsampling ratio를 탐색한다.출처: §A.2.4 · p. 89
• 이 방법은 정규화된 quality 구간 [0, 1]에서 정의된 볼록·단조 함수로 upsampling을 모델링한다.출처: §A.2.4 · p. 89
• 가능한 함수는 requested token yield로 적분되고, λ ≥0을 만족하며, 각 bucket의 maximum average upsampling 제약을 따라야 한다.출처: §A.2.4 · p. 90
• truncated power-exponential family는 최저 품질 bucket을 filtering으로 제외하면서 mixture integral을 제어할 수 있는 parameterized function을 제공한다.출처: §A.2.4 · p. 90
• 각 WebOrganizer topic에 대해 구현은 maximum upsampling을 M = 7로 설정하고, 품질 하위 40%를 폐기하며, p, λ, C를 수치적으로 푼다.출처: §A.2.4 · p. 90

검증 설정

• 소규모 1B 실험에서는 100B-token run을 사용해 제안된 mixing 및 upsampling 전략의 세 가지 검증 설정을 비교한다.검증 프로그램은 targeted mixing, quality-aware upsampling, 그리고 두 방법을 결합하는 방법을 평가한다.출처: §A.2.5 · p. 90

Targeted mixing

• Targeted swarm optimization은 QA, Math 또는 Code 목표에 맞춰 data mix를 조정하며, 최종 multi-objective mix에서 natural distribution보다 우수한 성능을 보인다.Task-specific mix는 여러 목표를 절충하는 최종 mix보다 BPB가 약간 더 낮다.출처: §A.2.5 · p. 90, Table 38 · p. 91
• 최종 Olmo 3 mix는 task-specific mix보다 BPB가 약간 더 나쁘지만 natural distribution을 크게 능가한다.이는 하나의 capability만을 위해 최적화한 결과가 아니라 여러 목표 사이에서 필요한 절충을 반영한다.출처: §A.2.5 · p. 90

Quality-aware upsampling

• Quality-aware upsampling은 simulated data-constrained training에서 모든 repetition factor에 걸쳐 flat filtering을 일관되게 능가한다.비교에서는 100B token으로 학습한 1B model을 사용하며, theoretical 4.51T-token pool에서의 repetition을 일치시킨다.출처: §A.2.5 · p. 90, Table 39 · p. 91

Upsampling과 mixing의 조정

• Mixing은 topic proportion을 제약하는 반면, quality upsampling은 source 내부의 quality proportion을 제약한다.따라서 두 방법은 topic-by-quality bucket matrix에 대해 각각 행 방향과 열 방향의 제약을 부과한다.출처: §A.2.5 · pp. 90–91
• 결합 기법 중에서는 보고된 1B-model 실험에서 truncated power-exponential form이 가장 우수한 성능을 보인다.대안으로는 bucket target의 arithmetic 또는 geometric averaging과 exponential-function family가 있으며, 결과는 Table 40에 보고된다.출처: §A.2.5 · p. 91, Table 40 · p. 91

A.3 Base Model 추가 데이터 세부사항: Midtraining

• 이 절에서는 Dolma 3 Dolmino Mix의 큐레이션 과정에 대한 추가 세부사항을 제공한다.또한 합성 데이터 생성을 위한 프롬프트를 포함한 재현 자료의 출처로 Dolma3 GitHub repository를 제시한다.출처: §A.3 · p. 91
• 재현 자료에는 합성 데이터 생성을 위한 프롬프트가 포함된다.출처: §A.3 · p. 91
• Dolma3 GitHub repository에는 데이터 선별 과정을 재현하기 위한 추가 자료가 포함되어 있다.출처: §A.3 · p. 91

TinyMATH

• TinyMATH는 기존 MATH 문제 하나당 100개의 문제를 생성한 뒤 Pythonic 및 자연어 해답을 생성해 구축된다.그 결과 생성된 PoT 및 MIND 데이터셋은 각각 241M 및 899M tokens를 포함하며 annealing runs으로 평가된다.출처: §A.3.1 · p. 92

CraneMath

• CraneMath는 Qwen3 32B로 SwallowMath 방식의 rewrite를 재현해 더 허용적인 라이선스를 가진 완전 공개 데이터셋을 제공한다.그 결과 데이터셋은 5.62B tokens를 포함하며, FineMATH4+의 9.6B 및 SwallowMath의 2.3B와 비교된다.출처: §A.3.1 · pp. 91–92

MegaMatt

• MegaMatt는 원본 Llama 생성 데이터가 제한적인 라이선스를 보유하고 SwallowMath보다 품질이 낮다고 평가되었기 때문에, 최근 MegaMath-Web-Pro-Max의 subset을 재현한다.재현된 pool은 3.9B tokens를 포함하며 MegaMath-Web 및 MegaMath-Web-Pro-Max variants와 비교 평가된다.출처: §A.3.1 · pp. 92–93

핵심 발견 및 결과

• 수학 데이터 품질 tier는 데이터셋 크기와 역상관을 보이며, 최고 품질의 소스일수록 크기도 가장 작다.결과는 training tokens에 따른 evaluation-score 변화를 정규화하며, 더 많은 tokens가 추가될수록 수익이 감소함을 보인다.출처: Table 41 · p. 92, §A.3.1 · p. 93
• 고도로 선별된 tinyMATH variants는 1 billion tokens 미만을 포함함에도 token당 수학 평가 향상을 가장 크게 달성한다.Synthetic rewrites와 자연 발생 소스도 수학 metrics를 향상시키지만, token당 효과는 더 약하다.출처: §A.3.1 · p. 93
• 수학 midtraining은 일반적으로 MMLU에 중립적이거나 부정적이며, 데이터가 수학 평가에 더 targeted될수록 부정적 영향이 커진다.저자들은 이러한 specialization trade-off를 “overcooking”이라고 설명한다.출처: §A.3.1 · p. 93

A.3.2 코드 역량

• Midtraining은 Python 및 code-completion 역량을 향상하기 위해 10B tokens의 fill-in-the-middle 데이터를 추가한다.데이터는 pretraining code mixture와 동일한 source에서 오며, pretraining은 stack-edu의 자연적으로 발생한 GitHub source code에 의존한다.출처: §A.3.2 · p. 93

CraneCode

• CraneCode는 Python files, compilation 및 linting filters, 그리고 두 단계의 Qwen 기반 rewriting을 사용해 SwallowCode를 재현한다.각 단계는 원래 SwallowCode 작업의 prompts를 사용해 style-guide-compliant code와 optimized code를 생성한다.출처: §A.3.2 · p. 93
• SwallowCode는 검토한 기성 synthetic code sources 중 가장 큰 성능 향상을 제공했지만, 허용 범위가 더 좁은 Llama license를 사용했다.CraneCode는 완전히 공개된 대안을 제공하기 위해 만들어졌으며, 품질은 annealing experiments를 통해 점검되었다.출처: §A.3.2 · p. 93

A.3.3 사고 능력

• Olmo 3는 주석이 달린 수학 및 coding 문제와 GPT-4.1 및 o4-mini가 생성한 능력별 training data를 통해 일곱 가지 구조화된 reasoning 능력을 목표로 한다.이 능력에는 self-awareness, self-evaluation, goal management, hierarchical organization, backward chaining, backtracking, conceptual reasoning이 포함된다.출처: §A.3.3 · p. 94

A.4 Base Model Additional Evaluation Details

• 확장된 OlmoBaseEval suite는 science, medical knowledge, mathematics, coding, multilingual execution, fill-in-the-middle programming에 걸친 43개 task를 다룬다.Code evaluation은 Python, C++, Java, JavaScript, PHP, Rust, Shell을 지원하며, 병렬 execution infrastructure가 개발 중 수백만 개의 generated sample을 채점한다.출처: §A.4 · p. 95

A.4.1 Base Evaluation suites

• Base evaluation은 data decision에 Easy 및 Main suite를 사용하며, Main은 여섯 그룹을 추적하고 generative math와 code는 이미 pre-training 중 평가된다.Easy suite는 소규모 signal을 제공하고, Main suite는 in-loop 및 mid-training decision을 지원한다.출처: §A.4.1 · p. 96, Figure 30 · p. 97
• Base Easy suite는 downstream Base Main suite와 일관되게 small model의 순위를 매겨, large-scale model decision을 위한 small-scale evaluation을 지원한다.이 관계는 Easy와 Main suite 성능 간 rank correlation으로 제시된다.출처: §A.4.1 · p. 96, Figure 31 · p. 98

A.4.2 New Evaluation Benchmarks

• 새 benchmark는 basic skill을 측정하고, generated multiple-choice distractor로 generative-QA false negative를 줄이며, data-selection perplexity를 위해 chat-style token을 mask한다.BasicSkills는 arithmetic, string manipulation, coding, logical reasoning, common sense, pattern recognition을 분리해 측정하고, Gen2MC는 DROP, Jeopardy, NaturalQs, SQuAD, CoQA를 다룬다.출처: §A.4.2 · p. 98

A.5.1 Definitions and Preliminaries

• Decontamination은 training–evaluation overlap을 approximate substring search로 취급하고, training/evaluation pair를 contaminated document와 pure document로 분할한다.이 방법은 contamination이 training corpus 내에서 희소하다고 가정하면서 direct derivation을 noise 및 source material과 구분한다.출처: §A.5.1 · p. 101

A.5.2 Example of Contamination

• Evaluation format이 서로 다르므로 decon은 knowledge, reasoning, retrieval task 간 structural differences를 사용해 direct evaluation derivation과 source material을 구분한다.Knowledge evaluation은 대체로 짧은 answer를, reasoning evaluation은 더 긴 answer를, retrieval evaluation은 상당한 길이의 passage를 가진다.출처: §A.5.2 · pp. 101–102

A.5.3 Eval Normalization

• Decon은 evaluation instance를 question, answer, passage component로 normalize하고, 초기 식별에는 question을 사용하며 contamination evidence를 뒷받침하는 데 answer 또는 passage를 사용한다.Instance는 Q, QA, QP, QAP composition을 가질 수 있다. Passage만으로는 약한 indicator이지만 contamination 판정을 강화할 수 있다.출처: §A.5.3 · p. 102

A.5.4 Decon Implementation

• Decontamination pipeline은 inverted-index n-gram traversal을 통해 candidate cluster를 발견하고, edit 또는 gap을 가로질러 match를 확장하며, evaluation document를 고유한 matching shingle에 mapping한다.Hot n-gram은 single-token traversal로 cluster expansion을 우회하고, active document는 11회의 miss 후 제거된다. IDF-weighted overlap과 precomputed evaluation sum을 사용해 string-to-string comparison 없이 효율적으로 scoring한다.출처: §A.5.4 · pp. 102, 104

A.5.5 Scoring System

• Contamination score는 adaptive component weight를 사용해 question, answer, passage overlap을 결합하고, 더 짧은 match에 penalty를 부과하며, low-confidence question에서 더 길고 정보량이 큰 component로 weight를 재분배한다.Answer와 passage check에는 추가로 question cluster와의 proximity가 요구되며, IDF-weighted overlap과 configurable gap tolerance가 사용된다.출처: §A.5.5 · p. 104, Base scores · p. 105

A.6.1 Supervised Finetuning Details

• Supervised fine-tuning은 2 epoch 동안 packed 32,768-token sequence를 사용하며, 7B model에는 1M-token batch를, 32B model에는 4M-token batch를 사용한다.Olmo-core infrastructure provides an 8x faster training speed than open-instruct; training uses 1–8 8xH100 or 1–4 8xB200 nodes for 7B and 32 8xH100 nodes for 32B.출처: §A.6.1 · p. 105, Table 47 · p. 105

A.6.2 Preference Tuning Details

• Preference tuning은 implicit KL penalty로 regularize된 length-normalized DPO objective를 optimize하며, task-dependent optimum을 찾을 때까지 learning rate와 preference-data size를 sweep하고 그 이후에는 performance가 감소한다.Sweep 동안 다른 모든 hyperparameter는 고정되며, 7B에는 2–4 8xH100 node, 32B model에는 8–16 node를 사용한다.출처: §A.6.2 · p. 105, Table 48 · p. 106

A.6.3 Reinforcement Learning Details

• RL training은 reward, response length, IfEval, general-quality, math-verifier metric을 꾸준히 개선했으며, code-verifier reward는 중간 정도로 fluctuation하고 KL divergence는 점진적으로 증가했다.이러한 trend는 최종 7B reasoner run 동안 specialized skill과 overall response quality가 동시에 향상되었음을 보여준다.출처: §A.6.3 · p. 106

A.6.4 RL-Zero Details

• Olmo 3 RL-Zero는 DAPO보다 더 빠르고 높은 compute efficiency로 합리적인 performance에 도달했으며, RL-Zero 3.1은 16k completion과 unmasked truncated sequence를 사용해 결국 RL-Zero 3.0을 능가했다.새 setup은 처음에는 더 느리게 개선되었지만 이후 AIME 2024 및 2025 pass@1에서 약 50% 부근에 plateau했다. Masking은 stability를 낮췄고 total training efficiency를 개선하지 못했다.출처: §A.6.4 · p. 106, Figure 38 · p. 107, Figure 39 · p. 107

A.7.1 Filtering for Dolci Think-SFT

• Filtering은 reasoning data에서 licensing, provenance, formatting, accuracy, unsafe-content, repetition, date-cutoff, Chinese-language 문제를 제거하며, 일반적으로 각 filtering phase에서 0–1%를 제거한다.Pipeline은 truncated 또는 empty output, 과도하게 반복된 text, Chinese character가 최소 5% 포함된 response를 제거하고, domain-specific accuracy 및 safety check를 적용한다.출처: §A.7.1 · pp. 107–108, Table 50 · p. 110

A.7.2 Tool-use data

• Tool-use 및 coding data는 grounded environment output, quality filter, multi-step interaction requirement, rewritten coding problem, generated solution, generated test case를 사용해 synthesis된다.Science QA는 GPT-5 query generation과 GPT-4.1-mini tool trajectory를 사용한다. Web-search data는 highly rated되고 verified된 trajectory를 유지하며, coding synthesis는 다양한 source dataset에 걸쳐 GPT-4.1을 사용한다.출처: §A.7.2 · pp. 108–109

A.7.4 Dolci Instruct DPO Details

• 모든 prompt domain은 DPO tuning을 개선하지만, prompt domain이 performance domain을 신뢰성 있게 예측하지 못하므로 optimal domain ratio를 결정하기는 어렵다.Wildchat은 base mix의 35%로 제한하고, 다른 prompt는 uniform하게 sampling한다.출처: Table 51 · p. 113

A.8.1 General Evaluation Settings

• Post-training evaluation은 end-of-sequence 또는 maximum length까지 completion을 생성하며, thinker와 instruct model에 unified setting을 적용한다.Evaluation은 temperature 0.6과 top-p 0.95를 사용하고, thinking trace를 제거하며, small benchmark에서는 여러 sample을 average하고, QA extraction에는 unified regex를 적용한다. AlpacaEval 2 LC는 reliability를 높이고 inference cost를 약 90% 줄이기 위해 GPT-4.1 judging을 사용한다.출처: §A.8.1 · p. 114

A.8.2 Safety Evaluations Overview

• Safety evaluation은 기존 OLMo 2 및 Tülu 3 development suite와 네 개의 held-out benchmark인 Toxigen, StrongReject, WMDP, BBQ를 결합한다.Development evaluation에는 HarmBench, DoAnythingNow, XSTest, WildGuard-Test, WildJailbreak-Test, TrustLLM-JailbreakTrigger가 포함된다.출처: §A.8.2 · pp. 114–115
• Safety score는 higher value가 better safety를 나타내도록 normalize하며, 각 benchmark protocol에 따라 refusal, accuracy, attack-success, error-rate metric을 aggregate한다.Safety evaluation은 top-p 0.95와 temperature 0.7을 사용하며, 보고된 benchmark result는 세 번의 run 평균이다.출처: §A.8.2 · p. 115, Table 52 · p. 115, Table 53 · p. 115