PaperlayerView exact revision on arXiv

Source-linked AI summary

OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers

Siyuan Li, Jiabao Pan, Yumou Liu, Zhuoli Ouyang, Xin Jin, Xinglong Xu, Jingxuan Wei, Shengye Pang, Jintao Che, Xuanhe Zhou, Conghui He, Cheng Tan

arXiv:2607.04033v1cs.LGcs.AI

TL;DR

Optimizer 연구는 mechanism과 protocol에 민감한 평가 전반에 걸쳐 파편화되어 있어 방법 간 비교를 복잡하게 만든다. OmniOpt는 공통 pipeline 및 geometric 관점과 cross-domain benchmark를 도입하고, optimizer 순위가 scale, context length, domain에 따라 체계적으로 교차한다는 점을 밝혔다.

  • 문제

    Optimizer 연구는 파편화된 mechanism label과 protocol에 민감한 평가를 사용하므로, update stage와 training condition 전반의 통합 비교가 제한된다.

  • 방법

    OmniOpt는 five-stage update pipeline, norm-constrained LMO, multi-axis decomposition, 그리고 model scale, architecture, task, objective 전반에 걸친 cross-domain benchmark로 optimizer를 통합한다.

  • 결과

    Benchmark에서 평가한 effect objective 전반에 걸쳐 optimizer 순위는 scale, context length, domain에 따라 체계적으로 교차한다.

  • 시사점 및 한계

    Optimizer selection은 단일한 universal ranking이 아니라, 관련된 scale, context length, domain에서 mechanism과 objective를 기준으로 평가해야 한다.

  • 시사점 및 한계

    Norm-constrained LMO는 gradient magnitude를 버리므로, learning rate, radius 또는 preconditioner를 통해 그 scale을 다시 도입해야 한다.

Abstract

from arXiv · show

Optimizer selection for large-scale model training has become a system-level design decision constrained jointly by compute, memory, tuning budget, and task diversity, yet the landscape of over one hundred methods remains fragmented. We therefore present OmniOpt, a unified survey and benchmark cookbook of optimizers for the research community. OmniOpt rests on four coupled components. First, we treat every optimizer update as a structured transformation through a five-stage meta-pipeline, and show that most methods engage only one or two of these stages. Second, we use norm-constrained linear minimization oracles (LMOs) to unify different optimizers. Third, these two views ground a dual-dimension taxonomy, one dimension assigning each method to a mechanism family and the other recording the measurable training objectives it aims to improve. Fourth, and at the core of this paper, we instantiate the full taxonomy in a unified cross-domain benchmark spanning representative optimizers, model scales, and training regimes from language model pretraining to image classification, systematically analyzing each method family across multiple effect objectives and laying out their trade-offs. OmniOpt thus supplies the research community with an operational coordinate system for selecting optimizers under explicit mechanism and objective assumptions, and charts a direction for the future development of the optimizer community.

1 서론

OmniOpt는 optimizer 선택을 training 제약에 의해 좌우되는 시스템 수준의 의사결정으로 규정하고, 5단계 meta-pipeline, LMO geometry, dual taxonomy, cross-domain benchmarking을 연결하는 mechanism-aware framework를 제시한다. 벤치마크는 optimizer ranking이 안정적인 전역 순서를 이루기보다 scale, context length, domain에 따라 달라질 수 있음을 강조한다.

  • 동기: Optimizer 선택은 empirical-loss 감소와 accelerator, memory, communication, batch-size, data-scale, tuning, evaluation budget을 포함한 제약에 동시에 좌우된다.Adam과 AdamW는 deep learning을 위한 지배적인 element-wise adaptive-moment template을 확립했다 [54] [70].
  • Framework: LMO-driven four-axis decomposition은 update domain, state estimator, geometry-and-precondition operator, finalization wrapper를 통해 optimizer direction을 통합한다.Norm-constrained linear minimization oracle을 사용해 direction selection을 위한 공통의 geometric language를 제공한다.
  • Taxonomy: OmniOpt는 more than one hundred optimizers를 primary mechanism family와 개선을 목표로 하는 measurable training objective에 따라 분류한다.Methodological dimension은 서로 겹치지 않으며, objective-oriented dimension은 의도한 training effect를 기록한다.
  • Benchmark: 벤치마크는 60M to 1B parameters 규모의 language-model pretraining, 네 가지 architecture, 256 to 32k tokens의 context length, CIFAR100 image classification을 포괄한다.평가는 six effect objectives에 걸쳐 family 및 axis 수준에서 representative optimizer를 비교한다.
  • 주요 결과: Optimizer ranking은 scale, context length, domain에 따라 systematic crossings를 보이며, 단일 전역 leaderboard보다 effect-specific comparison이 필요함을 시사한다.이 논문은 mechanism-aware organization, LMO decomposition, dual taxonomy, benchmarking을 통합된 체계로 연결한다.

2 전제

이 절에서는 확률적 최적화 프레임워크, Transformer 파라미터 기하, 메모리 관례를 정립한 뒤, 이후 optimizer 분석의 기준선으로 고전적 preconditioning 메커니즘과 AdamW를 설정한다.

  • 2.1 Training objective와 stochastic gradient: Pretraining과 supervised fine-tuning은 accumulation, clipping, mixed precision 같은 시스템 세부 사항이 noise와 수치적 거동에 반영되는 mini-batch stochastic gradient를 사용하는 empirical risk minimization으로 정식화된다.Stochastic-oracle 모델은 bounded variance를 갖는 unbiased gradient를 가정하지만, 실제 pipeline은 update rule의 noise level, numerical range, memory traffic을 결정한다.
  • 2.1 Transformer parameter topology: Transformer optimizer는 이질적인 tensor geometry를 고려해야 한다. 행렬은 vector-like parameter와 달리 factorization과 orthogonalization 같은 구조적 연산을 지원한다.이 구분은 layer name이 아니라 tensor geometry로 정의되며, matrix-structured optimizer 설계를 뒷받침한다.
  • 2.1 Mixed-precision training에서의 memory budget: 7B-parameter model은 Adam state만으로 약 56 GB가 필요하다. Adam이 두 개의 FP32 state tensor를 저장하기 때문이며, activation, temporary buffer, distributed-training overhead는 제외한 수치다.이는 mixed-precision memory 제약에서 state-compressed optimizer method의 필요성을 뒷받침한다.
  • 2.2 고전적 optimization mechanism: 전제에서는 gradient smoothing, curvature estimation, direction scaling, final-write regularization을 중심으로 optimizer 설계를 정리하며, Newton’s method가 preconditioning 관점을 제공한다.SGD는 identity geometry를 사용하고, momentum은 gradient signal을 평활화하며, modern method는 정확한 Hessian inversion을 다루기 쉬운 diagonal 또는 structured approximation으로 대체한다.
  • 2.2 고전적 optimization mechanism: AdamW [70]는 이 survey의 Adam-like baseline이다. Adam의 diagonal data-gradient preconditioner를 유지하면서 weight decay를 adaptive scaling과 분리하고 final assignment에서 적용한다.이후의 optimizer는 대체로 AdamW에서 계승한 state-evolution template과 비교된다.
  • 2.2 고전적 optimization mechanism: Natural gradient 는 Fisher geometry를 사용해 Newton-style 관점을 확장하며, practical diagonal, block-diagonal, Kronecker, low-rank, stochastic approximation을 통해 large model에서도 사용할 수 있게 된다.그 결과로 얻어지는 curvature와 geometry 선택은 논문의 LMO-driven decomposition에서 Axis II와 Axis III가 된다.

3 Optimizer를 위한 통합 이론 프레임워크

OmniOpt는 방법이 어디에 개입하는지 식별하는 5단계 메타 파이프라인과 update 방향을 norm-ball 제약과 연결하는 LMO 기반 기하학적 관점을 통해 optimizer 분석을 통합한다. 두 관점은 대부분의 optimizer가 한두 단계만 수정하며, 다양한 메커니즘을 공통 direction-operator 프레임워크 안에 배치한다는 점을 보여준다.

  • 3.1 Universal Meta-Pipeline: Universal Meta-Pipeline은 각 optimizer step을 training signal을 parameter increment로 변환하는 five operators로 나타내며, optimizer state는 내부적으로 갱신되고 identity stage도 허용된다.이 파이프라인은 parameter tensor, training signal, optimizer state, 그리고 update equation Δ_t = S5(S4(S3(S2(S1(G_t)))))를 형식화한다.
  • 3.1 Universal Meta-Pipeline: 이 파이프라인은 signal acquisition, parameter routing, gradient transformation, state evolution, update reconstruction을 분리하며, S2와 S4는 dimension-reducing 또는 basis-rotating transformation을 위한 dual pair를 이룬다.return map은 orthogonal basis rotation에 대해서는 exact하고 projection 또는 factorized-state method에 대해서는 approximate하다. GaLore는 이 S2/S4 dual을 통해 computation과 state를 더 낮은 차원 공간으로 이동시킨다.
  • 3.1 Universal Meta-Pipeline: 대부분의 optimizer는 한두 pipeline stage에서만 nontrivial한 선택을 하고, 나머지 stage는 identity map 또는 standard default로 남겨둔다.이 identity-mapping principle은 method 간 compact한 특성화를 뒷받침하며, coupled optimizer family가 여러 stage에 걸쳐 나타나도록 한다.
  • 3.2 LMO-Driven Geometric View: LMO 관점은 optimizer 동작을 기하학적으로 해석한다. 동일한 gradient도 서로 다른 norm ball 아래에서는 서로 다른 extremal direction을 생성하며, magnitude는 learning rate, radius 또는 preconditioner를 통해 복원되어야 한다.이는 norm-constrained LMO를 steepest descent와 연결하고, constraint geometry와 optimizer 동작을 하나의 direction-selection mechanism에 대한 두 가지 해석으로 다룬다.
  • 3.2 LMO-Driven Geometric View: 이 프레임워크는 LMO와 preconditioning 해석을 direction operator Φ_t로 묶고, momentum, second moment, variance reduction, projection state는 그 operator의 입력으로 앞단에 배치한다.이 구성에서 Muon은 spectral-norm LMO인 동시에 Gram-based preconditioner다.

L MtQR, (39)

L MtQR은 저차원 projected subspace에서 Adam-style optimization을 수행해 state memory를 줄이고, adaptive direction을 original parameter space로 되돌려 올린다. 이 구성은 projected adaptive-box LMO이면서 rotated diagonal preconditioner이기도 하다.

  • L MtQR: L MtQR은 r × r subspace에 projected first- 및 second-moment state를 저장해 memory를 O(mn)에서 O(r^2)로 줄인다.Projected momentum, first moment, coordinate-wise variance estimate를 작은 subspace 내부에서 유지한다.
  • L MtQR: 이 방법은 projected coordinate에서 adaptive direction을 만든 다음, subspace basis를 통해 이를 original weight space로 되돌려 올린다.LMO로 보면 projected adaptive box이고, preconditioner로 보면 basis에 의해 다시 회전된 projected diagonal metric이다.
  • SOAP: SOAP은 Adam의 box를 eigenbasis coordinate로 회전시키고, 매 f step마다 full-rank basis를 갱신하면서 second moment는 매 step 업데이트한다.Shampoo의 fixed inverse-root metric과 달리, SOAP은 step별 second-moment state가 adaptivity를 제공하게 해 낮은 preconditioning frequency에서도 robustness를 뒷받침한다.
  • Summary: four-axis decomposition은 update domain, state estimation, direction formation, write-back을 분리하며, momentum과 variance reduction은 Axis II에 배정한다.Axis III에는 LMO geometry와 direction operator가 포함되며, Adam의 diagonal metric과 Muon의 polar map이 이에 해당한다.

4 이중 차원 분류체계

OmniOpt는 두 가지 상보적 차원으로 optimizer를 구성한다. 하나의 primary mechanism family와 다중 레이블 effect objectives를 사용한다. 이 dual taxonomy는 family를 meta-pipeline에 대응시키고, 새로운 method를 benchmarking하고 분류하기 위한 mechanism-aware 계획을 제공한다.

  • 분류체계 설계 원칙: 각 optimizer에는 하나의 primary mechanism label이 부여되며, effect objectives에는 convergence, cost, memory, stability, robustness, generalization을 포괄하는 다중 레이블 annotation이 허용된다.이를 통해 mechanism과 의도된 또는 관찰된 effect가 혼동되는 것을 방지한다. 이러한 effect들은 반드시 함께 개선될 필요가 없다.
  • 분류체계 설계 원칙: 이 분류체계는 해당 component를 제거했을 때 method가 더 단순한 baseline으로 붕괴하는지를 기준으로 method를 배정함으로써 중첩된 설명을 정리한다.예를 들어 Lion은 memory-saving effect가 아니라 sign-map mechanism에 따라 분류되며, Q-GaLore는 GaLore의 subspace mechanism에 quantized state를 추가한다.
  • Dimension A: mechanism families: Family 배정은 element-wise adaptive moments, matrix-level structure, directional quantization, state compression 또는 gradient-lifetime 변화, selective 또는 wrapped update operation을 포함한 mechanism을 구분한다.예로는 Lion의 sign geometry, GaLore의 subspace mechanism, SAM의 sharpness-aware wrapper, LAMB의 trust-ratio writeback, 그리고 Magma와 MGUP 같은 selective mask가 있다.
  • Dimension A: mechanism families: Dimension A는 108개 optimizer를 다섯 mechanism family와 열다섯 subclass로 구성하며, 각 경계는 다섯 단계 meta-pipeline에 맞춰 정렬된다.T1은 element-wise state evolution과 scaling, T2는 matrix routing과 transformation, T3는 direction discretization, T4는 state representation과 gradient lifetime, T5는 update writeback을 중심으로 한다.
  • Dimension B와 benchmark 활용: 결과적으로 이 분류체계는 mechanism-informed benchmark plan이다. Table 7은 objective priority를 제공하며, 상세 record는 primary label, secondary mechanism tag, O1–O6 effect annotation을 결합한다.여러 family에 걸친 조합에서는 mechanism이 동일한 pipeline slot을 차지할 때 명시적인 ordering과 descent-quality 논증이 필요할 수 있다.

5 Optimizer Method Families · 5.1 T1: 원소별 Adaptive Moment 및 Scalar Control

OmniOpt는 optimizer method를 다섯 가지 mechanism family로 구성하며, T1은 원소별 adaptive-moment 및 scalar-control method를 포괄한다. T1은 coordinate-wise topology를 유지하면서 local adaptive term, temporal signal, 또는 outer control logic를 변화시킨다.

  • 5 Optimizer Method Families: 다섯 method family는 meta-pipeline position, LMO-driven interpretation, representative method, effect-target assessment를 포괄하는 공통 template를 공유한다.이 구성은 benchmark design에서 method-level comparison granularity를 유지하면서도 간결한 전개를 보존한다.
  • 5.1.1 Family Overview and Meta-Pipeline Position: T1은 scalar 또는 coordinate-wise state, independent parameter normalization 또는 control, 그리고 row, column, head, layer 간 information exchange의 부재로 정의된다.Canonical AdamW structure는 diagonal second-moment preconditioner를 사용하고 parameter topology를 보존한다. T1은 S1, S2, S4에서 대체로 identity-like하며, S3와 S5에서 큰 변이를 보인다.
  • 5.1.1 Family Overview and Meta-Pipeline Position: T1은 mechanistically direct Adam variant, multi-timescale 또는 corrected estimator, 그리고 iterate-averaging 또는 automatic-tuning method로 나뉜다.이 하위 유형들은 AdamW의 local numerator, denominator, bias correction, 또는 writeback; temporal 또는 variance-reduced signal; outer averaging, scale inference, phase switching을 수정한다.
  • 5.1.2 LMO-Driven Four-Axis Interpretation: Four-axis view에서 T1은 identity basis, diagonal curvature, full coordinate-resolution state를 사용하므로, off-diagonal coupling이나 basis change가 없는 diagonal-curvature analogue로서 AdamW를 만든다.정규화된 direction은 ℓ∞-type LMO와 anisotropic coordinate-wise trust region을 통해 해석할 수 있으므로, AdamW는 단순한 sign descent도 Newton descent도 아니다.
  • 5.1.3 Representative Methods: 대표적인 T1 method는 AdamW를 국소적으로 수정하거나, temporal 또는 corrected signal을 추가하거나, averaging, global-scale inference, switching을 통해 outer control을 변경한다.예로는 RAdam의 early-variance rectification, AdaBelief의 prediction-error statistic, AdEMAMix의 multiple momentum timescale, MARS의 corrected estimator, TAM의 alignment gate, Schedule-Free의 internal averaging이 있다.
  • 5.1.3 Representative Methods: T1은 AdamW가 coordinate-wise normalization, momentum smoothing, decoupled weight decay, mature schedule interface를 결합하므로 calibration family로 기능한다.그 대가는 memory다. AdamW는 full-size moment buffer 두 개를 저장하므로 SGDM보다 비용이 크지만, 초기 loss를 크게 줄이고 안정적인 Transformer pretraining을 지원하는 경우가 많다.
  • 5.1.3 Representative Methods: T1.1은 일반적으로 heterogeneous coordinate scale에서 빠른 초기 loss 감소와 안정적인 동작을 제공하는 반면, T1.2는 noisy 또는 temporally biased gradient에서 더 매끄러운 trajectory와 token efficiency를 목표로 한다.이러한 이점에는 Adam-like method의 full element-wise state 또는 temporal 및 corrected estimator의 추가 state, update logic, per-step cost가 따른다.
  • 5.1.3 Representative Methods: T1.3은 반드시 더 낮은 best-tuned loss를 달성하기보다는 더 넓은 사용 가능 learning-rate 범위, 적은 schedule decision, 더 매끄러운 phase behavior를 우선한다.충분한 search budget이 주어지면 automatic rule은 신중하게 tuning한 fixed schedule보다 뒤처질 수 있다.

5.2 T2: 행렬 수준 구조적 방법

T2는 독립적인 좌표가 아니라 Transformer 가중치 행렬에 작용하며, spectral, Kronecker-factored, 또는 low-rank subspace 메커니즘을 사용한다. 이 방법의 장단점은 loss, conditioning, memory, step time, information preservation에 걸친 다중 목적 문제다.

  • Family definition: T2 방법은 행렬의 행과 열, singular direction, Kronecker factor, 또는 low-rank subspace를 직접 결합하며, 비행렬 parameter는 일반적으로 AdamW 또는 SGD로 fallback한다.이러한 matrix routing은 S1 parameter-scoping 단계에 해당하며, attention 및 MLP projection weight를 가장 자연스럽게 대상으로 삼는다.
  • Subclass structure: T2는 spectral orthogonalization, Kronecker-factored preconditioning, low-rank subspace projection으로 나뉘며, 각각 Muon, Shampoo 또는 SOAP, GaLore가 대표한다.각 subclass는 주된 행렬 연산에 따라 구분된다. 즉 spectral direction selection, structured curvature 또는 covariance scaling, reconstruction을 포함한 projected-state training이다.
  • Meta-pipeline: T2는 parameter routing, matrix transformation, structured state, reconstruction을 first-class design choices로 다루지만, 최종 writeback은 대체로 SGD- 또는 AdamW-style로 유지된다.일반적인 matrix update는 gradient를 회전하거나 projection하고, direction 또는 preconditioning rule을 적용한 뒤, 변환된 update를 parameter matrix로 다시 매핑한다.
  • Mechanism distinctions: T2.2는 row, column, 또는 Fisher-coordinate magnitude 정보를 사용하는 반면, T2.3은 low-rank projection을 주된 state space로 삼고 memory savings를 effect로 취급한다.Low-rank 방법은 high-rank gradient information의 손실을 피하려면 충분한 rank, refresh frequency, 또는 rank-allocation strategy가 필요하다.
  • Trade-offs: T2에는 단일한 upgrade profile이 없다. spectral 방법은 token당 loss를 개선할 수 있지만 step time을 늘릴 수 있고, Kronecker 방법은 wall-clock 이점을 잃을 수 있으며, low-rank 방법은 memory를 rank 또는 refresh requirement와 맞바꾼다.따라서 평가는 관련 baseline을 기준으로 token budget, wall-clock accounting, memory budget, rank, refresh interval, batch size를 맞춰 수행해야 한다.

5.3 T3: 이산화 및 방향 양자화

T3는 sign-like map을 통해 update direction을 이산화하거나 평활화하여 연속적인 magnitude를 제거하거나 거칠게 만드는 optimizer를 묶는다. 그 geometry는 ℓ∞ linear minimization oracle을 따르며, variant들은 momentum signal, smoothing, trajectory control, bounded magnitude channel을 통해 달라진다.

  • Family 정의: T3는 coordinate orientation을 보존하면서 continuous gradient 또는 momentum magnitude를 버리거나 clipping하거나 거칠게 만드는 hard 또는 smooth sign-like map으로 update를 정의한다.이는 defining mechanism이 variance estimation과 diagonal scaling으로 유지되는 adaptive-moment method와 T3를 구분한다.
  • Mechanism group: 이 family에는 pure sign direction, signed momentum, 그리고 SignSGD, Signum [11], Lion [19], MARS-Lion [128], RLion, FOCUS [68], Ano [50]로 표현되는 smooth 또는 hybrid direction이 포함된다.이 경로들은 각각 input signal, sign decision, trajectory behavior, 또는 magnitude channel을 변화시키면서 directional-quantization core는 유지한다.
  • Family 경계: T3에는 sign-like map이 base direction을 직접 정의하는 method가 포함되지만, AdamW-, Lion-, 또는 Muon-style update 이후 적용되는 binary 또는 stochastic mask는 제외되며 T5.3에 속한다.이 경계에 따라 SignSGD, Lion, RLion, FOCUS, Ano는 T3에 배치되고, Magma, MGUP, cautious, top-k filter는 다른 곳에 배정된다.
  • Geometry와 LMO: ℓ∞-ball LMO에서 d* = −sign(g)이므로, sign update는 identity basis에서 고정된 maximum coordinate displacement를 갖는 조건 아래 가장 가파른 linearized step이다.SignSGD는 이 geometry를 직접 적용하는 반면, Lion은 이를 smoothed current-gradient와 momentum signal에 적용하며 Adam의 two-buffer design보다 적은 state를 사용한다.
  • 실용적 trade-off: T3는 주로 resource efficiency와 learning-rate perturbation에 대한 local tolerance를 제공하지만, fixed-magnitude update는 여전히 learning rate, warmup, weight decay, scale, token budget, batch size, tuning effort에 민감하다.Adam의 second-moment state를 제거하면 optimizer memory를 줄일 수 있지만, 더 나은 loss trajectory나 peak quality를 보장하지는 않는다.

5.4 T4: State Compression and Structural Aggregation

T4는 factorization, low-bit representation, shared statistics, 또는 fused gradient consumption을 통해 optimizer-state memory의 크기, precision, granularity, lifetime을 줄이는 optimizer들로 구성된다. 이 방법들은 주로 state maintenance와 exposure를 변경하며, trade-off는 approximation quality, grouping granularity, composition constraints에 좌우된다.

  • Family definition: T4는 external systems techniques에 의존하기보다 optimizer의 state representation 또는 gradient-consumption pipeline을 변경해 optimizer-state overhead를 줄인다.AdamW의 두 full-size state tensors와 비교하면, T4는 backpropagation 중 state를 compress, share, quantize, reconstruct하거나 제거한다.
  • T4.1 Row-column factorization: Row-column factorization methods인 AdaFactor와 CAME는 full matrix second moments를 row 및 column summaries로 대체하고, update time에 approximate denominators를 reconstruct한다 [99] [74].AdaFactor는 matrix state를 O(mn)에서 O(m + n)으로 줄이며, CAME는 신뢰할 수 없는 factorized surrogates를 위해 confidence-guided correction을 추가한다 [99] [74].
  • T4.2 Low-bit quantization and error compensation: Low-bit methods인 8-bit Adam과 Q-GaLore는 state structure를 유지하면서 statistics 또는 projections를 quantized form으로 저장하고, numerical error를 제한하기 위해 scaling, rounding, 또는 compensation을 사용한다 [27] [137].Q-GaLore는 추가적인 quantization mechanism 때문에 포함되며, low-rank update geometry는 T2.3에 속한다 [138] [137].
  • T4.3 Block- and layer-level state sharing: Shared-state methods인 Adam-mini, APOLLO, SM3, Conda, NovoGrad는 blocks, covers, columns, layers, 또는 auxiliary structures 사이에서 values를 공유해 adaptive-statistic dimensionality를 줄인다 [6] [111] [35].Adam-mini는 Hessian-motivated Transformer blocks를 선택하고, block마다 하나의 statistic을 유지한 뒤 이를 block coordinates에 broadcast한다. 더 세밀한 sharing은 heterogeneity를 보존하지만 memory 절감량이 적고, 더 거친 sharing은 heterogeneous curvature를 underfit할 위험이 있다.
  • T4.4 Fused backprop-update: Fused backprop-update methods인 LOMO와 AdaLOMO는 gradients가 생성되는 즉시 소비하지만, streaming은 global clipping, delayed basis refresh, SAM, full-statistics preconditioners와 충돌할 수 있다 [76] [75].이들의 writeback은 backward pass 중 발생하므로, T4.4는 ordinary state compression보다 더 강한 composition constraints를 갖는다.

5.5 T5: 곡률 인지 및 기하학적 정규화

T5는 섭동된 gradient 평가, 곡률 추정, 업데이트 필터링 또는 layer-wise trust scaling을 통해 곡률이나 기하학적 제약을 부과하는 optimizer를 묶는다. 이 방법들은 제한된 regime에서는 경쟁력 있지만, 현재 LLM benchmark에서는 일관된 우위를 보이지 않으며, 동일 compute 비교가 여전히 중요하다.

  • Taxonomy: T5는 네 가지 geometric subclass를 포괄한다: adversarial perturbation, diagonal Hessian estimation, update post-processing 및 selective filtering, 그리고 layer-wise trust-region scaling이다.Figure 13은 T5 membership taxonomy 전체를 제시한다.
  • T5.1 Adversarial perturbation: SAM은 local adversarial perturbation을 통해 gradient 평가 지점을 변경하며, ASAM과 이후 variant들은 perturbation geometry, sharpness objective 또는 probabilistic interpretation을 수정한다 [32] [57] [142] [82].Perturbed-gradient branch는 SGD, AdamW 또는 다른 base optimizer를 감쌀 수 있지만, 일반적으로 두 번째 forward-backward pass가 발생한다.
  • T5.2 Diagonal Hessian estimation: Sophia는 diagonal curvature를 추정하고 그 결과 ratio를 clipping하며, AdaHessian은 Hutchinson-style diagonal-Hessian estimation과 Hessian-powered adaptive scaling을 사용한다 [65] [123].Sophia-H는 stochastic Hessian-vector product를 사용하는 반면, Sophia-G는 더 저렴한 gradient-based curvature proxy를 사용한다.
  • T5.3–T5.4 Update geometry: Post-processing method는 update를 project, normalize, mask, stabilize하거나 선택적으로 amplify하는 반면, LAMB와 AGC는 layer 또는 parameter group 수준의 trust scaling을 적용한다 [42] [114] [64] [15] [44] [125] [14].이 연산들은 일반적으로 base direction geometry를 그대로 유지하면서 어떤 coordinate를 write-back할지 제약하거나 전체 layer를 rescale한다.
  • Benchmark caveat: T5 method는 제한된 regime에서는 경쟁력 있지만 현재 LLM benchmark에서 일관된 우위를 보이지 않으며, fixed-step 비교는 겉보기 ranking을 바꿀 수 있다.SAM-style method는 step마다 순차적인 forward-backward pass를 두 번 요구할 수 있으므로 동일 compute 비교가 필수적이다.

6 벤치마크 연구

OmniOpt는 품질, 실행 시간, 메모리, 방법군, 아키텍처 전반에서 optimizer를 벤치마크해 보편적 승자보다 objective에 따른 trade-off가 존재함을 보여준다. Stage 1에서는 APOLLO와 RMNP가 국소적으로 우세하지만, 아키텍처 간 결과에서는 SOAP가 안정적이고 APOLLO가 가장 큰 일반화 실패를 보인다.

  • Stage 1 및 아키텍처 간 일반화: APOLLO는 13.53으로 1B short-context 품질에서 가장 우수하며 AdamW보다 optimizer-state memory를 훨씬 적게 사용하지만, 8개의 모든 long-context 시나리오에서 최하위 또는 최하위권에 머문다.이는 APOLLO의 Stage 1 short-context 성공을 뒤집으며 벤치마크에서 가장 큰 일반화 실패를 나타낸다.
  • Stage 1 Pareto 분석: Stage 1은 서로 다른 objective frontier를 보여준다. T4는 memory 제약에서, 경량 T2 변형은 runtime 제약에서, 어느 cost 차원도 지배적이지 않을 때는 T1이 가장 강하다.AdaFactor는 optimizer-state memory를 최소화하지만 PPL은 중간 수준인 반면, APOLLO는 낮은 memory와 1B에서 가장 우수한 PPL을 함께 달성한다.
  • Stage 1 Pareto 분석: RMNP는 matrix-structured 방법 중 가장 명확한 품질–실행 시간 절충을 제공하며, 강한 PPL을 유지하면서도 무거운 대안보다 훨씬 빠르다.SOAP, Muon, MARS-Shampoo, Shampoo는 matrix-level transformation 또는 preconditioning으로 인해 상당한 runtime overhead를 초래한다.
  • 아키텍처 간 평가: 아키텍처 간 raw perplexity 비교 대신 아키텍처 내 순위를 사용해, transferable optimizer와 아키텍처 특화 강점 및 체계적 실패를 구분한다.절대 perplexity는 아키텍처 간 비교가 불가능하므로, 벤치마크는 architecture-scale pair 전반에서 optimizer와 family의 순위를 분석한다.
  • 아키텍처 간 일반화: SOAP는 여덟 개의 아키텍처-스케일 시나리오 중 일곱 개에서 PPL 최상위권을 차지하며 한 번도 상위 두 자리를 벗어나지 않아, 시나리오 전반에서 가장 안정적인 옵티마이저다.이러한 안정성은 Kronecker 또는 Fisher basis preconditioning이 standard-attention 및 linear-attention 아키텍처 전반에 걸쳐 전이됨을 시사한다.
  • 아키텍처 간 일반화: MARS-AdamW는 AdamW와 Adan을 일관되게 능가하는 반면, Muon의 순위는 아키텍처에 따라 달라져 GLA에서는 향상되지만 Transformer++와 DeltaNet에서는 약화된다.MARS-AdamW는 두 Gated DeltaNet 열 모두에서 가장 높은 CS Avg.를 달성하고, Muon은 GLA의 340M에서 가장 높은 CS Avg.를 달성한다.

7 논의

OmniOpt는 단일 최선의 방법이 아니라 mechanism locality, compatibility, measurable objectives를 중심으로 optimizer 선택을 재구성한다. 결론은 protocol, coverage, architecture, mechanism attribution에 의존하므로 제한적이지만, predictive diagnostics와 multi-objective selection의 필요성을 제시한다.

  • 범위와 한계: 이 연구는 24개의 대표 optimizer, 60M에서 1B parameters 규모의 language-model pretraining, CIFAR100 backbone을 다루지만, 결론은 여전히 protocol과 tested instance에 상대적이다.Architecture, data, schedule은 고정한 채 optimizer hyperparameters만 조정했으며, 겉보기 AdamW 개선의 상당 부분은 baseline을 다시 조정하면 줄어들거나 사라진다.
  • Mechanism attribution: Mechanism에 대한 설명은 여전히 정성적이며, compression, geometry, tuning 효과를 검증 가능하게 만들기 위해 effective-rank, basis-staleness, intrinsic-versus-protocol metrics가 필요하다.이 논문은 후속 버전에서 정량적 interpretability evaluation을 수행할 계획이다.
  • Composition과 locality: 서로 다른 pipeline stages 또는 axes에 작용하는 mechanism은 대체로 결합되는 반면, 같은 slot을 공유하는 기법은 상호 간섭할 수 있으므로 명시적인 순서 지정이 필요하다.이 locality principle은 optimizer composition의 실용적인 compatibility test를 제공한다.
  • Benefit carriers: Muon의 diagonal second moment를 제거하면 PPL 17.78 →70.74가 되지만, Newton–Schulz orthogonalization은 이를 회복하고 AdamW를 넘어 →16.86까지 낮춘다.이 결과는 가장 큰 향상이 단순한 scalar control 조정보다 geometry-sensitive direction maps와 structured state에서 비롯됨을 보여준다.
  • 제한적인 수익: RAdam, NAdam, AdaBelief, Prodigy는 tuned-perplexity가 가장 낮은 tier에 속하며, Sophia와 LAMB는 이 regime에서 약하거나 상황에 따라서만 경쟁력을 보인다.이러한 방법은 Hessian-vector products, clipping 또는 trust-ratio parameters, 추가 gradient evaluations를 요구할 수 있다.
  • 향후 selection framework: Objectives O1–O6는 상충하고 어떤 method도 uniformly best가 아니므로, optimizer selection은 cost-aware 및 Pareto-aware 방식으로 전환되어야 하며, transfer는 측정 가능한 architecture와 data properties를 바탕으로 예측해야 한다.특히 compression 대 gradient rank, spectral geometry 대 attention topology의 경우 rankings가 dataset, context length, architecture를 가로질러 달라진다.

8 결론

OmniOpt는 모든 상황에서 최선인 optimizer는 없으며, 선택은 training regime의 병목 제약에 맞춰야 한다고 결론짓는다. 이 taxonomy는 명시적인 mechanism 및 objective 가정 아래 기존 및 미래 optimizer를 비교하기 위한 operational coordinate system을 제공한다.

  • 8 결론: OmniOpt의 operational coordinate system은 pipeline stage와 네 축 좌표를 통해 어떤 optimizer든 위치시키며, 조합 가능성 예측과 mechanism 및 objective 가정의 명시적 비교를 뒷받침한다.이 framework는 실무자가 파편화된 optimizer landscape를 탐색할 수 있도록 공통 어휘를 제공하는 것을 목표로 한다.
  • 8 결론: 보편적으로 최선인 optimizer는 존재하지 않는다. geometry에 민감한 direction map과 structured state가 가장 큰 quality 향상을 이끌지만, scalar adaptive-moment 개선은 baseline을 재튜닝한 뒤에는 기여도가 작다.테스트한 protocol에서는 대부분의 element-wise AdamW 변형이 재튜닝된 baseline을 넘지 못한다.
  • 8 결론: AdamW는 general-purpose pretraining을 위한 안정적이고 저렴하며 해석 가능한 기본 reference인 반면, 대안은 특정 제약이 요구할 때만 선택해야 한다.관련 제약은 stability, quality, runtime, memory 또는 cross-scenario transfer일 수 있다.
  • 8 결론: SOAP는 long-context training에서 quality ceiling을 제공하고 다양한 architecture에 폭넓게 transfer되지만, 비용이 높아 최종 quality가 compute와 memory보다 우선할 때만 적합하다.RMNP [26]는 architecture-induced row-wise structure를 통해 quality–efficiency 균형을 겨냥하는 반면, Muon은 model topology에 대한 인식을 요구한다.
  • 8 결론: AdaFactor는 중간 수준의 quality를 제공하는 안전한 low-memory baseline인 반면, APOLLO는 short context에서 뛰어나지만 long context에서 무너져 여전히 high-risk로 남는다.Lion은 예상되는 quality gap을 감수하는 저렴한 탐색 옵션이며, Sophia와 LAMB는 현재 protocol에서 여전히 상황 의존적이다.

Appendix · A 추가 실험 Hyperparameter 설정

이 부록은 재현성 향상을 위해 benchmark에서 사용한 optimizer hyperparameter를 정리하며, 본문의 보고 결과를 training configuration으로 보완한다.

  • A 추가 실험 Hyperparameter 설정: 부록은 benchmark 재현성을 뒷받침하기 위해 실험에 사용한 주요 optimizer hyperparameter를 보고한다.본문의 결과 metric이 아니라 training configuration에 초점을 둔다.
  • A 추가 실험 Hyperparameter 설정: 설정에는 learning rate, momentum coefficient, 수치 안정성 상수, method-specific auxiliary parameter가 포함된다.반면 본문은 perplexity, downstream performance, step당 optimizer runtime, optimizer-state memory를 보고한다.

A.1 Stage-1 C4-LLaMA 단문맥 선별

Stage-1 C4-LLaMA 단문맥 선별에서는 모델 규모별로 조정된 optimizer 설정을 사용했다. Table 19에는 핵심 하이퍼파라미터와 방법별 보조 설정이 정리되어 있다.

  • A.1 Stage-1 C4-LLaMA 단문맥 선별: Table 19에는 Stage-1 C4-LLaMA 단문맥 선별에서 각 optimizer에 사용한 조정된 하이퍼파라미터 설정이 요약되어 있다.
  • A.1 Stage-1 C4-LLaMA 단문맥 선별: 각 설정에는 momentum 계수, 수치 안정성 상수, 그리고 각 모델 규모에서 선택한 learning rate가 제시되어 있다.
  • A.1 Stage-1 C4-LLaMA 단문맥 선별: projection rank와 projection interval을 포함한 방법별 보조 설정은 표 주석에 제시되어 있다.

A.2 Stage-2 FineWeb-Edu 32k Long-Context 실험

340M 및 1B에서 수행한 Stage-2 FineWeb-Edu 32k 실험은 최적 실행의 hyperparameter configuration을 통해 정리된다.

  • A.2 Stage-2 FineWeb-Edu 32k Long-Context Experiments: Tables 20은 340M 및 1B 실험에서 최상의 실행에 사용된 learning rate, momentum coefficient, numerical stability constant, 그리고 optimizer별 auxiliary parameter를 보고한다.auxiliary parameter는 log filename에 인코딩되어 있다.

B Stage-2 Commonsense Reasoning 상세 결과

이 절에서는 아키텍처와 모델 규모 전반에 걸친 Stage-2 Commonsense Reasoning 결과를 상세히 보고한다. CS Avg.는 나열된 10개 평가 태스크의 평균으로 정의한다.

  • 평가 지표: CS Avg.는 ARC-Easy, ARC-Challenge, HellaSwag, WinoGrande, PIQA, OpenBookQA, BoolQ, COPA, LAMBADA-OpenAI [85], SciQ [112]에 대한 성능을 평균낸 값이다.
Loading 2607.04033v1…