PaperlayerView exact revision on arXiv

Source-linked AI summary

Matryoshka Language Model Suites

Nathan Godey, Yoav Artzi

arXiv:2608.09703v1cs.AIcs.CL

TL;DR

모델 suite를 독립적으로 학습하는 데는 비용이 많이 들며, 이를 공동으로 학습하고 서빙할 때의 효율성은 여전히 거의 연구되지 않았다. 이 논문은 독립 학습 baseline과 대등한 성능을 내면서 training compute를 줄이고 speculative decoding throughput을 높이는 nested, jointly trained Matryoshka suite를 소개한다.

  • 문제

    일반적으로 개별 학습되는 language-model suite를 공동으로 학습하고 서빙하는 효율성은 여전히 거의 연구되지 않았다.

  • 방법

    Matryoshka training은 increasing-width 및 depth sub-model을 하나의 end-to-end architecture에 중첩하고, 저비용 distillation을 위해 모든 sub-model의 logits를 노출한다.

  • 결과

    36% less training compute로 표준 benchmark에서 독립 학습 baseline과 모든 크기에서 평균 0.5 point 이내의 near-parity를 달성한다.

  • 시사점 및 한계

    이 nested structure는 draft model에 대한 memory overhead 없이 higher-throughput speculative decoding을 지원하며, Matryoshka suite 확장을 위한 지침을 제공한다.

  • 시사점 및 한계

    더 많은 sub-model과 더 큰 budget으로 확장하는 문제, 그리고 instruction tuning, alignment, reasoning-oriented finetuning과의 상호작용에 대해서는 여전히 Open questions remain.

Abstract

from arXiv · show

Training a language model suite classically requires training each model separately and serving them independently. We improve both training and inference efficiency by stacking sub-models of increasing size into a single nested architecture trained end-to-end. This Matryoshka training framework reduces the total parameter count of the suite, enables low-cost distillation from the largest to all smaller sub-models at every training step, and is well-suited for speculative decoding as the draft model is contained within the verifier. We validate our approach by training a Matryoshka suite comprising 500M, 1.5B, and 3B sub-models. Our suite is on par with independently trained baselines on benchmark performance and validation and out-of-domain perplexities, while using 36% less training compute and improving the throughput of speculative decoding by 14-26%. We also ablate key architectural choices, offering guidance for building strong Matryoshka LM suites.

1 서론

Matryoshka Language Model Suites는 독립적으로 분리 가능한 sub-model들을 하나의 공동 학습 architecture에 중첩해, baseline 품질을 유지하면서 training cost를 줄인다. 공유 구조는 KV cache를 공유하고 cross-model agreement를 높여 speculative decoding에도 이점을 제공한다.

  • 서론: 이 framework는 deployment tradeoffs를 위해 폭넓은 size spectrum의 model을 제공한다. 작은 model이 큰 model보다 memory와 compute 측면에서 효율적이기 때문이다.이러한 수요는 100M [Allal et al., 2025]부터 trillion parameter model까지 아우른다.
  • 서론: draft model을 verifier 안에 중첩하고 KV cache를 공유함으로써 speculative-decoding throughput이 14% 더 높아진다.이 architecture는 cross-model prediction agreement도 향상해 token acceptance rate를 높이고 더 큰 draft model을 실용적으로 만든다.
  • 서론: 중첩된 sub-model들을 하나의 architecture에 점진적으로 쌓아, {1B, 8B, 30B, 70B} suite를 109B에서 70B trained parameter로 줄인다.각 sub-model은 standalone language model로 분리할 수 있으며, suite는 공동으로 end-to-end 학습된다.
  • 서론: 총 training compute를 36% 줄이면서 validation, out-of-domain perplexity, standard benchmark 전반에서 independently trained baseline과 거의 동등한 성능을 달성한다.3B suite는 35B FineWeb-Edu token으로 학습된 500M, 1.5B, 3B sub-model을 포함하며, benchmark performance는 모든 size에서 평균 0.5 point 이내다.
  • 서론: low-cost distillation objective는 각 forward pass에서 이용 가능한 모든 sub-model logit을 사용해 가장 큰 model에서 작은 model로 distillation한다.폭과 깊이가 증가하는 sub-model들을 하나의 공동 학습 architecture에 중첩한다.

2 방법

Matryoshka suite는 sub-model parameter를 엄격하게 중첩하면서 model size에 따라 width를 키울 수 있고, parameter-free junction으로 exit를 연결하며, 모든 sub-model을 cross-entropy와 largest-model distillation으로 학습한다. 공유 구조는 free online distillation과 draft·verifier model 간 KV-cache 재사용을 통한 효율적인 speculative decoding도 가능하게 한다.

  • 통합 Distillation: Training objective는 각 exit의 cross-entropy loss와 largest sub-model에서 얻은 distillation을 결합하고, 그 결과 loss를 모든 exit에 걸쳐 합산한다.Online distillation은 largest model을 한 번 forward pass하면 모든 sub-model의 logits를 얻을 수 있어 free다. α_d는 teacher signal의 세기를 조절하며 offline setup보다 낮게 설정해야 한다.
  • Architecture: Strictly nested Transformer sub-model은 각 model size에 맞춘 increasing hidden dimensions를 사용하며, fixed-width early-exit design과는 다르다.각 sub-model은 고유한 depth, width, LM head를 가지며, D_1 ≤ D_2 ≤ ··· ≤ D_M이다.
  • Inter-model Junction: Parameter-free junction은 기존 channel을 유지하고 추가 channel을 fresh embedding에서 초기화하여 smaller-model representation을 larger width로 전달한다.Norm rescaling은 magnitude mismatch를 방지한다. Rescaling을 생략하거나 fresh embedding을 zero로 만들면 모든 sub-model size에서 perplexity가 저하된다 (Table 3).
  • Speculative Decoding: 더 작은 sub-model과 더 큰 sub-model의 모든 pair는 speculative-decoding draft·verifier pair를 이루며, 초기 layer가 공유되므로 draft KV cache를 reusing한다.이를 통해 별도 draft model의 memory cost가 사라지고 더 큰 draft도 실용적으로 사용할 수 있으며, 1:6 size ratio의 500M / 3B pair도 포함된다.
  • Architecture: Matched exit size에서 parameter가 38% fewer 필요하다. 3B Matryoshka suite의 총 parameter는 3.2B로, Vanilla의 5.2B보다 적다.Table 1은 두 suite에 대해 incremental 및 cumulative parameter total을 보고한다.

3 실험

실험 결과, Matryoshka suite는 accuracy, perplexity, compute efficiency 전반에서 독립적으로 학습한 Vanilla suite와 대등하거나 더 우수하며, cross-model alignment와 speculative decoding throughput도 향상된다. 또한 architecture 선택, training dynamics, junction 및 depth configuration을 검토한다.

  • Architecture: 선택한 (24, 10, 5) depth allocation은 Vanilla 3B의 memory와 per-token compute를 거의 그대로 재현하면서, 하나의 39-layer suite 안에 500M, 1.5B, 3B model을 nesting한다.이 실험은 suite 유형별 memory와 compute footprint를 맞추고, 고정된 39-layer budget 아래에서 가능한 depth triplet을 sweep한다.
  • Benchmark 정확도와 perplexity: training compute를 36% 덜 사용해 모든 크기에서 Token-matched Vanilla 모델과 거의 동등한 정확도를 내고, FLOPs-matched baseline보다 평균 정확도가 +0.4에서 +1.9포인트 높다.Matryoshka는 1.5B와 3B에서 평균 out-of-distribution byte perplexity도 Token-matched Vanilla보다 낮으며, 500M에서는 동률이다.
  • Training dynamics와 cross-model alignment: Matryoshka는 Vanilla 수준의 validation perplexity를 유지하면서 더 낮은 pairwise KL divergence와 더 높은 token agreement를 보이며, 1.5B–3B pair에서는 최종 agreement가 +5.7% 높다.이 alignment 우위는 shared weights와 training 중 online distillation에서 비롯된다.
  • Speculative decoding: greedy mode에서 draft length 6일 때 speculative-decoding throughput이 26% 높아져 Vanilla의 2,100 tokens/s 대비 2,650 tokens/s에 도달하며, nucleus sampling에서도 이러한 향상이 유지된다.또한 nucleus 설정에서 평균 accepted length가 5% 높지만, Vanilla는 autoregressive decoding 대비 거의 향상되지 않는다.
  • Inference memory profile: Matryoshka의 더 가벼운 inference memory profile은 depth nesting에서 비롯된다. sub-model size가 줄어들수록 KV cache가 6.0 KB/token까지 감소하는 반면, MatFormer는 31.5 KB/token의 고정 footprint를 유지한다.또한 validation perplexity를 약 21로 맞췄을 때 더 나은 quality–size trade-off를 보인다.
  • Inter-model Junction: norm-rescaled concatenation junction은 평균 PPL 기준 Vanilla와 0.02 이내로 일치하지만, norm matching을 제거하면 +0.2 PPL gap이 발생하고 zero junction은 모든 size에서 성능이 낮다.이 비교는 더 작은 proxy scale에서 수행한 junction ablation에 보고되어 있다.

4 관련 연구

관련 연구는 Matryoshka language model suite를 early exiting, distillation을 활용한 speculative decoding, elastic compression, nested Transformer architecture와 연결한다. 이 접근법은 online distillation 비용을 줄이는 동시에 pretrained model을 압축하거나 submodel capacity를 변화시키는 방법을 보완한다.

  • Early Exiting: Early-exit 방법은 language modeling, sparse routing, self-speculative decoding 변형을 포함해 중간 layer에서 예측을 수행한다 [Teerapittayanon et al., 2016; Schuster et al., 2022; Elbayad et al., 2020; Raposo et al., 2024; Elhoushi et al., 2024].이 방법들은 model이 확신할 때 전체 forward pass를 수행하지 않는다.
  • Speculative Decoding과 Distillation: Speculative decoding은 작은 draft model과 더 큰 verifier를 사용하며, distillation은 두 model의 alignment와 token acceptance rate를 향상시킨다 [Leviathan et al., 2023; Zhou et al., 2024].이 접근법은 offline distillation을 피하고 online distillation 비용을 줄인다. offline teacher logits를 사용하면 데이터 요구량을 2.4× 줄일 수 있다.
  • Pretrained LLM의 Elastic Compression: Elastic compression 방법은 continued training을 통해 pretrained LLM을 더 작은 model family로 변환하며, pretraining 비용이 이미 지출된 뒤에도 저렴하게 복원할 수 있다 [Cai et al., 2024a; Taghibakhshi et al., 2025].이 방법들은 slimmable network와 Once-for-All을 기반으로 하며, 이 논문의 설정과 상호보완적이다.
  • Matryoshka LLM: Matryoshka Representation Learning과 MatFormer는 정보가 풍부한 embedding prefix를 학습하거나 granularities에 따라 FFN hidden size를 변화시켜 더 작은 model을 중첩한다 [Kusupati et al., 2022; Devvrit et al., 2023].MatFormer는 depth, attention head, embedding을 고정하므로 FLOPs와 parameter를 절약하지만, submodel 간 per-token KV-cache footprint는 동일하다.

5 결론

이 논문은 크기가 증가하는 sub-model들을 하나의 end-to-end 학습 architecture 안에 중첩하는 Matryoshka Language Model Suites를 제안하며, 더 낮은 training cost로 3B 규모에서 독립적으로 학습한 baseline과 거의 동등한 성능을 달성한다. 또한 scaling, capacity allocation, loss weighting, post-training integration을 향후 연구 과제로 제시한다.

  • 결론: Matryoshka suite는 크기가 증가하는 sub-model들을 하나의 nested architecture에 쌓고 end-to-end로 학습하며, 더 낮은 cost로 3B 규모에서 independent baseline과 거의 동등한 수준에 도달한다.이 framework는 각 model을 isolation 상태에서 학습하는 대신 model suite가 공유하는 training distribution을 활용한다.
  • 결론: 미해결 과제는 더 많은 sub-model과 더 큰 budget으로의 scaling, capacity와 loss weight의 allocation, 그리고 instruction tuning, alignment, reasoning 중심 finetuning의 integration을 다룬다.이러한 방향은 joint pretraining을 공동 설계된 suite에서 더 폭넓은 post-training 및 scaling 설정으로 확장한다.

A Distillation Ablation

200M proxy suite에서 distillation ablation을 수행한 결과, 중간 수준의 계수인 αd = 0.3이 sub-model validation performance를 가장 크게 개선하는 반면, 더 큰 계수는 teacher-student alignment를 높이더라도 성능을 저해한다.

  • A Distillation Ablation: αd = 0.3은 50M sub-model과 Vanilla 간 격차를 대부분 줄이며, 네 가지 설정에서 평균 격차가 최소가 된다.50M, 100M, 200M sub-model에서 αd ∈ {0, 0.3, 0.5, 0.7}를 평가한다.
  • A Distillation Ablation: 더 높은 distillation coefficient는 역효과를 낸다. αd = 0.5에서는 가장 큰 sub-model이 Vanilla보다 뒤처지고, αd = 0.7에서는 모든 크기의 모델 성능이 저하된다.distillation이 없으면 50M과 200M 모델은 Vanilla보다 여전히 높은 성능을 유지하지만, 100M 모델은 이미 Vanilla보다 낮다.
  • A Distillation Ablation: αd가 증가할수록 200M teacher에 대한 KL divergence가 단조롭게 감소하며, student-teacher alignment가 점진적으로 강화됨을 보여준다.Figure 8(a)는 Vanilla 대비 validation cross-entropy를 보고하고, Figure 8(b)는 각 smaller model의 teacher에 대한 KL divergence를 보고한다.

B Compute, Memory, and Training-FLOPs Accounting

이 부록은 논문 전반에서 사용하는 parameter count, KV-cache footprint, inference FLOPs, training FLOPs의 산정 규약을 정의한다. 이 공식들을 standalone Transformer와 nested Matryoshka suite에 적용하며, training cost는 측정 throughput과 nominal GPU peak performance를 바탕으로 계산한다.

  • 표기법: 부록은 산정 공식에 사용되는 vocabulary size V, layer count L, hidden dimension H, per-token dataset size D의 표기법을 정립한다.H는 attention-head count와 head dimension의 곱이다.
  • Parameter count: Parameter accounting은 embedding 및 LM-head cost를 per-layer attention과 FFN cost에서 분리한 뒤, nested Matryoshka sub-model 전체에 걸쳐 parameter를 누적한다.standalone 식은 input embedding과 LM head에 2VD를 할당하고, 16LD^2는 per-layer attention 및 FFN parameter를 나타낸다. nested suite에서는 smaller-submodel LM head도 추가로 산정한다.
  • KV Cache: KV-cache accounting은 각 Transformer layer에서 width D인 key와 value를 저장하며, memory는 element당 b byte에 따라 스케일링된다.bf16에서는 b = 2다.
  • Theoretical Inference FLOPs: Inference FLOPs는 multiply-accumulate당 두 FLOP를 계산하고, next-token logit을 위한 LM-head cost를 더하며, 가장 깊은 exit의 LM head 하나를 적용하기 전에 Matryoshka exit 전체의 stack cost를 합산한다.standalone LM-head application은 2VH FLOP가 들고, suite 식은 모든 sub-model의 stack cost와 deepest exit에서의 2VDM을 더한다.
  • Training FLOPs: Training FLOPs는 wall-clock GPU-hour, 기록된 tokens-per-GPU-hour throughput, nominal BF16 Tensor-Core peak throughput을 결합하고, 각 suite를 구성하는 run을 합산한다.nominal peak는 NVIDIA B200에서 4.5 × 10^15 FLOP/s, NVIDIA A100에서 3.12 × 10^14 FLOP/s이며, 이 규약은 measured throughput을 통해 kernel 차이를 반영한다.

C 총 레이어 예산 선택 · D Ternary Plot 읽기

논문은 3B sub-model의 token당 FLOPs와 KV-cache footprint 사이의 균형을 바탕으로 총 레이어 예산을 선택한 뒤, 정규화된 depth 할당과 architecture feasibility를 나타내기 위해 ternary plot을 사용한다. 또한 ternary diagram은 고정된 parameter target에서 레이어를 재할당할 때 sub-model width 요구량이 어떻게 변하는지도 보여준다.

  • C 총 레이어 예산 선택: 총 예산 L은 Matryoshka 3B sub-model의 KV-cache footprint를 직접 결정하며, block별 width와 함께 token당 FLOPs도 결정한다.3B sub-model은 세 block의 모든 레이어를 사용하므로 L을 바꾸면 architecture cost가 모두 변한다.
  • C 총 레이어 예산 선택: 예산 sweep은 각 예산당 약 500개의 유효한 depth 할당을 사용해 L ∈{28, 39, 50}을 평가하며, width는 500M, 1.5B, 3B target에 맞도록 계산한다.Head dimension은 64, 96, 128로 고정하고, 각 할당에 대해 full-3B forward-pass FLOPs와 bf16 KV cache를 계산한다.
  • C 총 레이어 예산 선택: L = 39는 FLOPs가 가장 낮은 L = 50 설계와 KV cache가 가장 작은 L = 28 설계 사이의 핵심적인 trade-off를 제공하며, L = 50은 Vanilla보다 KV cache가 ∼25−40% 더 많이 든다.L = 28은 대체로 KV cache가 가장 작지만 Vanilla보다 FLOPs가 높은 경우가 많고, L = 50은 cache cost가 크게 증가하는 대신 가장 낮은 FLOPs에 도달한다.
  • C 총 레이어 예산 선택: Width-depth trade-off는 language-model quality에 영향을 줄 수 있지만, 선행 연구는 합리적인 ratio 범위에서는 shape보다 scale이 더 중요하다고 본다. Matryoshka 성능은 여기에 더해 KV-cache footprint를 맞추는 데 좌우된다.인용된 문헌은 Kaplan et al., 2020, Tay et al., 2023, and Petty et al., 2024다.
  • D Ternary Plot 읽기: Ternary plot은 합이 one이 되는 정규화된 depth triplet (L0/Ltotal, L1/Ltotal, L2/Ltotal)을 encode하므로, 모든 triangle point는 feasibility constraint를 적용하기 전에는 유효한 할당이다.Vertex는 모든 레이어를 하나의 sub-model에 할당하고, edge는 한 sub-model에 레이어를 zero로 할당한다.
  • D Ternary Plot 읽기: Top vertex를 향해 이동하면 500M model의 layer share가 증가해 더 깊고 좁은 model이 된다. Bottom-left를 향해 이동하면 레이어가 1.5B model 쪽으로 이동해 500M model은 더 얕고 넓어진다.이러한 width 변화는 규정된 500M parameter target을 유지한다.
  • D Ternary Plot 읽기: 점선으로 표시된 unfeasible region에는 head dimension (64, 96, 128)으로 규정된 parameter target을 구현할 수 없는 depth triplet이 포함된다.레이어가 너무 적은 model에 하나보다 적은 head가 필요하거나, nesting D0 ≤D1 ≤D2가 위반되면 invalid가 될 수 있다.

E MatFormer와의 자원 비교 · F 분포 외 Perplexity

Matryoshka는 동일한 3B shape에서 MatFormer보다 배포 가능한 sub-model을 크게 줄이고 확장 가능한 KV-cache 비용을 제공하면서, held-out corpus에 대한 out-of-domain perplexity 우위도 유지한다. 3B sub-model은 Token-matched Vanilla baseline보다 arXiv byte perplexity를 0.13 개선한다.

  • E MatFormer와의 자원 비교: MatFormer는 FFN block만 중첩하고, attention shape, hidden width, depth는 universal-model 값으로 고정한다.sub-model은 FFN intermediate dimension을 universal 4H width의 비율 r까지 잘라낸다.
  • E MatFormer와의 자원 비교: 자원 비교에서는 두 방법을 모두 Vanilla 3B shape에 맞추고 H = 2560, L = 28을 사용하며, Matryoshka는 500M, 1.5B, 3B exit에서 평가한다.MatFormer는 FFN ratio r ∈(0, 4]를 sweep해 평가하는 반면, Matryoshka는 세 suite exit point에서 cumulative formula를 사용한다.
  • E MatFormer와의 자원 비교: Matryoshka는 500M sub-model을 제공하지만, 3B universal MatFormer는 parameter count나 FLOPs/tok 기준으로 500M 미만의 model을 제공할 수 없다.MatFormer는 r = 0.5에서 대략 1.26B parameter, r →0에서 약 1.05B라는 smallest-model floor를 유지한다. Matryoshka는 가장 작은 cumulative exit point부터 규모를 줄인다.
  • E MatFormer와의 자원 비교: MatFormer의 KV cache는 추출한 sub-model 전반에서 280 KB/tok로 유지되는 반면, Matryoshka는 더 작은 exit point에서 KV-cache 비용을 줄인다.두 방법은 parameter의 함수로서 본질적으로 동일한 FLOPs-per-token curve를 따르지만, MatFormer가 attention shape와 depth를 고정하기 때문에 KV-cache 비용은 서로 달라진다.
  • F 분포 외 Perplexity: out-of-distribution 평가는 2 048-token rolling window, stride 1 024, 동일한 SmolLM2 tokenizer를 사용해 WikiText-103, C4, PG-19, arXiv, PubMed Central에서 byte perplexity를 측정한다.비교에는 FLOPs-matched 및 Token-matched Vanilla baseline이 포함된다.
  • F 분포 외 Perplexity: 0.13 byte-PPL improvement: 3B Matryoshka sub-model은 Token-matched Vanilla baseline 대비 arXiv byte perplexity를 0.13 낮춘다.1.5B 및 500M Matryoshka sub-model은 shared early layer를 통해 이 우위의 일부를 물려받는다.

G Loss Weighting으로 Size별 격차 줄이기

Loss weighting은 Vanilla 대비 남은 size별 perplexity 격차를 줄일 수 있다. 여러 weighted variant가 uniform weighting보다 우수했으며, 최선의 설정은 aggregate excess를 약 15% 줄였다. Uniform weighting은 100M model에 과도하게 기여하는 반면 200M model은 여전히 bottleneck이라는 근거가 나타났지만, sweep은 200M suite로 제한됐다.

  • 동기: 기본 equal weighting은 50M, 100M, 200M model이 gradient에 불균등하게 기여하기 때문에 일부 size에 과도하게 기여할 수 있다.이 연구는 200M proxy suite를 사용해 reweighting이 Vanilla 대비 남은 격차를 줄일 수 있는지 검증한다.
  • 실험 범위: 이 sweep은 uniform weighting (1/3, 1/3, 1/3)을 기준으로, normalized weight vector 9개를 사용해 마지막 1,000 cooldown steps만 다시 실행한다.3B suite는 compute cost가 감당하기 어려워 테스트하지 않았으며, 체계적인 size별 weighting rule은 향후 과제로 남았다.
  • Aggregate 결과: 약 15%: 최선의 loss-weighting configuration은 uniform weighting과 비교해 Vanilla 대비 남은 positive perplexity excess를 줄인다.이 metric은 positive per-size PPL excess만 평균하므로, Vanilla보다 여전히 높은 sub-model에 남은 격차를 측정한다.
  • Size별 효과: Uniform weighting에서는 100M이 이미 Vanilla보다 상당히 낮은 반면 200M은 bottleneck이며, 100M에서 200M으로 weight를 옮기면 후자의 격차가 줄어든다.이 sweep은 50M에도 일부 budget을 소폭 배분하며, size별 효과는 Figure 13에 시각화했다.

H 추가 크기 및 형태 Ablation 관점

이 절에서는 추가적인 NLL, theoretical-FLOPs, KV-cache 관점을 통해 200M 크기 및 형태 ablation을 확장하며, 이는 main figure와 동일한 결론을 뒷받침한다. 또한 loss-weight 구성에 따라 sub-model 크기별 성능이 어떻게 달라지는지 살펴본다.

  • 추가 크기 및 형태 관점: Figure 14는 mean ∆NLL, per-token theoretical-FLOPs, mean NLL-gap-versus-KV-cache 관점을 추가하며, Figure 7과 동일한 결론을 뒷받침한다.이 관점들은 대안적인 품질 및 효율성 척도를 통해 200M sweep의 특성을 보여준다.
  • Loss-Weight Ablation: 여러 loss-weighted variant는 uniform weighting 대비 residual PPL excess를 줄이며, 200M sub-model 쪽으로 weight를 이동하면 100M sub-model의 우위를 유지하면서 그 격차를 줄인다.Uniform weighting은 (1/3, 1/3, 1/3)이며, medium 및 large sub-model weight가 변하고 w50은 residual이다.
  • Ablation 범위: 각 ablation point는 shared 50M base를 사용하는 Matryoshka variant이며, matching Vanilla 200M baseline 대비 50M, 100M, 200M sub-model에서 평균한 ∆ 값으로 평가된다.비교에는 main sweep에서 Vanilla baseline 대비 token당 total KV cache와 mean ∆ppl이 사용된다.

I 200M Proxy Suite 벤치마크

200M proxy suite에서 Matryoshka는 50M에서는 Vanilla와 동률이고 100M과 200M에서는 이를 앞서며, perplexity parity와 일치하는 downstream benchmark 결과를 보인다. 두 suite는 동일한 recipe와 tokenizer를 사용하고 20B tokens로 학습된다.

  • 200M Proxy Suite 벤치마크: 200M proxy 평가는 Table 2와 동일한 downstream benchmark를 사용하며, 독립적으로 학습된 세 Vanilla model과 선택된 v9 Matryoshka 구성을 비교한다.Vanilla는 Matryoshka run의 recipe와 tokenizer를 공유하는 독립 학습 50M, 100M, 200M model로 구성된다.
  • 200M Proxy Suite 벤치마크: Matryoshka는 downstream benchmark에서 50M에서는 Vanilla와 동률(−0.1 avg)이고, 100M과 200M에서는 이를 앞선다(+0.4와 +0.1 avg).Table 5는 50M, 100M, 200M submodel에 대해 일곱 benchmark의 benchmark별 zero-shot accuracy를 보고한다.
  • 200M Proxy Suite 벤치마크: Vanilla와 Matryoshka suite는 모두 20B tokens로 학습되며, downstream 결과는 Figure 14에 보고된 perplexity parity를 확인해 준다.비교의 average accuracy는 Winogrande를 포함한 일곱 benchmark를 집계한다.
Loading 2608.09703v1…