PaperlayerView exact revision on arXiv

Source-linked AI summary

Scaling Inherently Interpretable Language Models

Guide Labs Team, Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac Plant, Muawiz Chaudhary, Nathaniel Monson, Saqib Azim, Zhichen Guo, Julius Adebayo

arXiv:2608.07594v1cs.CLcs.AI

TL;DR

해석 가능성은 흔히 언어 모델의 성능과 상충하는 요소로 여겨지며, 불투명한 학습이 끝난 뒤 설명을 덧붙이는 방식이 사용된다. 이 논문은 대신 모델링 과정에 해석 가능성을 학습시키고, 규모가 커질수록 해석 가능성이 향상되며 Steerling-8B가 2–16× 더 많은 compute로 학습된 모델들과 경쟁력 있는 성능을 보인다는 점을 확인한다.

  • 문제

    이 논문은 언어 모델의 규모가 커질수록 해석 가능성 제약이 성능에 점점 더 큰 불이익을 주는지 검증한다.

  • 방법

    저자들은 attribution과 intervention에 shared concept variables를 사용하고, 모델의 data, architecture, objective, losses에 faithfulness conditions를 내장한다.

  • 결과

    compute가 세 자릿수 규모로 증가하는 동안 해석 가능성은 규모와 함께 향상되며, Steerling-8B는 2–16× 더 많은 compute로 학습된 open peer 모델의 성능에 approximately 10% 이내로 도달한다.

  • 시사점 및 한계

    해석 가능성은 사후에 덧붙이거나 성능에 대한 세금으로 취급하는 대신, 학습 중에 specified, optimized, and measured할 수 있다.

  • 핵심 요점 및 한계

    Steering은 품질을 크게 저하시키며, 추론 시 concept injection이 분포 밖에서 이루어지기 때문에 빈도가 낮은 concept 중 대략 삼분의 일을 활성화하지 못한다.

Abstract

from arXiv · show

Interpretability is often treated as a tax on capability: language models are trained as opaque systems, then explained after the fact, with methods whose reliability is difficult to establish. In this work, we challenge this premise. Rather than reverse-engineering a model, we make interpretability a constraint of the training pipeline, optimized alongside the language modeling objective. Across three orders of magnitude of compute, on both autoregressive and diffusion language models, interpretability scales with capability rather than against it. Surprisingly, model representations become more disentangled and aligned with human-understandable concepts with scale. We instantiate the training-time recipe with Steerling-8B, a diffusion language model with a causal attention mask. For any group of generated tokens, Steerling-8B attributes the output to relevant input tokens, human-understandable concepts, and training data. This enables closed-loop intervention: diagnose an output through its concept or feature attribution, retrieve similar training data, and correct the behavior through concept steering without retraining. Steerling-8B remains competitive with open peer models trained on substantially 2-16x more compute, suggesting a different scaling paradigm: interpretability can be designed into training, and it improves with scale.

1 서론

이 논문은 해석 가능성을 사후 설명이 아닌 training constraint로 만들고, 해석 가능한 모델이 scaling 과정에서도 경쟁력을 유지할 수 있음을 보인다. Steerling-8B는 token, concept, training-data attribution을 제공하며 concept-based intervention도 가능하게 한다.

  • Inherent interpretability: Inherent interpretability는 faithful explanatory condition을 data, architecture, objective, loss에 내장해 attribution을 보조적 visualization이 아닌 학습된 interface로 만든다.이 접근은 human-meaningful structure가 필연적으로 model performance를 약화시킨다는 가정에 직접 도전한다.
  • 세 가지 model-understanding 축: Steerling-8B는 세 가지 model-understanding 축을 따라 예측을 영향을 준 input token, human-understandable concept, training data로 추적한다.Input attribution은 학습된 absence baseline을 사용하고, concept attribution은 output에 기여하는 representational concept를 식별한다.
  • Explanation에서 control로: Concept direction은 concept을 증폭하거나 억제해 model의 forward-pass computation을 직접 편집할 수 있으므로 closed-loop control을 지원한다.따라서 explanation에 사용되는 동일한 interface로 retraining 없이 intervention을 수행할 수 있다.
  • Atlas: Atlas는 수억 개의 tag를 33,000개가 넘는 concept으로 canonicalize하고 web text, code, mathematics, academic prose에 걸쳐 1 trillion token이 넘는 데이터에 annotation을 부여한다.이 시스템의 chunk-level annotator는 modern pretraining corpus에 적합한 concept library가 없다는 문제를 해결한다.
  • Scaling: 세 orders of magnitude의 compute에 걸쳐 concept module은 scale과 함께 증가하는 interpretability cost가 아니라 backbone별로 작은 고정 scaling offset을 부과한다.IsoFLOP sweep은 autoregressive, causal-diffusion 및 이에 대응하는 concept-equipped model family를 비교하며, interpretability metric은 scale과 함께 향상된다.
  • Scaling과 결과: Steerling-8B는 open peer model이 대략 2–16× 더 많은 compute를 사용했음에도 평균 benchmark에서 해당 모델의 약 10% 이내 성능을 낸다.이 모델은 1.2 trillion token과 150 billion midtraining token으로 학습되며, training 전반에 걸쳐 interpretability constraint를 유지한다.

2 배경

이 절에서는 Transformer와 language model 표기법을 소개하고, autoregressive와 diffusion의 학습 목적함수를 대조하며, 해석 가능한 예측과 생성을 위한 concept bottleneck model을 검토한다.

  • Transformer 표기법: Transformer는 입력 토큰을 문맥적 hidden state로 매핑하고 각 state를 vocabulary logit으로 projection한다. 논문은 이 표기법을 Table 1에 요약한다.각 hidden state는 해당 토큰과 문맥 정보를 함께 요약한다.
  • Autoregressive language model: Autoregressive language model 은 다음 토큰을 순차적으로 예측하며, 각 예측을 앞선 모든 토큰에 조건화한다.모델은 pθ(x_i | x_<i)를 사용하며, sequence position 전체에 걸쳐 negative log-likelihood를 평균한다.
  • Diffusion language model: Diffusion language model (Austin et al., 2021a; Ou et al., 2024; Sahoo et al., 2024; Shi et al., 2024)은 corruption을 역전해 원래 토큰을 복원하며, masked variant는 masked position에서만 학습한다.Masked diffusion model은 토큰을 독립적으로 [MASK]로 치환하고, noise level과 sequence 전반의 masked position에 대해 cross-entropy를 최적화한다.
  • Concept bottleneck model: Concept Bottleneck Model (Koh et al., 2020)은 입력과 출력 사이에 supervised human-interpretable concept를 삽입하고, concept loss와 prediction loss를 학습한다.표현은 c = ϕ(x)이며, predictor는 y = ψ(c)를 출력한다.
  • Concept bottleneck generative model: Concept Bottleneck Generative Model 은 고정된 supervised concept를 넘어서는 정보를 위한 unsupervised channel을 추가하고, channel을 분리하기 위해 orthogonality를 사용한다.Unknown channel u는 남은 정보를 흡수하며, orthogonality loss는 known concept embedding과 다르도록 유도한다.

3 해석 가능한 모델 구축 레시피

이 레시피는 표준 language-model training pipeline의 모든 단계를 수정해 인간이 해석 가능한 제약을 강제한다. 입력, concept, training-data similarity attribution을 대상으로 하며, 사후 방법이 faithful explanation을 보장하지 못하는 이유도 다룬다.

  • 3.4 해석 가능한 레시피: 이 레시피는 training 전반에 인간이 해석 가능한 제약을 도입하기 위해 data curation, architecture와 loss design, optimization, evaluation을 수정한다.각 수정은 formal definition의 특정 조건에 대응하도록 추적되며, 전체 pipeline은 Figure 2에 요약된다.
  • 3.1 해석 가능성 요구사항: 필수 interface는 어떤 입력이 중요했는지, 어떤 인간이 이해할 수 있는 concept가 output을 유도했는지, 어떤 training example이 output과 유사한지를 답한다.이는 각각 input attribution, concept attribution, training-data similarity attribution에 해당한다. similarity attribution은 인과적 training influence를 주장하지 않는다.
  • 3.2 표준 방법이 불충분한 이유: 사후 probe, sparse autoencoder, gradient, perturbation, chain-of-thought만으로는 explanation이 모델의 실제 predictive computation을 반영한다고 입증하지 못할 수 있다.이러한 실패에는 presence와 use의 간극, 인과적 역할이 없는 reconstruction, 유한한 intervention과 infinitesimal sensitivity의 차이, distribution 밖의 baseline, faithful하지 않은 language explanation이 포함된다.
  • 3.2 표준 방법이 불충분한 이유: 사후 explanation은 model-contingent이기도 하다. 정확도가 동일한 모델들이 서로 모순되는 attribution을 생성할 수 있으므로, 사후에 추론하기보다 training에 interpretability guarantee를 내장해야 한다.이 레시피는 이러한 validity와 agreement의 실패를 해결하는 방안으로 제시되지만, 각 요소는 선행 연구에 기반하며 완전히 새로운 레시피를 구성하는 것은 아니다.
  • 3.3 형식화: Inherent interpretability guarantee는 전체 mechanistic transparency가 아니라 지정된 attribution query를 보장하며, 학습된 concept가 사람이 읽을 수 있는 label을 넘어선 숨은 정보를 encode하면 semantic faithfulness도 여전히 실패할 수 있다.Concept leakage는 attribution이 feature의 causal effect를 추적하지만 그 semantic description이 해당 feature를 불완전하게 특성화할 때 발생한다.

4 데이터

Atlas는 3단계 파이프라인을 통해 대규모 concept-annotated corpus와 concept library를 구축한 뒤, 임의의 텍스트를 위한 annotator를 학습한다. 사람 평가에서 Atlas concept는 식별 가능하고 distractor보다 선호되며, 독립적으로 생성된 human label과 비교해 경쟁력 있거나 더 우수한 것으로 나타난다.

  • Atlas 파이프라인: Atlas는 3단계를 사용한다: high-recall span tagging, canonical concept clustering 및 naming, 그리고 임의의 텍스트를 위한 concept annotator 학습이다.파이프라인은 샘플링된 문서에서 free-form tag로 이동한 뒤, canonical library와 확장 가능한 annotation으로 이어진다.
  • 파이프라인 검증: 파이프라인 검증에서 관련성 있는 tag, 일관된 cluster, 수용 가능한 annotator prediction이 확인되었으며, tag와 concept 평점은 각각 3.6과 3.5 부근에 집중되었다.학습된 annotator의 chunk별 평균은 2.5에서 3.5 사이에 집중되었고, 95.5%가 최소 2점에 도달했지만, prediction은 원래 annotation보다 낮고 더 분산되었다.
  • Tag 추출: Stage 1에서는 거의 44 million개의 annotated chunk와 약 500 million개의 tag가 생성되었고, clustering 전에 14 million개의 unique tag로 축소되었다.raw tag space는 반복되는 내용과 문체 패턴을 포착하지만, Stage 2 이전에는 여전히 중복되고 canonical하지 않다.
  • Clustering 및 naming: Clustering coherence는 k = 40,000–80,000까지 향상되므로, Atlas는 계산 비용과 semantic splitting을 제한하면서 80,000개의 cluster로 초기화한다.생성된 concept name은 statistical regularity를 바탕으로 LLM이 생성하므로, human interpretability는 가정이 아니라 경험적으로 검증할 문제다.
  • Concept library: 최종 canonical library에는 science, technology, philosophy, medicine, law 및 기타 domain을 아우르는 33,732개의 concept가 포함된다.이 library는 불가피한 conceptual overlap과 hierarchy에도 불구하고 granularity와 명료성 사이의 균형을 이룬다.
  • Human interpretability: Atlas label은 human label의 3.50에 비해 3.98을 기록했고, top-two rating은 63%에 비해 79%였으며, probability 0.62로 human label을 앞섰다.이 pilot comparison은 Atlas label에 대한 인간의 지지를 뒷받침하지만, library의 모든 concept를 개별적으로 인증하는 것은 아니다.

5 본질적으로 해석 가능한 아키텍처

아키텍처는 masked diffusion과 block-causal attention을 결합해 joint한 phrase-level 처리를 보존하면서 autoregressive 방식의 효율적인 추론을 가능하게 한다. 이어서 concept bottleneck이 hidden state를 검사 가능한 채널로 분해해, 예측을 known, unknown, residual component에 정확히 귀속할 수 있게 한다.

  • Causal Diffusion: Causal Diffusion은 block 내부의 bidirectional attention과 block 간 causal attention을 masked diffusion과 결합하며, Block Diffusion의 clean training copy는 생략한다.표준 masked diffusion loss는 block-causal mask가 적용된 단일 sequence에 적용된다.
  • Causal Diffusion: 이렇게 얻은 모델은 diffusion의 block 내부 병렬성과 임의 순서 처리 유연성을 보존하면서, 이미 생성된 block에 대해 autoregressive 방식의 KV caching을 가능하게 한다.이미 생성된 block의 key와 value는 denoising step 간 재사용되며, 이후 현재 block이 cache에 추가된다.
  • Concept module: concept module은 language-modeling head 이전에 각 transformer hidden state를 known-concept, unknown-concept, residual component로 분해한다.residual dropout은 residual channel에 대한 의존을 억제하고, low-rank factorization은 unknown-concept embedding의 parameter cost를 줄인다.
  • Concept module: language-modeling head가 linear이므로 모든 output logit은 concept activation과 residual의 exact additive function이며, 이를 통해 faithful attribution과 concept steering이 가능해진다.known concept와 unknown concept, residual은 분리된 검사 가능한 channel을 이루어 prediction에 대한 modular interface를 제공한다.
  • Training: scheduled teacher-forcing substitution은 학습 중 probability αknown(s)에 따라 예측된 known-concept representation을 ground-truth representation으로 대체한다.이 schedule은 초기 known-head prediction의 불안정성을 다루고, language-modeling loss가 labeled-concept activation을 무관한 정보 쪽으로 밀어내는 것을 방지한다.

6 해석 가능성 역량

Steerling은 attribution과 inference-time concept steering을 결합해 출력이 발생한 이유를 설명하고 모델 동작을 제어한다. attribution view는 영향력 있는 입력, 내부 concept, 검색된 training data를 포괄하며, steering은 weight를 업데이트하지 않고 concept를 증폭하거나 억제한다.

  • 개요: Steerling은 input-token, internal-concept, training-data attribution을 통해 출력을 설명하며, concept steering으로 inference time에 동작을 제어한다.Figure 18은 하나의 output chunk에 대한 세 가지 attribution view를 제시하며, steering은 학습된 concept representation에 직접 작용한다.
  • 6.1.1 Input attribution: Input attribution은 학습된 [MASK] embedding baseline에서 Integrated Gradients를 사용해 어떤 prompt token이 출력에 가장 큰 영향을 미쳤는지 식별한다.diffusion training은 masked token을 반복적으로 예측하므로 [MASK]는 “no information”을 나타내며 의미 있는 attribution path를 정의한다.
  • 6.1.2 Concept attribution: Concept attribution은 output logits를 known-concept, unknown-concept, residual contribution으로 분해한 뒤, chunk-level effect의 합을 기준으로 concept를 순위화한다.residual은 concept inventory로 설명되지 않는 출력 부분을 포착한다.
  • 6.1.3 Training data attribution: Training-data attribution은 causal effect를 influence function으로 추정하는 대신, provenance와 auditing을 위해 semantically similar training chunk를 검색한다.이 방법은 Steerling의 내부 output representation space와 다른 model이 생성한 embedding으로 구축한 index를 연결한다.
  • 6.2 Steering: Concept steering은 weight updates 없이 정규화된 learned concept direction을 hidden state에 주입해 known concept와 unknown concept 쪽으로의 증폭 또는 그 반대 방향의 억제를 가능하게 한다.steering strength는 concept별로 calibration되므로 공통 target τ가 concept마다 adaptive effect를 유도한다.
  • 6.2.2 Suppression: Suppression은 negative hidden-state injection과 ReLU-gated logit mask를 결합해, negative steering이 target concept와 anti-aligned된 token을 촉진하지 못하게 한다.Amplification은 γ > 0을 사용하고, suppression은 γ < 0을 사용한다.

7 해석 가능성 지표

Section 7은 해석가능성을 사후 분석이 아니라 측정 가능한 학습 시점 속성으로 구체화한다. 이 절의 지표는 개념 탐지, 개념-모듈 attribution, disentanglement, 그리고 사람이 부여한 의미와의 alignment를 평가한다.

  • 지표 설계: 이 지표 모음은 architecture가 concepts를 탐지하고, 이를 통해 predictions를 전달하며, known concepts와 unknown concepts를 disentangled 상태로 유지하는지를 직접 평가한다.이는 각각 concept, reconstruction, independence training objective에 대응한다.
  • Concept Loss: Concept loss는 예측된 concept presence와 pipeline이 생성한 chunk-level labels 사이의 OR-aggregated binary cross-entropy를 사용해 held-out concept detection을 평가한다.값이 낮을수록 module이 training 중 학습한 방식대로 unseen text에서 concepts를 식별한다는 뜻이다.
  • Concept Independence Loss: Concept independence는 known representations와 unknown representations 사이의 linear statistical dependence를 측정하며, 값이 낮을수록 정보가 더 independent함을 의미한다.linear kernel은 additive bottleneck 및 linear language-model head와 일치하며, 여기서 output logits는 선형적으로 분해된다.
  • Concept Contribution: Concept contribution은 residual이 아니라 known concept terms와 unknown concept terms에 귀속되는 total logit magnitude의 fraction을 측정한다.held-out predictions에 대해 계산되며, logit 수준에서 attribution faithfulness를 평가한다. 값이 높을수록 predictions가 주로 concept module로 설명됨을 의미한다.
  • Known Concept Alignment: Known concept alignment는 각 concept embedding에서 projection된 top vocabulary tokens가 해당 concept에 사람이 부여한 label 및 description과 semantically match하는지를 묻는다.LLM judge가 alignment를 1에서 5까지 점수화하지만, 이 속성은 concept objective나 language-modeling objective가 직접 supervise하지 않는다.

8 스케일링 법칙

autoregressive 및 diffusion 모델 계열 전반에서 interpretability-by-design은 backbone별로 작은 고정 오프셋만 추가하면서 compute-optimal scaling을 유지하고, 네 가지 interpretability metric은 모두 compute와 함께 개선된다. 소규모 fit은 Steerling-8B의 validation loss를 0.11 nats 이내로 외삽하며, 네 가지 interpretability metric 중 세 가지를 error bound 내에서 예측한다.

  • Parameter overhead: concept module의 상대적 parameter overhead는 10M parameters에서 ∼89%에서 시작해 Steerling에서는 ∼4%, frontier scale에서는 1% 미만으로 감소한다.module은 O(d)로 scaling되는 반면, backbone parameter는 O(d^2L)로 scaling된다.
  • Scaling results: Interpretability-by-design은 compute-optimal scaling에 backbone별로 작은 오프셋을 추가할 뿐 scaling tax를 부과하지 않으며, 두 backbone 모두에서 네 가지 interpretability metric은 compute와 함께 개선된다.Concept Loss와 Concept Independence Loss는 감소하고, Concept Contribution과 Known Concept Alignment는 증가한다.
  • Scaling-law extrapolation: 0.11 nats: 소규모 fit은 joint Chinchilla form에서 이 차이만큼 Steerling-8B의 validation loss를 예측한다.Steerling-8B는 L*=2.72를 달성하는 반면, joint fit은 7.6 × 10^22 FLOPs에서 L*=2.61을 예측한다.
  • Interpretability scaling: Model size는 주로 concept identification과 disentanglement를 좌우하는 반면, training data는 주로 Known Concept Alignment를 좌우한다.Concept Loss와 Concept Independence Loss는 fit 범위에서 contour가 거의 수직인 반면, Known Concept Alignment는 contour가 거의 수평이다.
  • Interpretability extrapolation: 네 가지 interpretability metric 중 세 가지는 소규모 fit에서 error bound 내로 예측되며, 네 번째 metric은 유리한 방향으로 예측값을 초과한다.일부 fitted asymptote는 natural bound에 의해 제한되므로, 정밀한 plateau 추정치가 아니라 bound로 해석해야 한다.

9 Steerling-8B: 사전학습

Steerling-8B는 여러 경험적 설계 선택을 적용한 해석 가능한 causal-diffusion architecture를 사용해 concept-annotated 1.2T-token corpus로 사전학습된다. 학습 중 capability와 interpretability는 대체로 양호하게 유지되지만, 후반부의 성능 저하는 masking curriculum, concept-head training, corpus composition, steering operation 부재와 관련된 실패를 드러낸다.

  • 9.1 데이터셋: 1.2T-token pretraining corpus는 품질 필터링된 웹, 학술, 수학, 코드 데이터를 결합하며, chunk-level concept는 Atlas를 통해 주석 처리된다.혼합 데이터는 Nemotron-CC-HQ가 대부분을 차지하며 peS2o, arXiv, OpenWebMath, Algebraic Stack, StarCoder, Wikipedia, Wikibooks를 포함한다. 소스별 개수는 Table 9에 제시된다.
  • 9.2 Architecture 및 training 선택: Steerling-8B는 block size b = 64를 사용하고, unknown concept를 m = 3n으로 유지하며, 이들의 embedding matrix를 rank R = 256으로 factorize해 크기를 대략 15× 줄인다.Block size 64는 interpretability metric을 바꾸지 않으면서 validation loss를 낮추지만, m을 3n에서 5n으로 늘려도 측정 가능한 이득은 없다.
  • 9.3 사전학습 실행: 학습 중 capability metric은 plateau에 도달하거나 최고점에 이르는 반면, concept contribution은 0.62에서 0.85로 상승하고 concept independence loss는 후반부에 급격히 악화된다.HellaSwag와 PIQA는 최고점 부근을 유지하고 ARC-Challenge는 마지막에 소폭 하락하며, MMLU와 WinoGrande는 중간 지점 이후 감소한다. Concept alignment는 4 부근에서 정점을 찍은 뒤 안정된다.
  • 9.4 얻은 교훈: Hard masking이 teacher-forcing floor의 소진과 동시에 발생하면 후반부 concept entanglement가 나타나며, 제한적인 수학·코드 데이터와 training-time steering 부재가 추가적인 실패를 설명한다.Corpus에는 100B를 약간 넘는 수학 및 코드 토큰이 포함되며, 저자들은 완료된 run의 문제를 masking, concept-head entanglement, corpus imbalance, 학습 중 steering operation 부재에 기인한다고 본다.

10 Steerling-8B: Mid-training

150B-token mid-training으로 pretraining의 masking, data, independence-loss, teacher-forcing 약점을 보완하는 동시에 downstream capability, interpretability, steering을 향상한다. 그 결과 기존 강점을 희생하지 않고 손실된 knowledge와 reasoning performance를 회복한다.

  • Data mixture: code-augmented mixture는 reasoning, math, code의 균형을 맞추며 pretrained model 대비 모든 benchmark를 유일하게 향상하므로 채택한다.ablation에서는 math-heavy, balanced, code-augmented, code-only 10B-token composition을 비교한다.
  • Masking schedule: Uniform masking은 heavy masking보다 knowledge를 더 잘 회복한다. MMLU는 80% schedule에서 0.280, pretrained model에서 0.298인 데 비해 0.416에 도달한다.두 schedule은 대부분의 benchmark에서 비슷하지만, heavy schedule은 math task에서 약간 더 강하다.
  • Training procedure: Teacher forcing을 점진적으로 제거해 모든 bottleneck concept를 model이 예측하도록 하며, interleaved steering training은 LM Harness performance를 사실상 변화시키지 않는다.αknown은 0.5에서 0으로 감소하고 αunknown은 0으로 유지된다. steering은 10B-token ablation으로 평가한다.
  • Overall results: Mid-training은 모든 benchmark를 향상한다. MMLU는 17 percentage points, math는 30 percentage points, code는 평균 약 7 percentage points 상승하며 capability trade-off는 없다.이미 양호했던 benchmark도 계속 양호하게 유지된다.
  • Interpretability: Mid-training은 concept independence loss를 19% 줄이고 concept contribution을 높여, 더 깔끔한 분리와 강한 interpretability를 만든다.mid-training 중 도입한 two-term penalty가 late-pretraining instability를 완화한다.
  • Steering: Mid-training 이후 steering이 향상된다. mean concept는 1.072에서 1.247로, mean quality는 0.972에서 1.064로, harmonic mean은 1.020에서 1.148로 상승한다.Mean sample harmonic도 0.843에서 0.963으로 상승한다.

11 관련 연구

기존 연구는 동일한 성능을 내는 모델에서도 사후 설명이 달라질 수 있음을 보여주며, 해석 가능성을 본질적으로 제약하는 아키텍처와 학습 절차의 필요성을 제기한다. Steerling은 이러한 관점을 diffusion language modeling, scaling-law analysis, attribution 및 steering 방법과 결합한다.

  • 사후 해석 가능성의 문제: 동일한 정확도를 내는 모델도 서로 다른 내부 메커니즘을 사용하고 상충하는 feature attribution이나 counterfactual을 생성할 수 있기 때문에 사후 설명은 불안정하다.Rashomon set은 거의 최적에 가까운 모델들을 형식화하며, 이들 모델에서는 feature importance가 크게 달라질 수 있다. 또한 대안적인 decision boundary는 counterfactual recommendation을 무효화할 수 있다.
  • 본질적 해석 가능성은 이를 어떻게 다루는가?: Steerling은 concept library를 고정하고, 출력을 공유 concept variable을 통해 라우팅하며, 공통 absence baseline을 강제함으로써 학습 중 Rashomon set을 제약한다.서로 다른 run은 여전히 서로 다른 parameter를 학습할 수 있지만, concept, attribution computation 및 absence의 의미는 고정된다.
  • Diffusion language model: Diffusion language model은 반복적인 denoising을 통해 token을 생성하며, masked diffusion은 해석 가능성을 뒷받침하는 learned [MASK] baseline, 병렬 생성 및 임의 순서 intervention을 제공한다.Steerling은 이 기반을 Causal Diffusion, 즉 block-causal formulation으로 확장한다.
  • Scaling law와 해석 가능성: 해석 가능성과 관련된 scaling 연구는 더 큰 sparse autoencoder가 더 세밀한 feature를 복원하며, base model이 커질수록 neuron population이 더 선택적이고 monosemantic해진다는 사실을 발견한다.이 연구들은 autoregressive 및 diffusion language model에서 확립된 performance scaling law와 함께, probe 또는 underlying model의 규모가 커질 때 사후 probe가 향상되는지를 검토한다.
  • Attribution과 steering: Steerling은 Concept Bottleneck Model과 같은 architectural interpretability method 및 input, concept, training-data attribution을 위한 사후 기법과 연관되며, inference-time intervention에는 concept steering을 사용한다.Steerling의 input attribution은 학습되지 않은 zero 또는 padding baseline이 아니라 [MASK]를 사용하는 Integrated Gradients를 활용한다. 기존 steering method는 일반적으로 학습된 direction을 hidden activation에 주입한다 (Zou et al., 2023; Turner et al., 2023).

12 결론

compute가 세 자릿수 규모로 증가하는 동안 interpretable training은 누적적인 capability penalty가 아니라 작고 고정된 compute-optimal scaling offset을 만들어냈다. 이 연구는 interpretability를 training-time contract로 규정하면서도, 현재의 설계 선택이 초기 구현에 해당하며 Steerling-8B는 완성된 시스템이 아니라 실현 가능한 연구 프로그램의 증거임을 인정한다.

  • 결과: compute가 세 자릿수 규모로 증가하는 동안 interpretable structure는 scale에 따라 누적되는 penalty가 아니라 작고 고정된 offset만큼 compute-optimal scaling을 이동시켰다.이 결과는 autoregressive 및 causal-diffusion language model의 검증된 설정에서 성립했다.
  • Training recipe: Interpretability는 사후 explanation add-on이 아니라 data, architecture, objective, losses에 적용된 조건을 통해 도입되었다.이 recipe는 각 구성 요소를 제거하면 faithful explanation에 필요한 특정 조건이 깨지도록 설계되었다.
  • 한계: concept library, additive bottleneck, chunk-level concept supervision, supervised-finetuning endpoint는 상당한 개선의 여지가 남아 있는 초기 구현이다.concept library는 training 전에 고정되었고, 주로 training-document segment를 설명하는 topic에 초점을 맞췄다.
  • 향후 연구 방향: 향후 연구 방향에는 concept-based post-training reward, inspectable하고 correctable한 agent decision, hierarchical하고 adaptive한 concept library가 포함된다.이 전망은 fixed concept library와 현재의 training setup을 넘어 framework를 확장한다.
  • 시사점: Steerling-8B는 frontier-grade interpretable model과 decomposable하고 auditable하며 steerable한 action을 수행하는 agentic system이 실현 가능하다는 증거로 제시되며, 완성된 시스템으로 제시되지는 않는다.결론은 이 model을 해당 research program이 실현 가능하다는 증거로 명시적으로 다룬다.
  • 결론: Interpretability, steerability 및 기타 reliability requirement는 contract로 specified되고 training 중 optimized되며, retrofitted되거나 capability tax로 취급되는 대신 model이 scale함에 따라 measured될 수 있다.결론은 이를 capable AI system을 위한 다른 scaling paradigm으로 제안한다.

저자 및 기여 귀속

이 원고는 데이터, 모델링, 인프라, post-training, product, writing에 걸친 공동 작업으로 작성되었으며, 각 책임은 배타적 소유가 아닌 주된 책임으로 기술되었다. 팀원들은 Steerling 시스템을 공동으로 개발하고 검증하며 학습·출시·배포했다.

  • 협업 및 Writing: 모든 팀원이 writing에 기여했으며, 작업 전반은 data annotation, architecture, training infrastructure, post-training, product 전반에 걸쳐 반복적인 피드백을 받았다.업무 기술은 배타적 소유가 아니라 주된 책임을 명시한다.
  • 데이터: Nathaniel Monson, Saqib Azim, Julius Adebayo는 Atlas data annotation system과 이를 지원하는 annotation, clustering, labeling, deduplication, indexing 구성 요소를 구축했다.Monson은 LLM annotation infrastructure, concept library, human validation을 이끌었고, Azim은 Stage 2와 baseline embedding annotators를 이끌었다.
  • Model Architecture, Training Recipe, Scaling Laws, 및 Training: Aya Abdelsalam Ismail은 model architecture, training recipe, concept module을 이끌었고, Aya Ismail과 Andreas Madsen은 causal diffusion attention formulation을 고안했으며, Giang Nguyen은 mid-training steering을 이끌었다.Nguyen은 steering validation과 production implementation도 이끌었고, attribution 및 training-recipe 설계에도 기여했다.
  • 인프라: Andreas Madsen은 dataloader와 distributed multi-node training framework를 개발했고, Julius Adebayo는 pre-training package를 작성했으며, 두 사람 모두 내부 SLURM cluster를 관리했다.이러한 인프라 기여는 research와 production model training을 뒷받침했다.
  • Model Post-Training 및 Open Source: Andreas Madsen은 Steerling post-training을 이끌었고, Aya Abdelsalam Ismail과 Giang Nguyen은 attribution 및 steering artifacts와 함께 base 및 instruct models의 출시를 이끌었다.Madsen은 supervised fine-tuning을 block-diffusion 및 interpretability training에 맞게 조정했으며, training과 evaluation 전반의 correctness issues를 해결했다.
  • Post-Processing, Clarity Platform 및 Supervision: 또한 팀은 Nathaniel Monson, Zhichen Guo, Isaac Plant, Andreas Madsen, Muawiz Chaudhary, Julius Adebayo가 주도한 기여를 통해 concept naming, Clarity product 및 serving infrastructure, project supervision을 제공했다.Clarity에는 frontend, API, microservice, gRPC, serving, attribution, product backend systems가 포함되었다.

Architecture … D.2 1단계 일치도와 응집성

부록에서는 training-data attribution 및 concept-evaluation pipeline을 구체화한 뒤, lifted-word evidence가 대체로 의미적으로 복원 가능하지만 완전히 응집적이지 않고 일치도도 중간 수준임을 보인다. Attribution system은 약 11 billion개의 chunk를 색인하고, 학습된 representation mapping과 approximate search를 통해 response chunk를 유사한 training source와 연결한다.

  • A Symbol reference / C Atlas: From documents to concepts / D Additional details on the human interpretability study: 부록은 concept-module notation을 역할별로 정리하고 Atlas를 document에서 concept으로 확장하며, 이 연구를 추가적인 방법론적·통계적 세부사항을 제시하는 연구로 위치시킨다.제공된 자료에는 notation table, text-assigned concepts evaluation prompt, 그리고 agreement, robustness, model-based analysis에 초점을 둔 부록의 내용이 제시되어 있다.
  • B.1 Training data attribution: Attribution pipeline은 FT-Qwen3-Embedding-0.6B를 사용해 약 11 billion개의 training chunk를 1024-dimensional embedding으로 색인하고 FAISS IVFPQ index로 검색한다.Inverted-file structure는 비교 대상을 coarse cluster로 제한하여 corpus 규모에서도 nearest-neighbor retrieval을 처리 가능하게 한다.
  • B.1 Training data attribution: Inference 시 각 response chunk는 token별 hidden state를 mean-pooling하여 4096-dimensional representation으로 만들며, known-head, unknown-head, residual component를 결합한다.이 representation은 language model이 표현한 해당 chunk의 의미를 인코딩한다.
  • B.1 Training data attribution: 약 15-million-parameter 규모의 two-hidden-layer MLP transducer가 각 4096-dimensional chunk representation을 corpus index의 1024-dimensional embedding space로 매핑한다.Target embedding에 대한 semantic content를 보존하도록 cosine-similarity objective로 학습한다.
  • B.1 Training data attribution: End to end로 system은 response chunk를 인코딩하고 pooling한 뒤 corpus-embedding space로 transduce하며, approximate nearest-neighbor search를 통해 가장 유사한 training chunk를 retrieve한다.Retrieved chunk는 response에 attribution된 training source로 사용된다.
  • D.1 Sampling and annotation protocol: Human interpretability study는 taxonomy branch 전반에서 100 concepts를 sampling하고, annotator에게 lifted-word list만 제시했으며, 9명의 annotator로부터 303개의 Phase 1 naming response를 수집했다.Phase 1에서는 annotator가 concept를 명명하고 recognizability를 1–5 scale로 평가했으며, Phase 2에서는 randomized, blinded presentation 아래 pipeline label을 human label 및 distractor와 비교했다.
  • D.2 Phase 1 agreement and coherence: Phase 1 response의 55%는 recognizable concept를 형성했고 mean coherence는 3.52였으며, 17%는 incoherent하거나 noisy했다.Annotator의 27%는 borderline로 평가했으며, 이는 lifted-word evidence가 유용하지만 일관되게 interpretable하지는 않음을 보여준다.
  • D.2 Phase 1 agreement and coherence: Phase 1 coherence rating은 중간 수준의 agreement를 보였다. ICC(1)은 0.43이었고, concepts의 53%는 unanimous했으며, within-concept variability는 0.65, overall variability는 1.05였다.결과는 짧은 word list와 다양한 technical domain 전반에서 의미가 유의미하지만 완벽하지 않게 복원됨을 뒷받침한다.

D.3 서열형 혼합모형 분석 … F 기호 및 표기법

연구 결과, pipeline이 생성한 label은 human label보다 더 높은 blind fit 평점을 받았으며, 이러한 결과는 modeling choice에 강건하고 lifted-word coherence와 연관되며 aggregate 수준에서 충분한 검정력을 보였다. 또한 이 section은 연구의 한계, known concept alignment를 위한 LLM-judge protocol, scaling-law analysis에 사용된 표기법을 기록한다.

  • D.3 서열형 혼합모형 분석: 2.38 odds ratio: pipeline label은 human label보다 더 높은 fit 평점을 받았으며, top-two 평점은 79% 대 63%, posterior probability는 0.99였다.분석에는 1–5 서열형 평점에 대한 Bayesian cumulative-link mixed model을 사용했으며, crossed random effect를 포함하고 human label을 reference category로 삼았다.
  • D.4 가정에 덜 의존하는 강건성 검증: +0.47 points: 더 단순한 paired 및 Gaussian mixed-model 검증에서도 pipeline label이 human label보다 더 높은 평점을 받았다.paired comparison에서는 pipeline label이 human label보다 높은 점수를 받을 probability가 0.62였고, 402개 pair에 대한 cluster-bootstrap 95% CI는 [0.58, 0.66]이었다.
  • D.5 lifted-word coherence에 대한 의존성: +0.42 및 +0.46 correlations: Phase 1 coherence가 높을수록 human label과 pipeline label의 Phase 2 fit이 각각 더 높았다.pipeline의 이점은 coherence bin 전반에서 양수로 유지되었으며, low-, mid-, high-coherence concept에서 각각 +0.22, +0.54, +0.52였다.
  • D.6 검정력 분석: Power는 약 20개의 fully rated concept에서 0.99를 초과했고, aggregate label comparison에서는 실제 표본 크기에서 사실상 1.00이었다.시뮬레이션은 stratified pilot의 aggregate comparison에 대한 power를 뒷받침하지만, full library의 모든 개별 concept을 인증하는 것은 아니다.
  • D.7 한계: human study는 각 concept을 개별적으로 검증하는 것이 아니라 Atlas의 labeling operation을 검증하며, lifted-word ambiguity, domain expertise, 제한된 evidence scope가 해석을 제약한다.Phase 2는 전체 source-document evidence가 아니라 lifted-word evidence를 기준으로 name을 비교하므로, 한 측면에서는 결과가 보수적이고 다른 측면에서는 불완전하다.
  • E Known concept alignment judge: Known Concept Alignment는 temperature 0의 Mistral-Small-3.1-24B-Instruct를 사용해 concept label, description, embedding 점수로 선정한 top-K token을 1에서 5까지 평가한다.전체 judge prompt는 Figure 33에 제시되어 있다.
  • F 기호 및 표기법: Table 23은 scaling-law analysis의 표기법을 compute 및 resources, validation loss, power-law parameter, interpretability scaling으로 묶는다.제공된 passage는 table의 구성 범위를 식별하지만 개별 symbol이나 value는 제공하지 않는다.

G Architectures, IsoFLOP slices, and hyperparameters · H ELBO estimation for validation loss · H.1 Estimators

scaling sweep는 네 model family와 IsoFLOP slice에 걸쳐 backbone 및 optimization configuration을 공유하며, diffusion validation loss는 scaling measurement에 영향을 줄 수 있는 bias를 지닌 네 가지 Monte Carlo ELBO scheme으로 추정된다. Estimator는 fixed-rate cross-entropy부터 causal block-diffusion training에 맞춘 blockwise ELBO estimation까지 다양하다.

  • G Architectures, IsoFLOP slices, and hyperparameters: 네 backbone family는 하나의 architecture를 공유하며, +Concept variant는 concept-module head를 추가한다. 모든 sequence의 길이는 4096으로 고정된다.Backbone parameter count에서는 embedding을 제외하는 반면, +Concept total에는 concept-module head가 포함되지만 factorized unknown-head concept embedding은 제외된다.
  • G Architectures, IsoFLOP slices, and hyperparameters: sweep는 family별로 네 개의 IsoFLOP target budget을 사용하며, 각 slice에는 target의 ±15% 이내인 네~여섯 개 model size가 포함된다.+Concept family는 작은 backbone에서 concept-module의 per-token FLOP가 무시할 수 없는 수준이므로 더 높은 target에서 시작한다.
  • G Architectures, IsoFLOP slices, and hyperparameters: 모든 scaling-law run에서는 model size와 family에 걸쳐 AdamW, learning rate, batch size, warmup 및 architectural default를 고정한다.Optimizer는 β1 = 0.9, β2 = 0.95, ε = 10−8, embedding을 제외한 weight decay 0.1, gradient clipping 1.0, peak learning rate 4×10−4를 사용한다.
  • G Architectures, IsoFLOP slices, and hyperparameters: Diffusion family는 size 64인 causal block과 균일하게 sampling된 noise t ∼U(0.05, 0.95)를 사용하며, +Concept module은 stable phase와 anneal phase를 구분한다.Annealing은 두 head 모두에 top-k sparsification을 추가하며, αknown(t)와 αunknown(t)는 training 중 ground-truth component 사용을 제어한다.
  • H ELBO estimation for validation loss: Diffusion per-token NLL에는 ELBO estimation이 필요하며, estimator에 따른 absolute-loss bias가 L∞ value와 scaling exponent로 전파될 수 있다.이 비교에서는 CDLM checkpoint에 대해 네 estimator를 평가하고, 각각을 약 100M validation token에 걸쳐 평균낸다.
  • H.1 Estimators: 첫 두 estimator는 τ = 0.5에서의 fixed-rate cross-entropy와 t ∈[0.05, 0.95]에 대한 nine-bin uniform-grid approximation이다.Fixed-rate measure는 training objective에 가장 가깝지만 ELBO bound는 아니다. Grid는 k = 1, …, 9에 대해 tk = k/10을 사용한다.
  • H.1 Estimators: MDLM ELBO estimator는 batch마다 하나의 noise level을 sampling하며 per-token NELBO에 대해 unbiased하다. 다만 [0, 1]에 대해 적분하므로 clipped CDLM training과는 다르다.이는 section 8.2에서 보고한 estimator이며 Sahoo et al. (2024); Nie et al. (2024); Ni et al. (2025); von Rütte et al. (2025); Sahoo et al. (2026)에서 사용한 formulation과 일치한다.
  • H.1 Estimators: Per-block ELBO는 64-token block마다 independent noise를 사용하는 causal block-diffusion training과 일치하며, Monte Carlo variance를 줄이면서도 unbiased를 유지한다.각 validation sequence는 64개의 independent noise level을 기여하며, blockwise estimator는 MDLM estimator보다 batch마다 더 넓은 t value distribution을 포괄한다.

H.2 결과 … Steerling-8B pretraining details

CDLM scaling 분석 전반에서 compute-optimal parameter exponent는 estimator 선택에 강건하지만, loss 값과 asymptote는 estimator와 mask rate에 크게 의존한다. Annealed CDLM+Concept 평가는 compute-optimal allocation을 이동시키고 Concept Independence Loss를 크게 개선하는 반면, 대부분의 interpretability metric은 안정적으로 유지한다.

  • H.2 결과: 네 estimator는 유사한 compute-optimal parameter count를 찾지만, IsoFLOP slice 전반에서 최대 1 nat의 absolute-loss offset을 만든다.각 slice의 parabola는 수직 위치가 상당히 다름에도 minima는 비슷하다.
  • H.2 결과: ELBO estimator 간 αP fit은 겹치며 0.602와 0.632 사이에 모이는 반면, αL은 −0.071에서 −0.039로 완만하게 변한다.따라서 compute-optimal parameter scaling은 estimator 선택에 강건하지만, loss curve는 수직으로 offset된다.
  • H.3 scaling exponent에 대한 mask rate의 영향: 고정된 mask rate에서 αL은 t = 0.1일 때 −0.120에서 t = 0.9일 때 −0.013으로 평탄해지는 반면, αP는 t ≤0.7에서 0.60 부근, t ≥0.8에서 0.62 부근의 group을 형성한다.더 높은 mask rate에서는 random-token floor에 가까워지므로 추가 compute의 이득이 줄어든다.
  • H.4 논의: Estimator-dependent L∞는 대략 1.9에서 3.4까지이므로, 서로 다른 ELBO estimator를 사용하는 diffusion methodology 간 absolute irreducible loss는 직접 비교할 수 없다.1.5-nat spread는 diffusion scaling 논문들에서 보고된 변동보다 크지만, 동일 methodology 내 비교는 여전히 의미가 있다.
  • I 각 IsoFLOP checkpoint의 annealing: CDLM IsoFLOP 분석은 independently annealed checkpoint를 사용한다. 최종 schedule decay가 constant-correction estimate보다 evaluation cost를 높이더라도 validation loss를 실질적으로 낮추기 때문이다.+Concept model에서는 annealing이 αknown, αunknown, top-k sparsification schedule도 변화시킨다.
  • Steerling-8B pretraining details: 제공된 passage에는 실질적인 Steerling-8B pretraining detail이 보고되어 있지 않다.해당 subsection에 대한 evidence node가 제공되지 않았으므로 추가 주장을 덧붙이지 않는다.
  • I.1 Validation loss: Annealing은 αP를 0.574에서 0.686으로 이동시키지만 αL은 본질적으로 변하지 않게 유지하며, slice별 L∗ 값은 최대 0.11 nat만큼 이동한다.이 변화는 model size에 따른 비대칭적 loss 개선을 반영하며, annealing 후 compute-optimal model이 일관되게 더 커지게 한다.
  • I.2 Interpretability: 세 interpretability metric은 annealing에서도 거의 안정적으로 유지되는 반면, Concept Independence Loss는 3-10× 감소한다.Known Concept Alignment는 pre-anneal의 β = 0.447에서 annealed 상태의 0.437로 변하며, schedule 변화는 Concept Independence Loss가 사용하는 representation에 영향을 준다.

J 사전학습 레시피 ablation … N.2 최종 mid-training Steerling-8B 구성

ablation 결과는 capability를 유지하면서 interpretability를 개선하거나 유지하는 최종 레시피를 확립하며, diagnostic은 metric 변화가 masking 및 teacher-forcing schedule과 연결됨을 보여준다. mid-training에는 knowledge와 mathematics를 가장 잘 회복하는 real Nemotron tokens를 사용하며, 최종 구성은 Table 36에 보고한다.

  • J 사전학습 레시피 ablation; K 최종 사전학습 Steerling-8B 구성; M Steering judge: ablation 프로그램은 validation loss, MMLU soft score, HellaSwag로 capability를 평가하고, concept contribution과 known concept alignment로 interpretability를 평가한다.hard accuracy가 chance 수준에 가까운 1B-parameter scale에서도 연속 capability metric은 signal을 유지한다.
  • J 사전학습 레시피 ablation; J.1 Diffusion block size; J.3 Unknown concept capacity; J.4 Unknown embedding factorization; J.6 Concept teacher forcing schedule; J.7 Unknown concept teacher forcing schedule: 최종 ablation 선택은 interpretability를 유지하면서 b = 64, m = 3n, factorized unknown embeddings, 0.5 teacher-forcing floors를 선호한다.Block size 64는 interpretability를 바꾸지 않으면서 validation loss와 HellaSwag를 개선한다. m = 5n은 측정 가능한 이득을 제공하지 않는다. factorization은 capability cost 없이 대략 15× 더 작다. known floor 0.5는 alignment를 보존한다.
  • J.2 Diffusion masking schedule: moving Gaussian masking schedule은 validation loss에서 근소한 우위를 보여 채택되지만, 그 외에는 두 schedule이 매우 유사하다.MMLU soft score와 HellaSwag는 대체로 겹치며, interpretability metric은 초기 transient 이후 서로 같은 추세를 보인다.
  • J.4 Unknown embedding factorization: unknown embedding을 rank R = 256으로 factorization하면 대략 15× 더 작아지고 capability와 known concept alignment를 보존하지만, concept contribution은 ∼0.90에서 ∼0.80으로 낮아진다.low-rank bottleneck은 parameter와 step당 compute를 줄이는 동시에 residual에 대한 의존을 높인다.
  • J.5 Use of the residual term: residual을 제거하면 construction에 의해 concept contribution이 1.0이 되지만 지속적인 capability penalty가 발생하므로 residual을 유지한다.ε가 없으면 HellaSwag는 약 0.31에서 끝나는 반면 ε가 있으면 0.36에 이른다. validation loss는 계속 더 나쁘고 MMLU soft score도 약하다.
  • J.6 Concept teacher forcing schedule: known teacher-forcing floor를 0.5로 유지하면 alignment가 ∼3.7 부근에서 보존되지만, 0.0까지 decay하면 capability에 영향을 주지 않고 2.6 부근에서 정체된다.schedule은 full teacher forcing으로 시작해 cosine decay를 사용한 뒤 floor에서 유지된다.
  • L Pretraining diagnostic: pretraining 동안 masking curriculum이 center 0.2에서 0.8로 이동할 때 capability는 peak 또는 plateau에 도달하는 반면, interpretability degradation은 hard masking regime 및 teacher-forcing transition과 동시에 나타난다.MMLU와 WinoGrande는 커리큘럼이 0.5를 넘기기 전에 정점에 도달하고, validation loss는 정체되며, concept independence loss는 마지막 삼분의 일에서 급격히 상승한다.
  • N.1 Nemotron: real, synthetic, and mixed; N.2 Final mid-training Steerling-8B configuration: real, synthetic, mixed source가 base보다 크게 향상되고 전반적으로 서로 근접한 성능을 보이는 가운데 real tokens가 MMLU와 GSM8K에서 앞서므로, mid-training에는 Real Nemotron tokens를 선택한다.각 source는 최종 pretraining checkpoint에서 시작한 10B-token run으로 평가하며, 최종 mid-training 구성은 Table 36에 제시한다.
Loading 2608.07594v1…