PaperlayerView exact revision on arXiv

Source-linked AI summary

Delta Attention Residuals

Cheng Luo, Zefan Cai, Junjie Hu

arXiv:2605.18855v1cs.LGcs.CV

TL;DR

중복된 누적 hidden state로 인해 Attention Residuals의 contrast가 점점 낮아지면서, 어떤 layer-wise source를 routing해야 하는지라는 충분히 탐구되지 않은 질문이 제기된다. Delta Attention Residuals는 누적 state 대신 sublayer별 또는 block-level delta를 대상으로 routing하며, residual stream을 보존하기 위해 additive routing을 사용한다. 220M–7.6B 파라미터 전 범위에서 Delta Attention Residuals는 baseline과 AttnRes를 일관되게 능가하며, 7.6B에서 Delta Block은 baseline 대비 −8.2% 향상된다.

  • 문제

    중복된 누적 hidden state로 인해 Attention Residuals의 contrast가 점점 낮아지면서, 어떤 layer-wise source를 routing해야 하는지라는 충분히 탐구되지 않은 질문이 제기된다.

  • 방법

    Delta Attention Residuals는 누적 state 대신 sublayer별 또는 block-level delta를 대상으로 routing하며, residual stream을 보존하기 위해 additive routing을 사용한다.

  • 결과

    220M–7.6B 파라미터 전 범위에서 Delta Attention Residuals는 baseline과 AttnRes를 일관되게 능가하며, 7.6B에서 Delta Block은 baseline 대비 −8.2% 향상된다.

  • 시사점 및 한계

    Delta routing은 layer 간 선택을 더 선명하게 만들며, Delta Block은 sublayer별 방식과 동등한 품질을 유지하면서 overhead가 더 낮은 구성이다.

Abstract

from arXiv · show

Attention Residuals replace standard additive residual connections with learned softmax attention over previous layer outputs, enabling selective cross-layer routing. However, standard Attention Residuals still attend over cumulative hidden states in previous layers, which are highly redundant. We show that this redundancy leads to routing collapse in deeper layers: attention weights become low-contrast and closer to uniform (max weight ${\approx}$0.2), limiting the model's ability to select informative states in previous layers. This raises a key but underexplored design question: what layer-wise representations should be routed in Attention Residuals? To answer this question, we propose Delta Attention Residuals, which attend over deltas -- the change introduced by each sublayer ($\mathbf{v}_i = \mathbf{h}_{i+1} - \mathbf{h}_i$) -- instead of cumulative states. Delta representations are structurally diverse and yield higher-contrast attention distributions (max weight ${\approx}$0.6), enabling more selective and effective routing across layers. This principle applies at both per-sublayer and block granularity. Across all tested scales (220M--7.6B), Delta Attention Residuals consistently outperform both standard residuals and Attention Residuals, with 1.7--8.2\% validation perplexity gains. Delta Attention Residuals also enables converting pretrained checkpoints into Delta Attention Residuals via standard fine-tuning. Code is available at https://github.com/wdlctc/delta-attention-residuals-code.

1 서론

Delta Attention Residuals는 중복된 누적 상태 대신 구조적으로 다양한 layer delta를 라우팅해 Attention Residuals의 routing collapse를 해결한다. 이를 통해 더 선명하고 선택적인 cross-layer routing을 구현하며, 220M부터 7.6B 파라미터까지 Qwen 기반 모델 전반에서 일관되게 성능을 향상한다.

  • 문제: 누적 hidden state가 중복되면서 softmax attention이 저대비·준균일 분포가 되기 때문에, Attention Residuals에서는 깊은 layer로 갈수록 routing collapse가 발생한다.인접한 누적 상태가 깊이에 따라 점점 유사해져 routing 후보 간 식별 가능성이 낮아진다.
  • 동기와 기여: delta를 라우팅하면 깊은 layer의 attention sharpness가 최대 weight 기준 약 0.6까지 높아지며, Attention Residuals의 약 0.2와 대비된다.Figure 1은 Delta Block의 평균 최대 weight가 AttnRes보다 1.8× 높으며, 0.62 대 0.35라고 보고한다.
  • 방법: Delta Attention Residuals는 누적 상태 대신 각 sublayer의 변화량 v_i = h_i+1 − h_i를 per-sublayer 또는 block granularity로 라우팅한다.delta는 개별 sublayer의 기여를 포착하며, 서로 다른 sublayer가 서로 다른 함수와 subspace에서 연산하므로 본질적으로 더 다양하다.
  • 기여: Delta Attention Residuals는 220M부터 7.6B 파라미터까지의 Qwen 기반 모델 전반에서 standard residuals와 Attention Residuals를 일관되게 능가한다.여러 모델 규모에서 방법을 평가했으며 두 baseline 모두보다 우수한 성능을 보인다.

2 방법: Delta Attention Residuals

Delta Attention Residuals는 Attention Residuals [Kimi, 2025]의 누적 hidden-state 라우팅을 서브레이어별 변화에 대한 additive softmax 라우팅으로 대체하면서 residual stream을 보존하고, 더 선택적인 cross-layer 접근을 가능하게 한다. 이 방법은 세밀한 서브레이어 source와 block-level delta를 모두 지원하며, 이들의 구조적 다양성은 깊은 층의 라우팅을 균일성으로 몰아가는 중복성을 피하게 한다.

  • 배경: 표준 Pre-Norm transformer에서 각 서브레이어는 h_i를 h_i+1 = h_i + v_i로 갱신하며, 여기서 v_i = h_i+1 − h_i는 새로 도입된 변화다.표준 residual은 고정된 unit coefficient로 서브레이어 출력을 누적하지만, Attention Residuals [Kimi, 2025]는 대신 이전 source들의 weighted combination을 학습한다.
  • 라우팅 중복성: 누적 hidden state는 점점 더 중복되어, 깊은 Attention Residual 라우팅이 Qwen3-0.6B 규모에서 maximum softmax weight ∼0.2를 보이며 균일성에 가까워지게 한다.인접한 running-sum state는 큰 공통 prefix를 공유하므로 라우팅 logit이 유사해지고 source 선택이 약화된다.
  • Delta source: Delta source는 attention 및 MLP 서브레이어와 깊이에 걸쳐 구조적으로 다양하게 유지되므로, 날카로운 라우팅을 지원하고 block delta Δ_b = h_b+1 − h_b로 자연스럽게 거칠게 만들 수 있다.세밀한 Delta AttnRes는 L개 layer에 대해 2L개의 source를 사용하며, block grouping은 여러 서브레이어 출력을 하나의 source로 집계한다.
  • Delta Attention Residuals: Delta Attention Residuals는 서브레이어별 출력을 additive information으로 라우팅하여 residual stream을 보존하며, 이를 누적 state의 weighted combination으로 대체하지 않는다.라우팅된 delta는 현재 residual stream에 더해지는 반면, 누적 state 라우팅은 block boundary에서 중간 서브레이어의 기여를 소실시킬 수 있다.

3 실험

220M–7.6B 모델에서의 실험 결과, Delta Block과 Delta Attention Residuals는 standard routing 및 cumulative-source replacement routing을 일관되게 능가하며, Delta Block이 품질–효율 tradeoff에서 가장 우수하다. Delta routing은 sharp한 attention distribution도 유지하고, pretrained checkpoint에서도 효과적이며, 8B parameter까지 확장된다.

  • 다중 스케일 비교: 36.83: Delta AttnRes는 220M, 533M, 1044M에서 가장 낮은 validation PPL을 달성하며, Delta Block은 0.7% 이내로 뒤따르고 두 방법 모두 baseline을 능가한다.Delta AttnRes는 각각 36.83, 31.05, 29.13을 기록하고, Delta Block은 각각 37.08, 31.16, 29.19를 기록한다.
  • Routing 메커니즘: 1044M에서 cumulative-source replacement routing은 성능이 저하된다. AttnRes는 baseline보다 6.9% worse이고 Full AttnRes는 12.3% worse다.Delta routing은 delta source를 additive routing과 함께 사용해 이러한 저하를 피하고, residual stream을 보존하며 reset을 제거한다.
  • 효율성과 block size: Delta Block은 실용적인 기본 선택이다. 1044M에서 Delta AttnRes와 거의 동일한 품질을 유지하면서 overhead를 throughput의 20%와 memory의 26%로 줄인다.Delta AttnRes는 34k tok/s와 77.7 GB에서 29.13 PPL을 달성하는 반면, Delta Block은 86k tok/s와 28.4 GB에서 29.19를 달성한다.
  • 기존 architecture: Qwen3-0.6B에서 Delta Block은 baseline보다 PPL을 2.4% 개선하며, deep layer에서 AttnRes의 maximum routing weight가 0.2 부근으로 collapse하는 동안 0.6 부근을 유지한다.Delta Block의 average maximum weight는 0.62로, AttnRes의 0.35보다 1.8× 높다.
  • 8B 확장: −8.2%: Delta Block은 8B에서 validation PPL 16.00을 달성해 baseline의 17.43을 능가하는 반면, AttnRes는 18.58 (+6.6%)로 악화된다.이는 7.57B parameter에서 additive delta routing은 성공적으로 확장되지만 cumulative-source replacement routing은 성능이 저하됨을 확인한다.
  • Checkpoint 변환: 55.6%: pretrained checkpoint를 fine-tuning할 때 Delta Block은 baseline의 55.0%와 AttnRes의 54.1%보다 average downstream accuracy를 높인다.AttnRes는 initialization loss가 2.8에서 3.96으로 급증하고 회복까지 약 2000 step이 필요한 반면, Delta Block은 원활하게 시작한다.

4 분석

분석 결과, 누적 상태의 중복성이 라우팅 붕괴와 정보 손실을 유발하는 반면 delta source는 판별 가능성을 보존하고 더 날카롭고 선택적인 cross-layer routing을 가능하게 한다. 실험적으로 Delta Block은 날카로운 라우팅을 유지하며 AttnRes에서 관찰된 perplexity 저하를 피한다.

  • Routing sharpness: Max routing weight는 초기의 ∼1.0에서 깊은 AttnRes layer의 ∼0.2로 감소하는 반면, Delta Block은 ∼0.6 routing을 유지하며 평균적으로 1.8× 더 높은 sharpness를 보인다(0.62 vs. 0.35).누적 상태는 인접 상태와 대부분의 component를 공유해 거의 균일한 attention을 생성하지만, delta source는 attention과 MLP output이 서로 다른 subspace를 차지하므로 다양성을 유지한다.
  • 실증적 검증: 1044M에서 baseline의 29.70에 비해 31.76 PPL(+6.9%)을 기록한 것은 AttnRes의 성능 저하를 보여주며, Full AttnRes에서는 33.36으로 더 악화된다.AttnRes는 residual stream을 버리고 각 block 내부의 중간 sublayer 기여를 collapse시킨다. 그 결과 발생한 정보 손실은 depth가 깊어질수록 누적된다.
  • Routing pattern: Deep Delta Block layer는 특정 초기 output에 >50% weight를 집중시키며, AttnRes의 거의 균일한 cumulative-state routing과 대조된다.학습된 weight는 delta source가 전체 depth에서 판별 가능성을 보존하고 날카로운 cross-layer shortcut을 형성함을 확인해준다.
  • Routing pattern: Deep layer는 token embedding에 불균형적으로 큰 attention을 부여해, additive routing이 residual stream을 방해하지 않으면서 희석된 embedding signal을 다시 주입하도록 한다.이 패턴은 standard residual에서 embedding signal이 점진적으로 희석되는 현상과 일치한다.

5 결론

Delta Attention Residuals는 누적 hidden states가 아니라 sublayer별 delta에 걸쳐 cross-layer connectivity를 라우팅해, 더 선명한 라우팅과 테스트한 모든 구성에서 최상의 perplexity를 달성한다. additive routing과 결합하면 residual stream을 유지하면서 selectivity를 높인다.

  • 5 결론: Delta Attention Residuals는 cross-layer connectivity의 라우팅 소스로 누적 hidden states 대신 sublayer별 delta를 사용한다.라우팅되는 delta는 v_i = h_i+1 − h_i로, 누적된 것이 아니라 무엇이 변했는지를 포착한다.
  • 5 결론: delta를 사용하면 라우팅이 3× 더 선명해지며, deep layer의 maximum attention weight는 약 0.6으로 누적 states의 약 0.2와 대비된다.이러한 contrast는 더 선택적인 cross-layer routing을 반영한다.
  • 5 결론: additive routing과 결합한 Delta methods는 residual stream을 유지하며, 220M custom configurations부터 standard Qwen3-0.6B 및 Qwen3 configurations에 이르기까지 최상의 perplexity를 달성한다.제공된 본문은 이 범위를 명시하지만 “Q” 뒤에서 문장이 끝난다.

A 관련 연구

기존 연구는 cross-layer connection, residual stream의 거동, contrastive differencing, learned routing을 다룬다. Delta Attention Residuals는 source redundancy를 분석하고 depth를 따라 routing representation을 전달함으로써 이러한 연구 방향을 확장한다.

  • Cross-Layer Connection: Cross-layer method는 이전 output concatenation부터 static depth weighting, widened residual stream, constrained mixing, dynamic per-stream weighting까지 다양하다.DenseNet [Huang et al., 2017], DenseFormer [Pagliardini et al., 2024], Hyper-Connections [Zhu et al., 2024], mHC [DeepSeek, 2025], MUDDFormer [Xiao et al., 2025]가 이러한 대안을 대표한다.
  • Residual Stream Analysis: Residual stream 연구는 residual network를 ensemble로 해석하고, residual stream을 정식화하며, deep transformer를 안정화하고, depth와 sequence-axis attention 사이의 duality를 규명한다.이러한 관점은 본 논문의 source redundancy 분석에 동기를 부여한다.
  • Contrastive and Delta Method: Redundant component를 differencing하면 signal이 선명해질 수 있으며, amateur logit에서 expert logit을 빼거나, early layer와 late layer를 대조하거나, fine-tuning residual을 transfer하는 방식으로 이를 보인다.Contrastive Decoding [Li et al., 2023], DoLa [Chuang et al., 2024], Proxy-Tuning [Liu et al., 2024]이 이러한 방향을 대표한다.
  • Gating and Routing: Learned routing은 skip connection, width-dimension pathway, token-wise depth decision에 적용되어 왔지만, 본 연구는 depth를 따라 source representation을 routing한다.Highway Networks [Srivastava et al., 2015], GLU [Shazeer, 2020], ReZero [Bachlechner et al., 2021], MoE [Shazeer et al., 2017, Fedus et al., 2022], Mixture of Depths [Raposo et al., 2024]가 관련 routing mechanism을 확립했다.

B 기존 Attention Residuals와의 비교

Delta Attention Residuals는 라우팅되는 소스, additive routing, block boundary reset의 부재에서 기존 AttnRes와 다르다. 이러한 변화는 residual 정보를 보존하면서 cumulative-state replacement보다 더 선명하고 선택적인 라우팅을 유지한다.

  • Sources: Delta methods는 중복된 cumulative source 대신 구조적으로 다양한 delta를 라우팅해, deep layer에서 AttnRes의 ∼0.2보다 높은 max weight ∼0.6의 더 선명한 attention을 유지한다.Per-sublayer delta는 v_i = h_i+1 − h_i를 사용하고, block-level variant는 Δ_b = h_current − h_prev를 사용한다.
  • Routing: Delta methods는 라우팅된 delta를 residual stream에 더하는 반면, AttnRes는 hidden state를 weighted source sum으로 대체하고 current residual stream을 버린다.초기화 시 zero query는 uniform weight를 생성하며, additive routing은 perturbation을 bounded하게 유지한다.
  • Reset: Delta methods는 block boundary에서 never reset하는 반면, AttnRes는 partial_block을 zero로 reset해 reconstruction을 강제하며 각 layer가 reset될 때 information loss를 누적시킨다.Delta routing은 standard residual addition을 통해 자연스럽게 누적된 hidden state를 보강한다.

C Delta Block: 블록 수준 변형

Delta Block은 연속된 attention과 MLP 출력을 블록 수준 delta로 집계해 routing source를 줄이면서 additive residual routing을 유지한다. routing 세밀도와 효율성을 맞바꾸되, 다양한 source를 보존하며 대부분의 평가에서 Delta AttnRes에 필적한다.

  • C Delta Block: 블록 수준 변형: Delta Block은 residual 정보를 보존하고 additive routing을 통해 블록 경계에서 정보 손실을 방지하며 안전한 zero-initialization을 지원한다.이러한 특성은 Delta AttnRes에서 계승된다.
  • C Delta Block: 블록 수준 변형: Delta Block은 routing source를 2L에서 약 L/B로 줄여 레이어별 routing 비용을 약 2B배 낮춘다.각 블록은 sublayer 출력을 하나의 블록 delta로 집계하고, 현재 블록은 partial delta를 기여한다.
  • C Delta Block: 블록 수준 변형: 블록 delta는 서로 distinct한 상태를 유지하고 routing은 sharp하게 유지된다. 이는 B개 레이어에 걸쳐 구조적으로 heterogeneous한 attention과 MLP 출력을 결합하기 때문이다.이 방식은 깊은 위치의 원래 AttnRes에서 cumulative block source에 영향을 미치는 source redundancy를 피한다.
  • C Delta Block: 블록 수준 변형: Delta Block은 더 낮은 overhead를 위해 routing 세밀도를 소폭 희생하며, 매우 깊은 모델이나 메모리 예산이 빠듯한 경우에 선호된다.Per-sublayer Delta AttnRes는 routing 표현력이 최대이므로 small-to-medium scale에서 선호되는 반면, Delta Block은 더 적은 source로 대부분의 평가에서 이에 필적한다.

NeurIPS 논문 체크리스트

체크리스트는 논문에서 제시한 기여가 뒷받침되고, 이론적 가정과 실험 설정이 문서화되어 있으며, 코드와 데이터 접근이 재현을 가능하게 한다고 본다. 또한 단일 실행 실험을 한계로 지적하지만, 5개 모델 규모에 걸친 평가로 이를 완화했다고 설명한다.

  • 주장: 논문의 초록과 서론은 뒷받침된 세 가지 기여를 정확히 기술한다: routing collapse 식별, Delta Attention Residuals 제안, fine-tuning을 통한 변환 지원이다.이러한 주장은 §§3–3.5의 실험으로 뒷받침된다.
  • 이론적 가정과 증명: Proposition 1은 running-sum assumptions를 명시적으로 제시하고, formal argument와 empirical validation을 모두 제공한다.따라서 체크리스트는 이론적 결과에 문서화된 가정과 이를 뒷받침하는 정당화가 있다고 평가한다.
  • 재현성과 공개 접근: 공개된 hyperparameters, optimizer settings, hardware, training budget, complete pseudocode, publicly available code를 통해 재현을 지원한다.논문은 또한 publicly available FineWeb-Edu dataset과 Qwen3 model family를 사용한다.
  • 실험 설정과 자원: 실험 설정은 AdamW, cosine warmup scheduling, batch size, sequence length, 8×H100 hardware, training steps, fine-tuning details, 0-shot downstream evaluation을 명시한다.계산 자원 보고에는 BF16 precision, throughput, peak GPU memory, 4×H100 fine-tuning resources가 포함된다.
Loading 2605.18855v1…