PaperlayerView exact revision on arXiv

Source-linked AI summary

xHC: Expanded Hyper-Connections

Xiangdong Zhang, Xiaohan Qin, Sunan Zou, Tuo Dai, Xiaoming Shi, Huaijin Wu, Yebin Yang, Zhuo Xia, Shaofeng Zhang, Lin Yao, Yuliang Liu, Yu Cheng, Junchi Yan

arXiv:2607.14530v1cs.LGcs.CL

TL;DR

기존 HC 계열 방법은 일반적으로 N=4에서 멈춘다. 더 큰 mHC 확장은 성능 향상이 점차 줄어드는 반면 비용은 증가하기 때문이다. xHC는 temporal feature augmentation과 sparse residual updates를 통해 이를 해결하여 downstream 성능을 높이고 large-N 확장을 더욱 비용 효율적이고 실용적으로 만든다.

  • 문제

    기존 HC 계열 방법은 mHC를 더 확장할수록 loss 개선 폭이 줄어드는 반면 training FLOPs가 크게 증가하기 때문에 일반적으로 N=4에서 멈춘다.

  • 방법

    xHC는 더 풍부한 write-back을 위한 temporal feature augmentation과, dense access를 유지하면서 N=16개 stream 중 k=4개를 활성화하는 sparse residual updates를 결합한다.

  • 결과

    18B MoE 규모에서 xHC는 mHC의 44.8 대비 48.8 average downstream score를 달성하며, vanilla baseline 대비 training FLOPs 증가는 4.1%에 불과하다.

  • 시사점 및 한계

    xHC는 N=4를 넘어서는 residual-stream 확장을 더욱 비용 효율적으로 만들며, xHC-Flash는 sublayer당 memory traffic을 N=4의 mHC에 가깝게 줄인다.

  • 시사점 및 한계

    mHC를 N=4 이상으로 직접 확장하는 방식은 여전히 불충분한 write-back 정보와 O(N^3C) residual-mapping generation cost에 의해 제한된다.

Abstract

from arXiv · show

Hyper-Connections (HC) expand the residual stream of Transformers into $N$ parallel streams, providing a form of memory scaling beyond model width and depth. Manifold-Constrained HC (mHC) stabilizes this formulation at scale. The large gains from $N{=}1$ to $N{=}4$ suggest residual-stream expansion as a promising scaling axis. However, existing HC-family methods typically stop at $N{=}4$. Our experiments reveal why: scaling mHC beyond this point yields diminishing performance gains and rapidly increasing training cost. We attribute this limitation to two bottlenecks: insufficient write-back information for an expanding number of streams and residual-mixing generation whose cost scales cubically with $N$. To address both bottlenecks, we propose xHC (Expanded Hyper-Connections), the first HC-family method to achieve meaningful expansion beyond $N{=}4$. xHC combines temporal feature augmentation for richer write-back with a sparse residual-stream architecture that updates only $k=4$ of the $N=16$ streams while retaining dense access to the full residual state. Across 18B and 28B MoE models, xHC delivers strong and consistent downstream improvements. On an 18B MoE model, xHC improves the average downstream score by 4.0 points over mHC, while adding only modest training FLOPs over the vanilla baseline. Scaling-law experiments show that the vanilla and mHC require $1.50\times$ and $1.19\times$ the compute of xHC, respectively, to reach the same loss. Practical large-$N$ training also requires controlling memory traffic from the expanded residual state. We therefore introduce xHC-Flash, which reduces the per-sublayer memory traffic from $73.5C$ to $40C$, comparable to the $34C$ required by mHC at $N{=}4$, while retaining the gains of full xHC. Together, xHC and xHC-Flash make large-$N$ residual-stream expansion effective and practical for LLM pre-training.

1 서론

xHC는 write-back 정보를 풍부하게 하고 residual update를 희소화해 N=4를 넘어선 residual-stream expansion을 효과적으로 구현하며, mHC의 정보 및 cubic-cost 병목을 극복한다. 또한 loss, downstream performance, compute efficiency, large-N memory traffic을 개선하고, xHC-Flash를 통해 이 접근법을 실용화한다.

  • Expansion efficiency: N=4 대비 N=16에서 xHC는 4% extra FLOPs만으로 loss를 0.012 낮추는 반면, mHC는 32% extra FLOPs로 loss를 0.006 낮춘다.이 비교는 2.5B MoE model에서 보고됐다.
  • Empirical results: 1.758 final loss와 48.8 average downstream score를 기록한 xHC는 18B MoE scale에서 vanilla 대비 training FLOPs를 4.1%만 추가하면서 mHC와 vanilla를 능가한다.mHC는 1.776 loss와 44.8 average downstream score를 기록하고, vanilla는 1.799 loss를 기록한다.
  • Scaling efficiency: 동일한 loss에 도달하려면 vanilla는 xHC보다 1.50× 많은 compute가 필요하고 mHC는 1.19×가 필요해, model scale 전반에서 체계적인 compute efficiency를 보인다.대규모 검증은 18B 및 28B MoE models에서 일관된 downstream improvements를 확인한다.
  • Efficient deployment: xHC-Flash는 per-sublayer memory traffic을 73.5C에서 40C로 줄이며, N=4에서 mHC의 34C에 근접하면서 full-xHC performance gains의 대부분을 유지한다.sublayer 간 routing과 dense-read computation을 공유하고 N=16, k=4를 사용한다.
  • Bottleneck diagnosis: mHC의 diminishing returns는 제한된 write-back information과 N이 증가할 때 dense residual mixing에 드는 cubic cost에서 비롯된다.각 layer는 서로 다른 stream history가 필요한데도 write-back signal을 하나만 제공한다.
  • Method: xHC는 더 풍부한 write-back을 위한 temporal feature augmentation과 감당 가능한 mixing을 위한 sparse residual update를 통해 beyond N=4의 유의미한 expansion을 가능하게 한다.sparse architecture는 full residual state에 대한 dense access를 유지하면서 N=16 streams 중 k=4만 update한다.

2 관련 연구

기존 연구는 주로 단일 residual stream을 통해 Transformer layer 간에 표현을 전달해 왔으며, sparsity는 expert routing이나 token-restricted attention을 통해 연산량을 줄이는 데 활용되어 왔다. 반면 xHC는 residual과 관련된 다른 차원에 sparsity를 적용한다.

  • Cross-Layer Information Flow: 대부분의 LLM은 단일 residual stream을 유지하며, 관련 방법들은 residual stream의 최적화, 가중치 부여, cross-layer access 또는 feature reuse를 개선한다.Residual connection은 Transformer layer를 거쳐 token representation을 전달하며, gate, learned scaling, depth-dependent rescaling, activation reuse는 정보 흐름을 변경한다.
  • Sparse Computation in Language Models: Sparsity는 일반적으로 computation에 대한 expert routing이나 token에 대한 restricted attention을 통해 language model을 확장한다.Mixture-of-Experts는 전체 parameter 수와 token당 FLOPs를 분리하며, sparse attention은 long-context attention cost를 줄인다.
  • Sparse Computation in Language Models: xHC는 residual stream이라는 다른 차원에 sparsity를 적용한다.

3 방법

xHC는 write-back 신호를 풍부하게 만들고 전체 상태에 대한 dense access를 유지하면서 N=16개 스트림 중 k=4개만 sparse하게 업데이트해 large-N residual-stream expansion을 실용화한다. 이는 insufficient write-back diversity와 O(N^3C) residual-mixing cost 때문에 N=4 이후 mHC의 diminishing returns가 나타나는 문제를 겨냥한다.

  • 3.1 Hyper-Connections: mHC는 residual mapping을 Birkhoff polytope에 projection해 multi-stream training을 안정화하고, N=4에서 depth 전반에 걸쳐 stable information propagation을 유지한다.Sinkhorn normalization은 residual mapping의 row sum과 column sum을 각각 one으로 강제한다.
  • 3.2 Scaling Saturation: mHC를 N=4에서 N=16으로 늘리면 loss는 0.006만 감소하는 반면 training FLOPs는 32% 증가한다.이러한 diminishing benefit-cost tradeoff는 residual-stream expansion을 확장하기 위한 다른 접근을 요구한다.
  • 3.2 Scaling Saturation: mHC는 모든 stream이 one write-back component만 받기 때문에 saturate하며, N이 커질수록 추가 stream이 점점 더 redundant해진다.더 큰 expansion을 위해서는 non-redundant history를 형성할 수 있도록 더욱 diverse한 write-back component가 필요하다.
  • 3.3.2 Sparse Residual-Stream Architecture: mHC의 residual-mixing projection cost는 O(N^3C)인 반면, xHC는 generation을 k active stream으로 제한해 O(k^3C)의 cost가 든다.N=16에서 mHC는 2.5B MoE model에서 제한적인 loss reduction만 얻으면서 N=4 대비 대략 32%의 FLOPs를 추가한다.
  • 3.3 xHC: xHC는 temporal feature augmentation과 sparse residual mixing을 결합해 N=16개 stream을 모두 읽되 k=4개의 active stream만 업데이트한다.이는 전체 residual state에 대한 dense connectivity를 유지하면서 residual-mapping generation을 O(N^3C)에서 O(k^3C)로 줄인다.
  • 3.3.1 Temporal Feature Augmentation: Temporal augmentation은 kernel sizes 4, 8, and 12의 causal depthwise convolution으로 write-back basis를 확장해 Kr=4개 component를 생성한다.attention은 이미 position을 mix하고 post-attention augmentation은 empirical하게 training을 불안정하게 만들었기 때문에, 이는 MLP layer 이후에만 적용된다.

4 실험

18B 및 28B MoE 모델에서 xHC는 적은 training-cost overhead만으로 mHC와 vanilla residual baseline을 능가한다. Scaling-law, expansion-rate, ablation, optimizer 실험은 xHC가 효율을 높이고, 더 큰 N의 이점을 활용하며, information 및 cost bottleneck을 해결하고, Muon에서도 효과를 유지함을 보여준다.

  • Scaling Laws: 가장 큰 compute 지점에서 mHC보다 loss가 1.1% 낮고 vanilla보다 2.4% 낮으며, 측정 구간 전체에서 xHC가 가장 낮은 fitted loss curve를 유지한다.Figure 4는 1.7 × 10^19부터 4.0 × 10^20 FLOPs까지 학습한 matched scaling-law curve를 비교한다.
  • Downstream Results: 18B에서 xHC는 mHC의 평균 score 44.8을 48.8로 높이고, 28B에서는 score를 50.5에서 53.6 (+3.1)으로 높인다.xHC는 두 scale 모두에서 mHC와 vanilla baseline을 능가하며, 28B에서는 vanilla보다 training FLOPs가 3.0% 증가한다.
  • Expansion-Rate Sweep: xHC를 N=2에서 N=16으로 확장할수록 loss가 일관되게 감소하며, 매번 두 배로 확장할 때마다 적은 추가 FLOPs로 뚜렷한 개선이 나타난다.mHC와 달리 xHC는 sparse update cost를 k로 제어하면서 residual-memory capacity를 확장한다.
  • Ablations: N이 커질수록 temporal feature augmentation이 loss를 더욱 개선하며, Dense Read와 fixed streams는 sparse residual update를 위한 information connectivity를 보존한다.Dense Read와 fixed streams가 없으면 loss가 1.997까지 악화되지만, Dense Read는 routing에도 불구하고 모든 stream에 접근할 수 있도록 유지한다.
  • Optimizer Robustness: xHC는 여러 benchmark에서 Muon baseline 대비 substantial gains를 유지하며, AdamW를 넘어 Muon과도 호환됨을 보여준다.Muon 평가는 backbone parameter에 Muon을 적용하고 xHC parameter에는 AdamW를 유지하며, temporal feature augmentation에서 Gram–Schmidt orthogonalization을 제거한다.

5 실용적 배포

xHC는 추가 compute가 modest하지만, 확장된 residual state로 인해 memory traffic이 크게 증가한다. xHC-Flash와 fused kernel은 xHC가 mHC보다 갖는 성능 우위를 유지하면서 이 overhead를 줄인다.

  • Overhead 분석: 기본 N=16, k=4 구성에서 xHC는 28B 규모의 training FLOPs를 3.0% 늘리지만, runtime overhead는 memory traffic이 지배한다.확장된 residual state는 모든 sublayer에서 normalization, projection, residual mixing을 위한 추가 I/O를 요구한다.
  • xHC-Flash: xHC-Flash는 연속된 sublayer에 걸쳐 full-state operation을 amortize하여 traffic을 73.5C에서 51C로, four-sublayer extension을 사용하면 40C로 줄인다.이 설계는 shared routing, sublayer별 pre-mapping 분리, dense-read 재사용, deferred residual mixing을 사용한다.
  • xHC-Flash: xHC-Flash-4sub는 memory traffic을 40C로 줄여 N=4에서 mHC의 34C에 근접시키면서도 mHC보다 낮은 loss를 유지한다(1.984 vs. 2.004).Full xHC는 sublayer당 73.5C를 사용하는 반면, xHC-Flash는 51C에서 validation loss 1.983을 달성한다.
  • Kernel fusion: Fused implementation stage는 shared input을 사용하는 operation을 결합해 memory-bound N=16, k=4 workload에서 memory traffic과 kernel launch를 줄인다.Residual state와 projection operand에는 bfloat16을 사용하고, normalization statistic, routing, mapping coefficient, Sinkhorn iteration에는 float32를 사용한다.

6 결론

xHC는 mHC의 write-back 및 cubic residual-mapping 병목을 해결해 일반적인 N=4 설정을 넘어선 residual-stream 확장을 더 효과적이고 경제적으로 만든다. temporal feature augmentation과 dense read access를 유지하는 sparse update를 결합한다.

  • xHC는 HC-family 모델에서 일반적인 N=4 설정을 넘어 효과적이고 경제적인 residual-stream 확장을 목표로 한다.
  • mHC를 직접 확장하는 방식은 불충분한 write-back 정보와 residual-mapping generation의 cubic cost로 제한된다.
  • xHC는 temporal feature augmentation과 dense read access를 유지하면서 k개의 active stream만 업데이트하는 sparse residual-stream update를 결합한다.

A 실험 세부 사항 및 하이퍼파라미터

실험에서는 MoE 아키텍처, 최적화 레시피, 데이터 예산을 맞추고, xHC는 16개 스트림과 레이어당 4개의 활성 스트림으로 구성한다. Sinkhorn 행 합 클램핑으로 학습 안정성을 높이며, 예측 전에 멀티스트림 상태를 하나의 벡터로 축약한다.

  • 모델 아키텍처: MoE 백본은 하나의 선행 dense layer, routed 및 shared expert, top-8 sigmoid routing, GQA, QK Norm을 포함하는 DeepSeekMoE-style design을 사용한다.상세한 모델 구성은 Table 6에 제시한다.
  • xHC 구성: xHC는 N=16 스트림을 사용하며, 레이어마다 2개의 고정 스트림과 2개의 동적으로 선택되는 스트림을 포함해 k=4개가 활성화된다.linear router는 LayerNorm으로 정규화된 평탄화 residual state에서 스트림별 점수를 계산하며, temporal feature augmentation에는 r=3개의 causal depthwise-convolution branch를 사용한다.
  • xHC 구성: Sinkhorn 정규화 후 행 합을 클램핑하면 성능 저하 없이 xHC training이 안정화된다.이 절차는 정규화 후 합이 1을 초과하는 행만 재스케일링하여, forward signal을 증폭할 수 있는 드문 극단적 activation에 대응한다.
  • 학습 하이퍼파라미터: xHC, mHC, vanilla baseline은 gradient clipping과 warmup–stable–decay schedule을 포함해 최적화 레시피와 데이터 예산을 맞춘다.AdamW는 β1=0.9, β2=0.95, ϵ=10^-15, weight decay 0.1, clipping 1.0을 사용하며, schedule은 500 warmup step과 exponential decay로 구성된다.
  • 최종 스트림 축약: language-model head 앞에서 mHC와 xHC는 각 token 내의 N개 스트림을 합산하고, 그 결과인 C-dimensional vector를 final RMSNorm과 unembedding에 적용한다.이 축약으로 멀티스트림 hidden state가 예측을 위한 단일 hidden representation으로 복원된다.

B Scaling Law 실험 설정

Scaling-law 실험은 동일한 레시피로 학습하고 compute가 약 1.7 × 10^19에서 4.0 × 10^20 FLOPs까지인 네 가지 model size에서 vanilla, mHC, xHC를 비교한다. 각 방법의 최종 language-model loss에 고정된 irreducible-loss 추정값 E = 0.72를 사용해 shifted power law를 적합한다.

  • Scaling-law 실험 설정: 각 방법에서 네 가지 model size를 사용하며, 동일한 레시피 아래 training compute 범위는 약 1.7 × 10^19에서 4.0 × 10^20 FLOPs다.비교 방법은 vanilla baseline, mHC, xHC다.
  • Scaling-law 실험 설정: 모든 model은 144 routed experts, top-8 routing, 하나의 shared expert, 하나의 선행 dense layer를 포함하는 DeepSeekMoE-style template을 공유하며, width, depth, expert FFN size는 달라진다.각 configuration은 context length 8192, θ=50000인 RoPE, 500 warmup steps, 동일한 data mixture도 사용한다.
  • Scaling-law 적합: 각 방법의 최종 language-model loss에 대해 C를 training FLOPs로, E = 0.72를 추정된 irreducible loss로 두고 L(C) = AC^-α + E를 적합한다.log2(L − E)를 log10 C에 대해 선형 회귀한 뒤 shifted power-law 형식으로 다시 변환하며, 적합된 parameter는 Table 9에 보고한다.

C xHC와 mHC의 학습 FLOPs 및 파라미터 오버헤드 분석

이 절에서는 xHC와 mHC가 유발하는 레이어별 파라미터 오버헤드와 학습 FLOPs를 분석한다.

  • xHC와 mHC가 유발하는 레이어별 파라미터 오버헤드를 도출한다.
  • xHC와 mHC에 따른 학습 FLOPs 비용을 보고한다.
  • 오버헤드 분석은 레이어별 수준에서 xHC와 mHC를 모두 다룬다.

C.1 레이어별 파라미터 오버헤드

xHC는 더 풍부한 temporal write-back component를 추가하면서 k개 stream만 활성화해 큰 expansion에서 레이어별 파라미터 오버헤드를 줄인다. N=16, k=4에서 xHC의 오버헤드는 1256C로, dense mHC의 9216C보다 작으며 N=16 residual-memory capacity를 유지한다.

  • xHC: xHC는 N^2C에 비례하는 stream router와 pre-mapping generator, k^3C에 비례하는 residual-mapping generator, 그리고 MLP sublayer에서만 convolution을 사용하는 rank-Kr post-mapping generation을 추가한다.Temporal augmentation은 MLP sublayer 이후에만 적용되며, attention sublayer는 rank-1 post-mapping generation을 사용한다.
  • mHC: Dense mHC는 모든 N개 stream을 활성화하고 routing, temporal augmentation, convolution을 생략하며, 2N^3C residual-mapping 항이 cubic cost scaling을 유발한다.대표적인 예산에서 PxHC,N=4,k=2는 124C이고, PmHC,N=4는 192C인 반면, PxHC,N=16,k=4는 1256C이고 PmHC,N=16은 9216C다.
  • 비교: 1256C 대 9216C: N=16, k=4에서 xHC는 N=16의 dense mHC보다 레이어별 파라미터를 7.3× 적게 사용하면서 동일한 residual-memory capacity를 유지한다.대표 설정 Kr=4 및 kernel sizes {4, 8, 12}에서 PxHC,N=16,k=4의 오버헤드는 1256C이며, PmHC,N=16은 9216C이다.

C.2 Training FLOPs 오버헤드

N=16에서 xHC는 training FLOPs를 소폭만 추가하며, 18B에서 dense mHC가 약 19%의 오버헤드를 보이는 것과 대조된다. backbone 비용은 width와 함께 증가하는 반면 PxHC는 C에 대해 선형적으로 스케일링되므로, 모델 스케일이 커질수록 오버헤드는 감소한다.

  • Training FLOPs 오버헤드: 6× 계수는 parametric projection을 통한 forward 및 backward pass를 반영하며, non-parametric operation은 별도로 분석한다.Sinkhorn normalization, residual mixing, multi-stream LayerNorm, Gram–Schmidt projection은 별도로 분석한다.
  • Training FLOPs 오버헤드: 오버헤드 비율은 Δ% = FHC/Fbackbone × 100으로 계산하며, Fbackbone에는 linear-layer, sequence-dependent attention, LM-head 비용이 포함된다.backbone에는 linear layer에 대한 표준 6× 근사, attention 비용 6SnqdhL, LM-head 비용 6V C를 사용한다.
  • Training FLOPs 오버헤드: 18B에서 N=16인 dense mHC는 약 19%의 training-FLOPs 오버헤드를 요구하는 반면, xHC는 주요 모델 스케일 전반에서 소폭의 오버헤드만 발생시킨다.Table 10은 방법과 스케일별 parameter 및 training-FLOPs 오버헤드를 보고한다.
  • Training FLOPs 오버헤드: xHC의 training-FLOPs 오버헤드는 모델 스케일이 커질수록 감소한다. Fbackbone은 width와 함께 증가하는 반면 PxHC는 C에 대해 선형적으로만 스케일링되기 때문이다.parameter 오버헤드도 같은 추세를 따르며, large-N expansion의 비용이 낮음을 뒷받침한다.

D 추가 절제 연구

추가 절제 실험에서는 temporal feature augmentation의 적용 위치, Gram–Schmidt orthogonalization의 역할, 여러 temporal convolution branch의 이점을 검토한다. Dense mHC at N=16에서 branch 하나를 추가하면 validation loss가 1.998에서 1.989로 개선되고, branch 세 개를 사용하면 1.984까지 추가로 개선된다.

  • 실험 설정: 추가 절제 실험은 Section 4.5와 동일한 10B MoE 설정을 사용하며, 별도 명시가 없는 한 Pile test set에서 validation loss를 보고한다.Multi-scale branch 절제 실험은 sparse residual update 없이 dense mHC at N=16에서 별도로 수행한다.
  • Attention-side Temporal Feature Augmentation: xHC는 attention layer가 아니라 MLP layer 이후에 temporal feature augmentation을 적용한다. MLP는 token을 독립적으로 처리하므로 가벼운 local context 주입을 적용하기에 더 깔끔한 위치를 제공하기 때문이다.Attention은 이미 content-dependent token mixing을 수행하는 반면, MLP sublayer는 augmentation을 적용하기에 더 국소적인 설정을 제공한다.
  • Gram–Schmidt Orthogonalization의 효과: 이 연구에서는 원래 layer output과 같은 방향의 성분을 제거하고 augmented write-back 성분을 서로 구별하기 위해 Gram–Schmidt orthogonalization을 검증한다.목표는 원래 write-back 방향을 증폭하는 것을 피하고 write-back scaling을 덜 예측 불가능하게 만드는 것이다.
  • Multi-scale temporal component의 효과: Causal convolution branch 하나를 추가하면 validation loss가 1.998에서 1.989로 낮아지고, 서로 다른 kernel을 사용하는 branch 세 개를 추가하면 loss가 1.984까지 더 낮아진다.이 절제 실험은 sparse residual update 없이 dense mHC at N=16을 사용해 write-back signal을 풍부하게 하는 효과를 분리한다.

E xHC-Flash 설계 분석 … E.3 정확성, 복잡도 및 설계상의 trade-off

xHC-Flash는 미리 계산한 dense readout과 sparse active-stream update를 사용해 모든 N stream을 다시 읽지 않고 이후 sublayer 입력을 정확히 재구성한다. 근사되는 부분은 shared routing, entry-state pre-mapping, deferred residual mixing이며, xHC-Flash-4sub는 accumulated-delta buffer 없이 correction을 multi-component write-back으로 확장한다.

  • E xHC-Flash 설계 분석: xHC-Flash는 미리 계산한 base readout과 sparse write-back으로부터 전체 N-stream state를 다시 읽지 않고 이후 sublayer 입력을 정확히 복원한다.이를 통해 Attention 측 residual mixing을 제거하며, two-sublayer variant에서 xHC-Flash-4sub로 일반화한다.
  • E.1 Two-Sublayer Dense-Read 재사용: two-sublayer correction은 base readout 이후 scalar–vector multiply와 addition으로 환원된다. 앞선 Attention write-back이 하나의 component만 가지기 때문이다.scalar는 동적으로 생성된 mapping coefficient로부터 token 단위로 구성된다.
  • E.2 Four-Sublayer 확장: xHC-Flash-4sub는 group-entry state로부터 네 개의 pre-mapping을 만들고, group 전체에서 하나의 routing decision을 공유한다.이후 sublayer는 Attention과 MLP write-back을 모두 사용하므로, four-sublayer group에 대해 설명한 multi-component correction이 필요하다.
  • E.2 Four-Sublayer 확장: K_r=4 temporal component를 갖는 MLP write-back에 대해 xHC-Flash-4sub는 accumulated delta를 저장하는 대신 active-stream state와 non-active base readout을 사용한다.이를 통해 추가적인 [S, B, k, C] buffer를 피하면서도 group-entry readout에 앞선 sparse write-back을 적용했을 때와 동일한 입력을 재구성한다.
  • E.3 정확성, 복잡도 및 설계상의 trade-off: routing과 pre-mapping이 sharing-window 진입 시점에 고정되고, 중간 residual mixing이 없으며, write-back이 active stream에만 영향을 줄 때 dense-read correction은 정확하다.Final-MLP residual mixing은 그 입력이 이미 형성되어 있으므로 여전히 호환된다.
  • E.3 정확성, 복잡도 및 설계상의 trade-off: 전체 xHC와 비교하면 xHC-Flash는 routing을 공유하고, entry-state pre-mapping을 사용하며, residual mixing을 final MLP로 지연함으로써 dynamic stream control을 근사한다.근사는 dense-read correction 자체가 아니라 control schedule에 적용된다.
  • E.3 정확성, 복잡도 및 설계상의 trade-off: 이 근사는 짧은 sharing window에 의해 동기 부여되며, dense read access, sublayer별 개별 pre-mapping, active stream에 대한 sparse write-back을 유지한다.xHC-Flash는 sharing window마다 하나의 Transformer block을 사용하고, xHC-Flash-4sub는 두 개의 block을 사용한다.
Loading 2607.14530v1…