Recirculation

Michael C. Mozer; Shoaib Ahmed Siddiqui; Danny Sawyer; Sunny Sanyal; Rosanne Liu

Source-linked AI summary

Recirculation

Michael C. Mozer, Shoaib Ahmed Siddiqui, Danny Sawyer, Sunny Sanyal, Rosanne Liu

arXiv:2608.17981v12026년 8월 18일cs.LG

TL;DR

Transformers는 변화하는 상태를 추적하는 데 어려움을 겪을 수 있어, 깊은 층의 activation을 얕은 층으로 되돌려 전달하는 inference-time recurrence가 필요하다. Recirculation은 generation-time overhead를 거의 늘리지 않으면서 Gemma3 모델의 perplexity와 downstream instruction following, question answering, problem solving을 향상시키지만 autoregressive prefill cost는 추가한다.

문제
Transformers의 병렬 연산은 전통적인 iterative state tracking을 제한하며, 해석이 변화할 때 contextualization error를 유발한다.
방법
Recirculation은 transformer를 반복 실행하면서 깊은 층의 activation을 얕은 층으로 누출하며, adaptive variant는 model weight를 고정한 채 recurrence coefficient를 조정한다.
결과
Recirculation은 평가된 설정 전반에서 perplexity와 Gemma3 모델의 instruction following, question answering, problem solving을 향상시키며, 10개 데이터셋 중 9개에서 robust gains를 보인다.
시사점 및 한계
Recirculation은 generation-time computation을 거의 그대로 유지하면서 transformer에 recurrence를 통합하는 training-free inference-time 경로를 제공한다.
시사점 및 한계
최적 hyperparameter가 task에 따라 달라질 수 있고 Gemma architecture를 넘어선 generalizability에는 추가 조사가 필요하므로, Recirculation의 practical applicability는 제한될 수 있다.

Abstract

from arXiv · show

We describe an inference-time architectural enhancement for off-the-shelf foundation models that markedly reduces perplexity and boosts accuracy across generation and reasoning tasks. Our approach incurs essentially no additional latency during generation, though it requires serial processing in the prefill phase. Motivated by the fundamental limitation that state updates in feedforward transformers are bounded by model depth, our technique, recirculation, introduces a specific form of recurrence that allows the model to act as a dynamical system and track belief states. We distinguish this technique from chain-of-thought computation---which is better reserved for complex inferences rather than basic state tracking---as well as from popular depth-recurrence techniques (looping) and the costly training of recurrent transformers. We also propose and evaluate an adaptive variant of recirculation which requires only light tuning of hyperparameters while freezing the original model weights. Relative to the off-the-shelf baseline, adaptive recirculation achieves remarkable gains on the Gemma3 family, including a 23% reduction in perplexity on a suite of datasets, a 21% increase in accuracy on GSM8k, and reliable improvements in accuracy on other downstream tasks. Our training-free approach succeeds by leveraging the model itself to inform architectural modifications, suggesting a route to architectural evolution guided by a trained network's properties rather than forced, arbitrary design choices.

1 상태 추적

Transformer의 병렬적이고 깊이에 제한된 처리는 변화하는 belief state를 추적하는 능력을 제한하며, 문맥화 오류와 해석 반전을 일으킨다. Activation intervention의 증거에 따르면, 해결된 representation을 deep layer에서 shallow layer로 옮기면 이러한 오류를 크게 줄일 수 있으며, 이는 recirculation의 동기가 된다.

동기: 학습과 prefill 중 Transformer의 병렬 연산은 전통적인 반복적 상태 추적을 불가능하게 하며, 변화하는 belief state를 유지하는 능력을 제한한다.이 한계는 문맥화 실패, 불안정한 theory-of-mind representation, 견고한 내부 world model의 부재와 연결된다.
동기: 적절한 상태 추적이 없으면 모델은 해석 사이를 오락가락하고 불일치를 인식하지 못할 수 있으며, 이는 “bank”의 모호한 의미에서 드러난다.사회적으로 능숙한 의사소통자는 river-bank 해석을 채택한 뒤 의미가 반전되었음을 인정해야 한다.
깊이 제한적 상태 표현의 증거: 모호성 해결 후 deep-layer activation을 shallow layer에 복사하고 처리를 계속한 intervention에 이어 문맥화 오류가 60% reduction되었다.이 실험에서는 생성된 질문에서 사전에 식별된 critical token 하나만 patch했다.
깊이 제한적 상태 표현의 증거: 이 intervention은 유용한 상태 표현이 transformer 내부 깊은 층에서 형성되지만 inference 중 얕은 층에서는 충분히 활용되지 않을 수 있음을 시사한다.Figure 2a는 transformer depth를 상태 표현의 유용성을 제한하는 제약으로 제시하고, Figure 2b는 deep representation을 더 얕은 층으로 밀어내는 과정을 묘사한다.
recirculation의 동기: Recirculation은 deep-to-shallow activation feedback을 구체화하지 않은 형태로 동기화되지만, 모든 token에 적용하면 training 지원 없이 feedback이 재앙적으로 증폭될 수 있다.training-free feedback의 실행 가능성은 residual stream이 층 간 representation을 정렬하는 공유 blackboard로 기능한다는 점에 의존한다.

2 제안 방법: Recirculation

Recirculation은 각 단계에서 LLM을 순차적으로 실행하면서 깊은 layer의 activation을 얕은 layer로 전달해 transformer depth와 input step 모두에 걸친 recurrence를 만든다. recurrence가 depth에서 공유 block을 반복하는 방식으로만 작동하는 looped transformer와는 다르다.

Recirculation: Recirculation은 각 LLM step 후 deep layer에서 shallow layer로 activation을 전달하며, Figure 3a는 가능한 source–destination pair를 보여준다.Recurrence를 어떻게 순차적으로 펼치는지에 따라 orchestration 방식이 달라진다.
Recirculation과 looping 비교: looped transformer와 달리 recirculation은 depth와 input step 모두에 걸쳐 state를 전파하는 반면, looped-transformer recurrence는 depth에서만 작동한다 [Giannou et al., 2023].Recirculation은 초기 warm-up 후 각 recurrence step에서 두 개의 input stack을 병렬로 실행한다.
구현: 보고된 실험에서는 각 step마다 transformer-stack을 one additional iteration 실행하지만, iteration 수를 늘릴 수 있으며 recirculation이 무제한으로 이루어지면 진정한 recurrent neural network가 된다.그림은 각 step에서 transformer stack이 두 번 실행되는 모습을 나타내며, 모든 논문 실험은 one-additional-iteration variant를 사용한다.
Recirculation: Recirculation은 source layer와 destination layer의 activation을 혼합하는 반면, looping은 앞선 layer의 input을 전체 residual stream으로 대체한다.Formalization은 source 및 destination index, mixture coefficient α와 β, renormalization f(.), residual-stream state z_i,j,l을 사용한다.

3 관련 연구

관련 연구는 looping, recurrent 및 thinking transformers, stateful training objectives, state tracking, activation steering을 아우른다. Recirculation은 inference-time looping methods와 가장 가깝지만, 단순히 depth를 늘리는 대신 recurrence를 도입한다는 점에서 개념적으로 다르다.

Looped transformers: Inference-time recurrence methods는 recirculation과 가장 유사하지만, looping은 effective depth를 늘리는 반면 recirculation은 고유한 recurrence mechanism을 도입한다.Looping은 free parameters를 추가하지 않고 단일 layer 또는 layer range를 반복할 수 있으며, deterministic하거나 adaptive할 수 있다.
Training objectives: Training-based approaches는 layer가 exact 또는 approximate state-updating functions를 따르도록 유도하는 objectives를 통해 stateful transformer embeddings를 학습한다.이러한 objectives에는 Hu et al. (2025), Teoh et al. (2025), Huang et al. (2026)이 제안한 losses가 포함된다.
State tracking: Modern parallel architectures는 serial capacity가 model depth에 의해 제한되기 때문에 state tracking, multihop inference, planning과 같은 본질적으로 sequential한 task에서 한계를 보인다.Liu et al. (2026)은 이러한 약점을 지적하며, 인용된 theory는 transformers의 serial capacity를 depth와 연결한다.
Recurrent transformers: Recurrent transformers는 arbitrary state dynamics를 표현할 수 있는 sequential updates를 사용하며, 구현은 token 단위 또는 blockwise로 작동한다.State-space models도 관련된 recurrent architecture family다.
Thinking models: Chain-of-thought와 latent-space thinking은 sequential self-signals를 통해 state를 전파하여 expressivity를 높이지만, training 중 parallelism을 제한한다.Thinking은 natural-language tokens 또는 latent representations를 사용할 수 있으며, 이러한 models를 training하는 데는 많은 비용이 들 수 있다.
Activation steering: Activation steering은 latent representations에 개입하면 behavior를 예측 가능하게 조절할 수 있음을 보여주며, recirculation을 inference-time self-steering으로 규정한다.정적인 externally derived steering vectors와 달리, 제시된 passage는 이러한 vectors를 사용해 residual stream을 수정하는 방식과 recirculation을 대비한다.

4 실험

모델 규모, 데이터셋, 모델 계열, downstream task 전반에서 recirculation은 대체로 perplexity와 정확도를 향상시키며, 그 효과는 architecture, token position, content, hyperparameter에 따라 달라진다. Adaptive tuning은 원래 모델에 대한 변경을 최소화하면서 성능을 추가로 높인다.

Mechanism과 token 효과: Recirculation의 효과는 token position과 content에 따라 달라진다. 중간 architecture의 source-destination pair, 부사, 형용사, 동사, 복수 명사에서 더 큰 이득이 나타난다.상보적인 all-but-one-token 실험은 개별 token의 이득이 log likelihood에서 가산적임을 보여주며, 지속적인 state 구성이라는 해석을 뒷받침한다.
Perplexity: 1B/4B 모델과 12B 모델에서 각각 최대 16%와 35%의 perplexity 감소가 나타나며, 10개 데이터셋 중 9개에서 견고한 향상을 보인다.LAMBADA는 매우 짧은 sequence와 tokenization artifact 때문에 예외적이다.
Cross-model generalization: Recirculation은 추가로 네 개의 model family에도 이득을 주지만, Gemma3에서는 perplexity가 약 5% 감소한 반면 다른 family에서는 0.5% 미만 감소했다.두 번째와 네 번째 Gemma 세대도 Gemma3만큼 뚜렷한 향상을 보이지만, 다른 family에 대해서는 normalization과 α를 탐색하지 않았다.
Controls와 comparisons: Recirculation과 temperature tuning을 결합하면 perplexity가 19.55% 감소하며, 효과가 거의 가산적으로 나타나 temperature adjustment만으로는 결과를 설명할 수 없다.Training-free looping은 recirculation과 달리 Gemma3 family에서 견고한 이득을 내지 못한다.
Downstream task: Recirculation은 8개 데이터셋 중 6개에서 정확도를 향상시키며, Gemma3 4B에서는 pass@1과 pass@128도 모두 개선한다.Downstream 이득은 소폭에서 유의미한 수준까지 다양하며, 길게 생성된 응답이 단일 token 응답보다 더 큰 이득을 얻는 것으로 보인다.
Adaptive recirculation: Token-conditional vector α와 β coefficient를 학습하는 방법이 테스트한 adaptive method 중 가장 우수하며, early-token recirculation은 Gemma3 1B에는 해로울 수 있지만 4B나 12B에는 그렇지 않다.Adaptive 실험에서는 training-free 설정에서 최소한으로 벗어나기 위해 recirculation hyperparameter만 의도적으로 조정한다.

5 논의

논의에서는 recirculation을 학습 없이 추론 시점에 적용하는 architecture modification으로 제시한다. 이는 generation-time computation을 거의 늘리지 않으면서 state tracking과 downstream capability를 향상한다. 또한 이 방법을 model-guided architectural affordance 탐색으로 규정하는 한편, hyperparameter의 보편성과 Gemma를 넘어선 generalization에 관한 미해결 문제를 지적한다.

기여: Recirculation은 generation 중 추가 computation을 거의 늘리지 않으면서 Gemma3 모델의 perplexity, instruction following, question answering, problem solving을 향상한다.이 방법은 transformer에 recurrence를 도입해 state tracking을 개선하는 training-free, inference-time modification이다.
선행 연구와의 관계: Recirculation은 transformer의 residual pathway에서 alignment를 활용한다는 점은 같지만, training-free looping과는 구별된다.관련 architecture 문헌은 주로 처음부터 학습되거나 학습 중에 수정된 모델을 다룬다.
방법론적 관점: 이 연구는 recirculation을 model이 recurrence placement, activation mixing, normalization 선택을 결정하도록 하는 방법론적 기여로 다룬다.이는 비용이 큰 architecture overhaul을 강제하거나 임의의 design choice에 의존하는 방식과 대조된다.
Model-design affordance: Recirculation은 model-design affordance를 탐색한다. 이는 basic operation과 그 위에 구축된 capability를 향상하도록 증폭할 수 있는 foundation model의 고유한 특성이다.논의에서는 이러한 affordance를 객체의 사용 방식을 알려주는 객체의 속성에 비유한다.
한계: Recirculation의 practical applicability는 task 또는 domain에 따라 달라지는 hyperparameter와 Gemma family를 넘어선 generalization의 불확실성으로 제한된다.관련 hyperparameter에는 source layer와 destination layer, recirculation coefficient α와 β가 포함된다. Gemma의 Peri-LN architecture와 training optimization은 이례적으로 큰 이득을 가져올 수 있다.

A Unrolled recirculation architecture

Unrolled recirculation architecture는 각 transformer stack을 여러 차례 통과한다. recirculation iteration이 2회이면 3회 pass를 사용하며, 일반적으로 iteration k회에는 각 input step마다 k + 1개의 stack이 필요하다.

A Unrolled recirculation architecture: recirculation iteration이 k회이면 각 input step마다 k + 1개의 stack을 실행해야 한다.
A Unrolled recirculation architecture: Unrolled architecture에서는 recirculation iteration 2회로 각 transformer stack을 세 번 통과한다.Figure A.1은 이 구성을 보여준다.

B Recirculation 구현 세부사항 · B.1 하이퍼파라미터 스윕

하이퍼파라미터 스윕에는 arXiv, C4, PG19 training documents에서 추출한 약 500개의 filler-free window로 구성된 1024-token context가 사용됐다.

B.1 하이퍼파라미터 스윕: 하이퍼파라미터 스윕에는 1024-token context window와 arXiv, C4, PG19 training documents에서 추출한 약 500개의 window가 사용됐다.문서당 최대 두 개의 window만 샘플링했으며, 각 window는 filler token 없이 문서의 끝까지 이어져야 했다.
B.1 하이퍼파라미터 스윕: 필터링 절차를 통해 arXiv window 484개, C4 window 488개, PG19 window 500개를 얻었다.이는 각각 predicted token 495132개, 499224개, 511000개에 해당했다.

B.2 Perplexity 평가 · B.3 Normalization 및 ramping

Perplexity 평가는 고정 길이 document chunk와 조정된 source–destination hyperparameter를 사용해 열 개 dataset에 걸쳐 수행된다. Normalization sweep에서는 recirculation scheme을 비교했으며, L2 기반 방법이 normalization을 사용하지 않는 방법보다 더 견고하고 ramping은 Gemma3 1B를 소폭 개선하는 것으로 나타났다.

B.2 Perplexity 평가: Perplexity는 열 개 dataset에 걸쳐 평가했으며, 아홉 개 dataset에는 전체 evaluation set을 사용하고 big-patent에는 처음 10,000개 document를 사용했다.C4에는 validation split을, 나머지 dataset에는 test split을 사용했다.
B.2 Perplexity 평가: Document를 1,024-token chunk로 나누었으며, C4/webtextlike, lambada, newsroom을 제외하고 부분적으로만 채워진 window는 제외했다.
B.2 Perplexity 평가: 보고된 결과에는 1B, 4B, 12B model에 대해 sweep으로 선택한 source–destination hyperparameter를 사용했다.별도로 언급하지 않는 한 이 설정을 논문 전체에서 사용했으며, Table B.1에 요약했다.
B.3 Normalization 및 ramping: Transformer layer를 거치며 embedding norm이 증가하므로 source activation이 destination activation을 압도할 수 있다는 점을 고려해, normalization sweep에서는 source-vector scaling을 검증했다.Figure B.1–B.3은 arXiv, C4, P tuning dataset에서 perplexity의 percentage change를 보고한다.
B.3 Normalization 및 ramping: Normalization scheme과 표기법은 Table B.2에 요약했으며, embedding을 unrolling step, input step, layer별로 다시 표현한다.
B.3 Normalization 및 ramping: L2 normalization scheme은 normalization을 사용하지 않는 방법보다 더 안정적으로 작동하며, 성능이 더 낮은 hyperparameter 설정을 fewer하게 만든다.Normalization을 사용하지 않는 scheme도 합리적인 결과를 내지만, 제공된 passage에서는 source vector와 destination vector의 convex combination이 더 우수한 것으로 보고된다.
B.3 Normalization 및 ramping: Gemma3 1B에서는 처음 10 step 동안 recirculation coefficient를 ramping하자 perplexity가 소폭 추가로 감소했다.Coefficient는 t ≥ 0에 대해 α_t = min(t/10, 1)α로 정의했다.

C 기본 결과 … D.2 맥락화

보충 평가는 아키텍처, temperature tuning, looping, token types, instruction following, contextualization 전반에서 recirculation을 검증한다. 이를 통해 recirculation이 어디로 전이되는지, 어떻게 구성되는지, downstream evaluation이 어떻게 설계되는지를 종합적으로 규명한다.

C.1 아키텍처 전반의 강건성: Ministral3, Qwen3, Pythia, Phi2 전반에서 Figure 7은 arXiv training set과 Gemma3 1B PT settings를 사용해 recirculation hyperparameter sweep을 비교한다.공통 설정은 source layer norm을 target layer norm으로 스케일링하며, α = .07, β = 1 −α를 사용한다.
C.1 아키텍처 전반의 강건성: 구세대와 신세대 Gemma에서 recirculation의 이득은 Gemma3와 비슷하지만, 일부 Gemma4 hyperparameter 영역은 성능을 해친다.Figure C.1은 α = 0.07을 사용하며, Gemma4에는 β = 1.0, Gemma2에는 β = 1 −α를 사용한다.
C.2 recirculation과 temperature tuning의 비교: Temperature tuning은 PG-19 1024-token chunks를 사용해 Gemma3 1B에서 recirculation과 비교되며, Figure C.2는 temperature-only sweep과 combined sweep을 구분한다.실험은 adjustment가 perplexity를 개선하는 영역을 식별할 수 있을 만큼 넓은 범위에서 softmax temperature를 sweep하며, 부분적으로 채워진 sequence는 제외한다.
C.3 recirculation과 looping의 비교: Looping 비교는 250개의 arXiv training documents에서 recirculation을 평가하며, 각 문서에 대해 1024-token subsequences 두 개와 model-size-specific β settings를 사용한다.Recirculation은 1B model에 α = 0.07, β = 0.93을, 4B 및 12B models에 β = 1.0을 사용한다.
C.4 어떤 token이 recirculation의 이점을 얻는가?: Token-level analysis는 24,960개의 arXiv documents에서 tokens 0–767을 개별적으로 recirculating하고 lags 1–256을 적용한 뒤 downstream effect를 분석한다.설정은 Gemma3 1B PT, 1024-token contexts, 무작위로 선택한 document positions를 사용한다.
C.4 어떤 token이 recirculation의 이점을 얻는가?: Part-of-speech 실험은 특정 part of speech로 tagging된 모든 token을 recirculating한 경우와 count-matched random tokens를 비교한다.Figure C.3은 3,120개의 arXiv documents를 사용하며, 각 문서에서 무작위 document position의 1024-token sequence 하나를 추출한다.
D.1 Instruction following: Instruction-following 평가는 800회의 fruit-versus-animal position-identification trial로 구성되며, fruits에 응답하는 경우와 animals에 응답하는 경우를 동일하게 나눈다.응답은 대문자화와 spacing variant를 포함해 first와 second를 나타내는 8개의 candidate tokens 중에서 선택된다.
D.2 맥락화: Contextualization 실험은 pretrained perplexity minimization으로 hyperparameter를 선택하고, gender 및 polysemy conditions에서 Gemma3 instruction-tuned models에 대해서도 추가 sweep을 수행한다.Task-specific sweep은 1B, 4B, 12B models에 대한 Figures D.2–D.4의 upper-right portions에 제시된다.

D.3 객관식 및 단일 토큰 응답 과제

연구에서는 객관식 및 단일 토큰 응답 과제에 Gemma3 4B PT를 사용했으며, 평가 예시와 겹치지 않는 1531 MMLU development-set problems에 대한 sweep으로 recirculation hyperparameter를 선택했다. 그 결과 설정은 source layer 16, destination layer 5, α = 0.09였다.

D.3 객관식 및 단일 토큰 응답 과제: Gemma3 4B PT의 source layer와 destination layer를 sweep하기 위해 1531 MMLU development-set problems를 사용했으며, α는 0.07로 고정했다.해당 문제들은 평가에 사용된 예시와 달랐다.
D.3 객관식 및 단일 토큰 응답 과제: 단일 토큰 응답 데이터셋에 대한 최종 recirculation 설정은 source layer 16, destination layer 5, α = 0.09였다.초기 sweep에서 perplexity가 가장 낮았던 source와 destination의 조합을 고정한 뒤 α를 scan하여 이 값들을 선택했다.
D.3 객관식 및 단일 토큰 응답 과제: 별도의 α scan에서는 source–destination sweep에서 perplexity가 가장 낮았던 조합으로 source layer와 destination layer를 고정했다.이 scan으로 단일 토큰 응답 데이터셋 전반에 사용한 hyperparameter를 정했다.

D.4 표준 벤치마크 데이터셋: GSM8k

GSM8k에서 Gemma3 4B 모델은 perplexity 실험 hyperparameter로 학습되었으며, 질문 prompt를 masking하고 데이터셋의 ground-truth response만 예측했다.

D.4 표준 벤치마크 데이터셋: GSM8k: Gemma3 4B는 perplexity 실험 hyperparameter로 학습되었으며, 질문 prompt를 masking하고 ground-truth response만 prediction target으로 사용했다. 결과에는 최고 성능을 보인 conditional α, β scheme을 사용했다.보고된 scheme은 Figure 13에 강조되어 있다.

D.5 Adaptive recirculation

Adaptive recirculation은 학습된 token-dependent MLP를 사용해 vector-valued α와 β 계수를 생성하며, 평가한 모든 dataset에서 perplexity reduction 기준 fixed-coefficient recirculation을 능가한다. 대부분의 simulation에서는 Gemma3 parameter를 freeze하고 lightweight optimization setting으로 학습하며, downstream evaluation에서는 response token에 맞게 training objective를 조정한다.

Method: Adaptive scheme은 source embedding과 destination embedding을 concatenate해 입력으로 받는 two-hidden-layer GELU MLP를 사용하고, [0,1] 범위로 제한된 coefficient value를 출력한다.MLP는 model hidden size를 사용하고 입력에 layer normalization을 적용하며 sigmoid output activation을 사용한다. parameter는 α = 0.1과 β = 0.9로 초기화된다.
Training setup: Training은 AdamW를 사용해 batch size 32로 100 step 동안 진행되며, LLM fine-tuning을 제외한 simulation에서는 Gemma3 parameter가 freeze된 상태로 유지된다.Default learning rate는 3e-4이고 weight decay는 1e-4다. LLM fine-tuning에서는 learning rate 1e-5를 사용하며 weight decay는 적용하지 않는다.
Evaluation: Perplexity evaluation은 9개 dataset을 대상으로 하며, training과 evaluation 사이에는 서로 겹치지 않는 ArXiv 및 PG19 subset을 배정한다.평가한 dataset은 ArXiv, PubMed, PG19, BookSum, Lambada, Gov Report, BillSum, OpenWebText, Big Patent다.
Results: Adaptive recirculation은 fixed coefficient와 비교할 때 모든 dataset에서 perplexity reduction을 높이며, 많은 dataset에서 그 배수가 3배 이상이다.비교 대상은 fixed α = 0.15, β = 0.85와 각 token에 대해 vector-valued α와 β를 생성하는 MLP다.
Downstream training: Downstream Gemma3 4B task에서는 동일한 hyperparameter를 재사용하고 prompt를 masking한 뒤 response token에 대해서만 학습한다.ARC dataset은 MMLU보다 example 수가 적기 때문에 multi-epoch training을 적용한다.