Recirculation

상태 추적

• 상태 추적 결함은 작업 기억의 기능 저하, 불안정한 마음 이론 표상, 견고한 내부 세계 모델의 부재로 이어질 수 있다 (Song et al., 2026).그 밖에 보고된 결과로는 대화의 비일관성 (Laban et al., 2025), 비효율적인 정보 수집, 다중 에이전트 간 소통과 협력의 저하 (Davidson et al., 2025; Khatua et al., 2026)가 있다.출처: §1 · pp. 1–2
• 맥락화 오류는 모델이 이미 확정한 해석을 뒤집으면서도 그 불일치를 인정하지 않을 때 발생한다 (Lepori et al., 2025).가능한 여러 의미를 유지하는 것은 합리적이지만, 앞서 확정한 의미에서 다른 의미로 전환한다면 이를 밝혀야 한다. 믿음 분포가 감당하기 어려울 만큼 고차원이 되면 샘플링, 원형, 구체적인 심성 모형 등의 근사를 쓰더라도 상태 추적은 여전히 필요하다.출처: §1 · p. 2
• 트랜스포머의 얕은 층은 더 깊은 층의 맥락화된 표현에 접근할 수 없어, 응답 생성이 의미 수렴보다 앞서 나갈 수 있다 (Lepori et al., 2025).병렬 학습과 프리필은 전통적인 순차 상태 갱신을 불가능하게 하지만 (Mozer et al., 2026), 트랜스포머는 유한한 길이에서 작동하는 우회 방식을 학습한다 (Piotrowski et al., 2025; Prakash et al., 2026; Shai et al., 2024). ‘bank’ 예시에서는 깊은 층이 이미 의미를 명확히 했는데도 초기 응답 처리는 모호한 표현에 의존할 수 있다.출처: §1 · pp. 1–2, Figure 2 · p. 3
• 핵심 토큰에서 의미가 명확해진 깊은 층의 표현을 얕은 층으로 복사하자 맥락화 오류가 60% 감소했다 (Lepori et al., 2025).실험에는 핵심 토큰의 맥락화가 필요한 질문을 생성해 사용했으며, 활성값 패칭은 해당 토큰에만 적용했다.출처: §1 · p. 2
• 매 토큰에서 깊은 층의 활성값을 얕은 층에 소량 흘려보내면, 재학습하거나 표현을 분포 밖으로 밀어내지 않고도 표현을 풍부하게 만들 수 있다.이 제안은 약한 되먹임과 표현의 전면 교체를 대비한다. 저자들은 전면 교체를 무분별하게 적용하면 해로운 되먹임 증폭이 발생할 것으로 추측한다.출처: §1 · p. 3
• 잔차 스트림의 정렬은 임의의 어댑터 없이도 깊은 층과 얕은 층 사이의 직접 소통을 가능하게 할 수 있다.이 논거는 층 사이에 서로 대응하는 특징이 있다고 가정한다. 잔차 스트림에 더해지는 기여분은 어느 깊이에서 더해지든 출력에 동일한 직접 효과를 낸다. 따라서 의미가 명확해진 표현을 되먹임하면 후속 처리에 유용한 의미적 특징을 증폭할 수 있다.출처: §1 · p. 3

2 제안 방법: Recirculation

• Recirculation은 깊이와 입력 단계 양쪽에 걸쳐 순환 구조를 도입해, 연속된 상태가 looping처럼 점차 깊은 층으로 이동하는 대신 동일한 층에 놓이도록 한다.준비 단계가 끝나면 두 입력 스택이 병렬로 실행되며, 각 스택의 첫 반복 후 출력을 읽어 낸다. 보고된 모든 실험은 추가 반복을 한 번만 사용하며, 반복 횟수를 무제한으로 늘리면 recirculation은 진정한 순환 신경망이 된다.출처: §2 · p. 4, Figure 3 · p. 5
• Recirculation은 prefill에서도 순차 처리가 필요한 반면, looping을 적용한 transformer는 고정된 입력 시퀀스를 병렬로 처리할 수 있다.Looping을 적용한 transformer는 각 입력 스택 내에서 공유 블록을 반복 적용하며, 자기회귀 디코딩 중에는 앞선 스택을 고정하거나 캐싱한다. Recirculation은 입력 단계 간에 상태를 갱신하므로 이와 같은 시퀀스 전체의 병렬화가 불가능하다.출처: §2 · p. 4
• Recirculation은 깊은 출발 층과 얕은 도착 층의 활성값을 볼록 결합한다. 이는 유입되는 잔차 스트림을 반복 처리된 활성값으로 대체하는 looping과 다르다.별도 언급이 없으면 혼합 계수는 β = 1 − α를 만족하며, 활성값의 크기를 제어하기 위해 소스 활성값을 대상 활성값과 L2 노름이 같아지도록 재조정한다.출처: §2 · pp. 3–4

반복형 트랜스포머

• Looping은 매개변수를 추가하지 않고 깊이를 늘리지만 무한정 상태를 추적할 수 있음을 보장하지는 않는다. 추론 시 적용하는 변형들이 recirculation과 가장 유사하다.Looping은 층을 반복 실행하며(Giannou et al., 2023) 표현력을 높일 수 있지만(Saunshi et al., 2025), recirculation의 순환 구조와는 개념적으로 다르다. 관련 접근법은 사전 학습, 미세 조정(Koishekenov et al., 2025; McLeish et al., 2025), 또는 추론 시에만 적용하는 추론 능력 개선 기법(Li et al., 2025b; Chen et al., 2026)을 사용한다.출처: §3 · pp. 5–6

학습 목적함수

• 학습 목적함수는 상태 갱신 함수로 해석할 수 있는, 상태를 담는 층 임베딩을 유도한다(Hu et al., 2025; Teoh et al., 2025; Huang et al., 2026).이러한 손실함수는 정확하거나 근사적인 상태 갱신 해가 존재할 때 그 해를 얻도록 설계된다.출처: §3 · p. 6

상태 추적

• 트랜스포머의 상태 추적은 모델 깊이에 제약을 받으며, 상태 표현이 더 깊은 층으로 이동할수록 이를 활용하기도 어려워진다.Merrill and Sabharwal (2025)는 길이가 최대 n인 정규 언어의 문자열 인식과 정점이 n개인 그래프의 연결성 판별에 log n개 층이 필요충분함을 증명한다. 이는 학습 가능성이 아닌 구성 가능성을 입증한다. 그럼에도 학습된 깊이 제한 모델은 특정한 유한 길이 문제를 풀 수 있다(Piotrowski et al., 2025; Prakash et al., 2026; Shai et al., 2024).출처: §3 · p. 6

순환 트랜스포머

• 순차적인 순환 갱신은 임의의 상태 동역학을 표현할 수 있지만, 많은 상태 공간 모델의 표현력은 일반적인 트랜스포머를 넘지 못한다(Merrill et al., 2025).순환 트랜스포머는 토큰 단위로 갱신할 수 있지만, 대부분 블록 단위 순환을 사용한다. 본문은 이러한 능력을 상태 공간 모델과 구별하며, 상태 공간 모델은 어느 것도 일반적인 순환 신경망만큼 표현력이 높지 않다고 설명한다.출처: §3 · p. 6

사고 모델

• Chain-of-thought 사고는 깊은 층에서 얕은 층으로 상태를 전달하며, 순환을 통해 표현력을 높인다(Li et al., 2024; Merrill and Sabharwal, 2024).사고 과정은 자연어 토큰이나 잠재 공간을 사용할 수 있다(예: Hao et al., 2025; Jolicoeur-Martineau, 2025). 이러한 순환은 병렬성을 제한하므로 학습 비용이 높을 수 있다.출처: §3 · p. 6

활성값 조향

• Recirculation은 외부에서 도출한 정적인 조향 벡터 대신 문맥화된 심층 활성값으로 더 얕은 층의 표현을 유도하여, 추론 시 자기 조향을 수행한다.활성값 조향은 잠재 표현에 개입하여 동작을 조절한다(Turner et al., 2023; Zou et al., 2023; Gao et al., 2025). 이러한 표현은 진실성과 거부 응답을 좌우하는 방향을 부호화한다(Marks and Tegmark, 2023; Arditi et al., 2024).출처: §3 · p. 6

4.1 하이퍼파라미터 탐색; 4.2 perplexity 평가

• Recirculation을 적용하지 않은 경우 대비 Gemma3 1B/4B의 perplexity는 최대 16%, 12B는 최대 35% 감소했으며, 10개 데이터셋 중 9개에서 일관된 개선을 보였다.하이퍼파라미터 탐색으로 1B, 4B, 12B의 소스/대상 쌍을 각각 {11, 4}, {18, 9}, {35, 16}으로 선택했다. α를 높이면 효과가 커졌지만 성능을 저하시키는 쌍도 늘었으며, 평가는 별도의 평가 분할에서 α = 0.15로 수행했다. Lambada는 짧은 시퀀스와 토큰화 과정의 왜곡으로 예외적인 양상을 보였다. 12B 모델은 지시 튜닝 후 다운스트림 성능이 뛰어난 데 비해 언어 모델링 성능은 상대적으로 낮다(Gemma Team et al., 2024).출처: §4.2 · p. 7, §4.1 · p. 7, Table 1 · p. 8

4.3 정규화와 점진 적용

• 소스 임베딩 재정규화는 하이퍼파라미터 탐색을 안정화하고, 초기 토큰 점진 적용은 Gemma3 1B의 perplexity를 소폭 낮추며, 더 큰 모델에는 비볼록 혼합이 필요하다.재정규화는 최대 perplexity 감소폭보다 소스/대상 쌍 전반의 안정성을 높인다. Gemma3 4B와 12B에서는 β = 1 − α 대신 β = 1을 쓰는 것이 필수적이다. 초기 토큰의 α를 줄이면 1B에서 나타나는 초기 토큰의 성능 저하를 완화하며, 이러한 저하는 4B와 12B에서는 관찰되지 않았다.출처: §4.3 · p. 8

4.4.1 모델 계열 전반의 강건성; 4.4.3 Recirculation과 looping 비교

• Perplexity 감소폭은 Gemma3에서 약 5%, 효과가 있는 다른 네 모델 계열에서는 0.5% 미만으로 차이가 난다. 학습 없는 looping은 Gemma3에서 이처럼 일관된 개선을 보이지 못한다.Ministral3, Pythia, Qwen3, Phi2는 중간 층에서 효과가 가장 크지만, α와 정규화는 조정하지 않았다. Gemma2와 Gemma4는 Gemma3만큼 뚜렷한 개선을 보인다. 여러 모델 규모에서 효과가 있는 recirculation과 달리, 학습 없는 looping은 더 큰 Gemma3 모델에서만 효과를 보인다.출처: Figure 7 · p. 9, §4.4.1 · p. 9, Figure 8 · p. 10

4.4.2 Recirculation과 온도 조정 비교

• Gemma3 1B에서 recirculation과 온도 조정을 결합하면 perplexity가 19.55% 감소하며, recirculation만 적용하면 14.21%, 온도만 조정하면 8.48% 감소한다.온도를 조정한 두 조건 모두 기본값 1.0 대신 1.2를 사용한다. 개선 효과가 거의 합산된다는 점은 토큰과 무관한 온도 조정으로 recirculation의 효과를 설명할 수 없음을 보여준다.출처: §4.4.2 · pp. 9–10

4.4.4 어떤 토큰이 recirculation의 효과를 얻는가?

• Recirculation의 효과는 토큰 위치와 내용에 따라 달라지며, 짧은 시차에서는 효과가 크고 긴 시차에서도 개선이 지속되지만, 맨 앞 위치에서는 성능이 저하된다.Gemma3 1B의 1024토큰 윈도에서는 대략 t < 10에서 성능이 저하되지만, 위치 20–200에서는 시차 256에서도 효과가 유지된다. 부사, 형용사, 동사의 효과가 가장 크고 수사, 한정사, 대명사의 효과가 가장 작다. 복수 명사는 일관된 효과를 보이지만 단수 명사는 그렇지 않으며, Galashov et al. (2025)도 이 차이를 지적했다. 하나를 제외한 모든 토큰에 적용하는 보완 실험에서는 로그우도 개선 효과가 가산적으로 나타나, 상태 표현이 지속된다는 해석을 뒷받침한다.출처: §4.4.4 · pp. 10–11, Figure 9 · p. 11

4.5.1 지시 이행; 4.5.2 맥락화

• Perplexity를 기준으로 선택한 recirculation 하이퍼파라미터를 사용하면 Gemma3 4B와 12B IT의 지시 이행 오류율이 각각 약 25%와 75% 감소한다.과제별 층 탐색은 정확도를 더 높였지만, 의도적으로 지시 이행 과제에 과적합시켰다. 맥락화는 세 질문 유형 중 1B와 4B에서 두 유형을 개선했으나, 12B에서는 두 유형의 성능을 떨어뜨렸다. 하이퍼파라미터는 사전학습 모델에서 선택했으며, 지시 튜닝 모델에서 탐색하면 개선폭이 더 컸다.출처: §4.5.1 · pp. 11–12, Figure 10 · p. 12, §4.5.2 · p. 12

4.5 생성 과제; 4.5.3 객관식 및 단일 토큰 응답 과제; 4.5.4 GSM8k

• Recirculation은 Gemma3 4B PT 기준 모델 대비 단일 토큰 벤치마크 8개 중 6개를 소폭 개선하며, GSM8k에서는 pass@1과 pass@128 모두 개선한다.제로샷 단일 토큰 평가에서는 MMLU 개발 세트로 하이퍼파라미터를 선택했으며, 정확도는 소폭 상승하거나 하락했다. 제로샷 GSM8k의 개선은 기존 능력의 정교화와 능력 범위의 확장을 모두 시사하며, 단일 토큰 응답보다 긴 응답에서 효과가 더 큰 것으로 보인다.출처: Table 2 · p. 13, §4.5.3 · p. 13, Figure 12 · p. 14

4.6 적응형 recirculation

• 적응형 recirculation의 토큰 조건부 혼합 벡터는 스칼라 또는 고정 방식보다 우수하며, Gemma3 1B의 perplexity 감소폭에서는 전체 미세조정도 소폭 앞선다.소스 층과 대상 층을 고정한 상태에서 MLP가 토큰별 소스 및 대상 임베딩으로부터 벡터 형태의 α와 β를 학습한다. 학습에는 arXiv, C4, PG19에서 각각 250개 문서를 사용하며, 9개 데이터셋에서 6가지 변형을 평가한다.출처: Figure 13 · p. 14, §4.6 · p. 15
• 적응형 recirculation의 평균 perplexity 감소율은 23.0%로, 기본 recirculation의 8.5%와 Gemma3 1B 전체 미세조정의 21.6%를 웃돈다.적응형 recirculation은 9개 데이터셋 모두에서 기본 recirculation을 앞선다. Gemma3 자체를 변경하지 않으므로, 논문에서 지적한 모델 미세조정에 따른 과적합 위험을 줄인다.출처: §4.6 · p. 15
• 적응형 recirculation의 단일 토큰 과제 결과는 학습 데이터에 크게 좌우된다. MMLU로 적응하면 성능이 향상되지만, ARC Easy나 ARC Challenge로 적응하면 성능이 크게 하락한다.약 14,000개 MMLU 테스트 예제 중 3,600개로 적응하면 모든 평가에서 개선되지만, MMLU 평가에는 학습 예제가 포함된다. 다른 데이터셋에서의 개선은 일반화 성능을 보여준다. MMLU 보조 학습 분할을 사용하면 전반적으로 개선되지만, 이 분할은 품질이 낮고 데이터 오염 가능성이 있다(Hendrycks et al., 2021). ARC 학습 데이터셋은 훨씬 작다.출처: §4.6 · p. 15
• 적응형 recirculation은 모델 가중치를 변경하지 않고 GSM8k 오류율을 pass@1과 pass@128에서 각각 8.8%와 20.9% 낮춘다.단일 토큰 응답 과제에서는 일관된 개선이 없었지만, 이러한 성과는 긴 생성 응답에서의 가능성을 뒷받침한다.출처: §4.6 · p. 16

5 논의

• 학습 없는 recirculation은 사전 학습 및 지시 튜닝된 Gemma3 모델에서 perplexity를 낮추고 지시 이행, 질의응답, 문제 해결 성능을 높인다.현대 하드웨어가 두 Transformer 스택의 연산을 효율적으로 병렬화하므로 생성 시 연산 비용은 거의 추가되지 않는다. 다만 문맥이 길면 자기회귀적 prefill이 느릴 수 있다.출처: §5 · p. 16
• Recirculation은 학습 없는 looping과 잔차 경로의 표현 정렬이라는 특성을 공유하지만, looping, 가변 연산 시간, 잠재 사고, 사고 연쇄와는 구별되며 상호 보완적이다.논의에서는 주로 학습에 의존하는 아키텍처 연구의 예외로 학습 없는 looping(Li et al., 2025b; Chen et al., 2026)을 제시하며, 표현 정렬의 근거로 Elhage et al. (2021)을 인용한다.출처: §5 · p. 16

5.1 모델이 제공하는 설계 가능성

• Recirculation은 모델이 제공하는 설계 가능성을 탐색한다. 비용이 큰 학습을 요구하는 변경을 제안하기보다 사전 학습 모델의 내부 특성에 따라 아키텍처를 변경한다.모델 자체가 순환 경로의 배치, 활성값 혼합, 정규화의 설계 근거가 된다. 관찰 결과는 어댑터나 교차 어텐션 대신 단순한 활성 벡터 혼합만으로도 충분할 수 있음을 시사한다. 적응형 실험은 가중치를 보존하면서 효과를 내는 변경이 학습을 촉진할 수 있는 귀납적 편향을 드러낸다는 가설을 뒷받침한다.출처: §5.1 · p. 16

5.2 한계와 향후 방향

• 과제 의존적 하이퍼파라미터는 범용 설정이나 과제에서 하이퍼파라미터로의 자동 매핑을 찾지 못하는 한 실용적 적용을 제약한다.출발·도착 층과 계수 alpha와 beta는 문제에 따라 달라지는 것으로 보이지만, 소수의 예제만으로도 설정을 선택할 수 있는 경우가 많다. 설정은 perplexity 평가에서 후속 과제로, MMLU에서 다른 단일 토큰 응답 과제로 전이된다.출처: §5.2 · pp. 16–17
• 출발 층 활성값의 정규화가 강건성을 높이고 한 정규화 방식이 여러 Gemma3 모델 크기에서 작동하지만, 모델 계열 간 일반화와 정규화의 필요 조건은 여전히 미해결 문제다.다른 모델 계열에서도 정성적으로 유사한 양상이 나타나지만, Gemma의 Peri-LN 아키텍처와 학습 최적화가 더 큰 이득을 가져올 수 있다. 정규화가 필요한지, 다른 모델 계열에는 어떻게 적용해야 하는지는 추가 실험으로 확인해야 한다.출처: §5.2 · p. 17
• 블록 단위 recirculation은 토큰 묶음을 병렬 처리해 순차적 prefill 비용을 줄일 수 있지만, 그에 따른 성능 절충은 아직 탐구되지 않았다.제안된 방식은 K개 토큰을 함께 처리하고 다음 K개 토큰과 함께 재순환시킨다. 그렇지 않으면 긴 문맥을 다루는 기반 모델에서 순차적 prefill은 실용적으로 불가능할 수 있다.출처: §5.2 · p. 17
• 반복 횟수 증가와 동시 다중 경로는 아직 탐구되지 않은 recirculation 확장 방향으로, 비용이 낮은 병렬 스택과 상호 보완적일 수 있는 상태 표현을 활용할 수 있다.평가된 방법은 하나의 출발–도착 층 쌍을 통해 각 스택을 한 번 재순환시킨다. 제안된 확장은 각 스택을 r번 재순환시키거나 여러 층 쌍을 사용한다. Gemma3 4B와 12B의 설정 탐색에서 효과가 나타나는 영역들이 서로 떨어져 있다는 관찰은 서로 다른 경로가 다른 추상화 수준의 상태 정보를 전달한다는 가설의 근거가 된다.출처: §5.2 · p. 17
• 적응형 recirculation은 소규모 튜닝 데이터와 변경하지 않은 모델 가중치로 성능을 높이며, 토큰에 따라 달라지는 경로와 정규화에는 추가 적응의 여지가 남아 있다.저자들은 내부 동역학을 활용하면 문맥 이해를 강화하고 장시간에 걸친 다중 턴 추론을 지원할 수 있다고 제안한다.출처: §5.2 · p. 17

• recirculation을 k번 반복하려면 입력 단계마다 k + 1개의 스택을 실행해야 한다.출처: A Unrolled recirculation architecture · p. 24
• Figure A.1은 recirculation을 두 번 반복하는 아키텍처를 전개된 트랜스포머로 나타낸다.출처: A Unrolled recirculation architecture · p. 24, Figure A.1 · p. 24
• Figure A.1에서는 recirculation을 두 번 반복하므로 각 스택을 세 번 통과한다.출처: Figure A.1 · p. 24

B.1 하이퍼파라미터 탐색

• Figures 5 and 6의 하이퍼파라미터 탐색에는 학습 문서에서 추출한 1024토큰 문맥 윈도우를 사용했다.출처: §B.1 · p. 24
• 각 문서에서 윈도우를 최대 2개 추출했다.출처: §B.1 · p. 24
• 각 문서가 추출된 윈도우의 끝까지 이어져야 한다는 조건을 두어 채움 토큰이 포함된 윈도우를 제외했다.출처: §B.1 · p. 24
• arXiv의 윈도우 484개에서 예측 대상 토큰 495132개를 얻었다.출처: §B.1 · p. 24
• C4의 윈도우 488개에서 토큰 499224개를 얻었다.출처: §B.1 · p. 24
• PG19의 윈도우 500개에서 토큰 511000개를 얻었다.출처: §B.1 · p. 24

B.2 퍼플렉시티 평가

• 퍼플렉시티 평가는 10개 데이터셋을 기반으로 했다. 9개는 평가 세트 전체를, big patent는 첫 10000개 문서를 사용했다.전체를 사용한 평가 세트는 arXiv, billsum, booksum/books, C4/webtextlike, gov report, lambada, newsroom, PG19, pubmed였다. C4는 검증 분할을, 나머지는 모두 테스트 분할을 사용했다.출처: §B.2 · p. 24
• 평가에는 1024토큰 청크를 사용했으며, 길이를 채우지 못한 윈도는 제외했다. 단, 문서가 대체로 너무 짧은 C4/webtextlike, lambada, newsroom은 예외로 했다.실제 평가에 사용된 토큰 수는 Table 1에 제시했다.출처: §B.2 · p. 24
• 1B, 4B, 12B 모델의 하이퍼파라미터 탐색에서 선택한 소스–대상 쌍은 별도 언급이 없는 한 논문 전반에서 그대로 사용했다.선택한 하이퍼파라미터는 Table B.1에 제시했다.출처: §B.2 · p. 24, Table B.1 · p. 25

B.3 정규화와 점진적 증가

• 소스 벡터 스케일링은 트랜스포머 층을 거치며 임베딩 노름이 증가할 때 재순환된 활성값이 대상 활성값을 압도하지 않도록 돕는다 (Liu et al., 2020).정규화 방식별 탐색에서는 arXiv, C4, PG-19 튜닝 데이터셋의 퍼플렉시티 변화율을 백분율로 측정했다.출처: §B.3 · p. 25
• 평가한 Gemma3 모델 전반에서 L2 정규화는 정규화하지 않을 때보다 성능이 낮은 하이퍼파라미터 설정을 적게 낳는다.다른 후보 방식들은 히트맵에서 병적인 양상을 보이거나 단순한 노름 비율 방식과 비슷하게 작동했다.출처: §B.3 · p. 25, Figure B.1 · p. 25, Figure B.2 · p. 26
• Gemma3 1B에서는 소스–대상의 볼록 혼합이 비볼록 혼합보다 성능이 좋지만, Gemma3 4B와 12B에서는 비볼록 혼합의 성능이 더 좋다.저자들은 소스에 노름 비율 보정을 적용해 두 혼합 방식을 모두 평가할 것을 권장한다. Gemma3 1B에서는 처음 10단계 동안 α_t = min(t/10, 1)α로 계수를 점진적으로 높이면 퍼플렉시티가 소폭 더 감소한다.출처: §B.3 · p. 25, Figure B.1 · p. 25, Figure B.2 · p. 26

C.1 아키텍처 전반의 강건성

• 저자들은 Gemma가 recirculation과 잘 맞는 이유가 Peri-LN 출력 정규화(Kim et al., 2025)와 학습 중 최적화 과정에 있다는 가설을 제시한다.입력에만 정규화를 적용하는 방식과 달리, 출력 정규화는 후반부 층의 기여가 줄어드는 현상을 방지할 수 있다(Sun et al., 2026). 모델 계열 간 탐색에서는 arXiv 학습 데이터로 Gemma3 1B와 Ministral3, Qwen3, Pythia, Phi2를 비교했다.출처: §C.1 · pp. 26–27
• Gemma2와 Gemma4에서 recirculation의 성능 향상은 Gemma3와 비슷하지만, 일부 하이퍼파라미터 영역에서는 성능이 저하된다.이 비교에는 arXiv 학습 데이터를 사용했다. 소형 Gemma4 변형 모델의 불안정성은 층 간 KV-cache 공유와 층별 임베딩으로 설명될 수 있다(Team et al., 2026).출처: §C.1 · pp. 26–27, Figure C.1 · p. 28

C.2 Recirculation과 온도 조정 비교

• PG-19 평가 데이터에서 Gemma3 1B의 최적 softmax 온도는 recirculation 적용 여부와 관계없이 약 1.2였다.평가에는 1024토큰을 모두 채운 청크를 사용했다. 보고된 통합 최적값은 recirculation 없이 시험한 온도 범위 내에서만 구했다.출처: §C.2 · p. 27, Figure C.2 · p. 28

C.3 Recirculation과 looping 비교

• Recirculation과 looping을 비교하기 위해 arXiv 학습 문서 250개에서 각각 1024토큰 부분 시퀀스 두 개를 추출했다.Recirculation에는 α = 0.07을 사용했고, Gemma3 1B에는 β = 0.93을, 4B와 12B 모델에는 β = 1.0을 사용했다.출처: §C.3 · p. 28

C.4 어떤 토큰이 recirculation의 이점을 얻는가?

• 토큰 선택적 실험에서는 개별 토큰의 recirculation이 후속 처리에 미치는 영향을 살펴보고, 품사로 선택한 토큰의 recirculation과 같은 수의 무작위 토큰에 적용한 recirculation을 비교했다.Gemma3 1B PT의 개별 토큰 실험에서는 arXiv 학습 문서 24,960개를 사용해 위치 0–767에 recirculation을 적용하고 거리 1–256에서 영향을 살펴봤다. 품사 선택적 실험에서는 1024토큰 시퀀스로 구성한 문서 3,120개를 사용했다.출처: §C.4 · p. 28, Figure C.3 · p. 29

D.1 지시 따르기

• 지시 따르기 실험 800회에서는 과일 이름 스무 개와 동물 이름 스무 개로 만든 단어 쌍에서 과일이나 동물의 위치를 식별하는 능력을 평가했다.Gemma3 1B의 성능은 사실상 우연 수준이었다. 과제별 층 탐색으로 성능 상한을 추정했으며, 4B와 12B 평가에서는 perplexity를 기준으로 선택한 층에도 α = 0.07을 적용했다.출처: §D.1 · p. 29

D.2 맥락화

• 맥락화 실험에서는 Lepori et al. (2025)를 활용해 사전학습 모델의 perplexity, 지시 조정 모델의 perplexity, 또는 오답 선택지가 다섯 개인 성별·다의성 과제의 정확도로 선택한 recirculation 하이퍼파라미터를 비교했다.1B 모델의 성능은 오답 선택지가 없는 다의성 문항을 제외하면 우연 수준을 크게 넘지 못했다.출처: §D.2 · p. 29

• 평가 예제와 겹치지 않는 MMLU 개발 세트 문제 1531개를 Gemma3 4B PT의 하이퍼파라미터 선택에 사용했다.출처: §D.3 · p. 29
• 모든 단일 토큰 응답 데이터셋에 출발 층 16, 도착 층 5, α = 0.09를 사용했다.출처: §D.3 · p. 30
• 먼저 α = 0.07에서 출발–도착 층 쌍을 탐색한 뒤, 이 탐색에서 퍼플렉서티가 가장 낮았던 쌍을 고정하고 α를 탐색했다.출처: §D.3 · pp. 29–30

GSM8k

• 보고된 GSM8k 결과는 성능이 가장 높은 조건부 α, β 방식만 사용한 결과다.선택된 방식은 Figure 13에 강조되어 있으며, 이 대목에는 벤치마크 점수가 제시되지 않는다.출처: §D.4 · p. 30
• 학습 시 질문 프롬프트를 마스킹하고 Gemma3 4B가 데이터셋의 정답 응답만 예측하도록 최적화했다.출처: §D.4 · p. 30
• Gemma3 4B는 프롬프트 마스킹을 제외하면 Section 4.6의 perplexity 실험과 동일한 하이퍼파라미터를 사용했다.출처: §D.4 · p. 30

D.5 적응형 재순환

• PG19, C4, arXiv에서 각각 250개 문서를 추출해 온전한 1024토큰 구간으로 시간 역전파 학습을 수행한 뒤, 아홉 개 데이터셋에서 평가한다.퍼플렉시티 실험에는 앞서 선택한 소스 층과 대상 층을 적용한 Gemma3 1B PT를 사용한다. 평가 데이터셋은 ArXiv, PubMed, PG19, BookSum, Lambada, Gov Report, BillSum, OpenWebText, Big Patent이며, ArXiv와 PG19의 학습·평가 부분집합은 서로 겹치지 않는다.출처: §D.5 · pp. 30–32
• Teoh et al. (2025)을 따라, 은닉층이 두 개인 GELU MLP가 소스 및 대상 임베딩을 이어 붙인 입력에서 토큰별 벡터 계수를 예측한다.입력에 층 정규화를 적용한 뒤 모델 차원과 너비가 같은 은닉층을 거친다. 조건부 벡터 방식은 모델 차원의 두 배 크기로 출력하여 각 차원에 α와 β를 제공한다.출처: §D.5 · pp. 31–32
• 시그모이드 출력으로 계수를 [0,1]로 제한하며, 적절한 그리드 탐색 범위를 바탕으로 α = 0.1, β = 0.9로 초기화한다.출처: §D.5 · p. 32
• 학습은 100스텝, 배치 크기 32, AdamW 를 사용하며, 대체로 Gemma3 매개변수를 동결한다.기본 학습률은 3e-4, 가중치 감쇠는 1e-4다. 반면 LLM 미세 조정은 가중치 감쇠 없이 학습률 1e-5를, 비조건부 방식은 가중치 감쇠 없이 1e-1을 사용한다.출처: §D.5 · p. 32
• Gemma3 4B의 다운스트림 학습은 프롬프트를 마스킹하고 응답만 학습하며, 퍼플렉시티 실험의 하이퍼파라미터를 유지하되 규모가 작은 ARC 데이터셋에서는 여러 에포크를 수행한다.단일 토큰 벤치마크에서는 응답 토큰 하나로 학습한다. ARC 학습은 배치 크기 32로 100스텝에 걸쳐 3200개 예제를 처리한다.출처: §D.5 · pp. 32–33

D.5 적응형 recirculation

• 적응형 Gemma3 1B recirculation은 많은 데이터셋에서 perplexity 감소율을 세 배 이상 개선하며, 모든 데이터셋에서 고정 계수 방식보다 나은 결과를 보인다.고정 계수 비교 방식은 α = 0.15와 β = 0.85를 사용하며, 적응형 recirculation은 각 토큰에 대해 벡터값 α와 β를 예측한다.출처: Figure D.6 · p. 32, §D.5 · p. 32