Dimensionless Controls of Plasticity Under Alternating Tasks: From Evolutionary Biology to Continual Learning

Owen Skriloff

Source-linked AI summary

Dimensionless Controls of Plasticity Under Alternating Tasks: From Evolutionary Biology to Continual Learning

Owen Skriloff

arXiv:2608.23889v12026년 8월 24일math.OCcs.LG

TL;DR

교대 환경에서의 plasticity는 생물학적 제어 요소 중 어떤 것이 gradient-based learning으로 옮겨졌을 때에도 유지되는지라는 질문을 제기한다. 교대 Boolean task를 사용해 논문은 plasticity를 지배하는 두 가지 dynamical control을 식별하고, reach를 조정하기 위한 task disagreement 기반 heuristic을 도출한다.

문제
이 논문은 교대 환경의 dynamics를 deep learning으로 옮겼을 때 생물학적 plasticity의 어떤 제어 요소가 유지되는지 묻는다.
방법
저자들은 Boolean label set에 대해 neural network를 교대로 학습시키고, 생물학적 요인을 task disagreement r과 reach ηT로 재정식화한다.
결과
Plasticity는 r과 ηT에 의해 지배되며 neutral-set size의 영향은 무시할 수 있다. 최적 reach는 ηT* ∝ r^-1.18을 따른다.
핵심 결론 및 한계
결과는 geometric analogy보다는 dynamical analogy를 지지하며, task disagreement만으로 최적 reach를 설정할 수 있음을 시사한다.
핵심 결론 및 한계
최소한의 Boolean-task 설정에서는 추정된 scaling exponent를 정교화하려면 reach와 r의 상호작용을 더 세밀하게 sweep해야 한다.

Abstract

from arXiv · show

Plasticity under changing environments is central to both evolutionary biology and continual learning. Motivated by recent work on genotype--phenotype maps, we study a minimal deep-learning analogue where a network is trained alternately on two Boolean label sets, and ask which biological controls of plasticity survive the translation to gradient descent. Reinterpreting four proposed biological factors as quantities of training dynamics, we find the system reduces to two dimensionless controls: the task disagreement $r$, the fraction of disagreeing labels, and the reach $ηT$, the product of learning rate and switching period. We derive two bounds on plasticity: $r$ alone fixes an extremal geometric floor on the utopia distance, while $r$ and $ηT$ jointly bound forgetting. Across 9,720 trajectories, an ANOVA confirms that $r$, $η$, and $T$ dominate, while the effect of neutral-set size (emphasized in the biological setting) is negligible. The optimal reach itself follows an approximate inverse power law $ηT^{*}\propto r^{-1.18}$, yielding a heuristic that sets the optimal reach $ηT^*$ from the task disagreement alone. The analogy that survives is therefore dynamical rather than geometric, and our setting enables a view of plasticity through the lens of other driven systems in physics and engineering.

1. 서론

이 논문은 교대 환경에서의 생물학적 plasticity를 최소 deep-learning 설정으로 옮겨 dimensionless control, 이론적 bound, 경험적 동역학 구동 요인을 규명한다. 결과는 물리학 및 공학의 주기적 외력이 가해지는 시스템과 연결되는, 해석 가능한 learning mechanics를 뒷받침한다.

동기: 이 연구는 생물학적 plasticity 연구를 두 label set에서 교대로 학습하는 deep network로 옮기며, 제안된 네 가지 생물학적 control인 neutral set size, Hamming distance, switching period, mutation rate를 바탕으로 한다.더 넓은 동기는 continual learning과 evolutionary biology 사이에 공유되는 구조가 있다는 증거다.
learning mechanics를 향하여: learning rate를 inverse resistance로, switching period를 relaxation time으로 해석하면 ηT는 한 phase 안의 relaxation을 측정하는 dimensionless reach가 되며, model을 주기적 외력이 가해지는 시스템과 연결한다.이 analogy는 physics, electrical engineering, chemical engineering의 driven system에서 도출한다.
핵심 기여: Alternating-training plasticity는 네 가지 생물학적 요인을 두 dimensionless control인 task disagreement r과 reach ηT로 환원하며, optimal reach는 ηT* ∝ r^-1.18 ≈ 1/r이다.나머지 요인들의 기여는 부차적이므로 ηT*는 r만으로 설정할 수 있다.
핵심 기여: task disagreement r은 utopia distance에 대한 tight geometric floor, dU ≥ 2(1 − 2^-r)를 정하며, r과 ηT는 함께 forgetting을 bound한다, Δa1 ≲ e^r ηT M^-1.이는 각각 Theorem 2와 Theorem 1로 제시된다.
경험적 검증: 9,720 trajectories에 걸쳐 ANOVA는 neutral-set size의 영향이 negligible인 반면, task disagreement, learning rate, switching period가 지배적임을 보인다.이는 생물학에서 강조된 static landscape quantity와 dynamic training quantity를 대조한다.

2. 관련 연구

관련 연구는 공통된 물리적·기하학적·적응 개념을 통해 neural network, evolutionary biology, continual learning을 연결한다. 본 연구는 교대 환경에서의 plasticity를 네 가지 생물학적 제어 요인과 연결한 선행 연구를 기반으로 한다.

분야 간 연결: Evolutionary biology와 learning은 genetic algorithms, 공통된 단순성 편향, central dogma를 generative model로 해석하는 관점을 통해 연결되어 왔다.Neural networks는 artificial-neuron model과 spin-glass model을 포함한 biomimicry와 statistical physics에서 비롯되기도 했다.
Continual learning과 plasticity: Continual learning에서 plasticity loss는 잘 알려져 있으며, 연구는 주로 task 변화에 따른 catastrophic forgetting을 다룬다 (Kirkpatrick et al., 2017; Yu et al., 2020).최근 연구는 forgetting을 loss-landscape geometry와도 연결한다 (Mirzadeh et al., 2020).
Landscape geometry: 유전자를 parameter로 갖는 fitness landscape는 weight와 bias로 정의되는 neural-network loss landscape와 기하학적으로 유사하며, connected minima, flatness, generalization을 포함한다.이러한 유사성은 동일한 optimal phenotype을 생성하는 genotype–phenotype map의 크고 연결된 neutral set을 떠올리게 한다.
Plasticity의 생물학적 제어 요인: García-Galindo and Ahnert (2025)는 교대 환경에서 plasticity가 나타남을 보이고, neutral-set size, Hamming distance, switching period, mutation rate를 네 가지 제어 요인으로 식별했다.본 연구는 이러한 생물학적 analogy가 continual learning으로 전이되는지 검증한다.

3. 표기법과 핵심 양

이 절에서는 alternating training을 위한 성능 proxy와 두 plasticity metric을 정의한 뒤, task disagreement r과 reach ηT가 핵심 dimensionless control임을 밝힌다. 또한 training factor와 task factor의 영향력을 비교하기 위해 Type II ANOVA를 도입한다.

Plasticity: Plasticity는 continual learning에서는 지속적인 learning으로 정의되지만, evolutionary 맥락에서는 환경 간 동시적 성능 또는 변화에 대한 빠른 adaptation을 뜻한다.
Accuracy proxy: Accuracy proxy aj(t) = e^-ℓj(t)는 task loss를 (0, 1] 범위의 유계 성능 값으로 변환하여, alternating-training trajectory를 unit square에 배치한다.
Utopia distance: Utopia distance dU는 마지막 두 switching period 동안 (a1, a2)에서 (1, 1)까지의 Euclidean distance를 평균한 값이며, 낮은 dU는 더 높은 plasticity를 나타낸다.한 task에서는 뛰어나지만 다른 task에서는 성능을 지속하지 못하는 trajectory를 불리하게 평가한다.
Forgetting amplitude: Forgetting amplitude Δa1은 task 2로 전환한 뒤 task-1 성능에서 발생하는 peak-to-peak 손실을 측정하며, catastrophic forgetting 및 evolutionary robustness measure에 대응한다.
Dimensionless control: 두 dimensionless control은 task disagreement r = dH/N, 즉 label이 다른 비율과, 한 training phase 동안 parameter space에서 이동한 정도인 reach ηT다.여기서 η는 learning rate이고 T는 switching period다.
Analysis of variance: Type II ANOVA는 ω2를 사용해 각 factor가 설명하는 outcome variance를 정량화함으로써 r, η, T, neutral-set size, complexity를 비교할 수 있게 한다.

4. 실험 설정

실험에서는 neural network로 7-bit Boolean function을 근사하고 neutral-set size, complexity, Hamming distance, learning rate, switching period를 체계적으로 변화시킨다. 이 조건들에서 alternating SGD를 수행해 utopia distance와 forgetting을 측정하는 9,720개 trajectory를 생성한다.

Function-pair 설계: 연구에서는 neutral-set size, complexity, Hamming distance가 낮음·중간·높음인 27개 function pair를 3 × 3 × 3 grid로 구성한다.complexity와 neutral-set size를 분리하기 위해 세 complexity bin에서 pair를 sampling하며, 각 pair의 전체 neutral-set size는 ν = P(f1) + P(f2)다.
Training protocol: 각 실험에서는 하나의 function으로 pretraining한 뒤, T step마다 두 label set 사이에서 SGD를 교대로 수행하고 steady state에 도달할 때까지 계속한다.network는 7-bit Boolean function을 근사하며, architecture와 training 세부사항은 Appendix A, Table 2에 제시한다.
Measurements: 여섯 learning rate와 여섯 switching period를 sweep하고 각 setting에서 Monte Carlo trial을 열 번 수행해 9,720개 trajectory를 얻으며, 각 trajectory를 dU와 Δa1로 평가한다.neutral-set size는 Gaussian prior p(θ)에서 Monte Carlo sampling해 추정한다.

5. 이론

이론은 task disagreement r과 reach ηT를 통해 forgetting을 bound하며, 별도의 정리는 r에만 의존하는 utopia distance의 tight lower bound를 제시한다. forgetting bound는 한 가정이 보편적이지는 않지만 대체로 성립하고 forcing estimate가 느슨하므로 주로 scaling 결과다.

Forgetting bound: monotonic한 y2-phase decay와 smooth한 loss/network dynamics를 갖는 period-2T steady-state orbit의 trajectory에 대해 Theorem 1은 forgetting을 Δa1 ≤ a1(0)(e^(rηTM+O(η^2T))−1)로 상한 제한한다.η가 충분히 작으면 이 bound는 대략 a1(0)(e^(rηTM)−1)이 된다.
Forgetting bound: Theorem 1은 주로 scaling에 유용하다. 56,748개의 steady-state y2 phase 중 97.5%에서 monotonic decrease가 유지되었지만, estimate M ≤ LC는 느슨하다.이 bound의 empirical scaling은 uniform proxy M = 100을 사용해 확인했다.
Utopia-distance bound: Theorem 2는 task disagreement r에만 의존하는 utopia distance dU의 tight lower bound를 도출하며, 두 theorem bound는 9,720개의 trajectory 전반에서 입증되었다.Figure 2에서는 Theorem 1에 uniform estimate M = 100을 사용한다.

6. 결과

결과는 task disagreement r이 utopia distance의 geometric floor를 정하고, reach ηT가 trajectory가 그 floor에 대해 놓이는 위치를 결정함을 보여준다. 실험 전반에서 ηT*는 r이 증가할수록 대략 r^-1.18에 따라 감소하지만, neutral-set size와 complexity의 실질적 효과는 무시할 수 있을 정도다.

ANOVA 결과: Type II ANOVA는 η와 T가 Δa1을 지배하고, r이 dU를 지배함을 확인하며, 이는 Theorems 1과 2가 예측한 의존성과 일치한다.이 bounds는 각 plasticity outcome이 controls에 의존하는 지배적 관계를 포착한다.
Control factors: Neutral-set size ν와 complexity K̃는 통계적으로 유의하지만 effect size는 무시할 수 있을 정도이며, biological systems에서 보이는 더 강한 영향과 대조된다.이는 genotype–phenotype fitness landscapes에서의 evolution과 neural-network loss landscapes에서의 learning 사이에 구조적 차이가 있음을 시사한다.
Optimal reach: 37개 task pair에서 ηT* ∝ r^-1.18이며, 95% CI [−1.34, −1.01]와 R2 = 0.86을 보인다.r이 증가하면 minimum dU는 상승하고 optimal reach는 감소하며 curves는 더 convex해진다.
Robustness: Reach-governed picture는 minibatch SGD, momentum, Adam, held-out continuous-input tasks, 그리고 parameter count의 16× variation에서도 유지된다.Held-out tasks에서 dU의 mean train–test gap은 0.01 미만이며, width와 depth를 바꾸어도 dU는 본질적으로 변하지 않는다.

7. 논의

논의에서는 reach ηT와 task disagreement r가 deep learning을 physics, evolutionary biology, continual learning과 연결하는 전이 가능한 dynamical control임을 밝힌다. 또한 neutral-set geometry가 substrate마다 달라지는 이유를 설명하고 alternating tasks를 위한 theory-guided hyperparameter selection을 제안한다.

substrate 전반의 Plasticity: 진화 및 deep-learning substrate 전반에서 Hamming distance, learning rate, switching period가 plasticity를 제어하는 반면, neutral-set size가 learning에서 차지하는 영향은 무시할 수 있다.가능한 설명은 population이 여러 trajectory를 통해 neutral-set volume을 표본추출하는 반면, 하나의 SGD run은 국소적으로 강제된 점을 따른다는 것이다. ensemble이나 강한 noise가 neutral-set size의 역할을 되살릴 수 있다.
물리적 control parameter로서의 Reach: Reach ηT는 하나의 task phase 동안 이동한 거리로 해석된다. η는 curvature에 기반한 저항의 역수로 작용하고, T는 relaxation time이다.결정론적 square-wave forcing에서 linearized response는 tanh(x)처럼 스케일링되며, Theorem 1은 이 response를 bound하므로 더 엄밀한 linear-regime bound를 도출할 여지가 남는다.
물리적 control parameter로서의 Reach: 최적 reach는 ηT*∝r^-1.18을 따르며, task disagreement와 curvature 기반 learning-rate 추정값으로 switching period를 추정하는 거의 역비례적인 universal scaling을 시사한다.이 heuristic은 loss landscape나 architecture를 탐색하지 않아도 되며, 두 정리와 함께 plasticity 결과를 dimensionless control로 환원한다.
Continual learning과의 연결: 이 결과는 curvature-weighted displacement와 유한한 phase별 learning을 forgetting analysis, EWC, CLEAR를 포함한 continual-learning mechanism과 연결한다.dU에서 optimal reach가 영이 아니므로, 번갈아 수행되는 불일치 task는 각 phase에서 유한한 학습을 요구한다. 이 heuristic은 CLEAR hyperparameter를 이론적으로 추정할 수 있다.
Mechanics of learning을 향하여: 종합하면, 이 결과는 네 가지 mechanics-of-learning 흐름을 뒷받침한다. 즉 solvable plasticity, governing laws, 두 dimensionless controls, 그리고 biology, chemistry, learning을 가로지르는 substrate links다.논의에서는 이러한 연결을 substrate universality의 근거로 제시하면서도 gene과 network weight 사이의 geometric difference는 유지한다.

8. 결론 및 향후 연구 · 부록 A. 계산 실험 세부사항 · 부록 B. 이론적 결과의 증명

이 연구는 교대 Boolean task에서 plasticity를 제어하는 핵심 요인으로 task disagreement r과 reach ηT를 식별했으며, 정적 landscape quantity를 능가하는 이론적 bound와 경험적 우세를 제시한다. 향후 연구는 disagreement에 맞춘 reach 선택, gradient flow의 비가환성, generalization 및 더 폭넓은 task 설정으로의 확장을 대상으로 한다.

8. 결론 및 향후 연구: 교대 Boolean task에서 plasticity는 두 dimensionless control, 즉 task disagreement r과 reach ηT에 의해 지배된다.이론적 결과에 따르면 r은 utopia distance의 엄밀한 geometric floor를 정하고, r과 ηT는 forgetting을 공동으로 bound한다.
8. 결론 및 향후 연구: ANOVA 결과, r과 ηT가 경험적 plasticity를 지배한 반면 biological setting에서 강조된 정적 landscape quantity는 그렇지 않았다.
8. 결론 및 향후 연구: 저자들은 ηT ≈1/r로 설정하면 alternating-task continual learning에서 거의 최적인 조건을 제공한다고 추측한다.제안된 regime은 현재 task에 과적합하지 않을 만큼 phase가 짧으면서도 learning을 지속할 만큼 충분히 길다. 더 세밀한 sweep을 수행하면 exponent를 정교화할 수 있다.
8. 결론 및 향후 연구: 향후 분석에서는 reach, forgetting amplitude, 그리고 비가환 gradient flow를 지배하는 Lie bracket [∇ℓ1, ∇ℓ2] 사이의 관계를 규명해야 한다.commuting flow에서는 bracket이 사라지므로, 이 방향은 Theorem 1의 r →0 limit를 복원하며 framework를 general loss와 continuous output으로 확장할 수 있다.
8. 결론 및 향후 연구: 이 framework는 generalization으로 확장될 수 있으며, ∆a1과 dU는 distribution shift와 noisy label에 대한 robustness의 잠재적 척도로 기능한다.이 동기는 forgetting을 task distribution shift에 따른 performance loss 및 작은 intra-class shift에서의 out-of-distribution forgetting과 연결한다.
부록 A. 계산 실험 세부사항: 부록 A에서는 계산 실험에 사용한 architecture와 training hyperparameter를 기술한다.

B.1. Theorem 1 증명 … Appendix C. Accuracy Proxy 선택

부록에서는 dynamical bound와 geometric bound를 증명하고, forgetting bound를 EWC로 확장하며, 결론이 accuracy proxy에 의존하는지 검증한다. 결과는 bound가 성립하는 명시적 조건을 확립하고, 주요 empirical trend가 proxy 전반에서 유지됨을 보인다.

B.1. Theorem 1 증명: ς ≤ rηTM + O(η^2T)는 두 번째 task phase 동안의 loss 변화를 bound하며, η < 2/L 및 uniform Jacobian bound 아래에서 Theorem 1을 완결한다.증명에는 monotonic loss와 accuracy behavior, disagreeing label에서의 gradient disagreement, Cauchy–Schwarz, periodicity를 사용한다.
B.2. Theorem 2 증명: disagreeing label에서는 항별 BCE loss가 ℓ1,i + ℓ2,i ≥ ln 4를 만족하므로, Theorem 2에서 사용하는 total-loss constraint를 얻는다.agreement point는 nonnegative sum에 기여하는 반면, disagreement point는 logarithmic lower bound를 만든다.
B.2. Theorem 2 증명: Theorem 2의 utopia-distance floor는 pointwise constraint a1a2 ≤ c^2에서 따르며, minimum은 a1 = a2 = √c^2에서 대칭적으로 달성된다.optimization은 hyperbola a1a2 = c^2로 축약되며, alternative stationary case는 0 < r < 1에서 배제된다.
B.3. EWC Corollary: diagonal Fisher information, near-optimal quadratic regime, 충분히 작은 η, 그리고 Theorem 1의 가정 아래에서 EWC는 λ를 통해 forgetting bound를 수정한다.λ = 0에서 BCE result가 복원되며, rM ≥ E(1 + λ)는 resulting exponent가 nonnegative이고 bound가 meaningful하도록 보장한다.
B.3. EWC Corollary: EWC penalty는 Fisher-weighted displacement term이 current BCE gradient와 approximate alignment를 이루고 nonnegative inner product를 기여하므로 forgetting을 낮춘다.이 alignment는 optimum 근처에서 BCE Hessian과 diagonal Fisher information이 approximate equality를 이룬다는 사실에서 따른다.
Appendix C. Accuracy Proxy 선택: 7,212 runs 전체에서 네 accuracy proxy는 강한 rank correlation을 보이며, optimal-reach power-law trend는 exponential proxy와 reciprocal proxy에서 R^2 ≈ 0.97–0.99로 재현된다.Theorem 2의 floor는 a = e^-ℓ에 대해서만 주장되므로, proxy robustness는 해당 geometric claim까지 확장되지 않는다.

Appendix D. Theorem 1 단조성 점검 · Appendix E. 강건성 실험 · E.1. 연속 입력에서의 held-out 일반화

Theorem 1의 단조성 가정은 Boolean reach grid 전반에서 강하게 지지되며, 연속 입력 실험은 plasticity geometry가 작은 train–test gap을 두고 학습 truth table을 넘어 일반화됨을 보여준다.

Appendix D. Theorem 1 단조성 점검: 정상상태 y2 phase 56,748개 중 97.5%는 엄밀히 감소했으며, 98.8%는 Theorem 1의 bound에 필요한 더 약한 endpoint condition을 만족했다.정규화된 positive variation의 중앙값은 0이었다.
Appendix E. 강건성 실험: 연속 강건성 실험에서는 Boolean truth-table pair를 isotropic Gaussian input에 대한 R10의 linear-separator tasks로 대체했다.두 unit weight vector를 θ = πr인 각도에 배치해, 기대 label disagreement가 정확히 r이 되도록 했다.
Appendix D. Theorem 1 단조성 점검: 정규화된 positive-variation distribution은 0에 뚜렷하게 집중되었으며, 이질적인 오른쪽 꼬리를 보였다.
E.1. 연속 입력에서의 held-out 일반화: 454개의 연속 입력 run에서 dU의 train–test gap은 작았다. mean |∆| = 0.007, median 0.004, maximum 0.064였다.이는 plasticity geometry가 training-set memorization artifact가 아니라는 결론을 뒷받침한다.
E.1. 연속 입력에서의 held-out 일반화: 연속 입력 평가는 각각 4096개, 2048개, 4096개의 example을 포함하는 independent train, validation, and test sets를 사용했다.
E.1. 연속 입력에서의 held-out 일반화: held-out grid는 작았고, 일부 small-model pretraining run은 완전히 수렴하지 않았다.

E.2. Optimizer와 architecture

reach가 좌우하는 양상은 minibatch SGD, momentum, Adam 전반에서 유지되며, architecture 크기를 달리해도 steady-state dU는 본질적으로 변하지 않는다. 최적 위치와 깊이를 포함한 reach 곡선은 16× parameter 범위 전반에서 보존된다.

Optimizer와 architecture: minibatch SGD, momentum, Adam, 그리고 3,641에서 59,041 parameters에 이르는 아키텍처 전반에서, 정상상태 dU는 본질적으로 변하지 않는다.이는 architecture-agnostic bounds에서 가정한 네트워크 크기 독립성을 뒷받침하지만, 해당 bounds가 이를 증명하지는 않는다.
Optimizer와 architecture: reach가 좌우하는 양상은 minibatch SGD, momentum, Adam에서 유지된다.Table 5에서는 9 task pairs와 5 seeds에 걸쳐 optimizer와 architecture를 바꾸면서 reach sweep은 고정했다.
Optimizer와 architecture: Figure 5는 16× parameter 범위 전반에서 최적 위치와 깊이가 보존된 dU reach 곡선을 보여준다.비교에는 세 가지 architecture가 포함된다.