PaperlayerView exact revision on arXiv

Source-linked AI summary

NeuPAT: Neuron-aware Plasticity Allocation Tuning for Language-Preserving MLLMs

Jiayue Jin, Jingwei Zhang, Chen Wang, Jing Liu, Longteng Guo

arXiv:2608.08107v1cs.CLcs.AI

TL;DR

Multimodal instruction tuning은 사전학습된 언어 지능을 저하시킬 수 있어, 언어 성능을 잃지 않으면서 multimodal capability를 추가하는 방법이 필요하다. NeuPAT은 이질적인 adaptation pattern에 기반해 뉴런별 업데이트 유연성을 배분하며, 4개 언어 추론 benchmark에서 손실된 성능의 90.0%를 회복하고 다양한 LLM에서 multimodal performance를 비슷한 수준으로 유지한다.

  • 문제

    Multimodal instruction tuning은 사전학습된 언어 지능을 크게 저하시킬 수 있으므로, 언어 기반 추론을 보존하면서 multimodal capability를 확장하는 방법이 필요하다.

  • 방법

    NeuPAT은 이질적인 뉴런 adaptation pattern을 탐색하고 뉴런별 업데이트 유연성을 선택적으로 조절해, 언어 민감 뉴런을 보호하면서 multimodal adaptation을 가능하게 한다.

  • 결과

    4개 언어 추론 benchmark에서 손실된 성능의 90.0%를 회복했으며, 6개 LLM에서 일관되게 성능을 보존하고 multimodal performance를 비슷한 수준으로 유지했다.

  • 시사점 및 한계

    NeuPAT은 multimodal expansion 과정에서 언어 지능을 보존하기 위한 효율적인 architecture-agnostic 접근법을 제공한다.

  • 시사점 및 한계

    상당히 큰 backbone에서 NeuPAT의 효과는 아직 검증되지 않았으며, vision-language expansion을 넘어 확장하려면 modality-specific strategy가 필요할 수 있다.

Abstract

from arXiv · show

Multimodal expansion of large language models (LLMs) enables new perceptual capabilities but often compromises the language intelligence acquired during pretraining. In this work, we investigate this phenomenon from the perspective of internal adaptation dynamics and discover that neurons in pretrained LLMs exhibit heterogeneous plasticity during multimodal learning: some neurons are critical for preserving language capabilities, while others are more adaptive to multimodal knowledge. Based on this insight, we propose NeuPAT (Neuron-aware Plasticity Allocation Tuning), a lightweight and architecture-agnostic framework that allocates neuron-wise update constraints during multimodal instruction tuning. NeuPAT uses a small-scale probing stage to estimate neuron adaptation patterns and selectively protects language-sensitive neurons while promoting multimodal adaptation through more plastic neurons. Experiments across diverse LLM families demonstrate that NeuPAT recovers 94.5\% of the language capability degradation caused by vanilla tuning on 11 language benchmarks while maintaining comparable multimodal performance, providing an effective approach for capability-preserving multimodal expansion.

1 서론

Multimodal instruction tuning은 pretrained language capability를 크게 저하시킬 수 있어, capability를 부가적으로 확장한다는 목표에 도전한다. NeuPAT은 neuron-aware update constraint를 통해 이를 해결하며, 다양한 model과 benchmark에서 multimodal 능력을 유지하면서 language performance의 대부분을 회복한다.

  • 1 서론: 4개의 language reasoning benchmark에서 손실된 performance의 90.0%를 회복하며, NeuPAT은 6개의 LLM, 11개의 language benchmark, 5개의 multimodal benchmark에 걸쳐 일반화된다.NeuPAT은 model family와 scale 전반에서 comparable한 multimodal performance를 유지하면서 language degradation을 크게 줄인다.
  • 1 서론: 언어 능력 보존은 fundamental하다. language-grounded MLLM은 reasoning, knowledge organization, multimodal generalization을 위해 이에 의존하기 때문이다.서론은 language preservation을 단순한 regression 방지가 아니라 capability evolution에 필요한 요소로 제시한다.
  • 1 서론: Multimodal instruction tuning은 pretrained language representation을 간섭하여 주요 language evaluation 전반에서 평균 39.8%의 performance drop을 일으킨다.이 degradation은 multimodal expansion이 순수하게 additive하지 않으며 language-based reasoning에 필요한 capability를 덮어쓸 수 있음을 보여준다.
  • 1 서론: Pretrained LLM의 neuron은 heterogeneous adaptation pattern을 보인다. 일부는 language intelligence를 보존하는 반면, 다른 일부는 multimodal knowledge를 더 유연하게 흡수한다.이러한 internal adaptation dynamic이 multimodal learning 중 selective regulation의 동기를 제공한다.
  • 1 서론: NeuPAT은 diagnostic sample을 활용한 lightweight probing으로 neuron-wise adaptation을 추정하고, language-sensitive neuron을 동적으로 보호하면서 multimodal adaptation을 촉진한다.이 framework는 추가 training data나 architectural modification을 요구하지 않아 architecture-agnostic하고 효율적이다.

2 관련 연구

MLLMs는 일반적으로 cross-attention, Q-Former 또는 경량 projection을 통해 visual encoder와 pretrained LLM을 연결하며, 최근 시스템은 더 강력한 encoder, 대규모 corpus, post-training을 통해 perception과 reasoning을 향상한다. 기존 language-preservation 전략은 text-only data를 혼합하거나, parameter-efficient 또는 continual-learning 방법을 사용하거나, architecture를 수정하거나, adapted model을 병합한다. 반면 NeuPAT은 neuron modality preference를 활용한다.

  • MLLM architecture: MLLMs는 일반적으로 cross-attention, Q-Former 또는 경량 projection module을 사용해 visual feature를 language space로 매핑한다 (Alayrac et al., 2022; Li et al., 2023a; Dai et al., 2023; Zhu et al., 2024; Liu et al., 2023b, 2024a).이 encoder-connector-LLM architecture는 관련 연구에서 제시되는 지배적인 설계다.
  • 최근 MLLMs: Qwen-VL, DeepSeek-VL, InternVL3, LLaVA-OneVision을 포함한 최근 MLLMs는 더 강력한 encoder, 대규모 corpus, advanced post-training을 통해 multimodal perception과 reasoning을 향상한다 (Bai et al., 2023; Wang et al., 2024; Bai et al., 2025; Lu et al., 2024; Wang et al., 2025b; Zhu et al., 2025; Li et al., 2024).이러한 발전에도 불구하고 대부분의 MLLMs는 여전히 multimodal learning을 통해 pretrained LLM backbone을 적응시킨다.
  • 대안적 접근법: 대안적 방법은 parameter-efficient 또는 continual-learning 방법을 사용하거나 (Hu et al., 2022; Kirkpatrick et al., 2017), architecture를 수정하거나 (Zhang et al., 2024; Wang et al., 2025a; Lu et al., 2025), adapted model을 original LLM과 병합한다 (Ratzlaff et al., 2024; Yu and Ananiadou, 2025; Wang et al., 2026; Li et al., 2025).NeuPAT은 대신 neuron modality preference를 활용해 multimodal adaptation 중 language capability를 보존한다.

3 뉴런 수준의 modality 선호도 분석

분석 결과, pretrained LLM의 뉴런은 multimodal adaptation 과정에서 modality 선호도, 중요도, layer 의존적 plasticity가 서로 다르게 나타난다. 이러한 패턴은 backbone 전체를 균일하게 업데이트하기보다 뉴런별 update constraint를 적용해야 함을 시사한다.

  • 뉴런 수준 분석: 이 방법은 activation strength와 output contribution을 사용해 경량 text-only 및 visual probing set에서 뉴런 중요도를 추정한 뒤, 각 layer 내에서 점수를 정규화한다.그 결과 modality 선호도는 visual-associated 뉴런, language-associated 뉴런, balanced 뉴런을 구분하며, overall importance는 두 modality에 걸친 중요도를 포착한다.
  • 관찰: 뉴런은 language input과 visual input에 대해 다양한 선호도를 보이므로, 균일한 업데이트는 language-critical representation을 교란하는 동시에 multimodal adaptation에 적합한 뉴런을 충분히 활용하지 못할 수 있다.이러한 이질성은 pretrained backbone이 multimodal adaptation에 균일하게 참여하지 않음을 보여준다.
  • 관찰: 뉴런마다 서로 다른 update constraint가 필요하다. 중요도가 높은 뉴런은 공유 cross-modal function을 지원할 수 있는 반면, 중요도가 낮은 뉴런은 multimodal knowledge를 습득할 유연성을 제공할 수 있다.Balanced modality preference가 뉴런 기능의 동질성이나 동일한 보호 요건을 의미하는 것은 아니다.
  • 관찰: Plasticity 패턴은 Transformer layer에 따라 크게 달라지므로, 고정된 전역 allocation 전략만으로는 layer별 adaptation 특성을 충분히 반영할 수 없다.Modality preference와 overall importance 모두 layer-dependent distribution을 보인다.
  • 동기: 이러한 결과는 language-critical 뉴런을 보호하는 동시에 multimodal adaptation에 더 적합한 뉴런에 더 큰 update 유연성을 할당할 것을 시사한다.균일한 freezing이나 regularization은 language capability를 보존할 수 있지만, multimodal knowledge 습득을 불필요하게 제한할 수 있다.

4 방법

NeuPAT는 modality-associated importance를 추정하고 adaptation role을 할당한 뒤 role-specific constraint를 적용해 multimodal instruction tuning 중 neuron-wise update flexibility를 배분한다. selective update와 constrained optimization을 통해 language-sensitive neuron을 보호하면서 multimodal learning을 위한 adaptive capacity를 보존한다.

  • Importance Estimation: NeuPAT는 lightweight visual and text-only probing set에서 visual- 및 language-associated neuron importance를 추정한 다음, 각 layer 내에서 score를 정규화한다.이렇게 얻은 modality-associated distribution은 서로 다른 input modality에서 각 neuron의 기여를 나타내며 adaptation-role allocation을 유도한다.
  • Adaptation-Role Allocation: 사전 정의된 coverage ratio를 사용해 NeuPAT는 modality-important neuron subset을 선택하고, 이들의 overlap에서 네 가지 adaptation role인 language, multimodal, shared, reserve를 도출한다.Language neuron은 주로 language input과 연관되고, multimodal neuron은 visual input과, shared neuron은 두 modality 모두와 연관되며, reserve neuron은 추가적인 flexibility를 제공한다.
  • Role-Specific Update Constraints: NeuPAT는 language-associated neuron을 freeze하고 multimodal-adaptive neuron과 reserve neuron은 fully update하며, language preservation과 multimodal adaptation의 균형을 위해 shared-neuron update에는 constraint를 적용한다.Shared neuron의 경우 input-side constraint가 activation behavior의 변화를 제한하고, output-side cosine constraint가 residual stream에 대한 neuron contribution의 방향을 보존한다.
  • Optimization Objective: Optimization 중 NeuPAT는 language-neuron gradient를 mask하면서 다른 role에는 할당된 constraint를 적용하고, 최종 training objective로 L = Lori + Rshared를 사용한다.Lori는 원래의 autoregressive language-modeling objective다.

5 실험

실험 결과, NeuPAT은 multimodal tuning 이후 language 성능을 크게 회복하면서 multimodal capability를 보존하고, 다양한 LLM backbone에 일반화되며, neuron-wise·layer-adaptive update allocation의 이점을 얻는 것으로 나타난다.

  • 주요 결과: NeuPAT은 Vanilla Tuning 이후 language 평균을 5.14점 회복해 original LLM의 48.99에 가까운 49.06에 도달하며, multimodal 평균 성능은 61.05 대 60.98로 비슷하게 유지된다.Vanilla Tuning은 language 평균을 48.99에서 43.92로 낮추고, BBH, bAbI, MATH-500에서 10점 초과의 하락을 유발한다. NeuPAT은 multimodal 성능을 유지하면서 language 및 logical-reasoning task를 개선한다.
  • Backbone 일반화: NeuPAT은 5개의 추가 LLM backbone 전반에서 Vanilla Tuning보다 language 성능을 일관되게 개선하며, 때로는 original LLM 평균을 능가한다.평가에서는 Qwen3-4B-Instruct-2507을 Qwen3-0.6B, Phi-4-Mini-Instruct, Qwen2.5-7B/14B-Instruct, Llama3.1-8B-Instruct로 교체해 model family와 scale 전반의 개선을 확인한다.
  • Global 대 Neuron-Aware Update: NeuPAT은 global-versus-neuron-aware trade-off에서 가장 우수한 성능을 달성하며, language 및 multimodal 평균 54.41과 72.73을 얻는다.Freeze는 multimodal adaptation을 제한하고, uniform backbone update는 language 보존이 불충분하며, global shared-neuron regularization은 두 목표의 균형에 실패한다.
  • Neuron Allocation 전략: Importance-guided·layer-adaptive neuron allocation은 Random 및 Fixed-ratio role assignment baseline을 일관되게 능가한다.Random은 category size를 보존하지만 role을 무작위로 할당하는 반면, Fixed-ratio는 모든 layer에 동일한 selection ratio를 사용한다.
  • Neuron-Wise Update Constraint: Role-specific constraint는 language neuron을 freezing하고, multimodal 및 reserve neuron을 update하며, shared neuron을 regularize하는 것을 지원한다.Language-associated neuron을 update하면 text 성능이 감소하고, vision-associated 또는 reserve neuron을 freezing하면 multimodal adaptation이 제한되며, shared neuron을 모두 update하거나 freezing하면 한 capability가 저하된다.

6 결론

멀티모달 확장은 LLM backbone의 뉴런이 서로 다르게 적응하기 때문에 사전학습된 언어 지능을 저하시킬 수 있다. NeuPAT는 뉴런 업데이트 유연성을 조절해 언어 보존과 멀티모달 적응의 균형을 맞춘다.

  • 6 결론: NeuPAT는 언어 지능을 보존하면서 멀티모달 적응을 가능하게 하도록 뉴런 업데이트 유연성을 조절한다.이 프레임워크는 사전학습된 LLM backbone 내부의 이질적인 적응 행동에 기반한다.

7 한계

NeuPAT이 상당히 더 큰 backbone에서 보이는 효과는 아직 검증되지 않았으며, vision-language 확장을 넘어선 적용 가능성은 추가 연구가 필요하다.

  • NeuPAT이 상당히 더 큰 backbone에서 보이는 효과는 아직 검증되지 않았다. 더 큰 모델은 더욱 분산되고 복잡한 adaptation pattern을 보일 수 있기 때문이다.Neuron-wise role allocation mechanism은 더 큰 규모에서 추가 검토가 필요할 수 있다.
  • 실험은 vision-language 확장에 초점을 맞추고 있어, audio와 video 같은 modality로 NeuPAT을 확장하는 문제는 향후 연구 과제로 남는다.

8 윤리적 고려사항 … B 추가 관련 연구

이 논문은 공개 데이터셋과 벤치마크를 사용하고, 뉴런 할당을 인과적 설명이 아닌 기능적 근사로 규정하며, 배포 전에 표준 안전성 평가를 요구한다. NeuPAT의 전체 절차는 Algorithm 1에 제시되어 있다.

  • 8 윤리적 고려사항: NeuPAT의 뉴런 할당 전략은 모델 동작에 대한 인과적 설명이 아니라 응답 기반 기능적 근사다.이 한계는 방법의 내부 적응 패턴을 어떻게 해석해야 하는지를 제한한다.
  • 8 윤리적 고려사항: 모든 학습 데이터와 평가 실험은 공개 데이터셋과 벤치마크를 사용한다.
  • 8 윤리적 고려사항: NeuPAT으로 학습한 모델은 배포 전에 표준 안전성 평가를 거쳐야 한다.해당 부분은 특히 안전성, 공정성, 견고성 평가를 요구한다.
  • 8 윤리적 고려사항: 고위험 애플리케이션에서는 안전성, 공정성, 견고성 검사가 특히 중요하다.
  • B 추가 관련 연구: 제공된 본문에는 B 추가 관련 연구에 대한 실질적인 내용이 없다.
  • A.1 전체 알고리즘: NeuPAT의 전체 의사코드는 Algorithm 1에 제시되어 있다.
  • A 방법 세부사항: 제공된 본문에는 A 방법 세부사항 또는 B 추가 관련 연구에 대한 실질적인 내용이 없다.

B.1 뉴런 수준 분석 … C.2 학습 세부사항

이 논문은 기존 뉴런 수준 분석과 NeuPAT이 일반 멀티모달 학습에서 뉴런별 적응에 초점을 두는 방식을 대비한 뒤, probing set과 2단계 학습 파이프라인을 상세히 설명한다. Probing은 activation statistics만 사용하며, 학습은 adapter-only alignment에서 plasticity-guided visual instruction tuning으로 진행된다.

  • B.1 뉴런 수준 분석: NeuPAT은 knowledge editing, emotion control, unlearning, image translation 또는 vulnerability analysis에 초점을 둔 기존 연구와 달리, 일반 멀티모달 학습에서 뉴런별 적응 동역학을 분석한다.기존 연구는 뉴런을 modality-specific knowledge, task behaviors, model capabilities와 연관시키며, perturbation 시 언어 능력을 저하시킬 수 있는 ultra-sparse critical neurons도 보고했다.
  • C.1 Probing 세트: NeuPAT은 각각 2,048 samples를 포함하는 text-only 및 vision probing set에서 modality-specific neuron responses를 추정한다.Vision samples는 LLaVA-NeXT-780K에서 가져오며, text prompts는 evaluation benchmarks와 중복되지 않는 general-domain datasets에서 구성한다.
  • C.1 Probing 세트: Text probing은 네 개의 public datasets에서 균등하게 할당한 samples를 사용해 instruction following, factuality, general reasoning을 다룬다.Sources에는 CodeAlpaca-20k, MetaMathQA, databricksdolly-15k, HaluEval이 포함된다.
  • C.1 Probing 세트: 두 probing set은 forward-pass activation statistics에만 사용되며 training objective에는 영향을 주지 않는다.두 set 모두 동일한 processor와 chat-template pipeline을 사용하고, images는 vision samples에만 제공한다.
  • C 상세 실험 설정: 2단계 파이프라인은 multimodal adapter만 사용해 LLaVA-558K에서 2,500 steps 동안 images와 text를 정렬한 뒤, language model, adapter, vision encoder를 최적화하며 LLaVA-NeXT-780K를 3,500 steps 동안 튜닝한다.Stage 1은 global batch size 8과 peak learning rate 1 × 10−4를 사용하고, Stage 2는 batch size 224, 28 accumulation steps, peak learning rate 1 × 10−5를 사용한다.
  • C.2 학습 세부사항: Stage 1은 eight A100 GPUs, micro-batch size 1, 1 × 10−4에서 1 × 10−6까지의 cosine decay, approximately five warmup steps를 사용한다.LLaVA-558K에서 image-text alignment를 수행하는 동안 warmup ratio는 0.002다.
  • C.2 학습 세부사항: Stage 2는 LLaVA-NeXT-780K에서 visual instruction tuning을 수행하며 language-backbone neurons에 plasticity-guided multimodal tuning을 적용한다.학습에는 eight A100 GPUs, micro-batch size 1, 28 gradient-accumulation steps, minimum learning rate 1 × 10−6가 사용된다.

C.3 Baseline 구현 · D 추가 실험 결과

Baseline 구현은 각 방법에서 지정한 학습, 아키텍처 또는 병합 절차와 권장 hyperparameter를 사용해 LoRA, EWC, WINGS, TIES, Locate-then-Merge, PlaM을 구성한다.

  • C.3 Baseline 구현: LoRA (Hu et al., 2022)는 원래 parameter를 고정한 채 선택된 linear layer에 학습 가능한 low-rank adapter를 삽입하며, r = 32, α = 64, learning rate 1 × 10−4를 사용한다.LoRA는 Vanilla와 동일한 multimodal instruction data로 학습한다.
  • C.3 Baseline 구현: EWC (Kirkpatrick et al., 2017)는 2,048개의 서로 겹치지 않는 text-only sample에서 diagonal Fisher information으로 parameter 중요도를 추정하고, language-model parameter에만 변경을 penalize한다.검색에서는 text-multimodal 성능에 따라 λEWC = 10을 선택하며, 나머지 설정은 Vanilla Tuning과 동일하다.
  • C.3 Baseline 구현: WINGS (Zhang et al., 2024)는 attention layer에서 parallel visual 및 textual learner를 사용하고, 학습된 router로 이를 원래 attention과 융합하며, 권장 설정을 따른다.
  • C.3 Baseline 구현: TIES (Ratzlaff et al., 2024)는 원래 density, coefficient 및 절차에 따라 visual tuning된 model과 원래 LLM 사이에서 training-free task-vector merging을 수행한다.
  • C.3 Baseline 구현: Locate-then-Merge (Yu and Ananiadou, 2025)는 high-impact neuron을 식별하고 low-impact update를 억제한 뒤, 권장 hyperparameter 범위를 사용해 선택된 neuron을 replacement 또는 rescaling으로 복원한다.
  • C.3 Baseline 구현: PlaM (Wang et al., 2026)은 layer-wise vision-token masking을 통해 plateau layer를 찾고, 더 이른 visual-alignment layer는 변경하지 않으며, 선택된 더 후반 layer를 원래 backbone과 선형적으로 병합한다.plateau layer와 merge coefficient는 원 논문의 절차와 권장 범위를 따른다.

D.1 민감도 분석 … D.4.1 LLM Backbone 전반의 뉴런 분포

NeuPAT은 하이퍼파라미터 설정, 모델 backbone, ablation, layer-wise 뉴런 분포 전반에서 견고성을 유지한다. 전체 평가에서 Vanilla Tuning보다 언어 능력 보존이 향상되면서도 멀티모달 성능은 비슷하게 유지되며, 균형 잡힌 기본값과 일관된 뉴런 역할 구조를 보인다.

  • D.1 민감도 분석: 기본 target importance mass τa = 0.8은 유리한 균형을 제공한다. τa가 클수록 언어 능력 보존은 향상되지만 멀티모달 성능은 점차 감소한다.τa가 클수록 더 많은 누적 response mass를 보존하고, 선택된 뉴런 집합을 확장하며, 더 많은 뉴런을 텍스트 관련 또는 high-response 그룹에 할당한다.
  • D.1 민감도 분석: 기본 λin = λout = 0.1은 텍스트–멀티모달 간 최상의 절충을 제공한다. 반면 정규화가 약하면 멀티모달 성능에 유리하고, 값이 강해지면 성능이 감소한다.계수 0.05는 멀티모달 평균이 가장 높지만 언어 성능은 더 낮다. 0.1보다 큰 값에서는 텍스트 성능이 더 이상 향상되지 않는다.
  • D.2 전체 Cross-Backbone 결과: NeuPAT은 다섯 개 테스트 backbone에서 Vanilla Tuning 대비 언어 평균 성능을 각각 2.64, 5.20, 4.12, 3.64, and 4.76 points 향상시키면서 멀티모달 성능은 비슷하게 유지한다.이러한 향상은 각각 Qwen3-0.6B, Phi-4-Mini-Instruct, Qwen2.5-7B-Instruct, Llama3.1-8B-Instruct, Qwen2.5-14B-Instruct에 해당하며, 서로 다른 model family와 scale 전반에서 일반화된다.
  • D.1 민감도 분석: Probing-set 크기의 영향은 제한적이며, 텍스트 및 멀티모달 평균의 변동은 각각 0.52 및 0.36 points에 불과하다. Na = 2048이 두 평균 모두에서 최상의 성능을 달성한다.Na를 512에서 2048로 늘리면 대체로 성능이 향상되지만, 4096에서는 추가적인 이점이 없다.
  • D.3 전체 Ablation 결과: 전체 ablation은 global update, 뉴런 할당, neuron-wise plasticity 전략이 언어 능력 보존과 멀티모달 적응 사이에서 절충을 이룬다는 점을 확인한다.대안적 partitioning은 적응 역할 할당의 중요성을 검증하며, update-strategy ablation은 각 뉴런 집합의 역할을 확립한다.
  • D.3 전체 Ablation 결과: high-response-neuron 정규화 설계 중에서는 l2-cos가 멀티모달 성능을 최상위 수준으로 유지하면서 텍스트 평균이 가장 높다.결과는 magnitude constraint가 input-side parameter에 유리하고, output-side parameter는 cosine constraint로 정규화하는 편이 더 적합함을 시사한다.
  • D.4.1 LLM Backbone 전반의 뉴런 분포: backbone과 layer 전반에서 text-critical, vision-critical, high-response, low-response 뉴런이 일관되게 함께 나타나며, high-response 뉴런이 대체로 가장 큰 그룹을 이룬다.비율은 model family, scale, layer에 따라 달라진다. 일부 모델에서는 초기 layer의 변동이 더 크지만, 후반 layer에서는 안정화되는 경향이 있다.
Loading 2608.08107v1…