PaperlayerView exact revision on arXiv

Source-linked AI summary

Multi-Granularity Sentiment Integration for LLM-Based Multimodal Sentiment Analysis

Shanshan Lin, Yuesheng Wu, Chao Chen, Yizhe Yang, Zhihao Chen, Zexian Yang, Xiangwen Liao

arXiv:2608.16201v1cs.LG

TL;DR

많은 LLM 기반 MSA 방법은 오디오와 시각 신호를 거칠게 요약해 감정 관련 시간 구조를 잃을 위험이 있다. MGSI는 여러 시간 세분화를 보존하고, 텍스트 가이던스로 비텍스트 특징을 정제하며, compact pseudo-tokens를 통해 frozen LLM을 조건화한다. 네 개의 공개 벤치마크에서 frozen-LLM baseline을 일관되게 개선했으며, 강력한 멀티모달 방법들과도 경쟁력 있는 성능을 보인다.

  • 문제

    많은 MSA 방법은 융합 전에 비텍스트 모달리티를 요약하거나 uniform temporal abstraction을 사용해 서로 다른 시간 범위에 걸친 감정 증거를 놓칠 수 있다.

  • 방법

    MGSI는 여러 시간 세분화에서 오디오와 시각 스트림을 인코딩하고, 텍스트 가이드 정제와 감정 보정을 적용한 뒤, 이를 pseudo-tokens로 압축해 frozen LLM을 조건화한다.

  • 결과

    네 개의 공개 벤치마크에서 MGSI는 frozen-LLM baseline을 일관되게 개선했으며, 강력한 멀티모달 방법들과도 경쟁력 있는 성능을 보인다.

  • 시사점 및 한계

    어블레이션 및 민감도 분석은 성능 향상이 시간 모델링, polarity-aware supervision, adaptive calibration의 상호보완적 효과에서 비롯됨을 보여준다.

  • 시사점 및 한계

    MGSI는 사전 추출된 오디오 및 시각 특징에 의존하며, 적은 pseudo-token 예산으로 인해 길거나 표현력이 높은 입력에서 efficiency–fidelity trade-off가 발생한다.

Abstract

from arXiv · show

Multimodal sentiment analysis (MSA) aims to predict sentiment polarity and intensity from heterogeneous inputs such as text, audio, and vision. While large language models (LLMs) offer strong semantic priors for MSA, effectively incorporating audio and visual signals effectively remains challenging. A key challenge is that audio and visual sentiment cues evolve over different temporal scales, yet many LLM-based methods compress these signals through shallow projection or coarse pooling before fusing them with text, which can weaken cross-modal alignment and erase fine-grained affective information. We propose MGSI, a multi-granularity sentiment integration framework for LLM-based MSA. MGSI first encodes audio and visual streams at short-, medium-, and long-range temporal scales, preserving both local variations and global affective trends. It then refines non-text features through text-guided alignment, and applies polarity- and intensity-aware enhancement to better handle ambiguous and near-neutral samples. The resulting multimodal representation is finally compressed into a small set of pseudo-tokens for efficient conditioning of a frozen LLM. Experiments on four public benchmarks show that MGSI substantially outperforms frozen-LLM baselines and remains competitive with strong multimodal methods. Further ablation and sensitivity analyses support the effectiveness of multi-granularity temporal modeling, text-guided refinement, and adaptive sentiment calibration.

1 서론

MSA는 정서적 의미가 상호 보완적인 상호작용을 통해 형성되고 여러 시간 스케일에 걸쳐 변화하기 때문에 텍스트, 오디오, 비전을 함께 모델링해야 한다. MGSI는 오디오-비주얼 구조를 다중 세분성으로 보존하고 이를 텍스트로 정제한 뒤 frozen LLM을 위한 pseudo-token으로 압축함으로써 이 문제를 해결하며, 네 개 벤치마크에서 frozen-LLM prompting을 능가한다.

  • 1 서론: MSA가 어려운 이유는 감성이 어휘 내용, 음성 운율, 표정, 신체 움직임에 함께 의존하며, 이들의 상호작용이 서로를 변화시킬 수 있기 때문이다.
  • 1 서론: 기존 접근법은 오디오-비주얼 스트림을 너무 이르게 압축하거나 단일 시간 추상화를 사용하여, 융합 전에 단기·중기·장기 감정 단서를 흐릴 수 있다.
  • 1 서론: MGSI는 멀티모달 적응을 구조화된 시간-의미 압축으로 보고, frozen LLM을 위한 pseudo-token 압축에 앞서 오디오 및 비주얼 스트림을 여러 시간 세분성으로 인코딩한다.
  • 1 서론: MGSI는 압축된 표현이 감성 판별에 더 유용하도록 text-guided non-text refinement, 보조 polarity-aware supervision, adaptive residual calibration을 추가로 적용한다.
  • 1 서론: MGSI는 네 개 벤치마크에서 frozen-LLM prompting을 일관되게 능가하며, 강력한 멀티모달 방법들과도 경쟁력 있는 성능을 유지한다.

2 관련 연구

기존 multimodal sentiment 연구는 temporal dynamics, cross-modal fusion, representation learning, 그리고 multimodal feature를 LLM에 적용하는 adaptation을 다룬다. MGSI는 audio-visual signal을 여러 temporal granularity에 걸쳐 구성하고 frozen LLM에 conditioning하기 전에 이를 정제함으로써, 단순한 feature compatibility가 아닌 정보 구성 자체를 목표로 한다.

  • Multimodal Sentiment Analysis: 초기 MSA 방법은 tensor fusion, low-rank fusion, cross-modal attention, representation decomposition, self-supervision, efficient temporal attention을 통해 temporal dynamics와 cross-modal interactions를 모델링한다.
  • Multimodal Sentiment Analysis: 많은 기존 방법은 fusion 전에 non-text modality를 요약하거나 uniform temporal abstraction을 사용하므로, short-, medium-, and long-range sentiment evidence가 손실될 위험이 있다.
  • LLM-Based Multimodal Sentiment Analysis: 최근 LLM-based 접근법은 non-text content를 textualize하거나 adapter와 mixtures of adapters를 사용해 multimodal feature를 frozen LLM에 매핑한다.
  • LLM-Based Multimodal Sentiment Analysis: 기존 adapter가 주로 non-text-to-LLM embedding compatibility를 다루는 것과 달리, MGSI는 temporal granularities에 걸쳐 audio-visual information을 구성하고 compression 전에 text-guided sentiment refinement를 적용한다.
  • Robust Multimodal Sentiment Analysis: Robust MSA 연구는 missing, unreliable, 또는 weakly aligned modality를 다루는 반면, MGSI는 incomplete-input prediction이 아니라 frozen LLM에 conditioning하기 전에 temporal and semantic organization을 목표로 한다.

3 방법 · 3.1 과제 정의 · 3.2 개요

MGSI는 text, audio, visual sequence로부터 intensity를 예측하는 문제로 multimodal sentiment analysis를 정식화하며, text를 의미적 anchor로, 비text modality를 보완적 증거로 사용한다. 이 framework는 temporal structure를 보존하고 cross-modal sentiment cue를 통합한 뒤 pseudo-token으로 압축하여 frozen LLM을 조건화해 예측한다.

  • 3.1 과제 정의: MGSI는 발화 수준의 text, audio, visual input으로부터 실수값 sentiment intensity score를 예측하며, 양수·0·음수는 각각 positive, neutral, negative sentiment를 나타낸다.Multimodal input은 X = (X(t), X(a), X(v))이며, text는 tokenization하고 audio와 visual data는 feature sequence로 표현한다.
  • 3.1 과제 정의: 이 방법은 frozen LLM의 input layer를 통해 text를 임베딩하고, 각 non-text modality를 shared latent space로 projection한다.각 non-text modality q ∈ {a, v}에 대해 MGSI는 text embedding E(t) = Embed(X(t))을 추출한 뒤 projection을 적용한다.
  • 3.2 개요: Integration stage는 text-guided alignment, non-neutral classifier, adaptive sentiment calibrator, multi-scale fusion adapter를 결합한다.이 component들은 decoding 전에 non-text representation을 정제하고 결합한다.
  • 3 방법: MGSI는 compression 전에 multi-granularity temporal encoder로 audio와 visual stream을 encoding하여 sentiment와 관련된 temporal structure를 보존한다.이 framework는 non-text modality의 temporal information을 즉시 coarse representation으로 축소하지 않고 유지한다.
  • 3.2 개요: MGSI는 먼저 audio와 visual stream에서 modality-specific representation을 추출한 뒤 cross-modal sentiment integration과 frozen-LLM decoding을 수행한다.세 단계는 modality-specific feature extraction, cross-modal sentiment integration, sentiment prediction을 위한 frozen-LLM decoding이다.
  • 3 방법: Text는 의미적 anchor 역할을 하며, audio와 visual stream은 보완적인 sentiment evidence를 제공하고 이를 pseudo-token으로 압축하여 frozen-LLM을 효율적으로 조건화한다.생성된 pseudo-token은 sentiment prediction을 위해 frozen LLM에 주입된다.

3.3 다중 세분성 시간 인코더 (MGT)

다중 세분성 시간 인코더는 단기·중기·장기 시간 범위에 걸쳐 audio와 visual sentiment cue를 포착한다. 각 branch를 요약하고 융합해 시간 정보가 강화된 representation을 구성한다.

  • 3.3 다중 세분성 시간 인코더 (MGT): MGT는 각 non-text modality에 대해 서로 다른 시간 범위에 나타나는 sentiment cue를 모델링하도록 세 개의 병렬 branch를 사용한다.이 설계는 audio와 visual stream 모두의 시간 구조를 겨냥한다.
  • 3.3 다중 세분성 시간 인코더 (MGT): 단기 branch는 1D convolution으로 국소 패턴을 포착하고, 중기 branch는 dilated convolution을 사용해 receptive field를 확장한다.dilation rate가 중기 receptive field를 조절한다.
  • 3.3 다중 세분성 시간 인코더 (MGT): 장기 branch는 Transformer로 더 먼 범위의 dependency를 모델링하고 attention pooling을 적용해 branch summary를 생성한다.Positional encoding은 Transformer를 지원하며, attention pooling은 hidden state에 대해 learnable vector를 사용한다.
  • 3.3 다중 세분성 시간 인코더 (MGT): 세 branch summary는 three-token sequence를 이루고 multi-head self-attention을 거친 뒤 mean pooling되어 시간 정보가 강화된 representation h(q)가 된다.MeanPool은 fusion 이후 세 개의 output token을 평균낸다.

3.4 텍스트 기반 정렬 (TGA)

Text-Guided Alignment은 텍스트를 가장 명확한 의미 앵커로 활용해 modality-specific gating과 projection을 통해 multimodal fusion 전에 오디오와 시각 표현을 정제한다.

  • 3.4 텍스트 기반 정렬 (TGA): TGA는 텍스트를 가장 명확한 의미 앵커로 활용해 multimodal fusion 전에 오디오와 시각 표현을 정제한다.
  • 3.4 텍스트 기반 정렬 (TGA): 이 방법은 전역 텍스트 요약을 계산하고, 이를 각 non-text modality에 대한 modality-specific gate로 매핑한다.
  • 3.4 텍스트 기반 정렬 (TGA): 각 gate는 Hadamard product를 통해 해당 오디오 또는 시각 표현을 조절한다.
  • 3.4 텍스트 기반 정렬 (TGA): 정렬된 오디오와 시각 표현은 linear projection을 통해 융합된다.

3.5 비중립 분류기 (NNC)

비중립 분류기는 감성 크기가 임계값을 초과하는 샘플에 보조 이진 목적을 적용해 극성 판별을 강화한다. 경량 MLP와 binary cross-entropy loss를 사용해 h(f)_i로부터 해당 라벨을 예측한다.

  • 비중립 분류기 (NNC): 보조 이진 목적은 |y_i| > τ를 만족하는 비중립 인스턴스에 대해 정의되며, τ가 클수록 더 명확하게 극성이 나타난 샘플로 감독 범위가 제한된다.
  • 비중립 분류기 (NNC): 경량 MLP는 h(f)_i로부터 보조 이진 라벨을 예측하며, 이에 대응하는 학습 목적은 binary cross-entropy다.

3.6 Adaptive Sentiment Calibrator (ASC)

Adaptive Sentiment Calibrator는 sample-adaptive residual correction을 통해 모호하거나 near-neutral한 sentiment representation을 정제한다. 입력에 따라 달라지는 coefficient를 사용하되, 과도한 보정을 막기 위해 residual scaling을 제한한다.

  • ASC는 near-neutral 또는 약하게 polarized된 sample을 대상으로 하며, 이들의 미묘한 sentiment evidence 때문에 모델링이 더 어렵다.
  • ASC는 모호한 sentiment에 맞춰 fused representation을 adaptive하게 정제하기 위해 input-dependent correction coefficient를 적용한다.

3.7 Multi-Scale Fusion Adapter · 3.8 Training Objective

MGSI는 보정된 멀티모달 표현을 소수의 projected pseudo-token으로 압축해 frozen LLM과 연결한다. 학습에는 λnnc로 가중된 auxiliary non-neutral supervision 항을 포함하는 autoregressive sentiment-token objective를 사용한다.

  • 3.7 Multi-Scale Fusion Adapter: Adapter는 보정된 표현에 K개의 병렬 MLP branch를 적용하고, 그 출력을 쌓은 뒤 1D convolution으로 압축한다.
  • 3.7 Multi-Scale Fusion Adapter: 압축된 feature는 frozen LLM의 embedding space로 사상되어 P ∈ R^M×d가 되며, 여기서 M은 pseudo-token 개수이고 d는 hidden size다.
  • 3.7 Multi-Scale Fusion Adapter: 모든 실험에서는 M = 4개의 pseudo-token을 사용해 frozen LLM을 위한 작은 conditioning budget을 유지한다.이 구절은 이 budget이 r의 균형을 맞춘다고 서술하지만, 제공된 본문에는 해당 조건의 나머지 내용이 제시되지 않는다.
  • 3.7 Multi-Scale Fusion Adapter: Frozen LLM에는 prefix 및 suffix prompt embedding과 함께 pseudo-token 표현이 입력되며, 이를 각각 E(pre)와 E(suf)로 나타낸다.
  • 3.8 Training Objective: 학습에서는 target sentiment score를 s = (s1, ..., sN)이라는 token sequence로 모델링하고 autoregressive log-probability objective를 사용한다.
  • 3.8 Training Objective: 전체 training objective에는 auxiliary non-neutral supervision이 포함되며, 그 기여도는 λnnc로 조절된다.

3.9 복잡도 분석

MGSI는 계산 가능한 modality encoder로 다중 스케일 시간 정보를 보존하고, pseudo-token compression을 통해 LLM 측 self-attention을 줄인다. M = 4일 때, 이 방법은 decoding 전에 non-text feature 단계를 대체하며 MOSI에서 효율적으로 학습된다.

  • Temporal Encoder 복잡도: 단기 및 중기 convolutional branch는 sequence length에 따라 선형적으로 확장되며, modality마다 하나의 경량 Transformer branch만 사용해 self-attention에도 불구하고 장기 temporal encoding을 계산 가능하게 유지한다.encoder는 modality마다 여러 Transformer branch를 사용하지 않고 여러 temporal scale을 보존한다.
  • LLM Interface 복잡도: MGSI는 non-text feature를 M개의 pseudo-token으로 압축해 LLM self-attention을 O((L_t + L_a + L_v)^2d)에서 O((L_t + M)^2d)로 줄이며, 일반적으로 M ≪ L_a + L_v이다.이 compression이 LLM interface에서 얻는 핵심 효율 향상이다.
  • 경험적 효율성: M = 4일 때, MGSI는 LLM decoding 전에 L_a + L_v개의 non-text feature 단계를 네 개의 pseudo-token으로 대체하며, NVIDIA A30 GPU 한 대에서 MOSI 학습 epoch당 약 2분이 소요된다.이 측정값은 과거 training log에서 얻었다.

4 실험

MGSI는 frozen LLM backbone과 표준화된 multimodal feature, metric, split, training procedure를 사용해 네 개의 multilingual benchmark에서 평가된다. frozen-LLM baseline을 전반적으로 개선하며, ablation과 sensitivity analysis는 multi-granularity temporal modeling, adaptive refinement, dataset-dependent fusion 선택의 효과를 뒷받침한다.

  • 실험 설정: 실험에는 MOSI, MOSEI, SIMS, SIMS-V2가 사용되며, official split, three-seed average, dataset-specific metric, frozen ChatGLM3-6B 또는 Qwen2.5-7B backbone을 적용한다.비교 대상인 LLM-adapter 변형들에는 동일하게 pre-extracted audio 및 visual feature를 사용한다.
  • 종합 결과: MGSI는 MOSI, MOSEI, SIMS, SIMS-V2 전반에서 frozen-LLM baseline보다 대부분의 metric을 개선하며, ChatGLM3-6B의 Acc-2는 각각 25.88, 27.46, 6.74, 10.06 point 향상된다.direct prompting 대비 ChatGLM3-6B MAE도 네 dataset에서 각각 0.406, 0.279, 0.112, 0.103 감소한다.
  • Ablation 연구: 핵심 component를 하나라도 제거하면 성능이 저하되며, MOSI에서는 ASC의 영향이 가장 크고 SIMS의 Acc-2와 F1에는 MGT가 가장 크게 기여한다.full model은 metric 전반에서 가장 강한 종합 균형을 제공하며, NNC도 작지만 일관된 이점을 제공한다.
  • Ablation 연구: 모든 상황에서 균일하게 최적인 temporal scale은 없다: MOSI에서는 mid-term branch가 가장 중요하고, short-term은 MOSI Acc-2에, long-term은 SIMS F1과 MAE에 영향을 준다.이러한 branch별 효과는 short-, medium-, long-term temporal modeling을 모두 유지해야 함을 뒷받침한다.
  • Sensitivity 및 설계 분석: Sensitivity analysis는 dataset-dependent design choice를 보여준다. MOSI는 kernel size 3과 dynamic fusion을 선호하는 반면, SIMS는 kernel size 7과 attention fusion을 선호한다.Dynamic fusion은 MOSI Acc-2와 F1을 각각 1.31과 1.38 point 향상시키고, attention fusion은 SIMS를 3.37과 4.87 point 향상시킨다. 또한 moderate λnnc가 일반적으로 가장 나은 trade-off를 제공한다.

5 결론

MGSI는 frozen LLM을 conditioning하기 전에 multi-granularity encoding, text-guided refinement, compact pseudo-token adaptation을 통해 audio 및 visual stream의 sentiment-relevant temporal structure를 보존한다. 네 개의 public benchmark에서 frozen-LLM baseline 대비 성능을 향상시키면서도 효율성을 유지하지만, pre-extracted feature에 의존하며 efficiency–fidelity trade-off에 직면한다.

  • MGSI는 multi-granularity temporal encoding, text-guided refinement, compact pseudo-token adaptation을 결합해 더 풍부한 multimodal affective information을 보존하면서 frozen LLM을 효율적으로 conditioning한다.
  • MGSI는 네 개의 public benchmark에서 frozen-LLM baseline의 성능을 일관되게 향상시키며, 강력한 multimodal method와도 경쟁력 있는 성능을 유지한다.Ablation 및 sensitivity analysis는 이러한 성능 향상이 multi-granularity temporal modeling과 polarity-aware auxiliary supervision을 포함한 상호보완적 효과에 기인함을 보여준다.
  • 이 framework는 pre-extracted audio 및 visual feature에 의존하며, multimodal information을 소수의 pseudo-token으로 압축하는 과정에서 길거나 표현력이 높은 입력에 대해 efficiency–fidelity trade-off가 발생한다.향후 연구에서는 adaptive temporal-scale selection, uncertainty-aware calibration, dynamic pseudo-token allocation을 탐색할 수 있다.
Loading 2608.16201v1…