AI 摘要 · 由英文经 AI 翻译
Tailor Versatile Multi-modal Learning for Multi-label Emotion Recognition
Yi Zhang, Mingyuan Chen, Jundong Shen, Chongjun Wang
TL;DR
MMER方法常将不同模态映射到共享空间，并为各标签学习相同的表示，因此未能充分利用模态多样性以及模态与标签之间的关系。TAILOR细化模态共有和私有表示，逐步融合这些表示，并利用标签语义为各标签定制表示。在CMU-MOSEI的对齐和非对齐设置下，TAILOR优于最先进方法，但召回率除外。
问题
以往MMER方法常将不同模态映射到共享空间，并为各标签学习相同的表示，因此未能充分利用模态多样性、标签语义以及模态与标签之间的关系。
出处：Introduction · pp. 1–2方法
TAILOR通过对抗式细化模态共有和私有表示，逐步融合这些表示，并利用标签语义引导为各标签定制表示。
出处：Introduction · p. 2结果
在CMU-MOSEI的对齐和非对齐设置实验中，TAILOR在除召回率（R）外的所有评估指标上均显著优于最先进方法。
出处：Introduction · p. 2, Experimental Results and Analysis · p. 6结论与局限
对齐和非对齐设置下的实验与分析验证了TAILOR的有效性和泛化能力。
出处：Conclusion · p. 7
Abstract
from arXiv · showhide
Multi-modal Multi-label Emotion Recognition (MMER) aims to identify various human emotions from heterogeneous visual, audio and text modalities. Previous methods mainly focus on projecting multiple modalities into a common latent space and learning an identical representation for all labels, which neglects the diversity of each modality and fails to capture richer semantic information for each label from different perspectives. Besides, associated relationships of modalities and labels have not been fully exploited. In this paper, we propose versaTile multi-modAl learning for multI-labeL emOtion Recognition (TAILOR), aiming to refine multi-modal representations and enhance discriminative capacity of each label. Specifically, we design an adversarial multi-modal refinement module to sufficiently explore the commonality among different modalities and strengthen the diversity of each modality. To further exploit label-modal dependence, we devise a BERT-like cross-modal encoder to gradually fuse private and common modality representations in a granularity descent way, as well as a label-guided decoder to adaptively generate a tailored representation for each label with the guidance of label semantics. In addition, we conduct experiments on the benchmark MMER dataset CMU-MOSEI in both aligned and unaligned settings, which demonstrate the superiority of TAILOR over the state-of-the-arts. Code is available at https://github.com/kniter1/TAILOR.
引言
现有多模态、多标签方法未能充分表征模态多样性和标签特异性。TAILOR通过细化模态表示、逐步融合，并利用标签语义指导生成定制化标签表示来应对这些挑战。
引言
- 多模态学习的挑战在于融合共享信息的同时保留模态多样性，并通过交互对齐模态分布以实现融合。将模态投影到共享空间的既有方法，可能忽略从不同视角体现出的独特情感特征。出处：Introduction · p. 1
- 多标签学习需要在特征空间和标签空间中编码每个标签固有且具有区分性的特征。独立学习标签特异性表示的方法可能忽略标签间的关系。出处：Introduction · pp. 1–2
- TAILOR采用受共有语义和正交性约束的对抗网络，提取模态内的共性与多样性，随后通过基于粒度的 BERT 式编码器融合模态。论文指出，该方法对预训练的依赖较低。出处：Introduction · p. 2
- TAILOR利用自注意力挖掘高阶标签相关性，并通过 Transformer 解码器将融合后的多模态表示与标签语义对齐，从而生成定制化标签表示。该解码器旨在根据每个标签的语义指导构建其表示。出处：Introduction · p. 2
- TAILOR以对抗方式建模模态间的共性与多样性，并提升标签表示的区分能力。该方法逐步融合私有表示和共有表示，并融入标签语义；在 CMU-MOSEI 上的实验显示，其在对齐和非对齐设置下均表现出色。出处：Introduction · p. 2
相关工作
以往研究通过聚合和跨模态适配探索多模态融合，多标签研究则关注标签相关性和标签专属特征。MMER研究还考察模态、特征与标签之间的关系。
相关工作
- 多模态融合研究采用拼接、张量或注意力进行聚合，也采用基于对齐的适配；联合嵌入可能忽视模态特异性。其他方法将不同模态的特定流结合起来，或在保留共性信息的同时保留模态特定模式。出处：Related Work · p. 2
- 多标签方法对标签相关性进行建模，或利用视觉、文本注意力等判别性特征学习标签专属表征。所引研究将这两种策略都作为多标签学习的方法。出处：Related Work · p. 2
- MMER研究对模态与标签之间、特征与标签之间的依赖关系进行建模，同时也考虑标签相关性 。出处：Related Work · p. 2
方法
TAILOR 将 MMER 建模为根据视觉、音频和文本特征分配相关情绪标签集合。其方法通过上下文丰富各模态表示，将表示拆分为公共表示和私有表示，并利用标签语义生成适配各标签的表示用于分类。
方法
- MMER 根据未见过的视频的视觉、音频和文本特征，为其分配一组相关情绪标签。特征空间由序列构成，每个视频都有对应的相关标签集合。出处：Methodology · p. 2
单模态特征提取器
- 独立的 Transformer 编码器先利用序列级上下文丰富视觉、音频和文本特征，再生成各模态嵌入。生成的嵌入维度均为 d，序列长度均为 τ。出处：Uni-modal Extractor · pp. 2–3
对抗式多模态细化
- 共享生成器对齐公共表示，模态专属投影则形成私有表示；对抗训练使判别器难以区分公共特征，同时促使其辨别私有表示的模态来源。判别器估计表示所属的模态。出处：Adversarial Multi-modal Refinement · p. 3
- 正交损失惩罚公共表示与私有表示中的冗余，最终目标结合分类损失、对抗损失、正交损失和公共语义损失。总体损失通过 α、β 和 γ 对附加项加权。出处：Adversarial Multi-modal Refinement · pp. 4–5
- 跨模态编码器将两种模态表示与模态标记嵌入和位置嵌入相加，再将结果输入 Transformer 编码器。出处：Figure 3 · p. 4
- 标签语义引导多头注意力处理联合多模态表示，生成适配各标签的表示，再通过 sigmoid 分类和二元交叉熵进行训练。适配各标签的表示由带残差连接和层归一化的前馈网络生成。出处：Adversarial Multi-modal Refinement · p. 5
实验
实验在对齐和非对齐设置下评估 TAILOR 在 CMU-MOSEI 上的表现，并进一步分析其组成模块、对抗表示和学到的标签相关性。
实验设置
- CMU-MOSEI 包含来自 1,000 名说话者的 22,856 个片段，标注了六种情绪，并在对齐和非对齐设置下评估视觉、音频和文本特征。实验使用 35 维视觉特征、74 维音频特征和 300 维文本特征。出处：Experimental Setup · p. 5
- 评估指标包括 Accuracy、Micro-F1、Precision 和 Recall；Table 2 比较了 TAILOR 与先进方法在对齐和非对齐序列上的表现。表注说明每项指标的最佳结果以粗体标出；所提供的内容未给出具体数值。出处：Experimental Setup · p. 5, Table 2 · p. 6
实验结果与分析
- 消融实验表明，移除对抗式多模态学习的变体表现最差；共同性与多样性的联合建模、融合顺序、模态标记以及标签特定学习也会影响性能。引入标签相关性和标签—模态依赖的标签特定变体，表现优于未采用标签特定学习的变体。出处：Experimental Results and Analysis · p. 6
- 随着训练轮次增加，私有对抗损失和总体损失近乎单调下降并平稳收敛，而共同对抗损失先波动后趋于稳定。作者指出，在训练终点，共同和私有对抗学习均无法继续提升。出处：Experimental Results and Analysis · p. 7, Figure 4 · p. 7
- 对抗训练使不同模态的共同表示对齐，而正交约束则将共同子空间与私有表示分离。没有对抗训练时，共同分布与私有分布有时会重叠；可视化分布来自对齐设置下的 CMU-MOSEI。出处：Experimental Results and Analysis · p. 7, Figure 6 · p. 7
- 在不同注意力头中，angry 与 fear、disgust 和 sad 相关，而 surprise 通常与 happy 高度相关。所展示的标签相关性可视化涵盖四个注意力头。出处：Experimental Results and Analysis · p. 7, Figure 7 · p. 7
结论
TAILOR将对抗式细化与渐进式多模态融合、标签引导的表征相结合。在对齐和未对齐设置下进行的实验验证了其有效性和泛化能力。
结论
- TAILOR由单模态提取器、对抗式多模态细化和标签-模态对齐组成。这些模块细化私有和公共表征，逐步融合模态，并利用标签语义引导针对各标签的表征。出处：Conclusion · p. 7
- 渐进式融合和标签引导的表征构建是TAILOR各模块的既定功能。标签语义引导为每个标签构建定制表征。出处：Conclusion · p. 7
- 在对齐和未对齐设置下进行的实验与分析验证了TAILOR的有效性和泛化能力。出处：Conclusion · p. 7