AI 摘要 · 由英文经 AI 翻译
Do Music Generative Models Understand Musical Qualities? Automatic Music Evaluation with Model-Intrinsic Signals
Xiaosha Li, Chun Liu, Ziyu Wang
TL;DR
音乐生成器能否依据内部信号评估自身输出很重要，因为仅基于波形的验证器只能近似评分，却无法解释听众为何更偏好某段音频。本文在五个基准上，将 MusicGen 的 loss、entropy 和 SAE latents 与人类评分相联系；这些信号能够追踪评分，其中 SAE latents 提供了大部分预测信号。
问题
基于波形的验证器能够近似人类评分，但无法解释听众为何给某段生成音频打出更高分。
出处：§1 · p. 1方法
本文从预训练音乐生成器中提取逐 token loss、预测熵和 SAE latents，并在五个基准上将其与评分相联系。
出处：§1 · pp. 1–2结果
在五个基准上，冻结的 MusicGen 内部信号与人类评分相吻合；SAE latents 提供了大部分预测信号，而 loss–entropy 不匹配则标记出低评分时刻。
出处：§1 · p. 2, §4.5 · p. 5, §6 · p. 6结论与局限
在本文测试范围内，内部信号是自动音乐评估中一种可行但尚未充分利用的维度。
出处：§6 · p. 6
Abstract
from arXiv · showhide
Current music generative models can produce high-quality music, but does this ability imply that they ``understand'' the musical qualities of their outputs, and is that understanding aligned with human evaluation? Previous attempts to use the likelihood of a generative model to evaluate music, an approach commonly used in text, have proven unsuccessful, leading researchers to rely on standalone supervised music evaluation models. In this paper, we answer this question affirmatively: we show that a model's intrinsic signals---derived from its hidden representations and predictions---are strongly correlated with human ratings. In particular, we study MusicGen and consider three types of features: (1) prediction loss, (2) prediction entropy, and (3) concepts extracted from the model using a sparse autoencoder (SAE). Using these features, we train a lightweight prediction model to estimate subjective ratings. We evaluate these features both individually and in combination. We hypothesize that these signals parallel the listening process: the temporal and frequency-domain structure of loss and entropy reflects listeners' expectation and surprise, while gradient directions in SAE latent space predict perceived quality. Experiments on five human-evaluation benchmarks spanning continuous ratings and pairwise preferences confirm this hypothesis, with SAE latents carrying most of the predictive signal.
1. 引言
本文探讨音乐生成模型能否依据内部信号评估自身生成结果，以弥补仅依赖波形的评估器留下的空白。研究在五个基准上检验与人类评分对齐的 MusicGen 信号，发现损失—熵模式和 SAE 潜变量都具有预测价值。
1. 引言
- 现有基于音频的评估器根据生成音频近似人类评分，但没有解释听众为何更喜欢某段音频。引用的例子包括 Meta Audiobox Aesthetics 和音乐指令基准。出处：§1 · p. 1
- 本文将聆听理解为由接触经验塑造的表征和预期，与实际听到的音频之间的对齐，并借鉴音乐认知研究中关于熟悉感与惊奇感的解释。引用的理论包括单纯曝光效应，以及对预期违背的情感反应。出处：§1 · p. 1
- 在统一评估流程下，单个预训练音乐生成模型的内部信号与五个基准上的人类评分相一致。这些信号包括逐 token 损失、下一 token 预测熵和稀疏自编码器潜变量。出处：§1 · pp. 1–2
- 过度自信但预测错误造成的损失—熵失配，是低评分最主要的局部相关因素；音频描述也印证了这一模式。这种失配指高损失与低熵同时出现。出处：§1 · pp. 1–2
- 未经评分数据训练的 SAE 潜变量能够区分高评分和低评分音频片段，音频描述和专业制作人也对此予以印证。本文将此视为表征层面的证据，表明这些潜变量沿着质量维度组织音频片段。出处：§1 · p. 2
2. 相关工作
以往音乐评估主要对波形或人工评分结果进行打分，而音乐认知与模型可解释性研究则提示了互补的内部信号。本文将损失、熵和 SAE 表征置于这两条研究脉络中。
2. 相关工作
- 音乐评估涵盖基于波形的评估器和人工评分基准，但模型内部信号在音乐领域仍是一个鲜少涉及的方向。本文将损失、熵和稀疏表征定位为语言建模与可解释性研究中常用的信号。出处：§2 · p. 2
- Audiobox Aesthetics 对制作和内容质量进行评分，CMI-Bench 和 CMI-RewardBench 则评估音乐指令遵循及奖励建模维度。这些维度包括制作质量、内容带来的愉悦感、音乐性以及文本与音乐的对齐程度。出处：§2 · p. 2
- 人工评估基准涵盖专家评分、整曲评分、成对对比和问卷式比较，但都基于波形进行判断，未解释偏好产生的原因。本文将所提方法归为基于人工评分训练的无参考质量预测，使用生成模型内部信号，而非音频嵌入。出处：§2 · p. 2
- 音乐认知理论认为，熟悉感和预期违背会影响偏好；自回归模型则编码了受训练数据塑造的表征和对下一 token 的预期。所引理论包括单纯曝光效应 ，以及预期违背带来的情感影响 。出处：§2 · p. 2
- 已有研究发现，仅凭平均损失不足以评估音乐性；损失曲线形态和熵则可在不同时间尺度上提供互补的质量或错误信息。困惑度同样无法区分有把握的正确预测和有把握的错误预测 [21]。出处：§2 · p. 2
- SAE 将稠密激活映射为稀疏且更易解释的单元；本文重新利用此前用于引导模型的音乐概念，检验它们与人工评分的一致性。此前关于音乐模型 SAE 的研究见 Singh et al. 。出处：§2 · p. 2
3. 方法
该方法从预训练自回归音乐模型中提取损失、预测熵和 SAE 潜变量，再训练神经网络预测人类评分。它在连续评分和成对偏好基准上采用统一的训练目标。
3.1 模型内在信号
- 逐步损失、预测熵和 SAE 潜变量从模型的输出分布和隐藏状态中提供互补信号。损失是真实标记的负对数似然；预测熵衡量下一标记预测的不确定性，而 SAE 潜变量则将隐藏激活表示为稀疏且与概念对齐的特征。出处：§3.1 · p. 3
3.2 预测模型
- 三分支混合模型为每种信号配置专用的 1D 卷积编码器，再通过后期拼接合并其表示。单信号和双信号消融实验会移除相应分支；共享 MLP 预测片段级评分。出处：§3.2 · p. 3
3.3 跨数据集训练目标
- 无论监督格式如何，所有变体均以片段级目标为参照，采用同一个均方误差目标进行训练。MusicEval 和 SongEval 直接提供专家平均评分；MusicPref、AIME 和 Music Arena 的成对结果则通过 Elo 更新转换为连续评分。出处：§3.3 · p. 3
- Table 1 报告 Pearson r 和 Spearman ρ；训练后的模型在留出测试划分上评估，而 Audiobox 则在完整数据集上进行零样本评估。该表还给出了五个留出基准划分合并后的结果。出处：Table 1 · p. 4
4. 实验
实验在五个基准上比较音乐模型的内在信号与人工评分，并将其与仅音频基线和平均损失基线进行对比。内在信号模型优于这些基线，基于 SAE 的模型在大多数基准上表现领先，但没有任何一种组合始终占优。
4. 实验
- 在五个人工评估数据集的留出测试划分上，将混合模型及其消融版本与仅音频基线和内在信号基线进行比较。出处：§4 · p. 4
4.1 数据集
- 五个公开基准共覆盖约 241 小时，结合专家直接评分与成对偏好，并将评估重点放在音乐性上。这些基准包括 MusicEval、SongEval、AIME、MusicPref 和 Music Arena。出处：§4.1 · p. 4
4.2 数据处理
- 直接评分取平均值，成对比较结果则转换为连续 Elo 目标；片段与评分者听到的音频对齐，随后切分为 30 秒的特征序列。在三个成对比较基准上，Elo 重新评分以 r≥0.86 跟踪经验胜率。出处：§4.2 · p. 4
4.3 模型训练
- CNN 对损失和熵曲线进行编码，平行分支压缩 SAE 编码，MLP 预测评分；七种信号组合均使用匹配的划分、预处理和随机种子。完整混合模型约有 1.24 million 个参数。出处：§4.3 · p. 4
4.4 基线
- 基线包括在验证集上校准的 Audiobox 分数（涵盖四个美学维度），以及使用 token 平均损失的回归器。Audiobox 的维度为内容享受度、内容实用性、制作复杂度和制作质量。出处：§4.4 · p. 5
4.5 结果
- 每种内在信号模型都优于 Audiobox 和平均损失；单项最佳模型仅在 24 列中的 4 列优于次佳模型，且 SAE 模型在大多数基准上领先。最强的单一信号是 SINGLE-SAE，但在 MusicPref 上由损失信号领先。出处：§4.5 · p. 5
5. 分析
本节分析 token 级 loss 和 entropy 配置、其频谱动态以及 SAE 概念与人类评分之间的关系；loss–entropy 分析使用 MusicEval 的 clean test split。
5.1 Loss–Entropy 配置
- 在 MusicEval 的 clean test split（n=270）上，过度自信但预测错误的 token 与较低评分相关（r=−0.18），而不确定但预测错误的 token 与较高评分相关（r=+0.29）。不确定但预测正确的 token 与略低评分相关（r=−0.12），而自信且预测正确的 token 则无相关性（r=+0.03, n.s.）；审查发现，10 个过度自信但预测错误的窗口中有 6 个听起来具有干扰性，而 10 个不确定但预测错误的窗口中有 3 个如此。不确定且预测错误 token 的占比减去过度自信且预测错误 token 的占比，与评分的相关系数为 r=+0.25；平均 loss 减去 entropy 与评分的相关系数为 r=+0.30。出处：§5.1 · pp. 5–6
5.2 频谱域中的 Loss 和 Entropy 信号
- 乐句频带变化与较低评分相关（r≈−0.39），节拍速率 entropy 与较高评分相关（r≈+0.41），而 40–190 ms 范围内的 loss–entropy 相干性与较低评分相关（r≈−0.54）。亚拍级 loss 变化也与较高评分相关（r≈+0.48）；作者将这种相干性模式解释为 glitch 特征。出处：Figure 4 · p. 6, §5.2 · p. 6
5.3 SAE Latent 作为可解释概念
- 制作人对与好评和差评对齐的 SAE latent 的判断，与按评分对齐的归因排序相符；而 Gemini 对差评侧的描述仍保留了准确的流派标签。制作人则描述了失真，包括噪声、刺耳的高频以及 EOS/delay tokens。出处：Table 3 · p. 6, §5.3 · p. 6
6. 结论
结论指出，音乐生成模型的内在信号与听众评分相吻合，可作为自动音乐评价的有效维度。