Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains

• 在科学领域视频中，视觉上看似合理的内容可能掩盖对守恒定律的违反、因果关系颠倒或不可能的状态转变。因此，可靠生成不仅需要逼真，还需要忠实呈现机制（Bansal et al., 2025a; Meng et al., 2025）。出处：§1 · p. 2
• 现有基准侧重感知质量、对齐、组合性或一般物理常识，但当时仍缺少一个针对科学机制、采用可迁移的专家制定标准的跨学科基准。出处：§1 · p. 2
• Sci-VBench包含1,253项由专家编写并经独立审查的任务，覆盖60个主题和四个学科；每项任务均配有简短提示、参考指南和详细评分标准，并以可观察的1–5分作为依据。四个学科分别为自然科学、医疗健康、人文与社会科学和工程学。出处：§1 · p. 2
• 评估方案结合基于 VBench 的 Vision Tools（用于评估低层次感知保真度）与经评分标准约束的 MLLM 评判，评估内容依据、科学及因果正确性和时空一致性。评估规范提升了非专家与专家判断的一致性；专家重新评分结果稳定（Cohen’s κ = 0.842），且与此前的视频评分方法相比，经评分标准约束的 MLLM 分数与专家判断更为一致（He et al., 2024; 2025; Guan et al., 2025）。出处：§1 · p. 2
• 在评估的16个模型中，专有模型与开源模型的明显差距主要体现在 Prompt Grounding 和 Scientific and Causal Correctness 上，而自动感知质量分数几乎持平。定性分析还发现，尽管领先模型生成的结果在视觉上颇具说服力，但仍存在系统性的机制错误。出处：§1 · p. 2
• 改写提示能够提升 Prompt Grounding 和 Scientific and Causal Correctness，但对 Spatiotemporal Consistency 的作用有限，这表明时间维度上的失败往往源于生成器，而非指令描述不充分。出处：§1 · p. 2

2.1 视频生成模型

• 视频生成系统已从短小、低保真的片段发展到高保真、时间连贯的输出，同时也出现了关于遵循物理定律和常识推理的研究（Li et al., 2025b; Henschel et al., 2024; The Sora Team, 2025; Google DeepMind, 2025; Xue et al., 2025; Gillman et al., 2025; Hu et al., 2025c）。这一进展得益于扩散模型与大规模 Transformer 架构的结合（Ma et al., 2025）。出处：§2.1 · pp. 2–3
• 相关研究还探讨了科学多模态推理和静态科学图像生成（Wang et al., 2025a; Chen et al., 2026; Zhao et al., 2025b; Wang et al., 2025b）。出处：§2.1 · p. 3

2.2 视频生成模型评估

• 现有视频生成基准主要评估感知保真度和运动，有些也测试组合性和提示遵循能力；而侧重推理的基准检验的是一般物理常识，而非科学领域知识（Huang et al., 2024; He et al., 2024; Li et al., 2025a; Huang et al., 2026; Zheng et al., 2025; Sun et al., 2025; Bansal et al., 2025a;b）。先前研究还指出，基于模型的生成视频评估和复杂科学任务评估存在可靠性差距，因此需要采用结构化规范，例如 Sci-VBench 的逐样例评分细则（Song et al., 2025; Zhao et al., 2025a;d）。出处：§2.2 · p. 3
• 相比之下，VideoScience-Bench 包含 200 条由专家标注的物理和化学提示，Sci-VBench 覆盖 60 个学科，发布可复用的逐样例指南和评分细则，并评估其在专家、非专家和 MLLM 评分者中的可迁移性（Hu et al., 2025b）。出处：§2.2 · p. 3

3 Sci-VBench 基准

• Sci-VBench 包含 1,253 个由专家编写的样例，涵盖 60 个主题和四个学科，旨在兼顾覆盖广度、专家级推理、时空推理以及基于评分细则的可复现评估。每条提示都要求具备有依据的科学理解和多步因果推理，且目标现象必须随时间演变，不能仅由单帧呈现。出处：§3 · p. 3

3.1 评估维度

• 该基准从 Low-level Perceptual Fidelity、Prompt Grounding、Scientific and Causal Correctness 和 Spatiotemporal Consistency 四个维度对视频评分。后两个维度针对的是通用质量或提示对齐标准无法捕捉的机制层面失误。出处：§3.1 · p. 4

3.2 基准构建的初步设置

• 主题选择参考了一项涉及 133 名学生的研究；61 名受训专家标注员编写样例，并由独立专家进行审核。选定的 60 个主题涵盖四个学科，其核心概念达到专家级难度，但可通过视频证据验证。出处：§3.2 · p. 4

3.3 视频提示标注

• 提示源自经典教科书，聚焦于由机制支配、可在视觉上呈现且能通过视频证据验证的概念。每条最简提示仅说明可观察的初始设置以及任何干预或目标，但不提供预期的机制演变过程，因此模型必须自行推断。出处：§3.3 · pp. 4–5

3.4 评估规范整理

• 每条提示都配有高层次参考指南和 1–5 分评分细则，将专家知识显性化，供非专家或 MLLM 评估使用。指南说明目标概念、机制假设、按阶段划分的预期现象、因果转变和验证约束；评分细则将可观察证据与评分锚点对应起来，其中推理维度采用逐样例锚点，感知保真度则采用统一评分细则。出处：§3.4 · p. 5

3.5 数据质量控制

• 对 200 个样例的审查发现，各推理维度的一致性较高：Prompt Grounding 的二次加权 κ = 0.79，Scientific and Causal Correctness 为 0.75，Spatiotemporal Consistency 为 0.73。独立专家审核提示的清晰度、视觉可检验性，以及提示与规范之间的一致性；除包含 1,253 个样例的完整划分外，Sci-VBench 还提供一个含 150 个样例的 testmini 划分。出处：§3.5 · pp. 5–6

4.1 人工评估方案

• 各学科领域的专家结合提示词、视频和每个样例的具体规范，依据可观察的评分细则线索，从 1–5 分对视频的四个维度进行评分。这些线索包括状态转变、因果一致性，以及视频中可验证的证据。出处：§4.1 · p. 6

4.2 自动化评估方案

• 基准测试中，Vision Tools 评估 Low-level Perceptual Fidelity，细则条件化评审则评估 Prompt Grounding、Scientific and Causal Correctness 和 Spatiotemporal Consistency。Vision Tools 对六项 VBench Video Quality 指标归一化后取平均，并将合成分映射至各评分维度的 1–5 分范围。出处：§4.2 · p. 6
• Qwen3.5-397B-A17B 评审会接收提示词、视频、参考指南及针对相应维度的 1–5 分评分细则，给出基于视频内容的理由说明，并对三个独立评分取平均。将评分细则限制在单一维度，旨在防止不同维度之间的证据相互混淆。出处：§4.2 · p. 6

4.3 评估协议可靠性的衡量

• 在由不同学科领域专家对 300 段视频各评分两次的测试中，Cohen’s κ 为 0.842，表明专家间一致性很强。The reliability analysis uses expert reference ratings for 1,500 videos generated by ten systems released on or before January 2026.出处：§4.3 · p. 7
• 采用评估规范后，非专家评分的 Pearson 相关系数分别为：LPF 84.7 对比 83.2、PG 83.3 对比 74.1、SCC 82.5 对比 68.2、SC 79.6 对比 70.3；在所有维度上均高于受测的每个 MLLM 评审。这些规范小幅提升了 Low-level Perceptual Fidelity，在其余三个维度上的提升则更为显著。出处：Table 3 · p. 7, §4.3 · p. 7
• Qwen3.5-397B-A17B 的 MLLM 评审相关性总体最高；评审模型规模越大，一致性通常越高；表现最强的细则条件化评审在每个维度上都优于 VideoScore、VideoScore2、VideoReward 和 ETVA。与 Low-level Perceptual Fidelity 和 Spatiotemporal Consistency 相比，MLLM 评审在 Prompt Grounding 以及 Scientific and Causal Correctness 上的一致性更强。出处：§4.3 · p. 7

5.1 评测模型

• 基准使用原样提示词和各模型默认配置，对比 16 个前沿文本生成视频模型——其中 8 个为专有模型，8 个为开源模型。各模型所报告的版本、分辨率、帧率和片段时长见 Appendix A.3。出处：§5.1 · pp. 7–8

5.2 主要结果

• VT 几乎持平（3.79–4.12），但自动评估的 SCC 跨度为 1.24–3.34，人工评估的 SCC 跨度为 1.12–3.06；Gemini-Omni-Flash 的自动评估（3.38）和人工评估（3.18）平均分均居首。VT 是基于 VBench 的低层感知保真度代理指标；所报告的平均分基于 testmini 结果计算。出处：§5.2 · p. 8, Table 4 · p. 8
• Gemini-Omni-Flash 在三个学科中领先，但 Healthcare 学科由 Sora-2 领先；开源模型 MiniMax-H3 的 SCC 达到 1.63，而 Wan2.2-5B 的自动时空一致性分数最高，为 2.79。Gemini-Omni-Flash 在 Engineering、Natural Science 和 Humanities & Social Sciences 学科的得分分别为 3.33、3.13 和 2.95；Sora-2 在 Healthcare 学科的得分为 2.97。出处：Figure 3 · p. 8, §5.2 · p. 9

5.3 错误分析

• 观察到的错误分为三类：未能遵循指令、对科学原理的模拟不准确，以及时间连贯性和视觉质量方面的不足。这些错误包括遗漏提示词中的细节、画面吸引人但物理过程不正确的动态，以及随时间发生的不合逻辑变化。出处：§5.3 · p. 9

5.4 提示词改写的效果

• 对于 Wan2.2-5B/HunyuanVideo-1.5，SCC 分别提升 +23.3%/+51.7%，Prompt Grounding 分别提升 +12.4%/+26.7%，时空一致性分别提升 +7.5%/+16.5%。差距有所缩小但依然存在：HunyuanVideo-1.5 的 SCC 达到 2.20，高于原样提示词下开源模型的最高分 1.63，但低于专有模型的最高分 3.34。出处：§5.4 · p. 9

6 结论

• 在16个前沿模型中，Sci-VBench揭示了视觉感知真实度与科学有效性之间持续存在的差距，同时也显示出专有模型与开源模型在推理相关维度上的显著差距。该基准包含1,253条由专家编写的提示，涵盖四个学科领域的60个主题。出处：§6 · p. 9
• 观察到的失败模式表明，专家领域视频生成在提升指令遵循、机制一致性和时空稳定性方面仍有改进空间。出处：§6 · p. 9

A.1 学科选择

• Table 5 按主要学科列出 Sci-VBench 的学科，并在四个学科下分别列出子领域。所提供的段落说明了该表的范围和组织方式，但未提供具体学科名称或子领域内容。出处：Table 5 · p. 15

A.2 数据质量控制

• 在200个审查样例中，独立编写的规范在 Prompt Grounding 上得到 κ=0.79，在 Scientific and Causal Correctness 上得到 κ=0.75，在 Spatiotemporal Consistency 上得到 κ=0.73。两名独立评分者按平衡后的顺序，使用交叉的评分者—评分标准设计，依据两套规范对同一视频进行评分。出处：§A.2 · p. 15

A.3 视频生成模型

• 受评模型使用基准中的原文提示词，并采用默认配置；生成时长选取最接近15秒目标值的设置。若干模型的时长上限较短，HappyHorse-1.1生成的片段带有水印。表格列出准确的模型标识符或代码仓库，并报告实测分辨率和帧率；时长上限包括 Veo-3.1 的8秒和 CogVideoX1.5-5B 的5秒。出处：Table 6 · p. 16, §A.3 · p. 16

A.4 标注人员信息

• 文中列出了61名 Sci-VBench 标注人员的简介；为保护匿名性，作者兼任标注人员的简介未予公开。出处：§A.4 · p. 17, Table 7 · p. 17, Table 8 · p. 18

B.1 低层次视频质量：定义与实现细节（改编自 VBench）

• Subject Consistency 衡量主体身份和属性在各帧间是否保持稳定；Background Consistency 评估场景布局、光照和空间结构的连续性。出处：§B.1 · p. 19
• Motion Smoothness 评估时间连续性和物理合理性，而 Dynamic Degree 衡量运动强度和丰富程度，不评判其正确性。出处：§B.1 · p. 19
• Aesthetic Quality 评估视觉吸引力和艺术构图；Imaging Quality 衡量帧级保真度，包括锐度、噪声、压缩伪影和清晰度。出处：§B.1 · p. 19

B.2 与先前视频评分方法的比较

• ETVA (Guan et al., 2025) 通过将提示解析为场景图、生成原子问题，并聚合经知识增强的多阶段问答分数来评估提示对齐度。其分数遵循官方评估流程。出处：§B.2 · p. 19
• VideoScore (He et al., 2024) 对五项方面分数取平均；VideoScore2 (He et al., 2025) 则对每段视频报告的三个维度取平均。VideoScore 基于 VideoFeedback 训练；VideoScore2 使用 VideoFeedback2 的人工评分和推理轨迹，并采用两阶段 SFT+RL 流程。出处：§B.2 · p. 19
• VideoReward (Liu et al., 2025) 将每段视频的 Visual Quality、Motion Quality 和 Text Alignment 分数取平均，得到总分。该基于 VLM 的奖励模型在大规模人类偏好数据集上训练。出处：§B.2 · p. 19
• 在 Prompt Grounding、Scientific and Causal Correctness 和 Spatiotemporal Consistency 上，基于评分细则的 MLLM-as-Judge 在所比较的自动方法中具有最高的实例级 Pearson 相关性。ETVA 在 Prompt Grounding 和 Scientific and Causal Correctness 上表现相对有竞争力，但在 Low-level Perceptual Fidelity 和 Spatiotemporal Consistency 上则显著下降。出处：§B.2 · pp. 19–20

B.3 评估提示模板

• Figure 5 的单维度提示模板会针对每个示例填入尖括号标示的字段，并且只包含该维度的评分细则锚点。该模板摘录自评分代码。出处：§B.3 · p. 21, Figure 5 · p. 21
• Figure 6 的公开评估规范先给出逐字呈现的生成提示，随后列出待评维度及其带锚点的 1–5 评分细则。图示规范针对膝跳反射示例，内容逐字摘录自公开数据集。出处：§B.3 · p. 21, Figure 6 · p. 22

C.1 全基准测试结果

• 对应的总体平均值见 Table 4 的 Full Avg. 列。出处：§C.1 · p. 23
• Table 9 汇总了开源模型在全部 1,253 个 Sci-VBench 样例上的分维度自动评测结果。结果按最右侧的 Avg. 列排序。出处：Table 9 · p. 23, §C.1 · p. 23

指令遵循不佳

• 模型常忽略提示中的细节，例如未呈现指定的按钮开关，而是生成指尖触碰电路板的画面。这表明，即使是领先模型，也未能很好地遵循指令。出处：§C.2 · p. 23, Figure 7 · p. 24

科学原理模拟不准确

• 模型未能遵守科学原理和前提条件，导致未受敲击的腿在膝跳反射中踢动等错误。另一个例子是，在眼睛旁挤压袋子却未引发眨眼；分析指出，模型优先追求视觉美感，而非科学真实性。出处：§C.2 · p. 23, Figure 8 · p. 24

时间连贯性与视觉质量不足

• 时间和视觉缺陷包括物体合并、风格突变、纹理粗糙，以及因果联系薄弱的事件，削弱了画面的可信度。例如，两个球在运动过程中合并，逼真的棱镜画面转为动画风格，以及运动传感器前有人挥手时，LED却自行改变状态。出处：§C.2 · p. 23