Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains

• 과학 분야 동영상에서는 시각적 개연성이 보존 법칙 위반, 인과관계의 역전, 불가능한 상태 전이를 가릴 수 있으므로, 신뢰할 수 있는 생성에는 사실감뿐 아니라 메커니즘에 대한 충실성도 필요하다 (Bansal et al., 2025a; Meng et al., 2025).출처: §1 · p. 2
• 기존 벤치마크는 지각 품질, 정렬, 구성성 또는 일반적인 물리 상식에 중점을 두었지만, 전문가가 정의한 기준을 여러 분야에 적용할 수 있는 과학적 메커니즘 평가 벤치마크는 부재했다.출처: §1 · p. 2
• Sci-VBench는 60개 주제와 네 개 분야에 걸친 전문가 작성·독립 검토 과제 1,253개로 구성된다. 각 과제는 최소한의 프롬프트와 참고 지침을 짝지으며, 관찰 가능한 1–5점 점수에 기반한 상세한 평가 기준을 제공한다.네 분야는 자연과학, 의료, 인문사회과학, 공학이다.출처: §1 · p. 2
• 평가 프로토콜은 VBench 기반 Vision Tools를 사용한 저수준 지각 충실도 평가와, 지식 기반성·과학적 및 인과적 정확성·시공간 일관성을 평가 기준에 조건화한 MLLM 판정을 결합한다.평가 명세를 적용하면 비전문가와 전문가 간 일치도가 향상된다. 전문가 재평정은 안정적이며 (Cohen’s κ = 0.842), 평가 기준에 조건화한 MLLM 점수는 기존 동영상 점수화 방법보다 전문가 판단과 더 잘 일치한다 (He et al., 2024; 2025; Guan et al., 2025).출처: §1 · p. 2
• 평가한 16개 모델에서는 Prompt Grounding과 Scientific and Causal Correctness를 중심으로 독점 모델과 오픈소스 모델 간 뚜렷한 격차가 나타났지만, 자동 지각 품질 점수는 거의 차이가 없었다.정성 분석에서도 시각적으로 설득력 있는 결과물에도 불구하고 선도 모델에서 체계적인 메커니즘 오류가 발견됐다.출처: §1 · p. 2
• 프롬프트 재작성은 Prompt Grounding과 Scientific and Causal Correctness를 향상시키지만 Spatiotemporal Consistency에는 효과가 제한적이다. 이는 시간적 실패가 지시의 불충분한 구체성보다 생성기에서 비롯되는 경우가 많음을 시사한다.출처: §1 · p. 2

2.1 비디오 생성 모델

• 비디오 생성 시스템은 물리 법칙 준수와 상식 추론을 다루는 연구와 함께, 짧고 충실도가 낮은 클립에서 고충실도와 시간적 일관성을 갖춘 결과물로 발전해 왔다 (Li et al., 2025b; Henschel et al., 2024; The Sora Team, 2025; Google DeepMind, 2025; Xue et al., 2025; Gillman et al., 2025; Hu et al., 2025c).이러한 발전은 대규모 트랜스포머 아키텍처와 결합한 디퓨전 모델의 성과로 설명된다 (Ma et al., 2025).출처: §2.1 · pp. 2–3
• 관련 연구에서는 과학 분야의 멀티모달 추론과 정적인 과학 시각 자료 생성도 다룬다 (Wang et al., 2025a; Chen et al., 2026; Zhao et al., 2025b; Wang et al., 2025b).출처: §2.1 · p. 3

2.2 비디오 생성 모델 평가

• 기존 비디오 생성 벤치마크는 주로 지각 충실도와 동작을 평가하고 일부는 구성성 및 프롬프트 수행 여부를 검증하는 반면, 추론 중심 벤치마크는 과학 분야 지식보다 일반적인 물리 상식을 평가한다 (Huang et al., 2024; He et al., 2024; Li et al., 2025a; Huang et al., 2026; Zheng et al., 2025; Sun et al., 2025; Bansal et al., 2025a;b).선행 연구는 생성 비디오와 복잡한 과학 과제에 대한 모델 기반 평가의 신뢰성 격차도 보고했으며, 이에 따라 Sci-VBench의 예제별 루브릭과 같은 구조화된 명세가 필요하다 (Song et al., 2025; Zhao et al., 2025a;d).출처: §2.2 · p. 3
• 전문가가 주석한 물리학 및 화학 프롬프트 200개를 다루는 VideoScience-Bench와 비교해 Sci-VBench는 60개 주제를 아우르고, 재사용 가능한 예제별 지침과 루브릭을 공개하며, 전문가·비전문가·MLLM 평가자 간 평가의 적용 가능성을 검증한다 (Hu et al., 2025b).출처: §2.2 · p. 3

3 Sci-VBench 벤치마크

• Sci-VBench는 60개 주제와 4개 학문 분야에 걸친 1,253개의 전문가 작성 예시로 구성되며, 폭넓은 범위, 전문가 수준의 추론, 시공간 추론, 재현 가능한 루브릭 기반 평가를 중심으로 설계됐다.각 프롬프트는 근거에 기반한 과학적 이해와 다단계 인과 추론을 요구하며, 대상 현상은 단일 프레임으로 포착되는 것이 아니라 시간에 따라 전개되어야 한다.출처: §3 · p. 3

3.1 평가 차원

• 이 벤치마크는 비디오를 Low-level Perceptual Fidelity, Prompt Grounding, Scientific and Causal Correctness, Spatiotemporal Consistency의 네 차원에서 평가한다.뒤의 두 차원은 일반적인 품질 또는 프롬프트 정합성 기준으로는 포착되지 않는 메커니즘 수준의 실패를 겨냥한다.출처: §3.1 · p. 4

3.2 벤치마크 구축을 위한 사전 설정

• 주제 선정에는 학생 133명을 대상으로 한 연구를 활용했으며, 훈련받은 전문가 주석자 61명이 예시를 작성하고 독립 전문가들이 이를 검토했다.선정된 60개 주제는 네 학문 분야에 걸쳐 있으며, 핵심 개념은 전문가 수준이면서도 비디오 증거로 검증할 수 있다.출처: §3.2 · p. 4

3.3 비디오 프롬프트 주석

• 프롬프트는 정전적 교과서를 바탕으로 하며, 메커니즘에 의해 지배되는 시각적 구현 양상이 비디오 증거로 검증될 수 있는 개념에 초점을 둔다.각 최소 프롬프트는 관찰 가능한 초기 설정과 개입 또는 목표가 있다면 이를 명시하지만, 예상되는 메커니즘의 전개 과정은 생략해 모델이 이를 추론하도록 한다.출처: §3.3 · pp. 4–5

3.4 평가 명세 큐레이션

• 각 프롬프트에는 전문가 지식을 비전문가 또는 MLLM 평가에 활용할 수 있도록 구체화하는 상위 수준의 참조 가이드와 1–5 루브릭이 포함된다.가이드는 목표 개념, 메커니즘 가정, 단계별 예상 현상, 인과적 전이, 검증 제약을 명시한다. 루브릭은 관찰 가능한 증거를 채점 기준점에 연결하며, 추론 차원에는 예시별 기준점을, 지각 충실도에는 공통 루브릭을 적용한다.출처: §3.4 · p. 5

3.5 데이터 품질 관리

• 200개 예시를 감사한 결과, 추론 차원 전반에서 높은 일치도가 확인됐다. Prompt Grounding의 quadratic weighted κ = 0.79, Scientific and Causal Correctness의 0.75, Spatiotemporal Consistency의 0.73이었다.독립 전문가 검토에서는 프롬프트의 명확성, 시각적 검증 가능성, 프롬프트와 명세 간 일관성을 확인한다. Sci-VBench는 1,253개 전체 분할과 함께 150개 예시로 구성된 testmini 분할도 제공한다.출처: §3.5 · pp. 5–6

4.1 사람 평가 프로토콜

• 분야별 전문가가 프롬프트, 동영상, 예시별 명세를 바탕으로 루브릭의 관찰 가능한 단서에 맞춰 각 동영상을 네 차원에서 1–5점으로 평가한다.단서에는 상태 전이, 인과적 일관성, 동영상에서 검증 가능한 증거가 포함된다.출처: §4.1 · p. 6

4.2 자동 평가 프로토콜

• 벤치마크 평가에서 Vision Tools는 저수준 지각 충실도를 평가하고, 루브릭 조건을 적용한 판정기는 프롬프트 정합성, 과학적·인과적 정확성, 시공간적 일관성을 평가한다.Vision Tools는 정규화 후 VBench Video Quality의 여섯 가지 지표를 평균하고, 종합 점수를 루브릭 차원의 1–5점 범위에 맞춘다.출처: §4.2 · p. 6
• Qwen3.5-397B-A17B 판정기는 프롬프트, 동영상, 참조 가이드, 차원별 1–5점 루브릭을 입력받아 동영상에 근거한 정당화를 제시하고, 독립 점수 3개의 평균을 낸다.루브릭을 한 차원으로 제한하는 것은 차원 간 증거가 섞이는 일을 방지하기 위한 것이다.출처: §4.2 · p. 6

4.3 평가 프로토콜 신뢰도 측정

• 분야별 전문가가 독립적으로 평가한 동영상 300개를 두 차례 채점한 결과, Cohen’s κ는 0.842로 전문가 간 일치도가 높게 나타났다.The reliability analysis uses expert reference ratings for 1,500 videos generated by ten systems released on or before January 2026.출처: §4.3 · p. 7
• 평가 명세를 제공했을 때 비전문가의 Pearson 상관은 LPF 84.7 vs. 83.2, PG 83.3 vs. 74.1, SCC 82.5 vs. 68.2, SC 79.6 vs. 70.3이었으며, 모든 차원에서 테스트한 모든 MLLM 판정기보다 높았다.명세는 저수준 지각 충실도를 소폭, 나머지 세 차원을 더 큰 폭으로 개선했다.출처: Table 3 · p. 7, §4.3 · p. 7
• Qwen3.5-397B-A17B는 전반적으로 MLLM 판정기 중 가장 높은 상관을 보였고, 평가자 규모가 커질수록 대체로 일치도가 높아졌으며, 루브릭 조건을 적용한 최우수 판정기는 모든 차원에서 VideoScore, VideoScore2, VideoReward, ETVA를 능가했다.MLLM 판정기는 저수준 지각 충실도와 시공간적 일관성보다 프롬프트 정합성 및 과학적·인과적 정확성에서 더 높은 정합도를 보였다.출처: §4.3 · p. 7

5.1 평가 모델

• 벤치마크는 원문 프롬프트와 각 모델의 기본 설정을 사용해 최첨단 text-to-video 모델 16개(독점 모델 8개, 오픈소스 모델 8개)를 비교한다.각 모델의 보고된 버전, 해상도, 프레임 속도, 클립 길이는 Appendix A.3에 제시되어 있다.출처: §5.1 · pp. 7–8

5.2 주요 결과

• VT는 거의 변동이 없다(3.79–4.12). 반면 자동 SCC는 1.24–3.34, 사람 평가 SCC는 1.12–3.06의 범위에 걸쳐 있으며, Gemini-Omni-Flash가 자동 평가 평균(3.38)과 사람 평가 평균(3.18)에서 가장 높은 점수를 기록한다.VT는 저수준 지각 충실도를 측정하는 VBench 기반 대리지표이며, 보고된 평균은 testmini 결과에 대한 것이다.출처: §5.2 · p. 8, Table 4 · p. 8
• Gemini-Omni-Flash는 세 분야에서 가장 높은 점수를 기록하지만, Healthcare에서는 Sora-2가 앞선다. 오픈소스 MiniMax-H3는 SCC 1.63을 기록하고, Wan2.2-5B는 자동 Spatiotemporal Consistency 점수 2.79로 가장 높다.Gemini-Omni-Flash는 Engineering에서 3.33, Natural Science에서 3.13, Humanities & Social Sciences에서 2.95를 기록하며, Sora-2는 Healthcare에서 2.97을 기록한다.출처: Figure 3 · p. 8, §5.2 · p. 9

5.3 오류 분석

• 관찰된 오류는 지시 이행 부족, 과학 원리의 부정확한 시뮬레이션, 시간적 일관성 및 시각적 품질의 결함이라는 세 범주로 나뉜다.여기에는 프롬프트 세부 사항 누락, 시각적으로 매력적이지만 물리적으로 부정확한 동역학, 시간에 따른 비논리적 변화가 포함된다.출처: §5.3 · p. 9

5.4 프롬프트 재작성의 효과

• Wan2.2-5B/HunyuanVideo-1.5에서 각각 SCC는 +23.3%/+51.7%, Prompt Grounding은 +12.4%/+26.7%, Spatiotemporal Consistency는 +7.5%/+16.5% 향상되었다.격차는 줄지만 남아 있다. HunyuanVideo-1.5는 SCC 2.20을 기록해 오픈소스 모델의 최고 원문 프롬프트 점수 1.63보다 높지만, 가장 높은 독점 모델 점수 3.34보다는 낮다.출처: §5.4 · p. 9

6 결론

• 16개 최첨단 모델을 평가한 결과, Sci-VBench는 지각적 사실성과 과학적 타당성 사이의 지속적인 격차와 추론 중심 차원에서의 상당한 독점형 모델과 오픈소스 모델 간 격차를 보여준다.벤치마크에는 네 분야 60개 주제를 아우르는 전문가 작성 프롬프트 1,253개가 포함된다.출처: §6 · p. 9
• 관찰된 실패 양상은 전문가 영역의 비디오 생성에서 지시 준수, 메커니즘 일관성, 시공간 안정성을 개선할 기회를 보여준다.출처: §6 · p. 9

A.1 주제 선정

• Table 5에는 Sci-VBench의 주제가 주요 학문 분야별로 나열되어 있으며, 네 개 학문 분야 각각의 세부 분야도 함께 제시되어 있다.제공된 내용은 표의 범위와 구성을 설명하지만, 주제명이나 세부 분야별 값은 제시하지 않는다.출처: Table 5 · p. 15

A.2 데이터 품질 관리

• 검토한 200개 사례에서 독립적으로 작성된 명세는 Prompt Grounding에서 κ=0.79, Scientific and Causal Correctness에서 κ=0.75, Spatiotemporal Consistency에서 κ=0.73의 일치도를 보였다.두 명의 독립 평가자가 교차 평가자–루브릭 설계에 따라 순서를 균형 배정해 두 명세 각각으로 동일한 비디오를 평가했다.출처: §A.2 · p. 15

A.3 비디오 생성 모델

• 평가 대상 모델은 기본 설정에서 벤치마크 프롬프트를 원문 그대로 사용했고, 목표 길이인 15초에 가장 가까운 길이로 비디오를 생성했다. 일부 모델은 더 짧은 길이 제한을 두었으며, HappyHorse-1.1 클립에는 워터마크가 포함됐다.표에는 정확한 모델 식별자 또는 저장소와 측정된 해상도 및 프레임 레이트가 제시되어 있다. 길이 제한은 Veo-3.1의 8초와 CogVideoX1.5-5B의 5초를 포함한다.출처: Table 6 · p. 16, §A.3 · p. 16

A.4 주석자 정보

• Sci-VBench 주석자 61명의 약력이 수록되어 있으며, 익명성을 보호하기 위해 저자이자 주석자인 사람들의 약력은 공개하지 않았다.출처: §A.4 · p. 17, Table 7 · p. 17, Table 8 · p. 18

B.1 저수준 비디오 품질: 정의 및 구현 세부사항 (VBench에서 적용)

• Subject Consistency는 프레임 전반에 걸쳐 대상의 정체성과 속성이 안정적으로 유지되는지를 추적하고, Background Consistency는 장면 배치, 조명, 공간 구조의 연속성을 평가한다.출처: §B.1 · p. 19
• Motion Smoothness는 시간적 연속성과 물리적 개연성을 평가하는 반면, Dynamic Degree는 정확성을 판단하지 않고 움직임의 강도와 풍부함을 측정한다.출처: §B.1 · p. 19
• Aesthetic Quality는 시각적 매력도와 예술적 구성을 평가하고, Imaging Quality는 선명도, 노이즈, 압축 아티팩트, 명료도를 포함한 프레임 단위의 충실도를 측정한다.출처: §B.1 · p. 19

B.2 기존 비디오 평가 방법과의 비교

• ETVA (Guan et al., 2025)는 프롬프트를 장면 그래프로 파싱하고 원자적 질문을 생성한 뒤, 지식 증강 다단계 질의응답 점수를 집계해 프롬프트 정합도를 평가한다.점수는 공식 프로토콜에 따른다.출처: §B.2 · p. 19
• VideoScore (He et al., 2024)는 다섯 가지 측면의 점수를 평균 내고, VideoScore2 (He et al., 2025)는 비디오별로 보고된 세 가지 차원의 점수를 평균 낸다.VideoScore는 VideoFeedback으로 학습되며, VideoScore2는 VideoFeedback2의 사람 평가 점수와 추론 과정을 사용해 2단계 SFT+RL 파이프라인으로 학습된다.출처: §B.2 · p. 19
• VideoReward (Liu et al., 2025)는 비디오별 Visual Quality, Motion Quality, Text Alignment 점수를 평균 내 종합 점수를 산출한다.이 VLM 기반 보상 모델은 대규모 사람 선호 데이터셋으로 학습되었다.출처: §B.2 · p. 19
• 루브릭 조건부 MLLM-as-Judge는 비교 대상 자동 평가 방법 가운데 Prompt Grounding, Scientific and Causal Correctness, Spatiotemporal Consistency에서 인스턴스 수준 피어슨 상관계수가 가장 높다.ETVA는 Prompt Grounding과 Scientific and Causal Correctness에서는 비교적 경쟁력 있지만, Low-level Perceptual Fidelity와 Spatiotemporal Consistency에서는 성능이 급격히 저하된다.출처: §B.2 · pp. 19–20

B.3 평가 프롬프트 템플릿

• Figure 5의 단일 차원 프롬프트 템플릿은 예시마다 꺾쇠괄호로 표시된 필드를 채우고 해당 차원의 루브릭 기준점만 포함한다.템플릿은 평가 코드에서 재현했다.출처: §B.3 · p. 21, Figure 5 · p. 21
• Figure 6의 공개 평가 명세는 생성 프롬프트 원문 다음에 평가 대상 차원의 기준점이 표시된 1–5 루브릭을 제시한다.예시로 든 명세는 무릎반사 사례에 관한 것이며, 공개 데이터셋에서 그대로 재현했다.출처: §B.3 · p. 21, Figure 6 · p. 22

C.1 전체 벤치마크 결과

• 해당 전체 평균은 Table 4의 Full Avg. 열에 제시되어 있다.출처: §C.1 · p. 23
• Table 9는 전체 1,253개 Sci-VBench 예시에서 오픈소스 모델의 차원별 자동 평가 결과를 다룬다.결과는 가장 오른쪽 Avg. 열을 기준으로 정렬되어 있다.출처: Table 9 · p. 23, §C.1 · p. 23

지시 준수 부족

• 모델은 지정된 푸시버튼 스위치 같은 세밀한 프롬프트 세부사항을 자주 무시하고, 대신 손끝이 보드에 닿는 장면을 생성한다.이는 최고 수준의 모델에서도 지시를 제대로 따르지 못함을 보여준다.출처: §C.2 · p. 23, Figure 7 · p. 24

과학적 원리의 부정확한 시뮬레이션

• 모델은 과학적 원리와 전제 조건을 따르지 못해, 무릎반사에서 자극을 받지 않은 다리가 차는 것과 같은 오류를 생성한다.또 다른 사례에서는 눈 옆의 주머니를 눌러도 눈을 깜박이지 않는다. 분석에 따르면 모델은 과학적 사실성보다 시각적 미학을 우선시한다.출처: §C.2 · p. 23, Figure 8 · p. 24

시간적 일관성과 시각적 품질의 결함

• 시간적·시각적 결함에는 객체의 병합, 불연속적인 스타일 변화, 거친 질감, 인과관계가 약한 사건 등이 있으며, 이는 개연성을 저해한다.예를 들어, 움직이는 도중 두 공이 하나로 합쳐지거나, 사실적인 프리즘 이미지가 애니메이션으로 바뀌며, 모션 센서 앞에서 손을 흔드는 동작과 무관하게 LED 상태가 변한다.출처: §C.2 · p. 23