PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

HappyWorld-Bench

Zhiqi Bai, Junai Cai, Yixin Chen, Jingrun Du, Tao Feng, Wei Gong, Siyuan Huang, Xiao Lin, Jiaheng Liu, Jun Luo, Yongzhe Lyu, Liya Ma, Zenan Meng, Lin Qu, Wenbo Su, Jiaming Wang, Qinghe Wang, Shaofei Wang, Yanghai Wang, Zequn Wang, Ziming Wang, Hu Wei, Jiangtao Wu, Ruiqi Wu, Jiaxin Xie, Yuchi Xu, Ze Xu, Chengting Yu, Liangyu Yuan, Gang Zeng, Yawen Zeng, Xingyao Zhang, Zizheng Zhang, Bo Zheng, Jiancheng Zhu, Song-Chun Zhu

arXiv:2609.24308v1cs.CV

TL;DR

기존 world model 벤치마크는 각기 특화되어 있지만, 신뢰성 있는 활용을 위해서는 상호작용 중에도 세계가 안정적으로 유지되어야 한다. HappyWorld-Bench는 공통 프레임워크에서 비디오·공간·체화 모델을 평가하고, 세 트랙 모두에서 신뢰성 격차를 확인한다.

  • 문제

    세계가 상호작용 중에도 신뢰성을 유지해야 하지만, 기존 벤치마크는 특정 모델 형태나 역량 하위 집합에 특화되어 있어 공통 프레임워크에서 평가하기 어렵다.

    출처: §1 · pp. 1–2

  • 방법

    HappyWorld-Bench는 비디오·공간·체화 평가를 공통 W1–W6 프레임워크로 구성하고, 사람의 A/B 비교를 통한 Arena Elo 평점과 자동 역량 지표를 결합한다.

    출처: §1 · p. 3, §6 · p. 22

  • 결과

    세 트랙 모두에서 모델은 비디오 일관성, 공간적 물리적 개연성과 편집 가능성, 다단계 행동에서의 체화 상태 유지에 신뢰성 격차를 보인다. 공간 배치율 최고치는 70.14%다.

    출처: §1 · pp. 3–4, §4.3 · p. 14

  • 시사점 및 한계

    world model은 생성된 세계의 품질뿐 아니라 상호작용 중 신뢰성, 지속적인 상태 변화, 개입에 대한 대응을 기준으로 평가해야 한다.

    출처: §6 · p. 22

    체화 벤치마크는 W2–W4만 조작적으로 정의하며, W1, W5, W6은 프레임워크 수준의 역량 정의로 남아 있다.

    출처: §5.1 · p. 16

Abstract

from arXiv · show

Evaluating world models requires assessing both the quality of the worlds they generate and their consistency and responsiveness under exploration, interaction, and modification. We introduce HappyWorld-Bench, a comprehensive benchmark that evaluates whether generated worlds remain reliable as agents interact with them. Our design is built on a hierarchical capability framework of six world capabilities (W1-W6), from generative construction to unified world modeling, instantiated across three independent evaluation tracks: video world models, spatial world models, and embodied world models. HappyWorld-Bench comprises 1,138 video prompts, 300 spatial scenes, and 254 embodied test cases. Across all three tracks, we build and operate HappyWorld-Arena to organize human A/B comparisons and derive model-level Elo ratings, which complement newly designed automated metrics that capture behavioral correctness. We evaluate 14 video world models, 9 spatial systems, and 8 embodied candidates under this unified framework. Results reveal remaining reliability gaps across all three tracks: video models exhibit reduced consistency during extended rollouts and revisits, spatial models achieve at best 70.14% placement accuracy and 73.33% edit execution, and embodied models struggle to preserve state across multi-step actions and respond precisely to altered action conditions and physical rules. These findings highlight the need to evaluate world models not only by visual quality, but also by state consistency and the correctness of their responses to actions and interventions.

1 서론

HappyWorld-Bench는 생성된 세계를 시각적 품질만으로 평가하는 데 그치지 않고, 상호작용 중에도 신뢰성을 유지하는지 평가해야 한다는 필요에 대응한다. 비디오, 공간, 체화 트랙 전반에 공통 W1–W6 프레임워크를 적용한다.

1 서론

  • 기존 평가는 제어 가능성, 물리적 개연성, 기억, 상호작용, 장기 일관성 등의 역량을 다루지만, 모델 형태와 평가 설정에 따라 여전히 개별화되어 있다.이러한 파편화로 인해 공통 역량 프레임워크 아래에서 시스템을 비교하기 어렵다 (Zheng et al., 2025; Duan et al., 2025; Xu et al., 2026a; Fang et al., 2026; Ying et al., 2026; Ding et al., 2026; Duggal et al., 2025; Tam et al., 2025).출처: §1 · pp. 1–2
  • W1–W6은 지각적 일관성과 행동 반응형 시뮬레이션에서 시작해 지속 상태, 인과적 프로그래밍 가능성, 확장 가능한 다중 에이전트 세계, 통합 범용 모델링으로 발전한다.이 계층 체계는 비디오 생성, 3D 재구성, 체화 제어 전반에서 세계 모델을 평가하기 위한 공통 용어를 제공한다.출처: §1 · pp. 2–4
  • 비디오 트랙은 공간적·시간적 일관성을, 공간 트랙은 장면이 물리적 조작을 지원하는지를, 체화 트랙은 자기중심 시점에서 행동에 따라 달라지는 변화를 평가한다.세 트랙 모두 W1–W6 분류 체계를 사용하되, 모델 형태와 평가 인터페이스에 따라 서로 다른 하위 항목을 다룬다.출처: §1 · p. 3
  • 벤치마크는 비디오 프롬프트 1,138개, 공간 장면 300개, 체화 테스트 사례 254개로 구성되며, 총 1,692개 인스턴스를 포함한다.공간 데이터셋은 시각적 품질, 물리적 활용성, 일관성, 편집 평가용 장면 266개와 공간 확장용 장면 34개를 포함한다. 데이터는 9개 도메인에 걸쳐 있으며, rollout은 최대 60초이고 첫 프레임 해상도는 1 MP 미만부터 8 MP 초과까지 분포한다.출처: §1 · pp. 3–4
  • HappyWorld-Arena는 인간 A/B 비교를 트랙 내 Elo 평점으로 집계하고, 행동의 정확성을 평가하는 도메인별 자동 지표로 보완한다.벤치마크는 비디오에서 지각, 일관성, 인과성, 제어 가능한 상호작용에, 공간 장면에서는 시각적 품질, 활용성, 일관성, 편집에 해당 지표를 적용한다.출처: §1 · pp. 3–4
  • 선두 비디오 시스템 두 개의 Arena Elo 평점은 1263과 1206이다. 일관성과 행동 반응, 공간 모델의 물리적 개연성과 편집, 체화 모델의 상태 보존은 여전히 어려운 과제다.체화 모델은 변경된 행동 조건과 물리 법칙에도 정확히 반응하는 데 어려움을 겪는다.출처: §1 · pp. 3–4

2 관련 연구

관련 연구는 월드 모델이 생성에서 상호작용 가능하고 지속되는 환경으로 발전해 온 과정을 추적하며, 벤치마크는 외형을 넘어 행동과 신뢰성을 점차 평가한다. HappyWorld-Bench는 탐색, 일관성, 편집, 행동 조건부 반응을 포함해 이러한 문제를 비디오·공간·체화 월드 전반에 걸쳐 다룬다.

2.1 월드 모델

  • 비디오 월드 모델은 제어 가능한 생성에서 더 길고 지속성이 높은 범용 상호작용으로 발전하며, 장면 조작과 멀티모달 제어를 포함한다.접근법은 키보드·마우스·카메라의 명시적 제어, 이력 조건화, 긴 문맥 메모리, 장기 롤아웃을 추가한다.출처: §2.1 · p. 4
  • 공간 월드 모델은 이미지 또는 파노라마 생성을 3D 재구성과 결합하며, 이를 보완하는 접근법은 비디오 사전 정보를 기하 구조로 옮기고 장면 제작이나 실행을 지원한다.시스템은 탐색 중 지속성과 직접적인 3D Gaussian Splatting 생성의 효율성도 목표로 한다.출처: §2.1 · p. 4
  • 체화 월드 모델은 잠재 표현이나 픽셀 공간 표현을 사용해 행동 기반 관측을 예측하며, 조작·자율주행·탐색에 적용된다.연구는 비디오 예측을 행동 생성, 계획, 물리 사전 정보, 기반 플랫폼과 연결한다.출처: §2.1 · p. 5

2.2 월드 모델 벤치마크

  • 비디오 벤치마크는 지각 품질과 국소 제어 가능성을 넘어 다중 턴 상호작용, 메모리, 물리 법칙, 지속적인 목표 지향 행동까지 평가하도록 확장됐다.최근 평가 절차는 장기 지속성, 장면 및 대상 기억, 폐루프 상호작용, 현재 시야 안팎의 상태 변화를 측정한다.출처: §2.2 · p. 5
  • 공간 벤치마크는 에셋, 장면의 개연성, 카메라 조건부 생성을 평가하며, 이 트랙은 명시적 환경에서 구성, 탐색, 일관성, 편집, 확장을 시험한다.공통 평가 절차는 렌더링된 관측, 내보낸 기하 구조, 쌍을 이룬 조작을 결합하며, 여기에는 대상이 아닌 콘텐츠와 기존 영역 또는 경로의 보존이 포함된다.출처: §2.2 · p. 5
  • 체화 벤치마크는 비디오 외형 평가에서 행동 조건부 신뢰성과 후속 작업의 효용 평가로 발전하며, 이 트랙은 생성 전용 인터페이스를 통해 시각적 품질과 행동을 평가한다.평가 대상은 1인칭 프레임 하나와 행동 프롬프트를 받는다. 평가는 단일 행동 반응, 순서가 있는 다단계 상태 지속성, 행동이나 물리 조건을 바꾸는 짝지은 개입을 다룬다.출처: §2.2 · p. 6

3 비디오 월드 모델 트랙

HappyWorld-Bench는 지각, 일관성, 인과성, 상호작용 측면에서 비디오 월드 모델을 평가하며, 전반적인 인간 선호도와 역량별 성능이 항상 일치하지는 않음을 보인다. 평가 사례는 자연스러운 동역학, 통제된 행동, 장기 지속성, 지속적으로 유지되는 규칙 편집을 살펴본다.

3.1 데이터 구성

  • 역량별로 제어 조건이 다르다. W1은 제어 없는 변화를 평가하고, W2–W3은 방향과 시점을 지정하며, W4는 개입을 추가하고, W5–W6은 여러 대상을 지정할 수 있다.사례마다 장면, 시점, 제어 패턴도 달리해 자연스러운 동역학, 외형과 공간 구조, 움직임에 대한 반응, 지속성, 상호작용 및 규칙 편집을 평가한다.출처: §3.1 · pp. 6–7
  • 벤치마크에는 다섯 가지 역량 차원에 걸친 W1–W5 사례 1,138개와 세부 항목 74개가 포함되며, 여기에는 일관성, 인과성, 상호작용, 다중 대상 협응이 포함된다.다섯 차원은 지각 및 표상(342개 사례), 일관성 및 상태 유지(228개), 인과성 및 인과적 롤아웃(299개), 제어 가능한 상호작용 및 반사실(212개), 다중 대상 협응(57개)이다.출처: §3.1 · p. 7

3.2 평가 지표

  • 평가지표는 지각 및 표상, 일관성 및 상태 유지, 인과성 및 인과적 롤아웃, 제어 가능한 상호작용 및 반사실을 평가한다.이미지 및 움직임 측정치, 기하 구조 및 정체성 일관성, 물리적 인과성과 콘텐츠 인과성, 행동 실행 또는 개입의 타당성 및 상태 충실도가 포함된다.출처: §3.2 · pp. 7–8

3.3 실험 결과

  • HappyOyster는 Arena 선호도에서 Elo 1263으로 선두를 차지하고, Genie 3는 W1에서 82.8로 앞선다. HappyOyster는 W2에서 78.0, W3에서 76.8, W4에서 66.7로 선두다.Genie 3는 Arena에서 1206점을 얻고 HappyOyster는 W1에서 82.4점을 얻는다. W4 결과는 HappyOyster와 59.3점을 얻은 Lingbot-World-v2만 비교한다.출처: Table 2 · p. 8, §3.3 · p. 8
  • W1 결과는 높은 지각 품질과 지시 이행이 시간에 따른 기하 구조, 외형 또는 월드 상태의 안정성을 반드시 보장하지는 않음을 보여준다.벤치마크는 지각과 일관성을 서로 대체할 수 없는 상호보완적 역량으로 다룬다.출처: Table 3 · p. 9, §3.3 · p. 9
  • W2는 행동 실행과 상태 전이의 정확성을 구분한다. 제어 지시 준수 점수가 높더라도 상태를 일관되게 보존하거나 인과적으로 일관된 결과를 내는 것은 보장되지 않는다.제어 지시 준수 성능이 비슷한 모델도 상태 일관성과 콘텐츠 인과성에서는 차이를 보일 수 있다.출처: Table 4 · p. 9, §3.3 · pp. 9–10
  • W3는 장기 상호작용과 재방문 중 배치, 외형, 시간적 연속성, 상태, 정체성이 유지되는지를 평가한다. W2와 W3은 서로 다른 사례 집합을 사용한다.따라서 W2–W3의 종합 점수 차이를 순수한 지속 시간 효과로 해석해서는 안 된다.출처: Table 5 · p. 10, §3.3 · p. 10
  • W4는 자연어 개입이 실제로 실행되고, 관련 없는 콘텐츠를 보존하며, 일시적인 시각 변화만 일으키는 것이 아니라 이후의 월드 전개를 좌우하는지를 평가한다.인과성 평가는 중력 개입 이후의 움직임처럼, 편집된 규칙을 이후 행동의 기준으로 삼는다.출처: Table 6 · p. 10, §3.3 · p. 10

4 공간 세계 모델 트랙

공간 트랙은 렌더링 가능한 환경이 편집과 확장 과정에서 일관성을 유지하면서 탐색과 물리적 상호작용을 지원하는지 평가한다. 정적 장면 벤치마크는 시각적 품질만으로는 드러나지 않는 역량별 신뢰성 격차를 보여준다.

4.1 데이터 구축

  • 최종 데이터셋은 장면 300개로 구성된다. 이 중 스냅샷은 266개, 확장 사례는 34개이며, 주석이 달린 객체 424개, 72개 장면의 지지 표면, 편집 쌍 30개를 포함한다.편집 쌍은 객체 수준 편집 18개와 전역 편집 12개를 포함하며, 장면과 주석은 과제별 요구에 따라 선정한다.출처: §4.1 · pp. 11–12

4.2 평가 지표

  • 이 트랙은 W6을 채점하지 않고 W1–W5를 평가하며, 렌더링된 카메라 궤적과 기하 측정 및 물리 시뮬레이션을 함께 활용한다.측정 항목은 시각적 구성, 탐색 및 지지, 장면과 객체의 지속성, 보존을 고려한 편집, 영역 보존을 고려한 공간 확장을 다룬다.출처: §4.2 · p. 12

4.3 실험 결과

  • 역량 보정 Arena Elo에서 Marble이 1308로 선두를 차지했고, GPT-6-Astra가 1252, HYWorld-2.0이 1230으로 뒤를 이었다. GPT-6-Astra는 W1 성능이 더 낮지만 W3–W5에서는 선두다.Marble과 HYWorld-1.0은 가장 높은 W1 점수를 기록하고, HYWorld-2.0은 W2에서 선두다. FlashWorld와 Lyra 변형 모델은 W2에서 0.00–1.36에 그친다.출처: Table 7 · p. 13, §4.3 · p. 13
  • Marble과 HYWorld-1.0은 비슷하게 높은 W1 점수를 기록한다. Marble은 Q-Align, HPS, VLM에서 선두를 차지하고, GPT-6-Astra는 TOPIQ 점수가 가장 높다.HYWorld-1.0은 생성된 파노라마를 메시로 변환한다. GPT-6-Astra는 메시를 직접 구성하며, PI와 HPS 점수는 TOPIQ 결과보다 낮다.출처: Table 8 · p. 13, §4.3 · p. 13
  • HYWorld-2.0은 배치율이 70.14%로 가장 높고, WorldGen은 탐색 가능 비율이 가장 높은 수준에 근접하지만 배치율에서는 HYWorld-2.0에 크게 뒤진다.이 프로토콜에서 FlashWorld와 Lyra 변형 모델은 탐색 가능한 영역을 거의 제공하지 못하며 배치에도 성공하지 못한다.출처: Table 9 · p. 14, §4.3 · p. 14
  • GPT-6-Astra는 장면 수준 지속성 지표 두 가지와 객체 종합 지표 세 가지 모두에서 선두다. 반면 Matrix-3D는 밝기와 색조가 안정적이지만 Track F1과 VLM F1은 가장 낮다.이는 장면 외관의 안정성과 시점이 달라져도 객체를 식별하고 온전하게 유지하는 능력이 서로 다름을 보여준다.출처: Table 10 · p. 15, §4.3 · p. 15
  • HYWorld-2.0은 편집 성공률에서 선두지만, GPT-6-Astra는 보존 지표와 두 가지 편집 종합 점수에서 선두다. GPT-6-Astra는 공간 성장, 접합부 개선, 두 가지 보존 점수에서도 선두를 차지한다.Matrix-3D는 HYWorld-2.0과 Marble보다 영역 점수가 높지만 새 영역 품질과 기존 영역 보존 점수는 가장 낮다. Marble은 새 시점의 품질이 가장 높다.출처: Table 11 · p. 15, §4.3 · pp. 15–16, Table 12 · p. 15

5 체화 세계 모델 평가 트랙

HappyWorld-Bench는 행동 조건에 따른 세계 변화를 바탕으로 체화 비디오 모델을 평가하며, 시각적 지각과 일관성, 인과성, 제어 가능성을 구분한다. 결과는 시각적 충실도가 높지만 행동 접지, 상태 지속성, 조건 변화에 대한 대응에서 계속 실패가 나타남을 보여준다.

5.2 평가 지표

  • 지각, 일관성, 인과성, 제어 가능성의 네 가지 독립 차원은 인식 가능한 장면, 지속되는 상태, 개연성 있는 원인, 충실한 행동 실행을 평가한다.이 프레임워크는 행동 조건에 따른 자기중심 시점의 시각적 예측을 평가하며, 향후 이산 로봇 행동으로 확장할 수 있도록 설계되었다.출처: §5 · p. 16

5 체화 세계 모델 평가 트랙

  • 체화 평가는 W2 원자 행동, W3 지속적인 다단계 롤아웃, W4 행동 조건이나 물리 규칙을 바꾸는 쌍체 개입을 포괄한다.현재 벤치마크는 W2–W4를 구체적으로 평가하며, W1, W5, W6은 프레임워크 수준의 정의로 남아 있다.출처: §5 · p. 16, §5.1 · p. 16

5.1 데이터 구성

  • 공식 데이터셋은 254개 사례로 구성된다. W2 62개, W3 100개, W4 92개이며, 여기에는 행동 조건 쌍 40개와 물리 규칙 쌍 52개가 포함된다.W4의 각 분기는 개입의 효과를 분리해 평가할 수 있도록 동일한 초기 프레임을 공유한다.출처: §5.1 · p. 17

5.3 실험 결과

  • MiniMax-H3는 W2–W4와 Arena ELO 전반에서 가장 높은 역량을 보이며, Cosmos 3와 Sora 2는 모든 수준에서 75 미만이다.Arena ELO는 대체로 자동 평가 결과와 일치하며, 주된 차이는 성능이 비슷한 모델 사이에서 나타난다.출처: §5.3 · p. 18, Table 14 · p. 18
  • W2에서 모델은 요청된 동작을 자주 흉내 내지만, 의도한 접촉을 만들거나 올바른 대상에 영향을 주거나 지정된 종료 상태에 도달하는 데 실패한다.대표적인 실패로는 대상 옆을 붙잡기, 잘못된 대상에 행동하기, 원인 없이 장면이나 시점을 바꾸기가 있다.출처: §5.3 · p. 19, Figure 7 · p. 19
  • W3에서는 초기 상태나 중간 상태가 다음 단계로 이어지지 않으면 긴 행동 연쇄에서 일관성이 저하되고, 누적된 효과가 필수 종료 상태에 도달하지 못한다.지각 능력은 대체로 유지되지만, 후속 단계에서 앞선 행동이 확립한 상태 전제 조건이 사라진다.출처: §5.3 · p. 20, Figure 8 · p. 21
  • W4에서 물리 규칙 편집은 흔히 역학을 바꾸지 못하며, 행동 편집은 상호작용 방식을 지정대로 충실히 바꾸지 못한 채 결과만 바꿀 수 있다.W2–W4 전반에서 상호작용 요구 수준이 높아질수록 전반적으로 높은 시각적 충실도와 행동 조건에 따른 역학의 충실성 사이의 격차가 더욱 커진다.출처: §5.3 · pp. 20–22

6 결론 · 비디오 월드 모델 트랙

HappyWorld-Bench는 공통 W1–W6 프레임워크 안에서 비디오·공간·체화형 월드 모델을 평가하며, 생성된 세계의 품질과 상호작용, 지속적인 상태 변화, 개입에 대한 신뢰성을 함께 살핀다. 세 트랙 전반에서 자동화된 역량 지표와 사람 간 비교로 산출한 Elo 평점을 결합해 신뢰할 수 있는 월드 모델의 공통 요건을 제시한다.

6 결론

  • HappyWorld-Bench는 비디오·공간·체화형 월드 모델을 공통 W1–W6 역량 프레임워크로 평가한다.핵심 전제는 생성된 세계의 품질뿐 아니라 상호작용, 지속적인 상태 변화, 개입에 대한 신뢰성도 평가하는 것이다.출처: §6 · p. 22
  • 세 트랙 모두에서 HappyWorld-Arena는 사람 간 A/B 비교를 통해 모델별 Elo 평점을 산출해 자동화된 역량 지표를 보완한다.이 벤치마크는 공통 역량 용어 체계에 자동 평가와 사람의 선호도 평가를 결합한다.출처: §6 · p. 22
  • 공통 프레임워크는 비디오·공간·체화형 월드 모델 연구가 유용한 시스템을 위한 공통 요건에 수렴하도록 돕기 위한 것이다.저자들은 이 프레임워크가 생성, 시뮬레이션, 체화 예측 분야의 발전을 통합하는 데 지침이 되기를 기대한다.출처: §6 · p. 22
  • 궁극적으로는 복잡한 환경에서 신뢰성 있는 탐색, 계획, 행동을 지원하는 시스템을 구현하는 것이 목표다.이 목표는 생성된 세계의 품질뿐 아니라 상호작용과 개입에 대한 신뢰성을 기준으로 월드 모델을 평가하는 데서 비롯된다.출처: §6 · p. 22

A.1 추론 프로토콜 및 모델 구성

비디오 트랙의 프로토콜은 벤치마크 사례를 모델별 이미지·텍스트·제어 입력으로 변환하며, rollout 절차와 인터페이스 제약은 서로 다르다. 이러한 차이는 평가 대상 구성이 실행할 수 있는 행동과 개입을 좌우한다.

Project Genie를 통한 Genie 3

  • Genie 3는 Project Genie를 통해 평가하며, 브라우저에서 예약하는 제어 방식과 불투명한 기본 생성 설정을 사용하고 W1–W3 사례만 지원한다.제어는 wall-clock time으로 실행되므로 지정된 지속 시간이 인코딩된 비디오 길이와 일치하지 않을 수 있다. 지원하지 않는 개입이나 이벤트 사례는 근사치로 대체하지 않고 미지원으로 기록한다. 결과는 독립된 체크포인트가 아닌 배포된 Genie 3 기반 시스템의 특성을 나타낸다.출처: §A.1 · p. 31

HappyOyster

  • HappyOyster는 모든 사례에 하나의 공통 구성을 사용하고, 시간 세그먼트에 걸쳐 인과적으로 생성하며, 행동이 지정된 경우 프레임 정렬 제어를 함께 적용한다.캔버스는 약 832 × 480픽셀 예산에서 참조 종횡비를 유지한다. 행동 시퀀스가 없는 사례에는 입력 없이 rollout을 수행한다.출처: §A.1 · pp. 31–32

궤적 조건화 구성

  • LingBot-World-v2 (Gao et al., 2026), Matrix-Game 3.0 (Wang et al., 2026), DreamX-World 1.0 (DreamX Team et al., 2026), Alaya-EVOKE (Yin et al., 2026), Lyra 2.0, SANA-WM (Zhu et al., 2026)은 카메라 궤적을 조건으로 생성한다.궤적 구성 방식이나 카메라 자세 조건화 방식은 모델마다 다르다. 일부 모델은 설명을 시간 지정 개입 업데이트로 사용하지 않고 전체에 적용하며, DreamX-World는 독립적으로 명령할 수 있는 캐릭터 상태를 제공하지 않는다.출처: §A.1 · pp. 32–34

행동 조건화 구성

Yume-1.5

  • Yume-1.5 는 제어 입력을 29프레임 청크의 언어 토큰으로 표현하며, 이산 제어나 자연어 개입이 없는 사례는 평가하지 않는다.설명은 InternVL 캡셔너(Chen et al., 2024)를 통해 한 차례 다듬으며, 각 청크는 앞선 프레임을 조건으로 생성한다. 시간 지정 W4 개입은 구현되지 않았다.출처: §A.1 · pp. 32–33

A.2 세부 지표

비디오 지표는 세계 모델의 행동을 네 가지 차원에서 평가하며, 정규화 점수와 집계 규칙에 따라 결과를 해석한다.

A.2 세부 지표

  • 비디오 평가는 지각 및 표현, 일관성과 상태 유지, 인과성과 인과적 롤아웃, 제어 가능한 상호작용을 다룬다.정규화 점수는 [0, 1] 범위이며, 백분율 점수는 정규화 값에 100을 곱한 값이고, 높을수록 좋다. 적용할 수 없는 사례와 측정값 누락은 0점으로 처리하지 않고 제외한다. 프레임은 I_t로 표기하며, cos(x, y)는 코사인 유사도를 나타낸다.출처: §A.2 · p. 35

A.2.1 지각과 표상 … A.2.4 제어 가능한 상호작용과 반사실

벤치마크의 비디오 지표는 시각적 품질과 안정성을 상태 일관성, 인과적 정확성, 행동 반응성과 구분해 측정한다. 이를 통해 안정적으로 유지되는 요소와 지시, 원인, 개입에 따라 변화가 이루어지는지를 함께 평가한다.

A.2.1 지각과 표상

  • VQ는 프레임 단위의 기술적 품질을 측정하고, HPS는 더 포괄적인 시각적 선호를 추정한다. 그러나 어느 쪽도 시간적·의미적·물리적 정확성이나 지시 이행의 정확성을 입증하지는 않는다.HPS는 시각적 매력, 구도, 자연스러움, 수용 가능성을 중시하는 반면, MUSIQ는 기술적 품질을 중시한다.출처: §A.2.1 · p. 35
  • 밝기 일관성, 색온도 일관성, 선명도 유지가 IS를 구성하며, 노출·색조·에지 변화를 추적한다. 거친 밝기 히스토그램은 레이아웃을 무시하고 요청된 조명 전환에 불이익을 줄 수 있다.선명도 유지는 누적 노이즈 게이트를 사용하며, IS는 정규화된 세 구성 요소의 평균이다.출처: §A.2.1 · pp. 35–36
  • Dyn은 움직임이 지시되었는지 또는 부드러운지와 무관하게 눈에 보이는 움직임의 크기를 측정하는 반면, IF는 프롬프트 요구사항을 확인하고 개입 전 W4 초기 조건을 평가한다.W4에서 명시적으로 요청된 이후 시점의 속성 변화는 IF 실패로 간주하지 않는다.출처: §A.2.1 · p. 36

A.2.2 일관성과 상태 유지

  • 배경 일관성은 피사체를 마스킹한 뒤 인접 프레임 및 첫 프레임과의 유사도를 결합하고, GC는 깊이 재투영 기하를, TC는 정렬된 표면 외관을 측정한다.최종 마스킹 배경 버전은 표준 전체 프레임 CLIP 배경 일관성과 수치상 비교할 수 없다.출처: §A.2.2 · pp. 36–37
  • SC는 객체 상태의 지속성과 정당한 변화를 평가하고, SuC는 피사체 정체성과 외관의 유지를 추적한다. SC 점수를 WorldMark의 다른 절차에서 얻은 점수와 혼합해서는 안 된다.SuC는 인접 프레임 간 DINOv2 정체성 연속성과 첫 프레임에 대한 장거리 CLIP 유사도를 결합한다.출처: §A.2.2 · p. 37

A.2.3 인과성과 인과적 롤아웃

  • PC는 시각적으로 평가 가능한 물리 과정을 채점하고, CC는 유발 요인에서 결과로 이어지는 순서와 지속성을 확인하며, IP는 관련 상호작용에서 관통이나 유효하지 않은 접촉이 있는지 확인한다.IP는 가시성에 기반한 판단이지 완전한 3D 충돌 시뮬레이션이 아니다. 보이지 않는 선행 조건은 CC 평가에 적용되지 않을 수 있지만, 눈에 보이는 잘못된 행동은 여전히 평가 대상이다.출처: §A.2.3 · p. 37

A.2.4 제어 가능한 상호작용과 반사실

  • W2–W3에서 TA는 지시된 이동 방향을 추정된 카메라 움직임과 비교하고, AE는 올바른 시간 구간에서 눈에 보이는 행동 완료 여부를 확인한다.TA에서 움직임이 없으면 오답으로 처리한다. AE는 대상 누락, 행위자 부재, 잘못된 행동, 미달성 목표 상태를 실패로 처리한다.출처: §A.2.4 · p. 38
  • W4에서 IV는 개입이 물리적·인과적으로 허용되는 과정을 따르는지 평가하고, SF는 목표 달성, 지속성, 변경하지 않은 콘텐츠의 보존을 각각 측정한다.하위 유형별 균형을 맞춘 SF 집계는 다수의 달성 항목이 지속성이나 보존 항목을 압도하지 않도록 한다.출처: §A.2.4 · p. 38

B 공간 월드 모델 트랙: 세부 지표

부록에서는 공간 월드 모델 트랙의 지표, 평가 절차, 집계 규칙을 정의하며, 어떤 지표를 유지하는지와 역량 점수를 산정하는 방식을 설명한다.

B 공간 월드 모델 트랙: 세부 지표

  • 이 트랙은 39개 지표를 정의하고 일관성–커버리지 계열 내 F1 합성 지표를 통해 31개를 유지한다. W1–W5를 평가하고 W6는 점수를 산정하지 않으며, 작업별 보존 역량은 W3가 아닌 W4/W5에 배정한다.지표는 관찰 가능한 품질, 물리적 사용성, 장면 및 객체 수준의 일관성, 제어된 편집, 확장 및 보존을 포괄한다.출처: B Spatial World Model Track: Detailed… · p. 38

B.1 공통 표기법, 동작 및 평가 입력 … B.4 W3: 상태 지속성

부록은 공통 렌더링, 기하 및 카메라 규약을 정의한 뒤, 생성 외관, 상호작용 사용성, 시점 간 상태 지속성을 위한 지표를 명시한다.

B.1 공통 표기법, 동작 및 평가 입력

  • 공통 카메라 규약은 관찰자 포즈를 상태의 일부로 노출하지만, 지정 포즈 렌더링은 포즈 추정 오차, 동작 지연 또는 학습된 물리적 변화를 별도로 측정하지 않는다.카메라 인터페이스 동작과 장면의 한계를 구분하려면 동작 타임스탬프, 요청 및 실현된 포즈, 컨트롤러 설정이 필요하다.출처: §B.1 · p. 39
  • 내비게이션 전처리는 기하를 자르고 정리한 뒤 시뮬레이터 좌표계로 변환하고, 전후 작업에 동일한 원본 축척과 격자 원점을 사용해 0.05 m 격자에서 XY 바닥 면적을 추정한다.출처: §B.1 · p. 39

B.2 W1: 생성적 구성

  • W1은 학습된 TOPIQ 품질 회귀를 포함해, 지정된 원점 시점 지표 열 가지로 렌더링된 외관과 조건 정렬도를 평가한다.TOPIQ는 참조 없는 품질 회귀 모델이며, 출력은 전처리된 프레임 전반에 걸쳐 평균한다.출처: §B.2 · p. 40
  • W1 객체 커버리지는 여섯 원점 탐색 중 어느 하나에서 요청된 각 범주가 검출되는지를 측정하며, 정확한 개체 수가 아니라 이름이 지정된 범주의 존재를 평가한다.주석이 비어 있으면 적용 대상이 아니지만, 주석이 있으면서 대상이 없으면 실패로 처리한다.출처: §B.2 · p. 41

B.3 W2: 상호작용 시뮬레이션

  • W2 내비게이션은 가장 큰 4-연결 NavMesh 구성요소의 면적을 장면 바닥 면적에 대한 비율로 측정하며, 모서리만 맞닿은 셀은 연결되지 않은 것으로 처리한다.수직으로 겹치는 표면은 수평 격자 셀을 공유하며, 내비게이션 가능한 구성요소가 없는 유효한 장면은 분자를 0으로 처리한다.출처: §B.3 · p. 41
  • W2 탁상 준비도는 선택된 배치 위치에서 각각 독립적으로 놓았을 때 접시가 주석이 표시된 지지 표면 위에 유지되는지를 검사한다.지정된 관통, 지지 경계 또는 최종 높이 조건을 위반하면 시행은 실패하며, 사용할 수 없는 충돌 기하도 실패로 처리한다.출처: §B.3 · p. 42

B.4 W3: 상태 지속성

  • W3은 카메라 이동과 시점 변화를 가로지르는 관측을 평가하며, 일관성 측정량 15개(장면 수준 6개, 객체 수준 9개)를 사용한다.출처: §B.4 · p. 42

B.4.1 장면 수준(장소) 지표

여섯 개의 양은 W3 장소 수준 일관성에서 공간적 타당성, 단거리 시각적 연속성, 위치 강건성을 측정한다.

B.4.1 장면 수준(장소) 지표

  • M12는 6면 탐침과 깊이 여유를 사용해 유효하지 않은 카메라 위치를 추정하는 깊이·커버리지 대리 지표다.미터 단위 척도를 사용할 수 있는 경우, 유효 깊이 픽셀의 절반을 초과하는 픽셀이 0.10 m보다 가까우면 여유 공간 검사가 실패한다. 채워진 풋프린트가 없으면 장면 외부 여부 검사는 홀 비율 임계값만 사용한다.출처: §B.4.1 · p. 42
  • 객체를 재배치해도 거친 히스토그램 연속성은 높게 유지될 수 있다. 설명된 색조 히스토그램 절차는 RGB 프레임을 OpenCV HSV의 0–179 색조 규약으로 변환하고, 켈빈 온도가 아니라 팔레트 연속성을 측정한다.출처: §B.4.1 · pp. 42–43
  • M15는 성공적으로 점수가 산출된 수용 위치와 원점에서 측정한 HPSv3 링 평균의 모집단 표준편차다. 거부된 후보는 제외하며, 점수가 산출된 원점과 점수가 산출된 추가 위치가 하나 이상 있어야 한다.M38에는 위치 슬롯이 8개 있으며, 네 반지름마다 두 개씩 배정된다. 원점은 아홉 번째 재현율 슬롯이 아니다.출처: §B.4.1 · p. 43
  • M39는 HPSv3 분산의 역수와 보고된 재현율을 결합한 조화 일관성–커버리지 점수지만, 일관되게 좋은 이미지와 일관되게 나쁜 이미지를 구별할 수 없다.분산은 낮고 재현율도 낮으면 페널티를 받는다. 보고된 재현율이 0이면 합성 점수는 0이며, 재현율이 누락되면 합성 점수도 누락된다.출처: §B.4.1 · p. 43

B.4.2 객체 수준 지표

B.4.2에서는 고정된 24개 시점 궤도에서 객체 수준 측정치를 정의하며, 탐지되거나 판정된 가시성과 지각 품질, 추적, 가시 상태의 온전성 평가를 결합한다. 이 측정치는 특정 한계를 지닌 대리지표로, 끝점만 추적하고 벤치마크별 시각적 평가 기준을 사용한다.

B.4.2 객체 수준 지표

  • 카메라 필터링이나 반경 탐색 없이 고정 반경의 24개 시점 궤도를 사용하므로, 관측 누락은 기하 구조, 가림, 카메라 배치 또는 분할에서 비롯될 수 있다.이 하위 그룹은 W3 관측 지속성과 재방문 시 대응 관계를 평가한다.출처: §B.4.2 · p. 44
  • obj_sam_recall은 탐지된 시점의 커버리지를 측정하고, obj_hpsv3_std는 유효한 마스크 객체 크롭 전반의 지각 점수 분산을 측정한다. 두 지표의 결합값은 진양성 정밀도가 아니며 고정된 HPSv3에 좌우된다.64픽셀 미만의 마스크는 제외한다. 점수가 있는 유효 크롭이 2개 미만이면 분산은 정의되지 않으며, 이 대리지표는 일관되게 낮은 품질에도 높은 점수를 줄 수 있다.출처: §B.4.2 · p. 44
  • obj_track_accuracy는 가시 상태의 시작점에서 표적 점 64개를 추적하고 반복 시작점의 끝점만 비교하므로, 중간 이동 오차가 드러나지 않을 수 있으며 전체 궤적의 정지성을 평가하지 않는다.결합값은 끝점 정확도와 SAM 시점 커버리지를 결합한다. 재현율이 0이면 기여값은 0이며, 재현율은 양수지만 추적 정확도가 없는 경우는 제외된다.출처: §B.4.2 · p. 44
  • obj_vlm_recall은 장면 밖에서 판정했을 때 표적이 존재하고 가려지지 않은 것으로 보이는 시점을 집계한다. SAM 재현율과 달리 최소 2개 시점 조건이 없으며, 정답 탐지기 재현율도 아니다.Qwen3-VL 프롬프트와 파서는 고정되어 있다.출처: §B.4.2 · p. 45
  • obj_vlm_artifact_free와 obj_vlm_completeness는 유효 시점에서 보이는 결함과 누락되거나 손상된 입체 부분을 평가하며, 기준 스캔의 표면 재현율 대신 시각적 판단을 사용한다.유효 시점 집합이 비어 있으면 값은 정의되지 않는다. 조건부 품질 구성 요소는 유효 시점 커버리지와 결합되며, 평가 기준과 조화 결합값은 벤치마크에 특화되어 있다.출처: §B.4.2 · p. 45
  • 절차에서는 고정 궤도를 렌더링하고, 평가 가능한 경우 SAM/HPS 및 추적 측정치를 계산하며, 시점의 유효성과 온전성을 판정한 뒤 주석 및 오류 상태와 함께 9개 출력값을 모두 저장한다.재현율 0 규칙에 따라 추적 구성 요소를 0으로 설정하고, 유효한 시점이 없으면 VLM 결합값을 0으로 설정한다.출처: §B.4.2 · p. 45

B.5 W4: 프로그래밍 가능한 동역학 · B.6 W5: 확장 가능한 공유 세계

W4와 W5 평가는 짝지은 전후 뷰를 통해 제한된 편집 동작과 세계 확장을 평가하며, 각 metric이 입증하는 범위에 명시적 한계를 둔다. W4는 편집 성공과 보존을 측정하고, W5는 공간적 성장, 커버리지, 뷰 품질을 측정한다.

B.5 W4: 프로그래밍 가능한 동역학

  • W4는 연산별 허용 변경 마스크를 사용하는 제한적 개입 인터페이스를 평가한다. 물리 법칙, 인과 메커니즘, 행동, 과업 제약을 프로그래밍하는 기능은 별도로 검증해야 한다.추가, 삭제, 대체, 수정에는 각각 편집 후 영역, 편집 전 영역, 전후 영역의 합집합, 전후 목표 영역을 마스크로 사용한다. 목표 마스크가 생성되지 않으면 이미지 전체를 대상으로 평가한다.출처: §B.5 · p. 45
  • W4 편집 성공도는 선택된 편집 후 뷰 중 하나라도 편집 지시를 충족하는 사례별 지표의 평균이다.객체 편집은 원점에서 여섯 번 탐색한 뒤, 감지 가능한 궤도 뷰를 최대 여섯 개 사용한다. 전역 편집은 원점 뷰 여섯 개를 사용한다. 편집 전 판단은 개선 여부를 판정하는 데 쓰이지 않으므로, 이미 충족된 상태를 그대로 두는 무동작도 통과할 수 있다.출처: §B.5 · p. 45
  • W4는 서로 다른 보존 함수와 사례 집단을 사용해 객체 편집과 전역 편집의 결합 점수를 따로 보고한다.객체 점수는 편집 성공에 실패하면 0이며, 성공하더라도 보존 여부를 판정할 수 없으면 결합 점수는 결측 처리된다. 전역 점수는 편집 성공과 공통으로 유효한 기하 영역의 깊이 일치도를 결합하며, 무동작의 한계를 그대로 지닌다.출처: §B.5 · pp. 46–47

B.6 W5: 확장 가능한 공유 세계

  • W5 확장 평가에서는 짝지은 편집 전후 세계에 공통 좌표계의 footprint를 사용하고, 원점·교차점·연결 경로 카메라를 동일하게 설정한다. 샘플링은 새로 점유된 셀을 중심으로 한다.확장 카메라 높이는 새 셀의 면적 가중 중심에서의 확장된 지면 높이에 원래 카메라 높이를 더한 값이다.출처: §B.6 · p. 47
  • W5 footprint 면적비는 편집 후 면적과 편집 전 면적을 비교하며, 교차점 커버리지 증가는 공유 교차점 카메라에서 짝지은 불투명도 커버리지의 변화를 측정한다.면적비는 쌍별로 평균을 내며, 전체 면적을 합산해 계산하지 않는다. 이는 새 셀 면적을 기존 footprint로 나눈 값이 아니며, 기존 셀이 줄어드는 동시에 세계가 확장될 수도 있다.출처: §B.6 · p. 47
  • W5 교차점 HPSv3 점수는 대리 뷰에서의 절대 품질을 나타내지만, 원점 및 경로 HPSv3 지표는 짝지은 뷰 품질의 편집 후-편집 전 차이를 비교한다.경로 지표는 원래 카메라와 새 점유 영역의 중심 사이에서 16개 프레임을 샘플링한다. 품질 점수가 같더라도 기하 구조나 정체성이 변하지 않았다는 뜻은 아니다.출처: §B.6 · pp. 47–48
  • W5 확장 표는 원시 면적비나 부호가 있는 HPS 변화량이 아니라 정규화 점수를 보고한다.정규화 매핑은 Section B.8에 명시되어 있다.출처: §B.6 · p. 48

B.7 집계 및 재현성 · B.8 정규화된 월드 수준 요약

이 절에서는 점수와 누락 사례를 집계하는 방법, 모델 수준 지표와 Arena 평점을 정규화하는 방법, 그리고 산출된 점수를 해석하는 방법을 명시한다.

B.7 집계 및 재현성

  • 집계는 프레임 또는 시행에서 객체 또는 사례 구성 요소로, 이어서 종합 점수로, 마지막으로 모델 평균으로 진행된다. 지표별 유효 표본 수와 실패 상태는 서로 구분해 유지한다.명목상 266개 스냅샷 장면, 424개 주석 객체, 72개 지원 장면은 서로 바꿔 쓸 수 있는 분모가 아니며, N/A는 측정값 0과 구분된다.출처: §B.7 · p. 48
  • 구현에서는 표준편차, 히스토그램, 내비게이션 그리드, 배치, 객체 품질, 편집, 확장 샘플링의 평가 설정을 고정한다.사례별 보고서에는 구성 요소 점수, 유효 표본 수, 실패 상태가 유지된다.출처: §B.7 · p. 48
  • 보고된 결과는 장면 품질과 지정된 공간 연산에 대한 기술적 모델 평균이며, 후속 에이전트 과제 성공을 직접 측정한 값은 아니다.출처: §B.7 · p. 48

B.8 정규화된 월드 수준 요약

  • 모델 수준 원시 지표 평균을 [0, 1]로 사상한 뒤 표시를 위해 100을 곱하며, Arena Elo 평점은 원래 척도를 유지한다.논문 표에는 지표값을 소수점 둘째 자리까지 표시한다.출처: §B.8 · p. 48
  • Arena Elo는 사람의 쌍대 비교 투표와 결정론적 역량 지원 비교를 결합한다. 역량을 지원하는 모델에는 지원하지 않는 모델을 상대로 승리를 부여하고, 어느 쪽도 해당 역량을 지원하지 않으면 “둘 다 미흡”으로 처리한다.평점은 Bradley–Terry 최대우도 추정을 사용하고 평균을 1000으로 정규화하며, 추가된 비교에도 사람 투표와 같은 가중치를 부여한다.출처: §B.8 · p. 48
  • F1만을 기준으로 선택하면 W1–W5에 각각 10, 2, 7, 7, 5개의 지표가 남는다. 그룹 평균에서는 유효 표본 수와 관계없이 모든 지표에 같은 가중치를 부여한다.FlashWorld에는 PI가 없어 W1 지표가 9개다. 빈 그룹은 대시로 표시하고, W6은 점수를 산출하지 않으며, 명시적 실패 점수는 평균에 포함한다.출처: §B.8 · pp. 48–49
  • 고정 변환을 통해 원시 지표 요약을 [0, 1]로 사상하고 출력을 해당 범위로 자른다. 일부 지표에는 고정된 참조 백분위 경계를 적용하며, 방법이 추가되어도 이를 다시 적합하지 않는다.고정 상수는 0827_validated_eval 세트의 사례별 기준선 참조 분포를 사용한다.출처: §B.8 · p. 49
  • W1–W5 평균은 서로 다른 지표 그룹을 요약하므로 직접 비교할 수 없다. 표시값 50은 접합부 커버리지 증가량과 두 HPSv3 변화 점수에서 중립값이다.확장 면적 점수 0에는 발자국 면적이 그대로이거나 줄어든 경우가 포함되고, 양수는 원시 면적의 증가를 뜻한다. HPSv3 보존 지표는 시점 품질 변화를 측정하며, 기하 구조나 정체성이 그대로 유지되는지는 측정하지 않는다.출처: §B.8 · p. 49

C Embodied World Model 트랙: 세부 지표 … C.6 지표 점수 산정 및 종합

Embodied 트랙은 지각, 일관성, 인과성, 제어 가능성을 평가하는 17개 지표 체계를 정의한다. 과제별 적용 가능성과 가중 집계를 바탕으로 차원별 점수와 종합 점수를 산출하며, 종합 점수에서는 인과성과 제어 가능성에 가장 큰 가중치를 부여한다.

C Embodied World Model 트랙: 세부 지표

  • Embodied 트랙은 지각 4개, 일관성 5개, 인과성 3개, 제어 가능성 5개로 구성된 17개 지표를 평가하며, 모든 점수는 [0, 100]으로 정규화한다.점수가 높을수록 성능이 우수하다.출처: C Embodied World Model Track: Detailed… · p. 50

C.1 지표 목록과 적용 가능성

  • Table 21은 각 지표의 근거와 W2–W4에 걸친 적용 가능성을 요약한다.출처: §C.1 · p. 50

C.2 지각

  • 지각 지표는 장면과 로봇 주체의 충실도, 프레임 단위 시각 품질, 생성된 롤아웃 전반의 선명도 유지 정도를 평가한다.Scene Fidelity와 Subject Fidelity는 참조 이미지에 대한 assertion을 사용한다. Perceptual Quality는 샘플링한 프레임을 평가하며, Sharpness Retention은 첫 생성 프레임 대비 선명도를 추적한다.출처: §C.2 · pp. 50–51

C.3 일관성

  • 일관성 지표는 주체 외양(SAC), 정적 기하 구조(GC), 지속되는 장면 및 객체 상태(SSC), 시간적 일관성(TC), 동작의 부드러움(MS)을 평가한다.SAC는 특징 유사도와 유효 마스크의 커버리지를 결합하며, 여러 프레임에서 주체를 위치 특정할 수 없으면 점수를 낮춘다. GC는 변화가 예상되는 개체를 제외하고, SSC는 정해진 체크포인트에서 과제별 assertion을 확인한다.출처: §C.3 · pp. 51–52

C.4 인과성

  • 인과성 지표는 물리적 개연성, 원인과 결과의 시간적 순서, 그리고 주요 상태 변화가 지정된 인과적 유발 요인에 의해 발생하는지를 평가한다.Assertion은 과제별 물리적 제약을 다룰 수 있다. 순서의 예로는 운반 전 잡기가 있으며, 유발 요인 확인의 예로는 접촉으로 인한 변위가 있다.출처: §C.4 · p. 52

C.5 제어 가능성

  • 제어 가능성 지표는 목표 상태 달성, 원자적 행동 준수, 기능적 상호작용 성공, 다중 행동의 순서, 변경된 행동 또는 물리 규칙 조건에 대한 충실도를 평가한다.Condition-Branch Fidelity는 각 분기의 행동 또는 조건과 기대 결과를 평가한 다음, 쌍을 이룬 결과가 요구된 차이를 보이는지 확인한다. 변형에서는 방향, 대상, 행동 유형 또는 물리 규칙을 바꿀 수 있다.출처: §C.5 · pp. 52–53

C.6 지표 점수 산정 및 종합

  • Soverall = 0.20Sperc + 0.20Scons + 0.30Scaus + 0.30Sctrl.각 차원 안에서는 적용 가능한 지표의 평균을 산출하고, 적용할 수 없는 지표와 assertion은 제외하며, 사전에 정한 중요도 가중치로 assertion 판정을 결합한다.출처: §C.6 · p. 53

Related papers

Loading 2609.24308v1…