Source-linked AI summary
DreamX-Phi 1.0: Action-Conditioned Video World Model for Robotic Manipulation
DreamX Team, Rui Chen, Xiangxiang Chu, Geng Li, Jifan Li, Qingfeng Shi, Datao Tang, Jing Tang, Jun Wang, Pengfei Zhang
TL;DR
로봇 조작에서 명령된 동작에 충실한 action-conditioned video prediction은 여전히 어렵다. 현실적인 rollout도 명령된 동작에서 벗어나거나 객체 일관성을 잃을 수 있기 때문이다. DreamX-Phi 1.0은 geometry-aware action conditioning에 depth 및 object-centric supervision을 결합해 두 트랙 모두에서 WorldArena 2.0 최고 성능을 달성했다.
문제
현실적인 video generator도 명령된 로봇 동작에서 벗어나거나 조작 대상 객체와의 상호작용 및 scene geometry를 보존하지 못하는 rollout을 생성할 수 있다.
방법
DreamX-Phi는 action-conditioned video prediction을 위해 arm별 SE(3) conditioning, image-space motion cue, auxiliary depth supervision, object-centric supervision을 결합한다.
결과
이 모델은 WorldArena 2.0 Track 1에서 EWMScore-P 60.65로 첫 번째 순위를 기록했으며, Track 2에서는 67.19% 성공률로 두 번째 순위를 공동 기록했다.
시사점 및 한계
DreamX-Phi는 video prediction과 world-model-based policy training에서 강력한 시스템 수준 성능을 보여준다.
시사점 및 한계
평가는 WorldArena와 RoboTwin으로 제한되어 있어 다른 task, embodiment, 실제 로봇으로의 일반화는 검증되지 않았다.
Abstract
from arXiv · showhide
We present \textbf{DreamX-Phi 1.0}, an action-conditioned video world model for robotic manipulation that, given an observed frame, a language instruction, and a prescribed action sequence comprising end-effector poses and gripper states, predicts the resulting future observations. Yet realism alone does not guarantee faithfulness: a convincing rollout can still move the wrong arm or lose the manipulated object. To ensure the prediction respects each arm's commanded path, we inject per-arm $\mathrm{SE}(3)$ transformations into attention via \textbf{PRoPE-style geometric encoding}, preserving arm identity and rigid-motion structure. Action control alone does not fully constrain scene geometry or the evolution of small manipulated objects. We therefore add a lightweight \textbf{depth branch} for scene-level geometry and use \textbf{SAM3 masks} with a frozen \textbf{V-JEPA teacher} to maintain object consistency throughout grasping. We further distill the multi-step generator into a few-step student via distribution-matching distillation for efficient deployment. At the time of writing, \model{} achieves first place on Track~1 and second place on Track~2 of the WorldArena~2.0 Challenge. Our model and code will be publicly available.
1 서론
DreamX-Phi 1.0은 단일 프레임과 미리 정해진 양손 동작으로부터 미래 관측을 예측하는 geometry-aware action-conditioned video world model이다. 로봇 동작 구조를 보존하고 장면과 조작 대상 객체의 일관성을 강제해 faithful rollout을 구현하며, WorldArena에서 최고 수준의 순위를 달성했다.
- 동기: World model은 현재 관측과 제안된 action sequence로부터 미래 장면 변화를 예측해 실행 전 action을 확장 가능하게 평가하지만, photorealism만으로는 action faithfulness를 보장할 수 없다.Faithful prediction은 지정된 로봇 궤적, 객체 상호작용, 그리고 action과 무관한 장면 내용을 보존해야 한다.
- 모델 개요: DreamX-Phi는 geometry-aware action-conditioned video world model을 사용해 단일 프레임과 미리 정해진 양손 동작으로부터 미래 관측을 예측한다.모델은 Wan2.2-TI2V-5B를 기반으로 한다.
- 학습 데이터: 학습 corpus는 실제 및 시뮬레이션 환경의 egocentric video와 robot interaction data를 결합하며, visual prior에는 action-agnostic clip을, control grounding에는 정렬된 궤적을 사용한다.RoboTwin training video는 해상도와 시각적 품질을 향상하기 위해 DreamX-Refiner로 처리한다.
- Geometry-aware action representation: Action representation은 구조화된 SE(3) trajectory와 image-space motion cue를 결합해, 지정된 3D end-effector motion과 그 효과가 나타나야 할 위치를 인코딩한다.PRoPE-based attention은 end-effector motion structure를 보존하고 이를 대응하는 image dynamics와 연결한다.
- Manipulation-aware supervision: Manipulation-aware supervision은 depth 기반 scene geometry와 객체 변화를 강조해 물리적으로 일관된 robot–object interaction과 시간에 따른 조작 대상 객체 identity의 일관성을 유도한다.Objective는 scene geometry와 object-centric temporal consistency를 정규화해 action-faithful rollout을 지원한다.
- 결과: WorldArena 2.0 submission은 Track 1에서 first를, Track 2에서 공동 second를 기록했으며, WorldArena 1.0 Track 1에서는 offline EWMScore-P 76.88에 도달했다.이 결과는 고정된 WorldArena 2.0 snapshot과 offline WorldArena 1.0 evaluation에서 보고된 것이다.
2 관련 연구
기존 연구는 확장 가능한 visual prior와 외부 control signal을 바탕으로 action-conditioned video world model을 개발해 왔으며, robotic world action model은 action injection 또는 joint policy-oriented modeling을 통해 video와 control을 연결한다. Geometry-aware attention과 depth supervision은 물리적 일관성을 추가로 겨냥하지만, geometry만으로는 전체 scene response를 제약할 수 없다.
- Action-Conditioned Video World Models: Action-conditioned video world model은 외부 control에 따른 scene evolution을 예측하며, 광범위한 domain의 visual dynamics와 pretrained video diffusion을 학습된 action interface로 확장한다.Wan과 Cosmos 3 같은 대규모 generator는 확장 가능한 visual prior를 제공하며, UniSim, iVideoGPT, DreamX-World, AVID는 여러 domain에서 controllable dynamics를 연구한다.
- Action-Conditioned Video World Models: Robot-specific model은 robot trajectories를 video frame에 정렬하고 causal 또는 interactive generation mechanism을 도입해 action conditioning을 구체화한다.
- World Action Models for Robotics: World action model은 low-dimensional action token 또는 adapter를 통해 video와 control을 연결하거나, policy 또는 planning을 위해 visual future와 action을 jointly modeling한다.조사한 예시로는 IRASim, Vid2World, HMA, UVA, WorldVLA, LingBot-VA, DreamZero, Cosmos Policy가 있다.
- Structured Control and Physical-Consistency Supervision: Geometry-aware attention은 relative SE(3) transformation 또는 알려진 camera geometry를 attention에 주입하고, depth supervision은 scene geometry를 구조화한다. 그러나 geometry만으로는 robot motion만 제약할 뿐 전체 scene response를 제약하지 못한다.GTA는 relative SE(3) transformation을 사용하며, projective relative positional encoding은 camera geometry를 query, key, value, output에 적용한다.
3 데이터 큐레이션
큐레이션된 코퍼스는 상호 보완적인 시각 및 로봇 데이터 소스를 결합한 뒤, 조작 관련 동역학을 보존하고 관측과 행동을 정렬하도록 필터링·구성한다. action-agnostic 및 action-conditioned 풀을 분리해 single-/multi-view 사전학습과 동기화된 control-conditioned fine-tuning을 지원한다.
- 데이터 소스: 코퍼스는 action-free egocentric video, real-robot demonstrations, simulated robot trajectories를 결합해 시각 동역학, 실제로 수행된 조작, 제어된 task 및 scene 변이를 포괄한다.이러한 소스는 action-conditioned prediction을 상호 보완적으로 포괄한다.
- 큐레이션 및 정규화: 큐레이션 과정에서는 mobile-base motion, dexterous-hand behavior, stationary segment를 제거하되, 유익한 실패 모드와 비이상적 상호작용 동역학으로서 실패한 실행은 유지한다.필터링된 AgiBot imitation-learning split에는 mobile-base 및 stationary segment를 제거한 뒤 178.7 ...이 포함된다.
- Action-Agnostic 사전학습: action-agnostic 풀은 큐레이션된 모든 비디오를 유지하며, single-camera stream은 single-view로 보존하고 동기화된 multi-camera stream은 공간적으로 연결해 통합된 multi-view video로 구성한다.이러한 view-adaptive 구성은 single-view와 multi-view downstream 사용 모두를 위해 원천 정보를 보존한다.
- Action-Conditioned Fine-Tuning: action-conditioned 풀에는 동기화된 action annotation이 있는 비디오만 포함하며, 각 비디오를 로봇 trajectory 및 common-representation annotation과 연결해 시간적 visual-control 정렬을 수행한다.RoboTwin 구성 요소에는 clean 및 randomized variant를 아우르는 25,000개의 bimanual clip이 포함되며, 큐레이션된 풀에 들어가기 전에 정제된다.
4 방법론
DreamX-Phi 1.0은 관측, 언어, 양팔 동작을 조건으로 Wan2.2-TI2V-5B video diffusion transformer를 구동하며, 구조화된 geometric attention으로 팔별 강체 운동을 보존한다. 보조 depth, 객체 인식 supervision, DMD2 distillation은 geometry와 조작 객체의 일관성을 강화하는 동시에 few-step inference를 가능하게 한다.
- Framework: 모델은 관측된 프레임, 언어 지시, 그리고 미리 정해진 양팔 end-effector 및 gripper trajectory를 사용해 Wan2.2-TI2V-5B diffusion transformer로 미래 RGB 프레임을 예측한다.미래 프레임 latent는 flow-matching objective로 학습하고, 첫 프레임 latent는 시각적 맥락을 제공한다.
- Geometric Action Conditioning: PRoPE-style attention은 팔별 relative SE(3) transform과 분리된 gripper state를 주입해 팔의 identity를 보존하고, absolute coordinate가 아니라 relative motion을 통해 token을 결합한다.두 팔은 reference frame을 공유하고 고정된 attention-head group을 사용하며, adapter를 0으로 초기화한 residual branch를 적용한다.
- Depth Adaptation: 경량 auxiliary depth branch는 shared early layer, replicated late block, RGB-to-depth cross-attention, latent-space mean-squared error를 통해 scene-geometry supervision을 제공한다.단방향 branch는 RGB 계산을 변경하지 않으므로 inference 중 depth prediction은 선택 사항으로 남는다.
- Object-Aware Supervision: SAM3 mask는 object token의 가중치를 재조정하고, frozen V-JEPA teacher는 token의 시공간적 변화를 regularize하며 contact-local error를 강조하고 객체 운동을 팔의 contact와 결합한다.Mask는 supervision에만 offline으로 사용되며 inference에는 mask가 필요하지 않다. 또한 mean-weight normalization은 mask 면적 변화에 따른 loss scale을 안정화한다.
- Distillation: DMD2는 multi-step conditional generator를 N-step student로 distill해 denoising evaluation 횟수를 줄이면서도 관측된 프레임, 정렬된 양팔 동작, 언어를 조건으로 유지한다.Student는 샘플링된 denoising step에서 clean future-video latent를 예측한다.
5 평가
DreamX-Phi 1.0은 주로 WorldArena 2.0에서 시각적 롤아웃 충실도와 정책 학습을 위한 학습 환경으로서의 유용성을 모두 평가받는다. August 12, 2026 스냅샷에서 Track 1은 첫 번째, Track 2는 공동 두 번째를 기록하며, 오프라인 WorldArena 1.0 결과도 보고한다.
- 평가 프로토콜: WorldArena 2.0 Track 1은 language instruction 또는 robot action trajectory에 조건화된 rollout을 평가하는 1,000 episodes로 구성되며, Track 2는 world model과 상호작용한 뒤의 policy success를 평가한다.Track 2는 주최 측이 제공한 initialization과 고정된 reward model로 π0.5 policy를 최적화한 뒤, held-out Adjust Bottle episodes에서 평가한다.
- 평가지표: Track 1은 visual quality, temporal dynamics, consistency, physical interaction, 3D structure, conditioning fidelity를 포괄하는 15 normalized metrics와 EWMScore-P를 보고한다.EWMScore-P는 component score의 평균이며, WorldArena 2.0은 aggregation 전에 ground-truth reference를 기준으로 Dynamic Degree, Flow Score, Motion Smoothness를 cap한다.
- WorldArena 2.0: 60.65 EWMScore-P로 DreamX-Phi는 WorldArena 2.0 Track 1에서 첫 번째를 기록하고, 67.19% Adjust Bottle 성공률로 Track 2에서 공동 두 번째를 기록한다.이 순위는 August 12, 2026 전체 스냅샷을 기준으로 하며, WOVR-PLUS가 Track 2를 선도하고 Lute가 공동 두 번째를 기록한다.
- 정성적 평가: 정성적 Track 1 rollout은 표준 및 domain-randomized RoboTwin 2.0 장면에서 arm, gripper, manipulated object의 일관성을 유지한다.randomized 설정은 배경, 텍스처, 조명, distractor 배치를 변화시킨다.
- WorldArena 1.0: 76.88 EWMScore-P로 DreamX-Phi는 offline WorldArena 1.0 Track 1 비교에서 공식 선두 entry인 UNIS보다 3.24 points 높다.표시된 component value를 재계산하면 반올림 후 76.89가 되지만, 보고된 aggregate는 그대로 유지된다.
6 한계
평가는 WorldArena와 RoboTwin만 다루며, Track 2도 Adjust Bottle로 제한되어 다른 task, embodiment, 실제 robot으로의 일반화는 검증되지 않았다. 전체 시스템의 leaderboard score로는 개별 component의 기여를 분리해 평가할 수 없으며, DreamX-Phi는 action을 생성하지 않고 외부에서 제공된 action을 예측한다.
- 평가 범위: 평가는 WorldArena와 RoboTwin으로 제한되고 Track 2도 Adjust Bottle만 다루므로, 일반화는 여전히 검증되지 않았다.검증되지 않은 범위에는 다른 task, embodiment, 실제 robot이 포함된다.
- 기여도 분석: Leaderboard score는 전체 시스템을 평가하므로 개별 component의 기여를 분리하지 못한다.
- Action 생성: DreamX-Phi는 action을 직접 생성하는 대신 외부에서 제공된 action으로부터 video를 예측한다.
7 결론
DreamX-Phi 1.0은 각 팔의 움직임을 조건으로 지정하면서 장면 기하와 조작 대상 객체의 상태를 보존해 양팔 비디오 예측을 수행한다. 팔별 SE(3) 조건화와 보조 depth 및 객체 중심 supervision을 결합하며, EWMScore-P 60.65로 31개 Track 1 참가작 중 첫 번째를 기록했고, Adjust Bottle에서 성공률 67.19%를 달성한 Track 2 정책을 지원한다.
- 결론: DreamX-Phi는 arm-specific SE(3) conditioning과 auxiliary depth 및 object-centric supervision을 결합해 prescribed arm motion, scene geometry, manipulated-object state를 보존한다.이 구성 요소들은 faithful bimanual video rollout의 핵심 과제를 해결한다.
- 결론: 60.65 EWMScore-P로 DreamX-Phi가 팔월 12일, 2026년 WorldArena 2.0 snapshot의 31개 Track 1 참가작 중 첫 번째를 기록했다.해당 결과는 그 snapshot에서 평가된 제출본에 대해 보고된 것이다.
- 결론: 제출된 world model을 rollout environment로 사용해 학습한 policy가 Track 2의 Adjust Bottle에서 성공률 67.19%를 달성해 두 번째로 높은 성능과 동률을 기록했다.해당 policy는 제출된 world model을 rollout environment로 사용했다.
8 향후 연구
향후 연구에서는 외부에서 제공된 action으로 관측을 예측하지만 action 자체는 생성하지 않는 DreamX-Phi 1.0의 forward-dynamics formulation을 확장할 예정이다. 계획 중인 joint World Action Model은 video와 로봇 trajectory를 함께 생성해 제안된 action과 예측된 시각적 결과를 정렬한다.
- 8 향후 연구: DreamX-Phi 1.0은 현재 action을 자체적으로 생성하지 않고 외부에서 제공된 action sequence로부터 미래 관측을 예측한다.이러한 한계는 대안적 model formulation을 탐색할 동기를 제공한다.
- 8 향후 연구: 향후 연구에서는 미래 video와 로봇 action trajectory를 함께 생성하는 joint World Action Model을 개발할 예정이다.
- 8 향후 연구: video output과 action output을 jointly training하는 목적은 각 제안 action을 예측된 시각적 결과와 정렬하는 데 있다.
저자
논문의 팀원은 알파벳순으로 나열되며, 이 순서는 상대적 기여도를 나타내지 않는다.
- 저자: 팀원은 Rui Chen, Xiangxiang Chu, Geng Li, Jifan Li, Qingfeng Shi, Datao Tang, Jing Tang, Jun Wang, Pengfei Zhang이다.이름은 성을 기준으로 알파벳순으로 나열하며, 성이 같을 때는 이름을 기준으로 나열한다.