Source-linked AI summary
SpatialCrafter: Single Image World Modeling with Generative 3D Proxies
Chuan Fang, Lingteng Qiu, Yixun Liang, Rui Chen, Kunming Luo, Zhaohua Zheng, Tongyuan Bai, Feipeng Tian, Zilong Dong, Zihan Zhou, Ping Tan
TL;DR
기존 image-to-scene 방법은 불완전한 공간 조건에 의존해 탐색 중 장거리 일관성이 제한된다. SpatialCrafter는 대신 global 3D proxy를 생성하고 video diffusion model로 이를 정제해, 극단적인 시점 변화에서도 state-of-the-art 시각 품질과 기하학적 일관성을 달성한다.
문제
기존 image-to-scene 방법은 불완전한 3D proxy 또는 2D image에 의존하므로, 탐색 중 장기 drift와 확률적 hallucination에 취약하다.
방법
SpatialCrafter는 two-stage global 3D proxy generator와 Generative Deferred Refiner를 사용하며, PaSS, geometry injection, proxy-aware corruption, 115K-scene dataset을 도입한다.
결과
SpatialCrafter는 synthetic 및 real-world benchmark에서 state-of-the-art 시각 품질과 geometric consistency를 달성하며, 극단적인 camera motion과 viewpoint change에서도 강건성을 유지한다.
시사점 및 한계
이 framework는 빠른 camera motion과 극단적인 viewpoint change가 발생하는 explorable image-to-scene generation에서 superior spatial coherence를 제공한다.
시사점 및 한계
Incremental scene-exploration 방법은 2D memory bank 확장과 real-time point-cloud stitching으로 인해 상당한 computational overhead를 초래한다.
Abstract
from arXiv · showhide
Explorable image-to-scene generation is essential for applications in gaming, robotics, and virtual reality. Existing methods based on video diffusion model (VDM) commonly rely on incomplete conditioning signals such as sparse point clouds or 2D panoramas, leading to stochastic hallucinations, long-term drifts and suboptimal 3D consistency. We present SpatialCrafter, a novel two-stage framework that addresses these issues by introducing a global 3D proxy for high-fidelity image-to-scene generation. Specifically, we decompose the generation process into global proxy generation and appearance refinement. For proxy generation, we propose a Point-anchored Sparse Structure~(PaSS) Flow module that predicts a spatially aligned and geometrically consistent 3D proxy. For appearance refinement, we re-frame the VDM as a Generative Deferred Refiner which synthesizes high-frequency photorealistic details upon proxy-defined scene geometry. To better integrate the proxy with the pre-trained VDM, we introduce Parallel Geometry Injection and Proxy-Aware Corruption training strategies, which improve robustness to proxy artifacts without disrupting the pretrained generative manifold. Furthermore, as no suitable dataset exists for this explorable scene generation task, we construct a new large-scale dataset of 115K scenes. To the best of our knowledge, it is the first hybrid dataset for image-to-scene generation. Extensive experiments on both synthetic and real-world datasets show that SpatialCrafter outperforms state-of-the-art methods, mitigates long-term drift, and remains robust and consistent under rapid camera motion and extreme viewpoint changes. Code, models, and the newly constructed dataset will be publicly released. See more at https://fangchuan.github.io/SpatialCrafter/.
1 서론
SpatialCrafter는 video-diffusion world model에서 불완전한 3D conditioning으로 발생하는 공간적 불일치와 hallucination을 해결한다. 두 단계의 global-proxy 파이프라인, 정렬 및 refinement 메커니즘, 115K-scene hybrid dataset을 도입한다.
- 동기와 한계: 기존 video diffusion world model은 명시적인 3D supervision이 부족한 반면, reconstruction proxy는 불완전하여 관측되지 않은 영역에서 stochastic hallucination을 유발한다.Images-as-memory 방법 [Song et al. 2025; Xiao et al. 2025; Yu et al. 2025a]과 explicit-proxy 방법 [Li et al. 2025a; Ren et al. 2025; Wu et al. 2025c; Yang et al. 2025a; Yu et al. 2024b]은 이 문제의 일부를 다루지만 근본적인 불완전성을 제거하지는 못한다.
- 방법: 이 framework는 한 장의 이미지에서 조밀하고 연속적인 global 3D proxy를 생성한 뒤, video diffusion model을 appearance refinement에 재활용한다.이 two-stage 설계는 입력 view를 넘어 신뢰할 수 있는 scene guidance를 제공한다.
- 방법: PaSS Flow Matching은 입력 view의 geometry에 sparse proxy generation을 정렬하고, Parallel Geometry Injection과 Proxy-Aware Corruption은 robust video refinement를 향상한다.이 메커니즘들은 scene-level spatial misalignment와 proxy artifact로 인해 cross-view coherence가 깨지는 문제를 다룬다.
- 데이터셋: 확장 가능한 data engine은 synthetic indoor rendering과 필터링된 real-world reconstruction을 결합해 approximately 115K개의 high-fidelity scene을 생성한다.이 hybrid dataset은 다양한 indoor 및 outdoor environment에서 정밀한 geometric annotation을 제공하는 최초의 large-scale image-to-scene dataset으로 제시된다.
- 기여: SpatialCrafter는 state-of-the-art visual quality와 geometric consistency를 달성하며, 기존 방법이 실패하는 극단적인 camera motion과 viewpoint change에서도 공간적 일관성을 유지한다.이 결과는 synthetic 및 real-world benchmark 전반에서 유지된다.
2 관련 연구
기존 scene-generation 방법은 3D 표현을 최적화하거나 multi-view 이미지를 생성하거나 memory-augmented video diffusion을 사용하지만, 일관성, drift, 가림, 계산량 측면의 한계가 있다. 명시적 3D proxy는 2D-memory retrieval 오버헤드를 줄이고, diffusion refinement는 불완전한 재구성을 개선한다.
- Scene-Level 3D Generation: Scene-level SDS 방법은 NeRF 또는 3DGS 표현을 최적화하지만, 명시적인 multi-view 제약이 없어 cross-view 의미적 불일치가 자주 발생한다.초기 접근법으로 Cohen-Bar et al. [2023], Sargent et al. [2024], Yang et al. [2024]가 있다.
- 2D Image Memory: Incremental 2D-memory 방법은 단기 temporal consistency를 향상시키지만 depth 및 alignment 오차가 누적되어 scale drift, loop-closure 실패, 높은 유지보수 오버헤드를 유발한다.확장되는 memory bank와 실시간 point-cloud stitching도 상당한 계산 비용을 초래한다.
- 3D Proxy: 명시적 3D-proxy 방법은 2D-memory retrieval 오버헤드를 제거하지만, static reconstruction은 보이지 않는 영역을 영구적으로 누락시키며 dynamic variant는 proxy 불완전성을 해결해야 한다.이 계열에는 ViewCrafter [Yu et al. 2024b]와 GEN3C [Ren et al. 2025]가 포함된다.
- Panorama Proxy: Panorama proxy는 단일 입력 view를 360° 이미지로 완성하고 이를 point cloud로 들어 올리지만, single-optical-center 표현은 가림에 어려움을 겪고 실제 3D parallax가 없다.Matrix-3D [Yang et al. 2025a]와 One2Scene [Wang et al. 2026]이 이 접근법을 따른다.
- 3D-Aware Diffusion Refinement: Diffusion 기반 refinement 방법은 거친 3D 표현을 렌더링한 뒤 2D diffusion prior로 개선하며, DiFix3D+ [Wu et al. 2025d]와 관련 접근법이 이에 해당한다.이 refinement 계열에는 VideoFrom3D [Kim et al. 2025], GenFusion [Wu et al. 2025b], Artifixer [De Lutio et al. 2026]도 포함된다.
3 사전 지식
사전 지식에서는 global proxy 생성을 위한 latent 3D diffusion과 계산 효율적인 video generation을 위한 latent video diffusion을 설명한다. 두 framework 모두 conditional flow matching을 사용해 Gaussian noise를 target latent representation으로 운반한다.
- Latent 3D Diffusion Models: Latent 3D diffusion은 TRELLIS [Xiang et al. 2025]를 기반으로 하며, two-stage SLAT representation을 통해 sparse 3D geometry와 multi-view visual feature를 결합한다.coarse stage에서는 sparse voxel field를 생성하고, refinement에서는 voxel별 latent feature를 예측한다.
- Latent 3D Diffusion Models: 3D Gaussian Splatting decoder [Kerbl et al. 2023]는 완성된 SLAT를 3D proxy로 변환하며, Rectified Flow Transformers [Liu et al. 2022]는 DINO image embedding을 조건으로 사용한다.model은 conditional flow matching [Lipman et al. 2022]을 사용해 Gaussian noise를 target SLAT로 운반한다.
- Latent Video Diffusion Models: Latent video diffusion model은 압축된 compressed spatio-temporal latents에서 작동해 고차원 video generation의 계산 부담을 줄인다.causal VAE는 video를 compact latent로 인코딩하고 video decoder를 통해 복원한다.
- Latent Video Diffusion Models: Video generation에서도 conditional flow matching을 사용하며, text guidance를 조건으로 하는 DiT network가 Gaussian noise에서 target video latent로 향하는 vector field를 예측한다.Wan 2.1 [Wan et al. 2025]에서는 first frame을 독립적으로 인코딩하고, 이후 frame은 4× temporal 및 8× spatial downsampling을 거쳐 16-channel latent로 변환한다.
4 방법론
SpatialCrafter는 단일 이미지 월드 모델링을 정렬된 3D proxy 생성과 궤적 조건부 외관 정제로 분해한다. Proxy-aware 설계와 약 115K개 장면으로 구성된 데이터 엔진은 시간적·공간적으로 일관된 RGB-D 비디오 합성을 지원한다.
- 4 방법론: 참조 이미지와 카메라 궤적이 주어지면 SpatialCrafter는 각 카메라 pose를 조건으로 시간적·공간적으로 일관된 RGB-D 프레임을 합성한다.각 출력 프레임에는 예측된 RGB 이미지와 depth map이 포함된다.
- 4 방법론: 이 two-stage framework는 먼저 전역 3D proxy를 구성한 뒤, Generative Deferred Refiner를 사용해 해당 proxy의 궤적 렌더링을 photorealistic RGB-D 비디오로 정제한다.Proxy는 입력 이미지에서 생성되고 카메라 궤적을 따라 렌더링되며, 명시적인 구조적·기하학적 prior로 사용된다.
- 4.1 전역 3D Proxy 생성: PaSS Flow는 입력 이미지와 예측 depth에서 sparse structure를 anchor하고, 장면 생성을 구조적으로 유도되는 sparse voxel completion으로 재구성해 geometric alignment를 달성한다.정렬된 sparse structure는 SLAT Flow로 처리된 후 전역 3D proxy로 디코딩된다.
- 4.2 Generative Deferred Refiner: Parallel Geometry Injection은 pretrained weight를 고정하고 LoRA parameter를 최적화하면서 coarse RGB-depth latent를 reference 및 noisy video latent와 통합한다.이를 통해 비디오 모델의 시공간적·photorealistic prior를 보존하면서 기하학적 guidance를 반영한다.
- 4.2 Generative Deferred Refiner: Proxy-Aware Corruption은 학습 중 기하학적 조건을 확률적으로 교란해, smoothed texture, floater, hole을 포함한 추론 시 proxy artifact에 대한 강건성을 향상한다.선별된 신호만으로 학습하면 이러한 분포 외 artifact에 과적합되어 강건성이 저하될 수 있다.
- 4.3 데이터셋 구성: 확장 가능한 데이터 엔진은 synthetic indoor rendering과 real-world video capture를 연결해 두 stage의 학습을 위한 약 115K개의 3D 장면을 구성한다.기존 benchmark는 규모와 장면 다양성이 제한적이라고 설명된다.
5 실험
SpatialCrafter는 image-memory 및 reconstructive-3D baseline과 비교해 synthetic 및 real-world benchmark에서 평가되며, 까다로운 카메라 움직임에서도 일관되게 우수한 성능과 강건성을 달성한다. Ablation 결과는 PaSS-Flow, proxy 기반 RGB-D conditioning, Proxy-Aware Corruption이 각각 spatial consistency와 novel-view synthesis를 향상함을 추가로 보인다.
- 실험 설정: 평가는 SpatialGen-Video, RealEstate10K, DL3DV에서 camera trajectory를 사용한 81-frame single-image generation으로 수행되며, ground-truth RGB-D와 trajectory를 바탕으로 visual quality와 geometric consistency를 측정한다.Benchmark에는 104개의 synthetic scene과 100개의 sampled RealEstate10K test scene이 포함되며, 모든 방법은 동일한 input condition과 publicly available checkpoint를 사용한다.
- 정량 결과: SpatialCrafter는 세 benchmark dataset 모두에서 baseline을 일관되게 능가하며, SpatialGen-Video에서 가장 낮은 FVD (193.54)와 RPE (0.093)를 달성한다.RealEstate10K에서도 모든 핵심 metric에서 크게 앞서며, 전체 정량 비교는 Table 1에 제시된다.
- 정량 결과: 제안 dataset으로 Voyager를 fine-tuning하면 FVD와 PSNR이 향상되지만, Voyager†는 여전히 geometric consistency에서 SpatialCrafter에 뒤처지며, 특히 광범위한 camera motion에서 그 격차가 두드러진다.SpatialGen-Video와 DL3DV에서 훨씬 높은 RPE와 RVE를 보인다는 점은 향상된 data quality만으로는 reconstructive proxy의 한계를 제거할 수 없음을 나타낸다.
- 정성 결과: 장거리 trajectory와 극단적인 viewpoint 변화에서도 SpatialCrafter는 구조적 일관성을 유지하는 반면, Voyager는 붕괴하고 GEN3C와 ViewCrafter는 콘텐츠를 왜곡하며, DFoT와 GeometryForcing은 misaligned하거나 거의 정적인 출력을 생성한다.이 결과는 reconstructive 3D proxy와 2D image memory가 장기 drift와 stochastic hallucination에 취약한 반면, 전역적이고 완전한 proxy는 강건한 generation을 지원함을 보여준다.
- PaSS-Flow의 효과: PaSS-Flow는 point anchor로부터 구조적으로 정렬된 coarse rendering을 생성하는 반면, 이를 제거하면 spatial misalignment가 발생해 downstream refinement가 저하된다.Ablation은 SpatialGen-Video test set에서 수행되며, point anchoring이 high-fidelity refinement를 위한 신뢰할 수 있는 geometric signal을 제공함을 보여준다.
- Generative Deferred Refiner 구성: Refinement ablation은 proxy rendering이 camera-only conditioning보다 spatial consistency를 향상하고, depth가 3D consistency를 추가로 높이며, Proxy-Aware Corruption이 추가적인 이득을 제공함을 보인다.PAC를 적용한 full RGB-D model은 보고된 모든 metric에서 가장 강건하고 photorealistic한 novel-view synthesis를 달성하며, 정성 결과는 drift와 inconsistency가 감소함을 확인한다.
6 결론
SpatialCrafter는 불완전한 공간 메모리로 인해 발생하는 장기적 drift와 stochastic hallucination을 해결하기 위해 전역적이고 완전한 3D proxy를 사용하는 탐색 가능한 image-to-scene generation용 2단계 framework로 제시된다. 또한 고품질 학습 데이터 부족 문제를 해결하기 위해 확장 가능한 data engine을 개발한다.
- 6 결론: SpatialCrafter는 탐색 가능한 image-to-scene generation을 위한 2단계 framework를 제안한다.
- 6 결론: 전역적이고 완전한 3D proxy는 공간 메모리로 사용되는 불완전한 3D proxy 또는 2D image와 관련된 장기적 drift와 stochastic hallucination을 해결한다.
- 6 결론: 고품질 학습 데이터의 심각한 부족 문제를 해결하기 위해 확장 가능한 data engine을 개발한다.
생성된 RGB-D 비디오
이 절에서는 SpatialCrafter가 생성한 추가 시각적 결과를 제시한다.
- 생성된 RGB-D 비디오: Figure 8은 SpatialCrafter의 추가 시각적 결과를 보여준다.