HoloScene: Simulation-Ready Interactive 3D Worlds from a Single Video

1 서론

• 기존 접근법은 가려진 기하, 객체 간 관계, 물리적 타당성, 상호작용의 측면에서 한계를 보이며, 일부 선행 방법은 전체 관측을 요구하거나 단순한 상호작용만 다룬다.서론에서는 이러한 한계를 Real2Sim, 비모달(amodal) 재구성, 물리적 타당성을 고려한 재구성 방법 전반에 걸쳐 구분한다.출처: §1 · p. 2
• HoloScene은 객체 기하, 외관, 물리적 속성을 인코딩하는 계층적 인터랙티브 씬 그래프로 장면을 표현한다.씬 그래프 복원은 관측 데이터, 물리적 제약, 생성 사전 정보를 통합하는 에너지 기반 최적화 문제로 정식화된다.출처: §1 · p. 2
• HoloScene은 샘플링 기반 트리 구조 탐색과 그래디언트 기반 세분화를 사용해 정확한 기하, 안정적인 물리적 상호작용, 사실적인 새로운 시점 렌더링을 갖춘 장면을 복원한다.출처: §1 · p. 2
• 세 가지 까다로운 벤치마크에서 HoloScene은 우수한 기하 정확도와 물리적 타당성을 달성하며, 렌더링 성능은 최신 비모달 및 물리 인지 재구성 방법과 대등하다.인터랙티브 게임, 사실적인 비디오 효과, 실시간 디지털 트윈 조작을 통해 실용적인 응용 가능성을 보인다.출처: §1 · p. 2

2 관련 연구

• 많은 장면 모델링 방법은 사실적인 새로운 시점을 렌더링하지만 사용자가 상호작용할 수 있는 에셋을 제공하지 않으며, 객체 수준 방법은 규모가 크고 복잡한 실내 장면을 처리하지 못한다.다른 접근법은 구성 요소가 제한적이고, 물리적 안정성이 부족하거나, 시각적 입력과 일치하지 않는 레이아웃을 생성한다.출처: §2 · p. 2
• HoloScene은 scene graph 기반 객체 상호작용을 생성 사전분포 및 샘플링과 결합해 물리적으로 타당하고 상호작용 가능한 환경에서 각 구성 요소의 기하와 외관을 재구성한다.출처: §2 · p. 3
• CAST [86]와 달리, HoloScene은 입력 충실도를 위해 다중 시점 비디오 최적화를, 안정성을 위해 시뮬레이터를 최적화 루프에 포함하는 방식을 사용하며, 탐욕적 순차 최적화 대신 통합 에너지 기반 추론을 수행한다.출처: §2 · p. 3

3 방법

• HoloScene은 관측 증거, 생성 기반 완성 사전분포, 물리 제약을 에너지 최소화 프레임워크로 통합하고, 샘플링 기반 트리 탐색과 미분 가능한 최적화로 이를 해결한다.출처: §3 · p. 3, §3.3 · p. 6

3.1 장면 표현

• 노드는 SDF에서 추출한 메시와 메시 부착 Gaussian splat을 사용해 기하, 외관, 물리적 속성, 상태를 인코딩하고, 에지는 지지, 인접, 충돌 관계를 나타낸다.출처: §3.1 · pp. 3–4

3.2 문제 정식화

• 목적 함수는 렌더링된 RGB, 마스크, 단안 기하의 오차와 완전성, 기하, 물리 정규화 항을 결합한다.출처: §3.2 · p. 5
• 완전성은 LaMa가 가려진 영역을 인페인팅한 뒤 Wonder3D로 생성한 가상 시점 관측을 사용하며, 기하 페널티는 SDF와 메시의 교차를 억제한다.출처: §3.2 · p. 5
• 물리적 타당성 항은 중력으로 유발되는 상태 변화를 벌점으로 부과하고, 지지하는 메시 간 접촉을 유도한다.출처: §3.2 · pp. 5–6

3.3 추론

• 1단계에서는 기울기 기반 손실을 사용해 관측에 맞춰 객체별 SDF 기하와 Gaussian 외관을 최적화한 다음 초기 메시를 추출한다.출처: §3.3 · p. 6
• 완성 항과 물리 항은 다봉적이거나 미분 불가능하므로, 2단계에서는 다양한 Wonder3D 형상 샘플과 너비 우선 지지 트리 탐색을 결합해 에너지가 낮은 후보를 선택한다.선택된 형상의 상태와 물리 매개변수를 조정해 안정성을 확보하고 상호 관통을 방지한다.출처: §3.3 · pp. 6–7
• 3단계에서는 경사 하강법으로 관측 항을 다시 최소화하고, 부착된 Gaussian을 미세 조정해 완전하고 사실적인 외관을 얻는다.출처: §3.3 · p. 7

4.1 실험 결과

• HoloScene은 객체 재구성과 안정 객체 비율에서 최고 성능을 달성하면서 장면 수준의 기하와 외관 품질은 비슷하게 유지한다.평가는 Replica, ScanNet++, iGibson을 대상으로 하며, 기하, 렌더링, 물리적 안정성을 측정한다.출처: §4 · p. 7, Table 2 · p. 8, §4.1 · p. 9
• iGibson에서 HoloScene은 보이지 않거나 가려진 객체 영역을 재구성하는 성능이 모든 기준 방법보다 뛰어나다.평가에는 완전한 객체 ground truth를 사용하고, 외관 평가를 위해 객체마다 여섯 시점에서 렌더링한다.출처: §4.1 · p. 9
• 생성 사전정보, 물리 에너지, 장면 그래프 관계는 물리적 안정성과 객체 수준 재구성을 개선하지만, 장면 수준 정합과는 상충관계가 있다.절제 실험에 따르면 물리적 타당성 최적화는 관측 영상과의 픽셀 정합을 때때로 저해할 수 있다.출처: §4.1 · p. 9, Table 3 · p. 9
• HoloScene은 비교 대상인 재구성 기반 기준 방법 가운데 기하 및 물리 실패율이 가장 낮다.생성 사전정보와 물리를 고려한 제약은 유효하지 않은 형상과 객체 간 관통을 줄인다.출처: §4.1 · p. 9, Table 4 · p. 10

4.2 대화형 환경 응용

• Unreal Engine에서 재구성된 객체는 물리적으로 재배치할 수 있고 에이전트와 현실적으로 상호작용한다. 사용자는 장면 편집을 위해 객체를 옮기고 회전할 수도 있다.The applications include a third-person game and interactive editing of object Gaussians with underlying physical mesh geometry.출처: §4.2 · p. 10
• HoloScene은 영상에서 객체 상호작용을 재생하고, 재구성된 장면에 자연스럽게 어우러지는 공간 정합 시각 효과를 추가할 수 있다.시연한 효과에는 강체 시뮬레이션, 캐릭터 애니메이션, 파티클 효과가 포함된다.출처: §4.2 · p. 10, Figure 5 · p. 10

• HoloScene은 scene graph와 에너지 기반 최적화를 결합해 사실적인 외관, 완전한 기하 구조, 상호작용이 가능한 물리적 타당성을 갖춘 환경을 재구성한다.출처: §5 · p. 10
• 현재 이 프레임워크는 정적인 실내 장면의 영상만 처리하며, 동적 장면과 대규모 야외 환경은 여전히 어렵다.출처: §5 · p. 10
• 향후 연구에서는 재조명 가능한 재구성과 관절형 및 변형 가능한 객체로 지원 범위를 확장하는 데 초점을 맞출 예정이다.출처: §5 · p. 10

• A third-person game lets an agent run, jump, explore, and interact with scene objects that remain stable and follow physical rules.The game is built in Unreal Engine using reconstructed objects and background texture mesh.출처: A More Interactive Environment… · p. 16, Figure 1 · p. 16
• 사용자는 사물을 xy-plane을 따라 이동시키고 수직 z-axis를 중심으로 회전시켜 장면을 일관성 있게 편집할 수 있다.시연 사례에서는 재구성된 회전 의자의 위치를 바꾼다.출처: A More Interactive Environment… · p. 16
• 정지 RGB 영상만으로 파이프라인은 사물의 6D pose를 추정하고 가상 장면에서 움직임을 재생한다.카메라 pose 추정과 깊이 정렬에는 VGGT를, 추적에는 재구성된 에셋과 FoundationPose를 사용한다.출처: A More Interactive Environment… · p. 16
• 재구성된 장면에 강체 시뮬레이션, 캐릭터 애니메이션, 파티클 효과를 더해 장면에 자연스럽게 어우러지도록 할 수 있다.효과는 공간적으로 정합되며 입력 이미지에 그림자와 함께 합성된다.출처: A More Interactive Environment… · p. 16

B 추가 물리 시뮬레이션 결과

• Figure 2는 사용자가 상호작용형 제어 패널을 통해 객체의 위치와 방향을 바꾸는 모습을 보여준다.출처: Figure 2 · p. 17
• Figure 3은 원본 녹화 영상과 시뮬레이션된 Gaussian 렌더링을 나란히 보여주고, 방향이 표시된 경계 상자로 추정 객체 6D 포즈를 나타낸다.출처: Figure 3 · p. 17
• Replica, ScanNet++, iGibson에서 HoloScene은 물리적 안정성과 개연성이 가장 뛰어나며, 렌더링 품질도 사실적이다.세 데이터셋 전반의 물리 시뮬레이션 결과를 비교한다.출처: B More Physical Simulation Results · pp. 16–17

C 방법 세부 사항

• 너비 우선 장면 트리 탐색으로 재구성된 객체 후보 중 물리 에너지가 가장 낮은 후보를 선택한 뒤, 안정성을 위해 상태를 조정한다.이 절차는 SDF 값과 메시 정점을 정규화하고, 부모 객체나 인접 객체에 가까운 점을 제거한 다음, 결과 메시의 충돌 여부를 검사한다.출처: C Method Details · p. 17
• Figure 4는 애니메이션, 객체 낙하, 불 지르기 등 동적 시각 효과를 보여준다.출처: C Method Details · p. 18
• 최적화 후 접촉면을 정규화해 객체 간 충돌을 방지하고 장면 안정성을 더욱 높인다.출처: C Method Details · p. 18

D.1 데이터셋

• Replica는 인스턴스 주석이 포함된 텍스처 메시를 제공하지만 비디오나 카메라 궤적은 제공하지 않으므로, 저자들은 수동으로 설계한 조밀한 궤적을 따라 이미지를 렌더링한다.궤적은 장면당 수백 프레임을 포함하며, 이미지는 512 × 512 픽셀로 렌더링된다.출처: §D.1 · p. 18
• ScanNet++는 포즈가 주어진 다중 뷰 이미지와 정렬된 인스턴스 주석 스캔을 제공한다. 저자들은 스캔에서 얻은 마스크를 의 더 깔끔한 마스크로 대체한다.이미지는 2배 축소된다.출처: §D.1 · p. 18
• iGibson은 완전한 객체 및 배경의 기하 구조와 외관을 제공하지만 카메라 궤적은 제공하지 않으므로, 저자들은 수동으로 설계한 조밀한 궤적을 따라 이미지를 렌더링한다.궤적은 장면당 수백 프레임을 포함하며, 이미지는 512 × 512 픽셀로 렌더링된다.출처: §D.1 · p. 18

D.2 비교 방법

• 벤치마크에서는 공개 소스 ObjectSDF++, PhyRecon, DP-Recon 코드를 평가 설정에 맞게 수정한다.출처: §D.2 · p. 18
• ObjectSDF++와 PhyRecon에는 지원 이미지 해상도에 맞는 새 데이터 로더를 적용하며, PhyRecon은 재구성에 실패한 객체에 대해 물리 손실을 생략한다.DP-Recon은 누락된 객체의 바운딩 박스를 처리하도록 수정하고, 최종 단계 텍스처 메시를 사용해 평가한다.출처: §D.2 · pp. 18–19

D.3 HoloScene의 추론 세부 사항

• Figures 5–8은 ScanNet++, Replica, iGibson에서 물리 미적용, 중간 물리, 최종 물리 상태에 따른 객체 형상과 외관을 보여준다.출처: Figure 5 · p. 19, Figure 6 · p. 20, Figure 7 · p. 21
• HoloScene의 추론에서는 200k회의 gradient-optimization 반복, 객체당 최대 5개의 샘플링 후보, 전역 Gaussian refinement 30k회를 사용한다.물리 시뮬레이터로는 기본 물리 매개변수를 사용하는 Isaac Sim을 적용하며, refinement에서는 생성 이미지도 사용해 인스턴스 Gaussian을 최적화한다.출처: §D.3 · pp. 19–20
• iGibson 비교에서는 DP-Recon의 불완전한 배경 메시 때문에 그림에서 객체가 떨어진다.출처: Figure 8 · p. 22