Source-linked AI summary
Differentiable Volumetric Rendering: Learning Implicit 3D Representations without 3D Supervision
Michael Niemeyer, Lars Mescheder, Michael Oechsle, Andreas Geiger
TL;DR
기존 image-based 3D reconstruction 방법은 비용이 큰 3D supervision이나 discretized voxel 및 mesh representation에 제약된다. DVR은 implicit shape 및 texture representation의 depth를 해석적으로 미분해, image만으로 학습하면서 full-3D-supervision 모델에 필적하고 multi-view reconstruction에서 watertight mesh를 생성할 수 있게 한다.
문제
기존 implicit-representation 방법은 비용이 큰 3D ground truth를 필요로 하는 반면, differentiable image-based 접근법은 discretized voxel이나 mesh로 제한된다.
방법
DVR은 implicit shape 및 texture network에 대한 analytic depth gradient를 도출해, multi-view image와 object mask만으로 이를 학습할 수 있게 한다.
결과
DVR은 3D supervision 없이 implicit 3D shape representation을 학습하고, full-3D-supervision 모델에 필적하며, multi-view reconstruction을 위한 watertight mesh를 직접 생성한다.
시사점 및 한계
DVR은 synthetic 및 real data에서 image-supervised single- 및 multi-view reconstruction으로 implicit shape 및 texture representation의 적용 범위를 확장한다.
시사점 및 한계
이 방법은 현재 object mask와 camera information을 필요로 하며, 더 복잡한 material property가 아닌 texture를 추정한다.
Abstract
from arXiv · showhide
Learning-based 3D reconstruction methods have shown impressive results. However, most methods require 3D supervision which is often hard to obtain for real-world datasets. Recently, several works have proposed differentiable rendering techniques to train reconstruction models from RGB images. Unfortunately, these approaches are currently restricted to voxel- and mesh-based representations, suffering from discretization or low resolution. In this work, we propose a differentiable rendering formulation for implicit shape and texture representations. Implicit representations have recently gained popularity as they represent shape and texture continuously. Our key insight is that depth gradients can be derived analytically using the concept of implicit differentiation. This allows us to learn implicit shape and texture representations directly from RGB images. We experimentally show that our single-view reconstructions rival those learned with full 3D supervision. Moreover, we find that our method can be used for multi-view 3D reconstruction, directly resulting in watertight meshes.
1. 서론
Learning-based 3D reconstruction은 단일 이미지에서 모델을 추론할 수 있지만 일반적으로 정확한 3D supervision에 의존하므로 실제 환경에서의 활용이 제한된다. DVR은 연속적인 implicit shape 및 texture representation에 대한 analytic depth gradient를 도출해 이 문제를 해결하며, 2D 이미지와 mask만으로 reconstruction을 가능하게 한다.
- 동기: 대부분의 learning-based method는 정확한 3D ground truth를 필요로 하므로, 단일 이미지 reconstruction 성능이 뛰어나더라도 주로 synthetic data에 국한된다 [12] [13] [17].최근 대안들은 rendering process를 수정해 depth map이나 multi-view image를 포함한 2D supervision을 사용한다.
- 동기: 기존 differentiable-rendering approach는 voxel- 또는 mesh-based representation을 사용하며, discretization artifact와 resolution 또는 template deformation에 대한 computational limit의 문제가 있다 [11] [15] [21] [33] [43].Implicit shape 및 texture representation은 training 중 discretization을 방지한다 [12].
- 기여: DVR은 implicit representation parameter에 대한 predicted depth의 analytic gradient를 도출해 shape와 texture를 위한 volumetric rendering을 differentiable하게 만든다.이 formulation은 multi-view image와 object mask만으로 implicit 3D representation을 학습한다.
- 기여: DVR의 memory footprint는 forward pass 중 volumetric data를 저장할 필요가 없으므로 depth-sampling accuracy와 무관하다.이 method는 synthetic 및 real data에서 single-view와 multi-view reconstruction을 지원한다.
- 기여: [54]와 달리 DVR은 texture를 geometry에 conditioning하지 않고 shared geometry 및 texture parameter를 학습한다.하나의 model이 geometry와 texture를 모두 표현한다.
2. 관련 연구
관련 연구는 voxel-, point-, mesh-, implicit 3D representation과 differentiable rendering을 사용하는 고전적 및 학습 기반 reconstruction pipeline을 포괄한다. 본 연구는 implicit shape 및 texture representation을 위한 volumetric rendering을 미분 가능하게 만들어 2D supervision으로 학습할 수 있게 한다는 점에서 차별화된다.
- 3D Representation: Implicit representation은 공간적 이산화를 피하고 고정된 memory footprint를 유지하여 voxel-, point-, mesh-based method의 해상도, 연결성, topology 한계를 해결한다.Voxel method는 여전히 상대적으로 작은 resolution에 제한되고, point method는 누락된 연결성을 보완하기 위한 post-processing이 필요하며, mesh method는 흔히 deformable template에 의존한다.
- Differentiable Rendering: 본 연구는 implicit representation을 위한 volumetric rendering이 본질적으로 미분 가능하며, 이를 통해 2D supervision으로 implicit shape 및 texture를 학습할 수 있음을 보인다.이 접근법은 3D supervision을 요구하는 대신 image-based supervision으로부터 직접 representation을 학습한다.
- 3D Reconstruction: 고전적 multi-view stereo는 feature를 매칭하거나 voxel grid를 재구성하는 반면, 학습 기반 method는 depth를 정제하거나 MVS component를 최적화하거나 pipeline을 end-to-end로 대체한다.Feature-based method는 손실이 있는 fusion이 필요한 depth map을 생성하지만, 본 방법은 2D image만으로 supervision을 받고 일관된 3D representation을 출력한다.
- Differentiable Rendering: OpenDR 및 soft rasterization 을 포함한 mesh-based differentiable-rendering method는 흔히 deformable template mesh를 요구하여 output topology를 제한한다.이러한 접근법은 전통적인 graphics pipeline을 근사하거나 완화하며, 인상적인 reconstruction 결과를 생성해 왔다.
- Differentiable Rendering: Voxel-grid differentiable-rendering method 는 probabilistic ray-potential formulation을 제공하지만 중간 evaluation을 저장해야 하므로 resolution을 제한한다.다른 implicit-rendering method는 silhouette 또는 LSTM-based differentiable rendering 을 사용한다. 전자는 silhouette만으로 concave shape를 복원할 수 없고, 후자는 geometry를 직접 추출할 수 없다.
3. 방법
DVR은 implicit neural field로 shape과 texture를 표현하고, surface color를 rendering한 뒤 surface depth를 해석적으로 미분하여 2D image에서 이를 학습한다. 구현에는 ray-based surface extraction, implicit differentiation, automatic differentiation을 사용해 photometric reconstruction loss를 효율적으로 최적화한다.
- Shape: Occupancy network는 object surface를 level set fθ = τ로 정의하므로, image-conditioned latent code에서 임의 해상도의 isosurface를 추출할 수 있다.Occupancy network는 3D point에 occupancy probability를 할당하고, encoder는 input image를 조건으로 prediction을 생성한다.
- Texture: 공동으로 구현된 texture field는 reconstructed point에서 surface color를 평가하며, shape과 texture는 동일한 object embedding을 조건으로 한다.Texture는 surface fθ = τ 위에 정의되며, fθ와 tθ는 두 개의 shallow head를 갖는 하나의 neural network로 구현된다.
- Rendering: DVR은 camera ray를 쏘고 implicit surface와의 첫 번째 교점을 찾은 뒤 해당 point에서 texture field를 평가하여 각 pixel을 rendering한다.Predicted image는 robust ℓ1-based measure와 같은 photometric reconstruction loss를 사용해 observed image와 비교한다.
- Gradients: Implicit differentiation은 surface depth에 대한 closed-form gradient를 도출하므로, voxel-based intermediate volume을 저장하지 않고도 rendered color를 통해 gradient를 전파할 수 있다.이에 따른 parameter gradient는 texture field, surface point, occupancy network의 derivative를 결합하며, reverse-mode automatic differentiation으로 계산된다.
- Implementation and supervision: Forward pass는 각 ray를 따라 occupancy를 sampling하고, 첫 번째 free-space-to-occupied transition에서 iterative secant method를 적용하며, surface-depth computation은 batching한다.Implicit differentiation은 forward pass를 unrolling하거나 intermediate result를 저장할 필요를 없애며, training에는 object당 하나의 image를 사용하고 depth information을 선택적으로 통합할 수 있다.
- Training losses: Training objective는 valid interior ray에 대한 RGB loss, exterior ray의 mask-based handling, 그리고 제약되지 않은 real-world region을 위한 optional normal smoothness prior를 지원한다.Supervision이 2D 또는 2.5D에만 존재할 때 normal prior는 더 자연스러운 shape을 유도한다.
4. 실험
실험 결과, 이 방법은 3D supervision 없이 단일 RGB 뷰에서 정확한 shape과 texture를 복원하며, object당 training view가 하나뿐인 경우에도 이를 달성한다. 또한 조정된 MVS 방법과 대등한 성능을 보이면서 실제 다중 뷰 복원에서 watertight mesh를 생성한다.
- 실험 범위: 실험에서는 appearance가 변하는 challenging DTU scans를 대상으로 multi-view 또는 single-view supervision을 사용한 single-view reconstruction과 실제 다중 뷰 복원을 평가한다.DTU 실험에서는 full-resolution 이미지를 사용하고 조명 변화가 profound한 view를 제외한다. DRC와 SoftRas의 공식 code에는 texture prediction이 없어 texture 결과는 제공되지 않는다.
- 단일 뷰 복원: 우리 방법은 2D-supervised approaches 중 가장 우수한 성능을 보이며, single-view shape reconstruction에서 fully 3D-supervised methods와 대등하고 texture도 예측한다.이 결과는 ground-truth meshes에 대한 Chamfer-L1 distances를 사용하며, 정량적 평가와 정성적 평가 모두로 뒷받침된다.
- 단일 뷰 supervision: object당 RGB-D view 하나로 학습한 model은 Chamfer distance 0.410을 달성하며, 24-view depth-supervised model의 0.383과 comparable하다.single-view model은 canonical object coordinates에서 training instances 전반의 정보를 집계해 적절한 3D shape과 texture를 추론한다.
- 다중 뷰 복원: 실제 DTU scans에서 우리 방법은 highly tuned MVS algorithms와 대등한 성능을 보이며, multi-view reconstruction을 위해 watertight meshes를 직접 생성한다.정확한 cavity modeling에서는 texture information을 활용해 visual hull보다 향상된 결과를 얻는다. 평가는 masks가 포함된 RGB images와 optional sparse depth를 대상으로 한다.
5. 결론 및 향후 연구
DVR은 implicit representation에 대한 해석적 depth gradient를 유도하여 3D supervision 없이 multi-view imagery로 학습할 수 있게 하며, multi-view 3D reconstruction을 지원한다. 향후 연구에서는 object mask와 camera information 요구사항을 제거하고 더 풍부한 material property를 모델링하는 것을 목표로 한다.
- 결론: DVR은 volumetric rendering이 implicit representation에 대해 미분 가능하기 때문에 network parameter에 대한 depth gradient를 해석적으로 유도한다.이 정식화는 3D supervision 없이 multi-view imagery로 implicit 3D shape representation을 학습할 수 있게 한다.
- 결론: DVR은 DTU scans 65, 106, 118에서 highly optimized multi-view stereo methods에 필적하는 결과를 달성한다.Baseline은 trim parameter 0, 5, 7을 사용한 screened Poisson surface reconstruction으로 최종 출력을 생성한다.
- 결론: DVR은 3D supervision 없이 multi-view imagery로 implicit 3D shape representation을 학습하며, full 3D supervision으로 학습한 model에 필적하는 성능을 보인다.또한 이 방법은 multi-view 3D reconstruction을 지원하여 implicit shape 및 texture representation의 적용 범위를 넓힌다.
- 향후 연구: 향후 연구에서는 soft-mask prediction을 통해 object mask와 camera information의 필요성을 제거하고, texture를 넘어 더 복잡한 material property를 추정할 것이다.이러한 방향은 현재의 입력 요구사항을 해결하고 방법의 appearance modeling 범위를 확장한다.