PaperlayerView exact revision on arXiv

Source-linked AI summary

Depth Pro: Sharp Monocular Metric Depth in Less Than a Second

Aleksei Bochkovskii, Amaël Delaunoy, Hugo Germain, Marcel Santos, Yichao Zhou, Stephan R. Richter, Vladlen Koltun

arXiv:2410.02073v2cs.CVcs.LG

TL;DR

Zero-shot monocular depth estimation은 폭넓은 interactive use를 위해 metric scale, 선명한 고해상도 경계, 낮은 latency를 제공해야 한다. Depth Pro는 이러한 요구사항을 foundation model로 충족하며, 0.3초에 2.25-megapixel depth map을 생성하고 여러 측면에서 기존 연구를 능가한다.

  • 문제

    Zero-shot monocular depth estimation은 metric scale, 정밀한 경계 디테일, 고해상도, sub-second inference를 폭넓게 결합하지 못한다.

  • 방법

    Depth Pro는 효율적인 multi-scale vision transformer를 real-and-synthetic training 및 선명한 depth-boundary evaluation을 위한 전용 metric과 결합한다.

  • 결과

    2.25-megapixel depth map을 0.3초에 생성하며, Depth Pro는 metric accuracy, 경계 선명도, runtime에서 기존 연구를 능가한다.

  • 시사점 및 한계

    Depth Pro는 camera-intrinsic metadata 없이 sub-second runtime에서 선명한 metric depth map을 제공해 단일 이미지에서 novel view synthesis를 지원한다.

  • 시사점 및 한계

    일부 시스템이 proprietary, restricted, unlabeled 또는 externally pretrained resource를 사용하므로, 선도 시스템과의 비교에서는 training data 차이를 통제할 수 없다.

Abstract

from arXiv · show

We present a foundation model for zero-shot metric monocular depth estimation. Our model, Depth Pro, synthesizes high-resolution depth maps with unparalleled sharpness and high-frequency details. The predictions are metric, with absolute scale, without relying on the availability of metadata such as camera intrinsics. And the model is fast, producing a 2.25-megapixel depth map in 0.3 seconds on a standard GPU. These characteristics are enabled by a number of technical contributions, including an efficient multi-scale vision transformer for dense prediction, a training protocol that combines real and synthetic datasets to achieve high metric accuracy alongside fine boundary tracing, dedicated evaluation metrics for boundary accuracy in estimated depth maps, and state-of-the-art focal length estimation from a single image. Extensive experiments analyze specific design choices and demonstrate that Depth Pro outperforms prior work along multiple dimensions. We release code and weights at https://github.com/apple/ml-depth-pro

1 서론

Depth Pro는 임의의 이미지, 고해상도 세부 구조 추적, 대화형 저지연 사용을 위해 설계된 zero-shot 단안 깊이 추정 foundation model이다. 카메라 내부 파라미터 없이 절대 스케일을 갖는 metric depth를 생성하며, 기존 세밀한 방법보다 선명한 경계와 상당히 빠른 추론을 달성한다.

  • 동기: Novel view synthesis는 어떤 이미지에서도 zero-shot으로 작동하고, 고해상도에서 동작하며, 세밀한 구조를 보존하고, 한 초 이내에 실행되는 depth estimator를 필요로 한다.머리카락, 털 및 기타 세부 구조를 추적하는 선명한 depth map은 view-synthesis 품질을 저하시키는 flying pixel을 제거할 수 있다.
  • Depth Pro: Depth Pro는 V100 GPU에서 0.3초 만에 2.25-megapixel 네이티브 해상도로 절대 스케일을 갖는 zero-shot metric depth 맵을 생성한다.이 모델은 카메라 내부 파라미터와 같은 메타데이터를 요구하지 않고 임의의 이미지에서 작동하며, 선택적 upsampling 전 네이티브 출력은 1536 × 1536이다.
  • Depth Pro: Depth Pro는 비견할 수 없는 경계 추적 성능을 제공하며, boundary recall에서 이전 연구를 배수 단위로 능가하는 동시에 이전 state of the art보다 한두 자릿수 더 빠르게 동작한다.또한 Ke et al., 2024 및 Li et al., 2024a보다 더 정확한 경계와 absolute scale을 갖는 metric depth를 제공한다.
  • 기술적 기여: Depth Pro는 매우 정확한 matting 데이터셋을 활용해 단안 깊이 맵의 경계 정확도를 정량화하는 boundary-tracing metrics를 도입한다.저자들은 높은 출력 해상도가 경계 정확도를 향상시키는 데 필요하지만 충분하지는 않다는 사실을 발견했다.

2 관련 연구

기존 단안 깊이 연구는 데이터셋별 metric prediction에서 zero-shot 일반화, metric 복원, 더 선명한 경계로 발전해 왔다. Depth Pro는 multi-scale ViT fusion과 metric high-resolution prediction을 결합하고, 더 폭넓은 장면 평가를 위해 상호보완적인 boundary-tracing metrics를 도입한다.

  • Zero-shot depth estimation: Metric monocular depth는 단일 카메라·단일 데이터셋 학습에서 다양한 데이터셋과 scale-and-shift-invariant objectives를 사용하는 zero-shot approaches로 발전했다.초기 방법은 metric predictions를 가능하게 했지만 좁은 도메인에 머물렀다. MegaDepth와 MiDaS가 일반화를 확장했고, 이후 transformer 및 self-supervised 확장이 이어졌다.
  • Zero-shot metric depth: Zero-shot metric methods는 전역 depth distributions, scene-type conditioning, 또는 명시적인 camera-intrinsic modeling을 통해 recover scale한다.예로는 distribution-based methods (Fu et al., 2018; Bhat et al., 2021; 2022; Li et al., 2024b), scene conditioning (Bhat et al., 2023), Cam-Convs (F´acil et al., 2019), LeReS (Yin et al., 2021)가 있다.
  • Sharp occluding contours: Depth Pro는 task-specific modules나 diffusion priors 없이 더 단순한 architecture를 제안하며, runtime을 more than two orders of magnitude 줄이면서 더 선명하고 정확한 metric depth를 생성한다.이러한 대안들은 주로 relative depth를 예측하는 반면, 제안 방법은 metric depth를 목표로 한다.
  • Boundary evaluation: Depth Pro의 boundary evaluation은 복잡한 동적 환경과 극도로 세밀한 디테일을 포괄하는 segmentation and matting datasets를 사용해 iBims를 보완한다.iBims는 수작업으로 작성한 occluding-contour annotations와 매우 정확한 ground truth에 의존하므로, 대체로 소수의 실내 장면으로 제한된다.
  • Multi-scale vision transformers: Multi-scale ViT fusion은 global context and local detail을 결합한다. 이는 pretrained ViTs를 convolutional networks나 feature pyramids로 확장하는 방법과 다르다.이 architecture는 여러 scale에서 plain ViT backbone을 적용하고 prediction을 하나의 high-resolution output으로 fusion하며, 새로운 pretrained variants로 쉽게 교체할 수 있다.

3 방법

Depth Pro는 shared-weight multi-scale ViT patch encoder를 global image encoder 및 DPT decoder와 결합해 선명한 고해상도 dense depth prediction을 생성한다. 또한 canonical inverse-depth objective, 2단계 real/synthetic training curriculum, boundary-focused evaluation metric을 사용한다.

  • 네트워크 아키텍처: 고정된 1536×1536 운용 해상도는 넓은 receptive field, 일정한 실행 시간, 대형 이미지에서의 out-of-memory failure 방지를 제공한다.이 해상도는 ViT의 384×384 입력 크기의 배수로 선택된다.
  • 네트워크 아키텍처: Shared-weight ViT encoder는 여러 scale에서 patch를 처리하고, global image encoder는 prediction의 기준을 잡은 뒤 DPT fusion이 고해상도 dense depth를 생성한다.이 아키텍처는 patch feature를 map으로 병합하고 upsample한 다음 DPT decoder를 통해 fusion한다.
  • 학습 목적 함수: 네트워크는 canonical inverse depth를 예측하고 이미지의 focal length와 width를 사용해 이를 metric depth로 변환한다. 학습에서는 metric 및 normalized non-metric loss를 multi-scale derivative error와 함께 결합한다.Derivative objective에는 여러 scale에서의 gradient error와 Laplace error가 포함된다.
  • 학습 curriculum: 2단계 curriculum은 먼저 혼합된 real 및 synthetic data에서 강건한 cross-domain feature를 학습한 뒤, pixel-accurate ground truth가 있는 synthetic data만 사용해 경계를 선명하게 만든다.두 번째 단계는 synthetic pretraining 후 real-data fine-tuning을 수행하는 일반적인 관행을 뒤집는다.
  • 선명한 경계를 위한 평가 metric: 이 방법은 인접 pixel의 depth ratio에 기반한 scale-invariant boundary metric을 도입하고, 5%에서 25%까지의 threshold에 걸쳐 weighted F1 score를 보고한다.이 metric은 수동 edge annotation 없이도 binary segmentation, saliency, matting mask에서 occluding contour를 도출할 수 있다.

4 실험

실험 결과, Depth Pro는 zero-shot metric depth에서 강한 일반화 성능을 보이고, 경쟁 방법보다 더 선명한 경계를 생성하며, 평가한 모든 데이터셋에서 가장 정확한 focal-length 추정을 달성한다.

  • Zero-shot metric depth: Metric-depth 비교에서는 예측 depth와 ground-truth depth의 차이가 25% 이하인 픽셀의 비율인 δ1과 데이터셋별 평균 순위를 함께 사용한다.AbsRel, Log10, δ2, δ3, point-cloud metric을 포함한 추가 metric은 부록에 보고한다.
  • Zero-shot metric depth: Depth Pro는 데이터셋 전체에서 가장 우수한 평균 순위를 달성하며 zero-shot metric depth에서 일관되게 최상위 접근법에 속한다.Table 1은 데이터셋별 δ1을 보고하며, 점수는 높을수록 좋고 평균 순위는 낮을수록 좋다. 평가는 평가 대상 시스템의 학습에 사용되지 않은 데이터셋으로 수행한다.
  • Zero-shot boundaries: Depth Pro는 평가한 모든 데이터셋에서 모든 baseline보다 훨씬 정확한 경계를 생성하며, 머리카락과 털 같은 가는 구조도 더 선명하게 표현한다.Zero-shot boundary 평가는 synthetic, low-resolution, matting, high-resolution natural-image 데이터셋을 포함하며, boundary metric은 scale-invariant하다.
  • Focal length estimation: Depth Pro는 모든 데이터셋에서 가장 정확한 focal-length estimator이며, PPR10K에서 25% error 미만의 성능이 64.6%에 도달해 SPEC의 34.6%를 능가한다.평가는 EXIF data가 온전히 보존된 데이터셋을 사용해 relative focal-length error가 25% 및 50% 미만인 이미지의 비율을 보고한다.

5 결론 및 한계

Depth Pro는 sub-second 실행 시간에 고해상도·고주파 metric depth를 제공하며, camera-intrinsics metadata 없이도 state-of-the-art zero-shot 정확도를 달성하고 occlusion boundary를 전례 없는 세밀함으로 추적하지만, 여전히 한계가 존재한다.

  • Depth Pro는 sub-second 실행 시간에 고주파 세부 묘사를 갖춘 고해상도 metric depth map을 생성한다.
  • Depth Pro는 camera intrinsics와 같은 metadata를 요구하지 않고도 state-of-the-art zero-shot metric depth estimation 정확도를 달성한다.
  • Depth Pro는 occlusion boundary를 전례 없는 세밀함으로 추적해, in-the-wild 단일 이미지에서 novel view synthesis를 가능하게 한다.
  • 여러 측면에서 기존 연구를 능가하지만, Depth Pro에는 한계가 있다.

보충 자료 · A 추가 결과 · A.1 정성적 결과

보충 자료에는 in-the-wild 이미지에서 Depth Pro와 최신 baseline을 정성적으로 비교한 결과와 실험이 추가로 수록되어 있다. Depth Pro는 Metric3D v2와 Depth Anything v2가 자주 놓치는 세부 정보를 보존하는 반면, Marigold는 더 세밀한 정보를 생성하지만 흔히 noise를 유발한다.

  • A 추가 결과: A절에서는 본 논문을 넘어서는 추가 결과와 실험을 제시한다.
  • A 추가 결과: A.1절에서는 baseline과의 추가 정성적 비교를 제시한다.
  • 보충 자료: 보충 자료에는 상세한 zero-shot 평가, runtime 측정, 경계 정확도 실험, 그리고 architecture 및 training 선택에 대한 통제 연구도 포함된다.이 자료들은 A.2–A.4절과 B.2, B.3, B.5, B.7절에 걸쳐 구성되어 있다.
  • A.1 정성적 결과: in-the-wild 이미지에서 Depth Pro를 Marigold, Metric3D v2, Depth Anything v2와 정성적으로 비교한다.비교에는 Figs. 5–7의 AM-2k, DIS-5k, Unsplash 이미지가 사용된다.
  • A.1 정성적 결과: 평가한 이미지에서 Metric3D v2와 Depth Anything v2는 반복적으로 세부 정보를 놓친다.
  • A.1 정성적 결과: Marigold는 Metric3D v2와 Depth Anything v2보다 더 세밀한 정보를 재현하지만 흔히 noisy prediction을 산출한다.

A.2 ZERO-SHOT METRIC DEPTH · A.3 RUNTIME

Depth Pro는 표준 depth 및 point-cloud metric을 사용해 6개의 다양한 benchmark에서 zero-shot으로 평가되며, 주요 방법들과의 정성적 비교도 함께 수행된다. Runtime 평가에서는 비교 가능한 접근법보다 훨씬 낮은 연산 비용과 latency로 높은 native output resolution을 제공함을 보인다.

  • A.2 ZERO-SHOT METRIC DEPTH: Depth Pro의 zero-shot metric-depth 평가는 Booster, Middlebury, Sun-RGBD, ETH3D, nuScenes, Sintel에서 Depth Anything, Metric3D 및 기타 baseline과 비교해 수행된다.평가에는 AbsRel, Log10, δ2, δ3, SI-Log 및 point-cloud metric이 보고된다.
  • A.2 ZERO-SHOT METRIC DEPTH: 정성적 zero-shot 비교에서는 Unsplash, AM-2k, DIS-5k 이미지에서 Depth Pro를 Marigold, Metric3D v2, Depth Anything v2와 나란히 시각화한다.그림은 다양한 이미지 출처에 대한 시각적 비교를 제공하지만, 해당 지문에는 수치가 제시되지 않는다.
  • A.3 RUNTIME: Runtime 측정은 VGA, HD, 4K 입력을 대상으로 하며, 재현된 평가 환경에서 preprocessing, resizing, inference를 포함한다.결과는 여러 이미지 크기에 대해 보고되며 parameter count와 FLOPs를 포함한다.
  • A.3 실행 시간: Depth Pro는 Metric3D v2보다 3배 넘는 픽셀을 처리하면서도 파라미터는 절반 미만이고 실행 시간은 삼분의 일이다.이 비교는 출력 해상도가 고정된 접근법들에 적용된다.
  • A.3 RUNTIME: Depth Pro는 평가된 fixed-output-resolution 접근법 중 가장 높은 native output resolution을 가진다.이 결과는 Metric3D v2 대비 parameter 및 runtime상의 이점과 함께 보고된다.
  • A.3 RUNTIME: ZeroDepth는 작은 VGA 이미지에서도 Depth Pro보다 거의 4배 오래 걸리며, variable-resolution 접근법은 runtime이 상당히 더 크다.이 비교는 PatchFusion과 ZeroDepth를 대상으로 하며, ZeroDepth는 더 빠른 variable-resolution model로 식별된다.

A.4 경계 실험 … B.2 네트워크 백본

Depth Pro의 boundary metric은 정성적·실증적으로 검증되며, 통제 실험을 통해 native output resolution이 boundary accuracy에 큰 영향을 미침을 보이고 체계적인 architecture 비교의 근거를 제시한다. iBims에서 Depth Pro는 state-of-the-art DDE 및 PE 성능을 달성하면서 boundary metric에서는 기존 모든 방법을 능가한다.

  • A.4 경계 실험: Depth Pro는 iBims의 DDE 및 PE에서 state of the art와 대등한 성능을 보이는 동시에 boundary metric에서는 기존 모든 방법을 유의하게 능가한다.iBims benchmark는 주석이 달린 occlusion boundary를 포함한 레이저 스캔 실내 장면을 사용해 metric depth, depth boundary, planar accuracy를 평가한다.
  • A.4 경계 실험: 제안된 boundary metric은 ground-truth와 predicted occluding contour를 비교해 잘못된 depth boundary가 metric 측정에 미치는 영향을 드러낸다.Figure 8은 matting 또는 segmentation dataset의 ground-truth depth와 binary map에서 얻은 sample image, boundary source, prediction, derived occluding contour를 시각화한다.
  • A.4 경계 실험: Boundary precision과 recall은 image shift, downsampling 후 upsampling, Gaussian blur 조건에서 실증적으로 평가되며, perturbation이 적용된 contour를 boundary F1 score와 연결한다.이 연구는 ground-truth perturbation과 그 결과로 얻은 occluding contour에 대해 정량적·정성적 결과를 모두 보고한다.
  • B 통제 실험: 통제 실험에서는 native resolution, network architecture, depth representation, training objective, curriculum, focal-length estimation을 검토한다.이 실험들은 Depth Pro의 주요 구성 요소와 설계 결정의 기여를 분리해 분석하도록 설계되었다.
  • B.1 네이티브 출력 해상도: Native output resolution은 여러 후보 해상도에 대해 bilinear downsampling과 upsampling을 적용한 뒤 Log10, AbsRel, and F1 metric으로 평가한다.이 실험은 원래 input resolution에서 metric-depth prediction과 boundary accuracy를 비교한다.
  • B.1 네이티브 출력 해상도: Native output resolution을 두 배로 늘릴 때마다 3-fold increase가 나타나며, high-resolution prediction이 boundary accuracy를 크게 향상시킴을 보여준다. 따라서 native resolution은 필요하지만 반드시 충분하지는 않다.UnrealStereo4K 실험은 ground-truth depth를 문헌에서 흔히 사용하는 해상도로 downsample한 뒤 input resolution으로 upsample하고 depth 및 boundary metric을 평가한다.
  • B.2 네트워크 백본: Candidate image-encoder backbone은 다섯 개 RGBD dataset에서 384 × 384로 학습된 pretrained TIMM model을 사용해 비교한다.Dataset은 Keystone, HRWSI, RedWeb, TartanAir, Hypersim이며, 평가는 metric-depth performance를 측정한다.

B.3 고해상도 대안 · B.4 깊이 표현

Depth Pro의 고해상도 아키텍처는 강한 metric depth 정확도와 경쟁력 있는 latency를 유지하면서 경계 품질에서 대안 backbone과 scaling 전략을 능가한다. 테스트한 depth representation 중에서는 inverse-depth supervision이 특히 카메라 근처 예측에서 가장 우수한 성능을 보인다.

  • B.3 고해상도 대안: 고해상도 대안 연구는 동일한 Stage 1 training에서 1536×1536 network structure와 pretrained weight를 평가하며, latency는 단일 V100 GPU에서 측정한다.모든 ViT model은 16×16 patch를 사용하고, Depth Pro는 image encoder와 patch encoder 모두에 ViT-L DINOv2를 사용한다.
  • B.3 고해상도 대안: image encoder 비교에서는 다섯 개 RGB-D dataset에서 384×384 resolution으로 학습된 후보 중 ViT-L DINOv2를 최적의 backbone으로 식별한다.후보는 비슷한 computational complexity와 parameter count를 기준으로 선택했다.
  • B.3 고해상도 대안: Depth Pro는 plain ViT보다 빠르고 object boundary에서 더 정확하면서도 comparable metric depth accuracy를 달성한다.비교에서는 Stage 1 training protocol에 따른 고해상도 대안을 평가한다.
  • B.3 고해상도 대안: transformer 및 convolutional 대안과 비교하면 Depth Pro는 comparable latency, 더 낮은 metric depth error, 더 높은 object-boundary recall을 보인다.보고된 차이는 metric depth error가 수 배 더 낮고 boundary-recall accuracy가 수 배 더 높다는 것이다.
  • B.3 고해상도 대안: DIS5K에서 Depth Pro는 DINOv2 pretraining을 적용한 ViT를 단순히 확장한 모델보다 boundary recall을 23% 향상한다.이 비교는 ViT architecture를 단순히 scaling하는 것에 비해 제안된 architecture가 제공하는 이점을 분리해 보여준다.
  • B.4 깊이 표현: inverse-depth supervision은 전반적으로 가장 정확한 depth prediction을 제공하며, mean absolute error training에서 direct depth supervision과 log-depth를 능가한다.실험에서는 Hypersim으로 학습한 ViT encoder와 DPT decoder를 사용하고, depth range 전반에서 delta1 error를 평가한다.
  • B.4 깊이 표현: inverse depth를 최적화하면 카메라 근처에서 특히 정확하며, 이는 novel-view synthesis에 중요한 특성으로 강조된다.Table 10은 여러 depth range에서 delta1 error를 보고한다.

B.5 학습 목적 · B.6 전체 커리큘럼

각 학습 단계의 대안 목적을 평가하고 전체 커리큘럼을 비교한다. synthetic data에서는 scale-and-shift-invariant gradient supervision이 stage 1에 가장 적합하며, 전체 커리큘럼 비교에서는 single-stage training이 합리적인 기본 설정으로 나타난다.

  • B.5 학습 목적: 커리큘럼 평가는 먼저 개별 학습 단계를 검토한 뒤 전체 학습 스케줄을 비교한다.전체 커리큘럼 대안에는 single-stage training과 제안된 stage 순서를 뒤집는 설정이 포함된다.
  • B.5 학습 목적: Stage 1 ablations는 metric, non-metric, synthetic dataset에 걸쳐 mean absolute error와 gradient-loss 할당을 비교한다.Condition 1A는 metric data에 LMAE를, non-metric data에 scale-and-shift-invariant LSSI-MAE를 사용한다. 1B는 synthetic data에만 gradient를 추가하고, 1D는 모든 데이터에 gradient를 적용한다.
  • B.5 학습 목적: Stage 1은 synthetic dataset에서 scale-and-shift-invariant gradient loss를 사용할 때 가장 우수하며, 수렴과 전반적 성능이 향상된다.이 설정은 condition 1C이며, 대안들은 dataset 전반에 metric 및 non-metric loss 또는 gradient loss를 적용하는 방식에서 차이를 보인다.
  • B.5 학습 목적: Stage 2에서 first- and second-order derivative loss를 모두 사용하면 average rank 기준으로 metric 전반에서 가장 균형 잡힌 결과를 얻는다.이는 stage-2 objective comparison의 condition 2A다.
  • B.5 학습 목적: Stage 2는 metric accuracy를 유지하면서 더 선명한 depth boundary를 목표로 하며, ground truth 품질이 더 높기 때문에 synthetic dataset만 사용한다.평가한 sharpening strategy는 LMAE, LMSE, LMAGE, LMALE, LMSGE를 포함한 multi-scale derivative-based loss를 결합한다.
  • B.6 전체 커리큘럼: Single-stage training은 제안된 two-stage curriculum 및 reversed synthetic-pretraining curriculum과 비교할 때 합리적인 기본 설정이다.Condition 3A는 two-stage curriculum이고, 3B는 모든 second-stage gradient loss를 학습 전체에 적용하며, 3C는 synthetic data로 pretrain한 뒤 real-data fine-tuning을 수행한다.

B.7 초점거리 추정 … C.2 초점거리 헤드

Depth Pro는 평가한 모든 데이터셋에서 zero-shot 초점거리 추정 성능이 가장 뛰어나며, frozen depth feature와 함께 task-specific image encoding을 사용해 성능을 높인다. 통합된 구현 섹션에서는 Voronoi 기반 patch merging과 평가 세부 사항도 명시한다.

  • B.7 초점거리 추정: Depth Pro는 zero-shot 초점거리 평가의 모든 데이터셋에서 비교한 모든 접근법을 능가한다.Figure 10은 각 방법과 데이터셋에 대해 각 AbsRel 오차 임계값 미만인 샘플의 비율을 보고한다.
  • B.7 초점거리 추정: 통제된 focal-length-head 실험에서는 대안적 네트워크 구조를 비교하기 위해 Flickr에서 무작위로 추출한 500 images를 사용한다.보고된 변형에는 frozen depth feature에 적용한 소형 convolutional head와 별도의 ViT encoder 또는 depth에서 파생된 ViT encoder가 포함된다.
  • C.2 초점거리 헤드: 선택된 focal-length architecture는 frozen depth-network feature와 별도의 ViT encoder에서 얻은 task-specific feature를 병렬로 결합한다.통제된 비교에서는 convolutional head를 사용한 frozen depth feature, 별도의 ViT encoder, 그리고 추출된 depth feature로 학습한 ViT encoder를 평가한다.
  • B.7 초점거리 추정: 별도의 image encoder를 학습하면 초점거리 성능이 14.6 percentage points 향상되며, task-specific knowledge가 depth feature를 보완함을 보여준다.Depth feature를 정제하는 방식은 추가 연산이 필요함에도 frozen depth feature만 사용하는 방식과 대등한 성능을 보인다.
  • C 구현, 학습 및 평가 세부 사항: 구현 및 평가 세부 사항 섹션에서는 training 및 evaluation dataset, hyperparameter, evaluation setup을 다룬다.이 세부 사항은 해당 방법의 실험 절차 범위를 제시한다.
  • C.1 병합 연산: 겹치는 feature patch는 각 patch center에 Voronoi cell을 할당하고 해당 cell이 덮는 patch 영역을 복사해 feature map으로 병합한다.남은 feature-map 영역은 버리며, overlap을 통해 patch encoder가 인접 patch의 receptive-field coverage를 확보한다.

C.3 데이터셋 … C.6 평가 설정

논문은 데이터셋, 학습 구성, baseline 구현, 평가 프로토콜을 정리한다. 깊이 범위, 해상도, resizing, intrinsics 및 기타 설정이 결과에 실질적인 영향을 줄 수 있으므로 통제된 비교를 강조한다.

  • C.3 데이터셋: 데이터셋, 학습 하이퍼파라미터, stage별 loss 함수는 Tables 15–17에 명시되어 있다.이 표들은 사용된 데이터셋, 학습 설정, 데이터셋과 학습 stage 전반에 적용된 loss를 요약한다.
  • C.5 Baseline: Depth Anything metric model은 데이터셋 도메인에 맞춰 사용하고, relative model은 정성적 및 zero-shot boundary 평가에 사용한다.실내–실외 혼합 데이터셋에서는 성능이 가장 좋은 도메인 model을 선택하며, relative model은 더 선명한 정성적 boundary를 제공한다.
  • C.6 평가 설정: Table 18은 각 평가 데이터셋의 유효 깊이 범위, 샘플 수, ground-truth 해상도를 정의하며, NuScenes는 약 35K개의 validation sample 중 무작위 subset으로 평가한다.서로 다른 해상도의 prediction은 평가 전에 bilinear 방식으로 ground-truth 해상도에 맞춰 resizing한다.
  • C.5 Baseline: Metric3D 평가는 indoor 데이터셋에는 (512, 1088), outdoor 데이터셋에는 (512, 992)의 별도 crop 크기를 사용한다. 고정 cropping은 metric-scale 정확도를 크게 저하시킬 수 있기 때문이다.이 결과는 엄밀한 zero-shot이 아닌 것으로 표시되며, Metric3D v2는 가장 큰 “giant” model을 사용한다.
  • C.5 Baseline: UniDepth는 ViT-L variant를 사용하고, ZoeDepth는 indoor 및 outdoor 데이터 모두로 fine-tuning된 model인 ZoeD NK를 사용한다.ViT-L UniDepth model은 해당 variant 중 평균 성능이 가장 높다.
  • C.6 평가 설정: 평가는 공통 환경에서 깊이 범위, metric 해상도, resizing, intrinsics를 통제하여 공정한 baseline 비교를 우선한다.저자들은 baseline 보고서에 설정 세부사항이 누락되는 경우가 많아 정확한 재현과 보장된 공정성이 어렵다고 지적한다. 보고된 결과 대부분은 일치시켰지만, 주목할 만한 차이 세 가지가 있었다.
  • C.6 평가 설정: Boundary metric은 tmin = 5부터 tmax = 25까지의 threshold에서 normalized range-based weight를 사용해 F1 또는 recall을 평균내며, 더 높은 threshold를 강조한다.동일한 weighted-averaging 전략을 depth-based 및 mask-based boundary metric에 적용한다.

D 응용

Depth Pro의 metric하고 선명하며 빠른 monocular depth estimation은 depth-conditioned image synthesis와 synthetic depth of field 같은 downstream application을 지원한다. 이러한 application은 예측된 depth를 사용해 ControlNet stylization 중 scene structure를 보존하고, subject-preserving blur를 위해 object를 delineate한다.

  • Depth-conditioned image synthesis: Depth Pro는 예측한 depth map을 사용해 pretrained depth-to-image ControlNet SD 1.5 model을 condition하고, text prompt를 통해 입력을 stylize함으로써 depth-conditioned image synthesis를 가능하게 한다.Figure 12는 Depth Pro와 Depth Anything v2, Marigold, Metric3D v2를 비교한다.
  • Synthetic depth of field: Synthetic depth of field는 BokehMe의 hybrid neural and physically motivated renderer를 사용해 single image와 depth map으로 구현되며, subject가 정확히 focus를 유지하려면 object delineation이 필수적이다.Figure 13은 Depth Pro, Marigold, Depth Anything v2의 depth map을 사용한 BokehMe 결과를 비교한다.
  • Depth-conditioned image synthesis: Depth Anything v2와 Metric3D v2에서 누락된 cable이나 Marigold의 spurious sky gradient는 Depth Pro 결과와 비교해 synthesized scene structure를 변화시킨다.비교 결과는 Figure 12에 제시된다.
Loading 2410.02073v2…