PaperlayerView exact revision on arXiv

Source-linked AI summary

RaysUp: Ultra-light Universal Feature Upsampling via Geometry-Aware Ray Representation

Yuchuan Ding, Linfei Li, Lin Zhang, Ying Shen

arXiv:2606.22749v1cs.CV

TL;DR

Vision Foundation Model은 저해상도 feature를 생성하는 반면, 기존 upsampling 방식은 semantic information을 잃거나 재학습과 inference optimization을 요구할 수 있다. RaysUp은 geometry-aware ray representation을 사용해 임의 해상도에서 feature를 재구성하며, AnyUp parameter의 약 16%만으로 우수한 dense-prediction 성능과 7× 더 빠른 inference를 달성한다.

  • 문제

    VFM output은 pixel-level task에 비해 공간적으로 지나치게 거친 경우가 많으며, 기존 upsampler는 semantic information을 잃거나 VFM-specific retraining 또는 inference optimization을 요구할 수 있다.

  • 방법

    RaysUp은 direction-aware guidance, resolution-flexible cross-attention, RayPE 기반 geometry-aware neighborhood aggregation을 사용해 임의 해상도의 feature map을 재구성한다.

  • 결과

    RaysUp은 여러 dense prediction task에서 AnyUp parameter의 약 16%를 사용하면서 우수한 성능과 약 7× 더 빠른 inference를 달성한다.

  • 시사점 및 한계

    RaysUp은 task-agnostic 및 VFM-agnostic feature upsampling을 위한 실용적인 accuracy-efficiency trade-off를 제공한다.

  • 시사점 및 한계

    실험에서는 upsampler training과 downstream feature extraction의 기본 backbone으로 DINOv2-S를 사용한다.

Abstract

from arXiv · show

Pre-trained Vision Foundation Models (VFMs) have become central to modern computer vision due to their powerful semantic representations and strong generalization ability. However, their patchified or pooled outputs are inherently low-resolution, limiting their effectiveness in tasks requiring fine-grained, pixel-level reasoning. Existing feature upsampling approaches either degrade semantic fidelity or rely on VFM-specific retraining and heavy architectures, hindering efficiency and scalability. To address these challenges, we propose RaysUp, an ultra-lightweight, task-agnostic, and VFM-agnostic feature upsampling framework that reconstructs high-resolution feature maps at arbitrary resolutions. Unlike conventional 2D interpolation or attention-based schemes, RaysUp lifts feature reconstruction into a geometry-aware ray domain. Specifically, we introduce a Spatially Decoupled Guidance Encoder for direction-aware guidance encoding, an Any-Resolution Cross-Attention mechanism for resolution-flexible reconstruction, and a novel Ray Positional Encoding (RayPE) that injects implicit 3D geometric priors via 6D Plucker ray coordinates. Finally, a Geometry-Aware Neighborhood Attention module further ensures content-adaptive bilateral aggregation while preserving geometric consistency. Extensive experiments across diverse dense prediction tasks demonstrate that RaysUp achieves state-of-the-art performance while using only 16% of the parameters of AnyUp and delivering approximately 7x faster inference. These results highlight a substantially improved accuracy-efficiency trade-off and establish RaysUp as a practical and scalable solution for universal feature upsampling. Code is available at https://github.com/MAP-RaysUp/RaysUp.

1 서론

RaysUp은 임의 해상도에서 foundation model feature를 재구성하는 초경량·task-agnostic·VFM-agnostic framework다. Semantic 및 geometric fidelity를 효율적으로 보존하기 위해 geometry-aware ray representation과 adaptive guidance 및 attention을 결합한다.

  • Framework: RaysUp은 초경량·task-agnostic·encoder-agnostic 설계를 통해 임의의 Vision Foundation Model에서 추출한 feature를 모든 target resolution으로 재구성한다.이 framework는 여러 dense prediction task에 범용적으로 적용 가능한 feature upsampling을 목표로 한다.
  • Adaptive Guidance: Spatially Decoupled Guidance Encoder는 direction-aware multi-scale spatial semantics를 제공하고, Any-Resolution Cross-Attention은 임의의 output resolution에서 feature를 adaptive하게 재구성한다.Guidance feature는 pixel-level color difference보다 더 풍부한 structural prior를 제공한다.
  • Geometry-Aware Reconstruction: Ray Positional Encoding은 6D Plücker ray coordinate를 통해 implicit 3D geometric prior를 주입하여 joint bilateral upsampling을 geometry-aware reconstruction으로 확장한다.이 설계는 boundary fidelity를 향상하고 structural drift를 완화한다.
  • Adaptive Aggregation: Geometry-Aware Neighborhood Attention은 geometric consistency와 locality를 보존하면서 high-resolution guidance와 low-resolution feature 사이에서 localized content-adaptive bilateral aggregation을 수행한다.이는 geometric fidelity, semantic consistency, computational efficiency 사이의 균형을 맞춘다.
  • Results: RaysUp은 AnyUp보다 우수한 dense-prediction 성능을 달성하면서 parameter의 약 16%만 사용하고 inference를 약 7× 더 빠르게 수행한다.이러한 향상은 정확도-효율 trade-off를 개선하는 동시에 computational cost를 크게 줄인다.

2 관련 연구

Dense prediction을 위한 feature upsampling은 이산적 재구성과 연속적 매핑 패러다임으로 나뉘며, 각각 scale flexibility를 제공하지만 adaptivity, 세부 정보 보존, encoder generalization 측면에서 한계를 보인다. RaysUp은 경량의 geometry-aware feature interaction을 활용해 joint bilateral upsampling을 재구성하며, 0.14M parameters와 AnyUp 대비 약 7× 빠른 inference로 arbitrary-resolution universal upsampling을 지원한다.

  • 관련 연구: Feature upsampling 방법은 segmentation과 depth estimation 같은 dense prediction task에서 high-resolution representation을 복원하기 위해 discrete reconstruction과 continuous mapping 패러다임으로 구성된다.Discrete 방법은 interpolation, filtering 또는 convolutional decoding을 통해 feature를 명시적으로 재구성하는 반면, continuous 방법은 resolution-agnostic function approximation 또는 cross-scale interaction으로 정식화된다.
  • Discrete Reconstruction과 Continuous Mapping: 고전적인 discrete 방법 은 효율적이고 scale-flexible하지만 content adaptivity가 부족해 boundary blurring과 세부 정보 손실을 유발한다.Continuous 접근법은 expressiveness와 scale generalization을 향상시키지만, 일반적으로 특정 visual encoder에 맞춘 retraining이 필요하다.
  • RaysUp: RaysUp은 고정된 2D neighborhood와 RGB 기반 range modeling을 spatially decoupled guidance encoder 및 attention 기반 cross-scale interaction으로 대체해 joint bilateral upsampling을 재조명한다.이를 통해 filter-style local aggregation과 adaptive feature interaction을 통합하는 동시에 structural fidelity와 semantic expression을 향상시킨다.
  • RaysUp: 0.14M parameters를 통해 RaysUp은 임의의 vision encoder와 통합되고 arbitrary resolution에서 universal feature upsampling을 수행할 수 있다.이 경량 architecture는 attention 기반 universal-upsampling의 흐름을 따르면서 encoder-specific integration 제약을 피한다.
  • RaysUp: AnyUp 대비 Approximately 7× faster inference와 함께 RaysUp은 memory consumption도 크게 줄인다.이 비교는 경량 universal upsampling architecture를 기준으로 보고된다.

3 RaysUp

RaysUp는 VFM 출력에 방향 인지 guidance, 해상도 분리형 cross-attention, geometry-aware ray representation을 결합해 임의 해상도의 고해상도 feature를 복원한다. RayPE와 neighborhood aggregation은 attention 복잡도를 낮추면서 feature 전파를 공유된 3D ray geometry에 맞춘다.

  • Spatially Decoupled Guidance Encoder: Spatially Decoupled Guidance Encoder는 직교 방향 성분을 병렬로 모델링하고, 각 branch의 feature를 연결해 방향 인지 guidance representation을 생성한다.각 branch는 Dg를 균등하게 분할하고 얕은 residual 구조와 directional convolution을 사용한다.
  • 효율성: 69.4% lower parameter overhead는 standard 3 × 3 convolution의 guidance encoder를 27Dg parameter에서 8.25Dg로 줄이며, local neighborhood aggregation은 attention 복잡도를 O(HanyWany· k2)로 낮춘다.후자는 global attention 복잡도 O(HanyWany·HlrWlr)를 대체하면서 local planar approximation하에서도 geometric consistency를 보존한다.
  • Any-Resolution Cross-Attention: 고해상도 guidance query와 저해상도 key는 guidance encoder에서 적응적으로 pooling되며, VFM feature는 유연한 cross-resolution propagation을 위한 value로 직접 사용된다.이를 통해 명시적 interpolation 없이 임의의 target resolution을 지원한다.
  • Ray-Based Reconstruction: RaysUp는 feature 복원을 2D image grid에서 projective ray domain으로 확장하고, coarse backbone ray에서 densely sampled target-resolution ray로 feature를 전송한다.이는 image-space proximity가 3D geometric consistency를 보장하지 않는 perspective 상황을 다룬다.
  • Ray Positional Encoding: RayPE는 camera geometry와 multi-scale harmonic frequency에서 유도한 6D ray descriptor를 인코딩하고, RoPE를 확장해 공유된 3D ray manifold에서 cross-resolution feature를 정렬한다.이 representation은 resolution-independent하며, aggregation을 pixel-plane proximity가 아니라 3D ray geometry에 명시적으로 결속한다.

4 실험

Dense prediction benchmark 전반에서 RaysUp은 기하학적 일관성을 유지하면서 task-agnostic 및 VFM-agnostic 성능을 일관되게 높게 달성한다. 경량 설계와 구성 요소 ablation은 decoupled guidance encoding과 RayPE가 정확도-효율성 절충의 핵심임을 보여준다.

  • 실험 설정: RaysUp은 ImageNet 학습에 AdamW를 사용해 100,000 iterations 동안 학습하며, 기존 dataset과 metric으로 semantic, geometric, video-object, open-vocabulary prediction을 평가한다.기본 backbone은 DINOv2-S 이며, semantic 평가는 mIoU와 pixel accuracy를 사용하고 geometric 평가는 RMSE, angular-threshold accuracy, δ1을 포함한다.
  • Task-agnostic 성능: RaysUp은 대부분의 task-agnostic metric에서 best or second-best 성능을 달성하며, 특히 surface-normal 및 depth-estimation 결과가 우수하다.정성적 결과에서 RaysUp은 AnyUp, JAFAR, FeatUp, LoftUp 보다 뛰어난 geometric consistency를 보인다. 이들 방법에서는 hole이나 blurred boundary가 나타난다.
  • VFM-agnostic 성능: RaysUp은 테스트한 VFM인 DINOv2, DINOv3 [47], SigLIP2 [51], PE Spatial [5]과 ViT-S, ViT-M, ViT-L scale 전반에서 AnyUp 을 일관되게 능가한다.AnyUp 은 VFM-agnostic capability를 갖춘 유일한 baseline이므로 주요 비교 대상으로 삼는다.
  • 초경량 성능: 224×224에서 0.14M parameters, 10.17 GFLOPs, 1.26GB GPU memory, 55 FPS를 달성한 결과는 기존 upsampling method 대비 RaysUp의 computational advantage를 보여준다.비교는 여러 upsampling resolution에서 parameters, GFLOPs, GPU memory, inference FPS를 대상으로 한다.
  • Spatially Decoupled Guidance Encoder의 효과: 0.14M parameters로 82.17% average performance를 달성한 Decoupled-Branch guidance encoder는 네 가지 VFM에서 Single-Branch, Dual-Branch, Multi-Branch 설계보다 우수하다.이 결과는 multi-scale spatial-semantic information을 위해 spatial guidance feature를 decoupled modeling하는 방식과 경량 설계를 뒷받침한다.
  • RayPE의 효과: RayPE는 추가 parameters 없이 네 가지 VFM 모두에서 가장 높은 성능을 달성하는 반면, positional encoding을 제거하면 average performance가 81.05%로 낮아진다.RayPE는 implicit 3D geometric priors를 주입한다. DA3 pose information은 일부 경우에 도움이 될 수 있지만, 효율성을 위해 Identity pose를 채택한다.

5 결론

RaysUp은 임의 해상도에서 backbone feature를 재구성하기 위한 초경량·task-agnostic·encoder-agnostic framework다. 방향 인식 guidance, 해상도 유연형 cross-attention, RayPE를 결합해 고해상도 feature 재구성에 암묵적 3D 기하학적 prior를 주입한다.

  • 5 결론: RaysUp은 universal feature upsampling framework를 통해 임의 해상도에서 backbone feature를 재구성한다.이 framework는 초경량이며 task-agnostic하고 encoder-agnostic하다고 설명된다.
  • 5 결론: 이 framework는 Spatially Decoupled Guidance Encoder, Any-Resolution Cross-Attention, Ray Positional Encoding을 통합한다.각 구성 요소는 각각 guidance encoding, 해상도 유연형 재구성, 기하학적 표현을 제공한다.
  • 5 결론: RayPE는 암묵적 3D 기하학적 prior를 주입해 geometry-aware 고해상도 feature 재구성을 지원한다.결론에서는 기하학적 prior가 재구성 전략의 핵심이라고 본다.

— 보충 자료 — · A Spatially Decoupled Guidance Encoder의 동기 · B RayPE의 암묵적 기하 정보 주입

보충 자료에서는 기존 convolution에서 나타나는 불연속적인 feature 거동을 분석해 spatially decoupled guidance의 동기를 제시하고, RayPE를 scale-consistent upsampling을 위한 geometry-aware positional encoding으로 설명한다. 두 설계는 spatial continuity를 개선하고, 평면상의 pixel-distance 추론을 정규화된 camera ray에서의 angular consistency로 대체한다.

  • A Spatially Decoupled Guidance Encoder의 동기: Spatially Decoupled Guidance Encoder는 중심 가중치를 1.00으로 높여 1×1 convolution과 유사한 channel interaction을 가능하게 한다.독립적인 horizontal 1×3, vertical 3×1, corner branch는 주변부의 spatial sensitivity를 보존한다.
  • A Spatially Decoupled Guidance Encoder의 동기: Branch-wise 설계는 주변부 가중치를 0.89−0.99로 유지하면서 cross-attention 과정에서 spatial consistency와 semantic continuity를 향상한다.이 encoder는 하나의 기존 kernel에 의존하는 대신 강한 중심 mixing과 방향 및 corner-sensitive processing을 결합한다.
  • A Spatially Decoupled Guidance Encoder의 동기: 기존 3×3 kernel은 중심에 더 낮은 가중치를, corner와 edge에 더 높은 가중치를 할당할 수 있어 upsampled feature에 holes and discontinuities를 만들 가능성이 있다.이러한 거동은 시각화한 JAFAR kernel과 ACNet 및 RepVGG 에서 보고된 structural sparsity pattern에 의해 동기가 부여된다.
  • B RayPE의 암묵적 기하 정보 주입: RoPE는 pixel coordinate (i, j)를 사용해 planar isotropic 2D Euclidean grid에서 positional phase를 정의하는 반면, RayPE는 normalized camera rays를 사용해 3D spatial position을 인코딩한다.RayPE에서 phase는 focal length f와 normalized vector [i,j,f]^T / sqrt(i^2+j^2+f^2)에 의존하며, camera extrinsics는 identity라고 가정한다.
  • B RayPE의 암묵적 기하 정보 주입: RayPE는 upsampling 중 coordinate가 이동할 때 RoPE에 필요한 추가 alignment interpolation을 피하므로, 동일한 viewing direction에서 geometric feature consistency를 보존한다.이는 제시된 viewing-direction 조건에서 representation에 자연스러운 scale equivariance를 부여한다.
  • B RayPE의 암묵적 기하 정보 주입: RayPE는 positional encoding을 2D image grid에서 unit viewing sphere로 확장해 attention이 pixel distance가 아닌 angular consistency를 모델링하도록 한다.이러한 geometric construction은 normalized viewing direction을 통해 암묵적인 3D prior를 제공한다.

C 추가 구현 세부사항 · C.1 하이퍼파라미터 설정

구현에서는 256차원 guidance feature space와 ray origin 및 direction에 대해 서로 다른 wavelength 범위를 갖는 5개 frequency band를 포함해 guidance 및 RayPE 하이퍼파라미터를 고정해 사용한다.

  • C.1 하이퍼파라미터 설정: Dg = 256 및 N = 5는 guidance feature의 차원과 전체 RayPE frequency band 수를 설정한다.이 값들은 feature 폭과 positional encoding의 frequency capacity를 정의한다.
  • C.1 하이퍼파라미터 설정: Ray-origin wavelength는 λmax = 4.0부터 λmin = 4.0/81까지이며, 최저 및 최고 angular frequency를 결정한다.이 wavelength 범위는 ray-origin encoding의 angular-frequency 경계를 제어한다.
  • C.1 하이퍼파라미터 설정: Ray-direction wavelength는 λmax = 8.0부터 λmin = 8.0/81까지다.Direction encoding은 ray-origin encoding과 별도의 wavelength 범위를 사용한다.

C.2 과제 설정 … C.3 Baselines

실험에서는 semantic segmentation, depth 및 surface normal estimation, video object segmentation, open-vocabulary segmentation에 대해 과제별 평가 프로토콜을 정의하고, 해상도와 학습 제약이 서로 다른 기존 feature upsampler들과 비교한다.

  • C.2 과제 설정: Semantic segmentation에서는 pre-trained parameter를 유지하고, 추출된 feature에 linear classifier를 학습했으며, 448 × 448 입력과 target을 사용하고 cosine annealing 하에서 AdamW 를 5×10−4로 적용했다.최적화에는 모든 dataset에 대해 cross-entropy loss를 사용했다.
  • C.2 과제 설정: Depth 및 surface normal estimation에는 NYUv2 를 사용했으며, AdaBins 는 0–10 meters 범위에서 256 bins로 설정하고, normal에는 Bae et al. 의 robust loss를 적용했다.Depth 최적화에는 scale-invariant sigmoid loss와 gradient-matching loss를 결합했으며, normal은 uncertainty와 함께 orthogonal unit vector를 예측했다.
  • Video object segmentation.: Video object segmentation은 DAVIS 2017 validation [40]에서 480p 해상도로 평가했으며, 2× upsampled feature와 초기 frame 및 직전 7개 frame으로부터의 local label propagation을 사용했다.Feature matching은 12 pixels의 local spatial neighborhood로 제한했다.
  • Open-Vocabulary Segmentation.: Open-vocabulary segmentation은 ProxyCLIP 을 따르되, bilinear interpolation을 RaysUp으로 대체해 4× resolution으로 확장한 뒤 shared vision-language space에서 cosine-similarity classification을 수행했다.Patch label을 reshape하고 upsample해 최종 image segmentation map을 구성했다.
  • C.3 Baselines: FeatUp 은 implicit MLP의 official weight를 사용할 수 없어 enhancement를 fixed integer scale로 제한했기 때문에, pre-trained feedforward JBU variant로만 평가했다.두 variant 모두 원래 multi-view consistency loss로 supervision을 받았다.
  • C.3 Baselines: LoftUp 은 high-resolution image query와 coordinate, low-resolution VFM key와 value를 사용하는 coordinate-based cross-attention을 적용했으며, SAM-generated mask에 기반한 학습 후 EMA-teacher self-distillation을 수행했다.이 방법은 original input image와 일치하는 fixed-scale upsampling만 지원했다.
  • C.3 Baselines: JAFAR 은 guidance-derived asymmetric query와 key를 사용하는 cross-attention을 통해 feature를 arbitrary resolution으로 복원했으며, SFT modulation과 cosine-plus-L2 training loss를 적용했다.학습에는 low upsampling factor에서의 multi-resolution image view를 사용했다.
  • C.3 Baselines: AnyUp 은 channel-canonicalizing feature-agnostic convolution과 feature-size-relative local-window attention을 사용했으며, crop으로 학습하고 officially released pretrained weight로 평가했다.Crop 기반 학습 절차에는 약 5시간이 소요됐다.

D 추가 절제 연구 … Image Pose.

절제 실험은 guidance encoder 구조, feature 차원, positional encoding 구현, identity-pose 학습 조건을 검토한다. 실험한 대안과 비교해 256차원 guidance feature가 선호됨을 확인하고, 평가한 구조 및 학습 설정을 정리한다.

  • Guidance Encoder.: Guidance encoder 절제 실험은 1×1, 병렬 1×1/3×3, 또는 네 개의 1×1/1×3/3×1/3×3 branch를 사용하는 single-, dual-, multi-branch convolutional 구조를 비교한다.병렬 branch의 출력은 channel 방향으로 concatenate하며, single-branch 구조는 AnyUp 를 따른다.
  • Guidance Feature Dimensionality.: 256차원 guidance representation은 downstream task에서 128차원 baseline을 일관되게, 그리고 크게 앞섰다.실험한 대안과 비교할 때 256차원이 충분하다고 보고한다.
  • Guidance Feature Dimensionality.: 768차원 설정은 512차원 구성보다 낮은 성능을 보였으며, 두 설정 모두 256차원 구성보다 눈에 띄게 향상되지 않았다.이 비교는 downstream-task 절제 실험에서 보고되었다.
  • Positional Encoding.: Positional encoding 절제 실험에서 RoPE 는 JAFAR 와 AnyUp 가 확립한 protocol에 따라 구현되었다.이 문맥의 구현은 별도 절차를 도입하지 않고 인용된 선행 protocol을 따른다.
  • Positional Encoding.: SinRays 에서는 ray origin과 direction을 image encoder feature와 concatenate하고, sine activation을 적용한 뒤 convolutional layer로 target hidden 차원에 projection했다.sine activation은 high-frequency detail을 포착하는 데 사용되었다.
  • Image Pose.: identity-pose 설정에서는 extrinsic matrix가 identity였고, intrinsic은 단순화된 pinhole camera model을 따랐다.이는 identity-pose 실험에 사용된 camera 구성을 정의한다.
  • Image Pose.: DA3-Small, DA3-Base, DA3-Large의 학습에는 각각 약 5, 9, 55시간이 걸렸다.보고된 소요 시간은 identity-pose 설정에 해당한다.

D.2 학습 전략에 대한 Ablation Study · D.3 Any에서 Any 해상도로의 Upsampling

RaysUp은 frozen encoder supervision과 joint cosine-L2 reconstruction loss를 사용하는 경량 local-crop 학습 전략을 채택한다. 임의의 입력-타깃 해상도 조합으로 일반화하며, Pascal-VOC 평가에서 최고 또는 두 번째로 높은 성능을 달성하고 high-resolution 메모리 부족 오류를 방지한다.

  • D.2 학습 전략에 대한 Ablation Study: RaysUp은 기존 feature upsampling 방법 을 따라 경량의 무작위 local image crop으로 학습했다.Ablation 실험은 semantic segmentation task에서 이 학습 전략을 평가했다.
  • D.3 Any에서 Any 해상도로의 Upsampling: RaysUp은 Pascal-VOC의 광범위한 임의 입력-타깃 해상도 조합에서 최고 또는 두 번째로 높은 성능을 달성했다.비교 결과는 Table 6에 제시되어 있으며, 필요한 경우 baseline의 출력을 bilinear interpolation으로 타깃 해상도에 맞췄다.
  • D.2 학습 전략에 대한 Ablation Study: 학습에서는 downsampled full image와 동일한 크기의 random high-resolution crop을 짝지어 사용하고, frozen vision encoder로 source feature와 supervisory target feature를 추출한다.RaysUp은 low-resolution source feature에서 full high-resolution feature map을 복원한 뒤, 대응하는 정렬된 subregion을 crop한다.
  • D.2 학습 전략에 대한 Ablation Study: reconstruction loss는 정렬된 reconstructed crop과 target feature 사이의 cosine dissimilarity와 L2 distance를 함께 측정한다.약 4시간의 학습으로 Table 5에서 일관된 성능 향상이 나타났으며, 이는 해당 전략의 효과와 확장성을 뒷받침한다.
  • D.3 Any에서 Any 해상도로의 Upsampling: any-to-any 평가에서 FeatUp의 JBU variant는 fixed 16× upsampling으로 제한되었고, LoftUp은 original image resolution만 지원했다.두 방법의 출력을 타깃 해상도에 맞추기 위해 bilinear interpolation을 적용했다.
  • D.3 Any에서 Any 해상도로의 Upsampling: JAFAR 은 주로 낮은 해상도에서 경쟁력 있는 성능을 보였지만, 높은 해상도에서는 out-of-memory failures가 발생해 가장 큰 scale에서는 평가할 수 없었다.보고된 낮은 해상도 예시는 16 →112와 16 →448이었다.

E 추가 정성적 실험

추가 정성적 실험을 통해 RaysUp이 upsampling 과정에서 feature 구조를 보존하고, depth estimation, surface normal estimation, semantic segmentation, video segmentation 전반에서 더 선명하고 일관된 예측을 생성함을 확인했다.

  • E 추가 정성적 실험: ImageNet upsampling에서 기저 feature space를 유지하면서 뚜렷하게 선명한 PCA projection을 생성하는 방법은 RaysUp, AnyUp, JAFAR뿐이다.일관된 시각화를 위해 모든 방법에서 동일한 PCA basis를 사용했다.
  • E 추가 정성적 실험: NYUv2 depth estimation에서 RaysUp은 더 선명한 object boundary를 보존하며 baseline 방법보다 ground truth에 더 가깝게 정렬된 예측을 생성한다.
  • E 추가 정성적 실험: NYUv2 surface normal estimation에서 RaysUp은 ground truth보다 더 일관된 예측을 생성할 수 있는 반면, 경쟁 방법은 난도가 높은 영역에서 artifact를 유발한다.이러한 동작은 2행과 5행에 나타나며, 경쟁 방법의 artifact는 6행에서 확인된다.
  • E 추가 정성적 실험: VOC semantic segmentation에서 RaysUp은 AnyUp보다 더 완전한 mask와 더 선명한 boundary를 생성하며, 때로는 ground truth annotation보다 세밀한 detail까지 드러낸다.이러한 개선은 각각 세 번째, 여섯 번째, 두 번째 행에서 관찰된다.
  • E 추가 정성적 실험: DAVIS video semantic segmentation에서 RaysUp은 기존 방법보다 더 선명한 object boundary와 강건한 프레임 간 temporal consistency를 제공한다.시각화에는 dogs-jump sequence의 8, 11, 24, 28, 37, 43번 frame이 포함된다.
Loading 2606.22749v1…