PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction

Yuxi Wang, Chengkai Jin, Yufei Liu, Wenqi Ouyang, Tianyi Wei, Zhiwei Zeng, Siyuan Huang, Zhiqi Shen, Xingang Pan

arXiv:2606.30308v2cs.CV

TL;DR

확장 가능한 embodied-AI 학습에 중요함에도, egocentric 4D hand-motion reconstruction은 occlusion과 제한적인 hand-pose supervision으로 어려움을 겪는다. ViDiHand는 pretrained video diffusion model을 hand-aware reconstruction에 맞게 조정해 세 벤치마크에서 state-of-the-art 결과를 달성한다.

  • 문제

    기존 방법은 occlusion 상황에서 detector가 실패하고 temporal prior가 부족한 hand-labeled data에 의존하기 때문에 egocentric 4D hand-motion reconstruction에 어려움을 겪는다.

    출처: §1 · p. 2

  • 방법

    ViDiHand는 hand-overlay rendering을 사용해 pretrained video diffusion model을 조정하고, 조정된 representation을 full video frame에서 metric-scale two-hand motion으로 디코딩한다.

    출처: §1 · p. 2, §5 · p. 9

  • 결과

    ViDiHand는 ARCTIC과 HOT3D의 모든 커버리지 인식 지표에서 첫 순위를 차지하고, 보류된 HOI4D의 아홉 개 지표 중 여덟 개에서도 첫 순위를 차지한다.

    출처: §5 · p. 9

  • 시사점 및 한계

    Video diffusion representation은 hand reconstruction과 확장 가능한 in-the-wild 4D hand annotation을 위한 foundation으로서 잠재력을 보인다.

    출처: §1 · p. 3, §5 · p. 9

    4 A100 GPU에서 5.5 fps로 동작하는 ViDiHand는 현재 real-time system이 아니라 offline annotation tool이다.

    출처: §5 · p. 10

Abstract

from arXiv · show

4D hand motion reconstruction from egocentric video is bottlenecked by clear limitations of existing methods: image-based pipelines depend on a detector that fails under heavy occlusion, while video-based methods rely on temporal modules learned only from scarce hand-pose annotations, a narrow signal insufficient to model motion dynamics, occlusion reasoning, and hand-object interaction. These capabilities, however, are exactly what video generative models must implicitly acquire when trained to synthesize coherent video at internet scale. Motivated by this, we present ViDiHand, which leverages the representations of a pretrained video diffusion model to reconstruct 4D two-hand pose. We adapt it via a hand-overlay rendering objective that specializes its features for hands while preserving its world priors. A decoder then recovers metric-scale pose from the adapted features. The whole pipeline operates directly on full frames--no detector, no infiller, and no test-time optimization. On ARCTIC, HOT3D, and HOI4D, ViDiHand substantially outperforms prior methods, establishing video diffusion models as a powerful new foundation for hand motion reconstruction and a promising route to scalable in-the-wild data collection for embodied AI. Project page: https://vidihand.github.io.

1 서론

ViDiHand는 hand-overlay rendering을 사용해 pretrained video diffusion model을 적응시킴으로써 occlusion이 심한 4D 양손 재구성을 수행한다. detector, motion infilling, test-time optimization 없이 까다로운 benchmark 전반에서 state-of-the-art 성능을 달성한다.

동기

  • 기존 image-based method는 upstream detector가 심하게 가려진 손을 놓치면 실패하는 반면, video-based method는 motion dynamics와 interaction을 충분히 포착하지 못하는 부족한 hand-pose supervision에 의존한다.이러한 한계는 embodied AI에서 특히 중요하다. egocentric video는 확장 가능한 supervision을 제공하며, 손 또는 손목 궤적은 imitation과 policy learning을 뒷받침한다 [12] [9].출처: §1 · p. 2

기여

  • ViDiHand는 egocentric video에서 4D 양손 motion reconstruction을 위해 pretrained video diffusion model을 활용한 최초의 method다.손, 조작되는 물체, 장면에 관한 구조화된 정보를 담은 internal representation에서 hand motion을 디코딩한다.출처: §1 · p. 2
  • Hand-overlay rendering은 world prior를 보존하면서 diffusion model을 hand-aware reconstruction에 맞게 적응시킨다.이 objective는 장면의 나머지 부분을 재구성하는 동시에 손 영역을 수정해, 더 넓은 장면 표현을 폐기하지 않고 hand-specific feature를 학습한다.출처: §1 · p. 2

결과

  • ViDiHand는 거의 모든 metric에서 최고 성능을 보이며, detection error를 최대 27×, prediction jitter를 최소 4×, 2D endpoint error를 최대 4× 줄이고 세 벤치마크 모두에서 3D pose 정확도도 선도한다.ARCTIC [5]에서는 거의 완벽한 hand detection과 기존 방법보다 매끄러운 motion을 달성하며, HOT3D [1]와 HOI4D [15]에서도 대부분의 metric에서 앞선다.출처: §1 · pp. 2–3

2 관련 연구

관련 연구는 일반적으로 MANO 로 파라미터화하는 RGB 기반 monocular hand reconstruction과, 규모와 일관성으로 인해 motion representation으로 활용되는 video diffusion models를 아우른다. Image-based methods는 in-the-wild 일반화를 개선해 왔으며, diffusion 연구는 대규모의 일관된 생성과 제어 가능한 conditioning을 향해 발전해 왔다.

Monocular hand reconstruction

  • Monocular hand reconstruction은 RGB 입력으로부터 3D hand pose와 shape을 복원하며, 일반적으로 MANO parameterization을 사용한다.이 연구 흐름에는 단일 프레임에서 hand parameters를 추정하는 image-based methods가 포함된다.출처: §2 · p. 3
  • HaMeR [18]는 이질적인 3D 및 2D-keypoint datasets로 학습한 ViT-based regressor를 사용해 in-the-wild 일반화를 개선한다.출처: §2 · p. 3

Video diffusion models and diffusion features

  • Video diffusion models는 pixel-space VDM 과 latent-space SVD [2]에서 CogVideoX [30] 및 Wan [26]과 같은 대규모 text-to-video transformers로 발전했다.이 문단은 이러한 최신 모델들이 billion-parameter, internet scale에서 시간적·기하학적으로 일관된 video를 생성한다고 설명하며, VACE [11]는 unified conditioning path를 통해 Wan2.1을 추가로 확장한다.출처: §2 · p. 3

3 방법

ViDiHand는 hand-overlay rendering을 통해 사전학습된 video diffusion model을 two-hand 4D reconstruction에 맞게 조정한 뒤, 상호보완적인 hand-token 및 joint-localization branch로 articulated pose와 camera translation을 디코딩한다. 미분 가능한 geometric solve로 scene, object, motion prior를 보존하면서 면내 translation을 복원한다.

Hand-overlay rendering

  • ViDiHand는 hand-overlay rendering을 적용하면서 사전학습된 Wan2.1-VACE [11] [26]의 VACE branch만 finetune하고 base DiT는 고정해 scene, object, interaction prior를 보존한다.rendering objective에는 완전히 가려진 frame도 포함되며, adaptation 중 MANO-parameter supervision은 사용하지 않는다.출처: §3.1 · p. 3, §3.2 · p. 4

Feature extraction

  • decoder는 L⋆=15의 단일 mid-block activation과 τk≈0.7의 denoising step을 사용하며, 두 joint-localization 해상도와 articulated-pose abstraction을 모두 유지하도록 선택된다.feature는 1.3B-parameter Wan2.1-VACE backbone에서 추출하며, diffusion model을 통한 backpropagation 없이 디코딩한다.출처: §3.2 · p. 5

Dual-branch MANO decoder

  • 두 개의 상호보완적인 decoder branch가 two-hand state를 복원한다. slot-aware hand token은 holistic articulated MANO pose를 모델링하고, joint heatmap은 local image-space coordinate를 고정한다.mutual cross-attention은 branch 사이에서 joint-level localization evidence와 articulated-pose context를 교환한다.출처: §3.3 · p. 5

Spatio-temporal tokenization

  • ray-space positional embedding을 사용하면 하나의 decoder가 dataset별 specialization 없이 heterogeneous camera intrinsic을 처리할 수 있다.token은 projected diffusion feature와 학습된 spatial·temporal positional code 및 camera-ray embedding을 결합한다.출처: §3.3 · p. 5

Mixed-projection head and training objective

  • mixed-projection head는 refined anchor로부터 depth를 회귀하고 면내 translation을 closed form으로 풀며, MANO, heatmap, offset, visibility prediction을 공동 최적화한다.이 미분 가능한 solve는 root-translation/root-pose ambiguity를 피하며, coupled MANO, camera, image, visibility, temporal loss로 학습된다.출처: §3.3 · pp. 5–6, §3.4 · p. 6

4 실험

세 가지 egocentric 벤치마크에서 ViDiHand는 held-out HOI4D를 포함해 coverage-aware 평가에서 기존 방법을 크게 능가한다. Ablation과 정성적 비교를 통해 이러한 성능 향상이 pretrained video representation, 특화된 adaptation, 그리고 occluded-hand 상태를 보존하는 decoder 구성요소에 기인함을 확인한다.

평가 protocol

  • Coverage-aware metric은 false negative에 결정론적이고 방법과 무관한 placeholder error를 부과해, 보수적인 방법이 어려운 occlusion frame을 회피하지 못하게 한다.Protocol은 detection, pose, orientation, position, temporal metric을 보고하며, detection score는 높을수록 좋고 나머지 score는 낮을수록 좋다.출처: §4.1 · pp. 6–7

정량적 결과

  • ViDiHand는 ARCTIC, HOT3D, HOI4D 전반의 27개 metric 중 26개에서 최고 성능을 기록했으며, ARCTIC FAcc에서도 WiLoR의 0.919 대비 0.997을 기록했다.비교는 보고된 benchmark protocol에 따라 detection, pose, orientation, position, temporal metric을 포괄한다.출처: Table 1 · p. 7, §4.2 · p. 7
  • ViDiHand의 HOT3D MPJPE-p는 21.5 mm로, 최고 baseline의 31.0 mm에서 향상되었으며, ARCTIC EPE-p는 WildHands의 50.5 px에서 12.4 px로 감소한다.ViDiHand는 세 벤치마크 모두에서 MPJPE-p와 PA-MPJPE-p로 최고 성능을 달성한다.출처: §4.2 · pp. 7–8
  • ViDiHand의 ARCTIC jitter는 3.18 mm/frame^2로 Dyn-HaMR의 12.8보다 네 배 낮으며, held-out HOI4D metric 아홉 개 중 여덟 개에서도 최고 성능을 기록했다.Dyn-HaMR의 SLAM-guided optimization과 달리, ViDiHand는 motion prior나 test-time optimization 없이 이러한 smoothness를 달성한다.출처: Table 1 · p. 7, §4.2 · p. 8

정성적 비교

  • 심한 occlusion과 truncation에서는 baseline이 손을 누락하거나, 서로 바꾸거나, 환각하는 경우가 많지만, ViDiHand는 그럴듯한 articulation으로 양손을 모두 복원한다.정성적 비교는 ARCTIC, HOT3D, 그리고 물체, frame boundary, shadow, hand occlusion이 포함된 in-the-wild 사례를 포괄한다.출처: §4.4 · p. 9, Figure 3 · p. 9, Figure 4 · p. 9

5 결론

ViDiHand는 사전 학습된 video diffusion prior, hand-overlay specialization, 이중 분기 디코딩을 결합해 egocentric video에서 4D 양손 motion을 복원한다. ARCTIC과 HOT3D의 모든 coverage-aware metric에서 첫 번째를 차지하고, held-out HOI4D에서는 아홉 개 중 여덟 개에서 첫 번째를 기록한다. 동시에 네 개의 A100 GPU에서 5.5 fps로 제한되는 오프라인 도구다.

결론

  • ViDiHand는 사전 학습된 video diffusion prior, hand-overlay specialization, dual-branch decoding, closed-form camera translation을 사용해 4D two-hand motion을 복원한다.hand-overlay objective는 scene, object, motion prior를 보존하면서 backbone을 MANO surface에 특화한다.출처: §5 · p. 9
  • ViDiHand는 ARCTIC과 HOT3D의 모든 coverage-aware metric에서, held-out HOI4D의 9개 metric 중 8개에서 ranks first한다.거의 완전한 detection coverage와 경쟁력 있는 per-hand accuracy를 결합하며 inference-time smoothing을 사용하지 않는다.출처: §5 · p. 9

한계와 향후 연구

  • 4 A100 GPUs에서 5.5 fps로 동작하는 ViDiHand는 현재 offline annotation tool이며, real-time inference를 위해 distillation과 few-step 또는 autoregressive generator가 필요하다.학습은 여전히 pose-labeled video에 의존하지만, joint-only annotation으로 Stage-1a overlay pretext를 구동할 수 있다.출처: §5 · p. 10

보충 자료

보충 자료는 먼저 coverage-aware 평가 프로토콜과 metric 정의를 형식화한 뒤, pairwise·측면별·정성적 비교를 통해 본문 분석을 확장한다.

§A

  • 보충 자료는 coverage-aware 평가 프로토콜의 유도와 모든 평가 metric의 closed-form 정의로 시작한다.이 내용은 종속 결과에 앞선 §A에 제시된다.출처: Supplementary Material · p. 13

§§C 및 B

  • 또한 세 benchmark 전체에서 공동 예측된 손을 대상으로 한 pairwise pose 평가를 통해 본문 비교를 확장한다.이 확장은 §§C 및 B에서 설명한다.출처: Supplementary Material · p. 13

§§C, B 및 D

  • 아울러 detection F1의 측면별 분석과 13개의 추가 정성적 비교 figure를 제공한다.이러한 분석은 본문을 넘어 benchmark 비교를 더욱 확장한다.출처: Supplementary Material · p. 13

A 평가 프로토콜 및 metric 정의

평가는 네 가지 범주에 걸쳐 아홉 개 metric을 보고하며, detection coverage와 pose accuracy를 단일 pose score로 통합하는 coverage-aware 프로토콜을 사용한다. Metric은 prediction–ground-truth alignment와 함께 정의되며, Jitter를 제외한 모든 pose metric에 이 프로토콜을 적용한다.

Metric 정의

  • 아홉 개 metric은 네 가지 범주로 구성되며, detection metric은 높을수록 좋고 나머지 모든 metric은 낮을수록 좋다.Table 6은 각 metric의 범주, 단위, coverage-aware 프로토콜 적용 여부를 명시한다.출처: A Evaluation Protocol and Metric… · p. 14, Table 6 · p. 14

평가 프로토콜

  • 평가는 각 metric을 정의하고 prediction–ground-truth alignment를 설명한 뒤 coverage-aware evaluation protocol을 소개한다.이 프로토콜은 모든 pose metric에 false negative를 반영하여 detection coverage와 pose accuracy를 하나의 수치로 포착한다.출처: A Evaluation Protocol and Metric… · p. 14

Coverage-Aware Protocol

  • 모든 pose metric은 coverage-aware protocol을 사용하지만, Jitter는 연속으로 추적된 관측 세 개가 필요하므로 제외된다.이 protocol에 따라 계산된 metric에는 현재 존재하는 모든 ground-truth hand가 기여함을 나타내는 “-p” subscript가 붙는다.출처: Table 6 · p. 14, A Evaluation Protocol and Metric… · p. 14

A.1 Metric Definitions · A.2 Prediction–Ground-Truth Alignment

논문은 일관된 21-joint convention에 기반해 detection, coverage-aware 3D pose, absolute spatial, reprojection, temporal motion quality를 아홉 가지 metric으로 평가한다. Prediction과 ground truth는 handedness-constrained IoU matching, visibility threshold, off-screen exclusion을 통해 frame별로 정렬한다.

A.1 Metric Definitions

  • 모든 evaluation metric은 동일한 21-joint MANO ordering을 사용하며, joint 0은 wrist이고 대응하는 ground-truth joint는 J⋆j로 표기한다.이 convention은 모든 loss term과 evaluation metric에서 공유된다.출처: §A.1 · p. 14
  • Detection quality는 frame accuracy, recall, and F1로 측정하며, 엄격한 frame-level correctness, matched hand recovery, false positive와 false negative 사이의 균형을 포착한다.Frame accuracy는 hand 하나라도 누락되거나, 불필요한 prediction이 있거나, handedness swap이 발생하면 실패하는 반면, recall과 F1은 instance recovery와 error tradeoff를 요약한다.출처: §A.1 · pp. 14–15
  • Coverage-aware MPJPE-p와 PA-MPJPE-p는 root-relative 3D articulation을 평가하며, Procrustes alignment는 global orientation, translation, scale을 추가로 제거한다.누락된 hand에는 canonical placeholder cost가 부여되며, PA-MPJPE-p는 false negative가 여전히 큰 비용을 갖도록 의도적으로 raw placeholder error를 사용한다.출처: §A.1 · pp. 15–16
  • GO-p, CT-p, EPE-p는 root-relative pose가 아니라 absolute wrist orientation, camera-frame position, and 2D reprojection accuracy를 측정한다.각 metric은 geodesic rotation error, Euclidean translation error, masked pinhole-projected joint distance를 각각 사용한다.출처: §A.1 · p. 16
  • Jitter는 최소 세 frame으로 이루어진 contiguous true-positive run에서 mm/frame2 단위의 second-order finite-difference acceleration을 측정하므로, 값이 낮을수록 prediction이 더 smooth함을 의미한다.False negative는 identity-continuous run을 끊어 temporal finite difference를 계산할 수 없게 하므로, true positive에 대해서만 계산한다.출처: §A.1 · p. 17

A.2 Prediction–Ground-Truth Alignment

  • Per-frame alignment는 ground-truth box를 10% dilation한 뒤, projected prediction box와 ground-truth box를 IoU 내림차순으로 greedy matching하여 zero, one, two hand을 처리한다.Match에는 equal handedness와 IoU > 0.1이 필요하며, 이는 모호한 near-miss를 고려한 의도적으로 permissive한 threshold다.출처: §A.2 · p. 17
  • Matched prediction은 hand-presence probability가 0.5를 초과할 때 true positive가 되며, confidence-based output과 unconditional tracker output에는 protocol-specific 처리를 적용한다.이 방법은 σ(ê) > 0.5로 thresholding하고, baseline은 보고된 probability를 사용하며, tracker emission은 positive로 처리한다.출처: §A.2 · p. 17
  • Ground-truth hand는 21개 joint 중 어느 것도 z > 0.01 m 조건으로 image 내부에 projection되지 않으면 off-screen으로 제외하여, 보이지 않는 hand가 evaluation에서 불이익을 받지 않게 한다.Mesh vertex 대신 joint를 사용하면 criterion이 MPJPE 및 EPE와 정렬되고, fingertip 일부만 보이는 것을 full visibility로 세는 문제를 피할 수 있다.출처: §A.1 · p. 15, §A.2 · p. 18

A.3 커버리지 인지 평가 프로토콜

이 프로토콜은 검출 누락을 포함한 모든 ground-truth hand instance를 평가하며, false negative에 표준 MANO placeholder를 할당한다. 이를 통해 보수적인 detector에 보상을 주는 대신 detection coverage와 pose accuracy를 함께 반영하는 metric을 산출한다.

동기

  • 커버리지 인지 평가는 모든 ground-truth hand instance를 포함하므로, prediction당 accuracy는 높지만 recall이 낮은 method가 인위적으로 우수해 보이는 것을 방지한다.true positive에 대해서만 계산되는 표준 pose metric은 false negative를 조용히 제외하고 보수적인 detector에 보상을 줄 수 있다.출처: §A.3 · p. 18

Placeholder 구성

  • 각 false negative에 대해 이 프로토콜은 identity rotation, zero pose, mean shape, camera-origin 배치를 갖는 canonical MANO output으로 대체한다.출처: §A.3 · p. 18
  • 이 canonical placeholder는 wrist anchoring 후 ARCTIC에서 약 132 mm MPJPE를 산출하며, root-relative metric에서는 absolute depth가 상쇄된다.출처: §A.3 · p. 18

Metric 정의

  • Placeholder error는 누락된 각 sample마다 계산되는데, ground-truth hand의 pose, orientation, position에 따라 달라지며 metric별 정의는 §A.1에 제시된다.출처: §A.3 · p. 18

Metric 동작

  • 그 결과 얻는 단일 metric은 상당한 deterministic placeholder cost를 통해 누락된 hand를 함께 penalize하고 부정확한 prediction도 penalize하므로, recall failure가 드러난다.출처: §A.3 · p. 18

B 양손별 Hand Detection 분석

ViDiHand는 모든 benchmark에서 양손별 Hand Detection F1을 0.981 이상으로 유지하는 반면, baseline 간 비대칭성은 HOI4D에서 가장 심하다. 한 손만 포함된 clip이 존재하지 않는 쪽에 대한 잘못된 prediction을 유발하기 때문이다.

양손별 Hand Detection

  • HOI4D에서 5개 baseline은 왼손 F1이 0.385–0.473에 그쳐 심각한 비대칭 detection 오류를 보인다.대부분의 HOI4D clip은 한 손 조작을 나타내므로, 이러한 pipeline은 존재하지 않는 쪽에 잘못된 prediction을 출력한다.출처: B Per-Side Hand Detection Analysis · p. 18
  • 양손별 Hand Detection F1이 0.981 이상인 ViDiHand는 세 benchmark 전반에서 일관되게 높은 성능을 보인다.Table 7은 왼손, 오른손, 양손을 결합한 detection F1을 보고하며, 값이 높을수록 성능이 좋다.출처: B Per-Side Hand Detection Analysis · p. 18, Table 7 · p. 19
  • Table 7은 세 benchmark에서 왼손, 오른손, 양손을 결합한 detection F1을 평가해 좌우 혼동을 분리해 분석한다.이 분석은 별도의 handedness metric 대신 양손별 비대칭 F1을 좌우 혼동의 척도로 취급한다.출처: B Per-Side Hand Detection Analysis · p. 18, Table 7 · p. 19

C 공동 예측 손에 대한 쌍별 비교 · D 추가 정성적 비교

공동 예측 손 비교는 검출에 실패한 어려운 손 사례를 제외하므로 baseline에 유리하며, 가장 두드러진 예외는 Procrustes-aligned MPJPE에서 나타나고, held-out HOI4D에서는 우세 범위가 더 넓어진다. benchmark와 in-the-wild 영상에 대한 정성적 비교에서는 ViDiHand가 baseline보다 가려지거나 잘려 나가거나 시점이 어려운 손을 더 안정적인 위치와 관절 형태로 복원한다.

C 공동 예측 손에 대한 쌍별 비교

  • 공동 예측 손 프로토콜은 severe occlusion, truncation, blur, peripheral view를 포함해 baseline이 검출하지 못하는 어려운 손을 제외하므로 구조적으로 baseline에 유리하다.Tables 8–10은 두 방법이 같은 쪽 hand를 예측하고 ground-truth hand가 보이는 frame–hand-side pair만 비교한다.출처: C Pairwise Comparison on Co-Predicted… · p. 20, Table 8 · p. 20, Table 9 · p. 20
  • in-distribution benchmark에서는 Procrustes-aligned MPJPE에서 baseline의 우세가 집중되며, 여기서는 전역 회전, 평행이동, scale을 제거한 뒤 국소 관절 형태를 평가한다.가장 강력한 crop 기반 및 SLAM-refined baseline은 성공적으로 검출한 손에서 이러한 정렬을 적용하면 ViDiHand와 동률이 되거나 이를 앞설 수 있다.출처: C Pairwise Comparison on Co-Predicted… · pp. 20–21
  • held-out HOI4D에서는 Procrustes-aligned MPJPE, 2D reprojection, camera translation 전반으로 baseline의 우세가 확대되며, 더 큰 cross-dataset 격차와 일치한다.held-out ViDiHand 모델은 학습 중 명시적인 HOI4D supervision을 받지 않는다.출처: C Pairwise Comparison on Co-Predicted… · p. 21
  • held-out 지정은 명시적인 HOI4D supervision을 제외한다는 뜻일 뿐, internet-scale pretrained video backbone이 HOI4D를 한 번도 접하지 않았음을 입증하지는 않는다.in-domain HOI4D readout은 held-out 비교가 아니라 capacity reference로만 제시된다.출처: C Pairwise Comparison on Co-Predicted… · p. 21, Table 11 · p. 21

D 추가 정성적 비교

  • 정성적 비교는 ARCTIC, HOT3D, in-the-wild 영상에서 projected joint, MANO overlay, 세 개의 novel-view 3D rendering을 사용해 수행되며, in-the-wild 사례에서는 ground-truth MANO를 제외한다.그림은 여덟 개 baseline 모두와 ViDiHand를 frame 단위로 비교한다.출처: D Additional Qualitative Comparisons · p. 21
  • 물체 뒤에 손이 숨겨지거나 frame에 의해 잘린 ARCTIC 사례 전반에서 ViDiHand만이 그럴듯한 상대적 위치와 관절 형태를 갖춘 완전한 양손 구성을 반복적으로 복원한다.baseline은 대개 한 손 또는 양손을 놓치며, Dyn-HaMR은 양손을 예측하더라도 관절 형태, 깊이, 상대적 배치를 왜곡할 수 있다.출처: Figure 5 · p. 22, Figure 6 · p. 22, Figure 7 · p. 23
  • occlusion, fisheye 주변부, 어둡거나 불균일한 조명, blur, truncation이 포함된 HOT3D 및 in-the-wild 사례 전반에서 ViDiHand는 손 검출, 위치, 깊이, 방향, 관절 형태를 더 일관되게 보존한다.비교에는 컵, 피처, 그릇, 선반, 용기 및 한 손 상호작용이 포함되며, baseline은 손을 놓치거나 중복 검출을 내거나 blob과 깊이 오류를 생성한다.출처: Figure 9 · p. 24, Figure 10 · p. 24, Figure 11 · p. 25
  • in-the-wild 비교에서는 ViDiHand가 그럴듯한 양손 파지를 복원하고, 여러 baseline에 영향을 주는 조명 유발 중복 검출을 피하는 모습도 추가로 확인된다.다른 방법들은 가려진 손을 놓치거나 손을 blob으로 붕괴시키거나 깊이상 잘못 배치하거나 손가락을 부정확하게 구부린다.출처: Figure 15 · p. 27, Figure 16 · p. 27, Figure 17 · p. 28

E 구현 세부사항

구현은 전체 pipeline의 data, decoder, loss, 그리고 2단계 training procedure를 규정한다. video backbone은 Wan2.1-VACE [26] [11]이며, egocentric video를 조건으로 하는 1.3-billion-parameter diffusion transformer다.

Backbone

  • Wan2.1-VACE [26] [11]는 VACE conditioning branch를 갖춘 1.3-billion-parameter video diffusion transformer로서 video backbone을 제공한다.VACE branch는 egocentric input video를 conditioning signal로 주입한다.출처: E Implementation Details · p. 29

Denoising 표기

  • backbone은 30개의 transformer block으로 구성되며, L15는 구현 전반에서 사용되는 15번째 block을 나타낸다.출처: E Implementation Details · p. 29
  • 정규화된 denoising step τk는 순수 noise인 τ=0에서 완전히 denoised된 상태인 τ=1까지를 아우른다.이 표기는 main paper의 τk에 해당한다.출처: E Implementation Details · p. 29

E.1 데이터셋 및 카메라 … E.5 통제된 fitting 연구: feature slice의 용량

부록에서는 ViDiHand의 데이터셋, 카메라 인식 decoder, 손실 함수, 2단계 training pipeline을 구체화한 뒤, 선택한 mid-denoise feature slice가 손 동작 decoding을 지원할 수 있는지 검증한다. 또한 held-out HOI4D testing과 ARCTIC 및 HOT3D에서 baseline이 학습에 노출된 범위를 포함해 평가 범위를 기록한다.

E.1 데이터셋 및 카메라

  • ViDiHand는 81-frame segment를 21 latent frame으로 encoding하고, resizing 후 데이터셋별 spatial patch grid를 사용한다. HOI4D는 testing에서 held out되며 ARCTIC과 HOT3D는 supervised finetuning data를 제공한다.데이터셋은 camera field of view, frame rate, occlusion pattern, hand-count condition이 서로 다르며, 공정한 비교를 위해 ARCTIC과 HOT3D에서 baseline이 학습에 노출된 범위를 명시적으로 추적한다.출처: §E.1 · pp. 29–30, Table 14 · p. 30

E.2 Decoder Architecture

  • 37-million-parameter decoder는 hand-token cross-attention, joint heatmap, mutual hand–joint fusion, visibility prediction, MANO regression을 하나의 forward pass에서 결합한다.regression branch는 orientation, finger rotation, shape, log-depth를 예측하고, heatmap branch는 joint별 image evidence를 제공한다.출처: §E.2 · pp. 30–31

E.2.1 Ray-Space Positional Encoding

  • Ray-space positional encoding은 intrinsics에서 얻은 camera-ray information으로 학습된 spatial feature를 보강하며, zero initialization은 시작 시 original spatial encoding을 보존한다.encoding은 token과 sample마다 계산되므로 camera-aware correction이 가능하고, spatial-only representation에서 시작한다.출처: §E.2.1 · p. 32

E.2.2 Mixed-Projection Camera-Translation Head

  • Mixed-Projection Head는 depth를 regression하는 한편, 화면에 유효하게 나타나는 joint를 사용해 refined heatmap anchor로부터 in-plane translation을 analytic하게 해결하여 differentiable하고 adaptive한 least-squares estimate를 생성한다.decoupled solve는 조건을 만족하는 모든 joint를 사용하며, translation-loss gradient를 MANO prediction과 heatmap branch 양쪽으로 전파한다.출처: §E.2.2 · p. 32

E.3 Loss Functions

  • decoder loss는 manifold-aware rotation supervision, translation, shape, visibility, 3D 및 2D geometric term, heatmap supervision, acceleration smoothness, temporal shape consistency를 결합한다.Geodesic rotation loss는 SO(3)를 준수하고, 직접적인 heatmap supervision은 translation solve를 고정하며, second-order smoothness는 부드러운 동작을 억제하지 않으면서 jitter를 penalize한다.출처: Table 15 · p. 33, §E.3 · pp. 33–35

E.4 2단계 Training Pipeline

  • training은 video model을 두 단계로 adapt한다. 먼저 EgoDex에서 joint-overlay pretraining을 수행한 뒤, ARCTIC과 HOT3D에서 mesh-overlay finetuning을 수행하며, HOI4D는 모든 supervised stage에서 제외된다.Stage 1a는 MANO label 없이 EgoDex joint annotation을 사용하고, Stage 1b는 해당 checkpoint에서 이어서 segment 비례 ARCTIC/HOT3D sampling을 수행한다.출처: §E.4 · p. 35, §E.4.1 · p. 35, §E.4.2 · p. 35

E.4.3 Stage 2: MANO Decoder Training

  • MANO decoder는 고정된 Stage 1b feature slice에서 별도로 training된다. 즉, denoising step 34, 대략 τk≈0.7에서의 DiT L15 activation을 하나의 50-step sampling pass에서 추출한다.결과 tensor는 1536 channel, 21 latent frame, 데이터셋에 따라 달라지는 spatial dimension을 가지며, grid를 맞추기 위해 한 번에 하나의 데이터셋에서 batch를 추출한다.출처: §E.4.3 · pp. 35–36

E.5 통제된 Fitting 연구: Feature Slice의 용량

  • 통제된 단일-segment ARCTIC fitting study는 frozen default mid-denoise slice가 정확하고 temporal하게 일관된 MANO decoding에 충분한 손 정보를 포함하는지 검증한다.dual-branch decoder는 L15 및 τk≈0.7에서 full loss로 fit되며, 3 k step 후 supplied passage에서 0으로 시작하는 MPJPE-p 값에 도달한다.출처: §E.5 · p. 36

F ARCTIC에서의 Loss-Term Ablation

ARCTIC에서 decoder loss를 하나라도 제거하면 pose 정확도가 저하되며, 특정 term은 temporal smoothness와 rotation consistency를 제어한다. Ablation은 고정된 Stage-1b VACE backbone을 사용하고, Stage-2 decoder training만 ARCTIC으로 제한한다.

Experimental setup

  • ARCTIC에서만 Stage 2를 training하고 ARCTIC + HOT3D setup에서 가져온 Stage-1b VACE backbone을 고정해, decoder 효과를 분리한다.이는 본 논문의 ablation protocol을 따르며 decoder ablation과 cross-dataset transfer를 분리한다.출처: F Loss-Term Ablation on ARCTIC · p. 36

Loss-term ablation

  • 단일 loss term을 제거하면 full objective 대비 MPJPE-p가 증가한다. Shape consistency의 증가는 가장 작아 0.12 mm이고, geodesic rotation의 증가는 가장 커 0.84 mm이다.각 ablation에서는 나머지 objective와 training protocol을 고정한 채 하나의 term만 제거한다.출처: Table 16 · p. 36, F Loss-Term Ablation on ARCTIC · p. 36
  • Acceleration smoothness를 제거하면 Jitter가 3.42에서 3.88 mm/frame2로 증가하며, 이 metric을 실질적으로 변화시키는 유일한 loss임을 보여준다.이 결과는 acceleration smoothness가 temporal regularizer로 작동함을 확인한다.출처: F Loss-Term Ablation on ARCTIC · p. 36

Related papers

Loading 2606.30308v2…