PaperlayerView exact revision on arXiv

Source-linked AI summary

The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction

Yuxi Wang, Chengkai Jin, Yufei Liu, Wenqi Ouyang, Tianyi Wei, Zhiwei Zeng, Siyuan Huang, Zhiqi Shen, Xingang Pan

arXiv:2606.30308v2cs.CV

TL;DR

Egocentric 4D hand-motion reconstruction remains difficult under occlusion and limited hand-pose supervision. ViDiHand adapts a pretrained video diffusion model with hand-overlay rendering and decodes 4D two-hand pose directly from full frames, ranking first on every coverage-aware metric on ARCTIC and HOT3D and eight of nine on held-out HOI4D.

  • 문제

    기존 hand-reconstruction 방법은 detector에 의존하거나 소량의 hand-labeled data로 학습한 motion prior를 사용하기 때문에 occlusion에 취약하며, egocentric video로부터의 reconstruction을 제한한다.

  • 방법

    ViDiHand는 pretrained video diffusion model을 hand-overlay rendering으로 적응시킨 뒤, dual-branch decoder를 사용해 full video frame에서 metric-scale 4D two-hand pose를 직접 복원한다.

  • Results

    ViDiHand ranks first on every coverage-aware metric on ARCTIC and HOT3D and on eight of nine metrics on held-out HOI4D.

  • 시사점 및 한계

    이 결과는 video diffusion representation이 embodied AI를 위한 scalable in-the-wild 4D hand annotation을 지원할 수 있음을 보여준다.

  • 시사점 및 한계

    4개의 A100 GPU에서 5.5 fps로 동작하는 ViDiHand는 현재 real-time inference system이 아니라 offline annotation tool이다.

Abstract

from arXiv · show

4D hand motion reconstruction from egocentric video is bottlenecked by clear limitations of existing methods: image-based pipelines depend on a detector that fails under heavy occlusion, while video-based methods rely on temporal modules learned only from scarce hand-pose annotations, a narrow signal insufficient to model motion dynamics, occlusion reasoning, and hand-object interaction. These capabilities, however, are exactly what video generative models must implicitly acquire when trained to synthesize coherent video at internet scale. Motivated by this, we present ViDiHand, which leverages the representations of a pretrained video diffusion model to reconstruct 4D two-hand pose. We adapt it via a hand-overlay rendering objective that specializes its features for hands while preserving its world priors. A decoder then recovers metric-scale pose from the adapted features. The whole pipeline operates directly on full frames--no detector, no infiller, and no test-time optimization. On ARCTIC, HOT3D, and HOI4D, ViDiHand substantially outperforms prior methods, establishing video diffusion models as a powerful new foundation for hand motion reconstruction and a promising route to scalable in-the-wild data collection for embodied AI. Project page: https://vidihand.github.io.

1 서론

ViDiHand는 pretrained video-diffusion representation을 hand-overlay rendering으로 적응시켜 occlusion이 심한 4D hand-motion reconstruction을 해결한다. motion infilling이나 test-time optimization 없이 어려운 benchmark 전반에서 state-of-the-art 성능을 달성한다.

  • 동기: Egocentric 4D hand-motion reconstruction은 embodied AI에 중요하지만, 실제 활동에 pervasive occlusion이 존재하기 때문에 여전히 어렵다.Egocentric video는 robot learning을 위한 확장 가능한 source를 제공하며, hand와 wrist trajectory는 imitation과 policy learning을 위한 supervision을 제공한다.
  • 한계: Image-based method는 upstream detector가 심하게 가려진 hand를 놓치면 실패하는 반면, video-based method는 scarce hand-pose supervision에 의존한다.이러한 한계는 interaction-rich motion과 occlusion-heavy video를 모델링하는 능력을 제한한다.
  • 방법: ViDiHand는 egocentric video에서 4D two-hand reconstruction을 위해 pretrained video diffusion model을 사용하는 최초의 method다.hand-overlay rendering을 통해 model을 적응시켜 hand에 특화된 feature를 학습하면서 world prior를 보존하고, 이후 internal representation에서 hand motion을 decode한다.
  • 결과: ViDiHand는 detector, motion infiller, test-time optimization 없이 full frame에 직접 작동하며, 심하게 가려진 ARCTIC sequence에서 더 부드러운 motion과 near-perfect hand detection을 생성한다.또한 HOT3D와 cross-dataset HOI4D의 대부분 metric에서 선도적인 성능을 보인다.
  • 결과: detection error 27× 감소, prediction jitter 4× 이상 감소, 2D end-point error 최대 4× 감소, 그리고 선도적인 3D pose accuracy는 state-of-the-art 성능을 확립한다.이 결과는 2D end-point error에 대한 coverage-aware protocol하에서 ARCTIC, HOT3D, HOI4D 전반에 걸쳐 유지된다.

2 관련 연구

기존 단안 손 재구성 방법은 RGB 입력에서 3D 손 포즈와 형상을 복원하며, 일반적으로 MANO를 통해 파라미터화한다. 한편 video diffusion model은 시간적·기하학적으로 일관된 video를 대규모로 생성하는 방향으로 발전해 왔다. 이러한 발전은 손 동작 재구성에 diffusion representation을 활용하는 동기를 제공한다.

  • 단안 손 재구성: 단안 손 재구성은 RGB 입력에서 3D 손 포즈와 형상을 복원하며, 일반적으로 MANO를 통해 파라미터화한다.Image-based 방법은 단일 프레임에서 손 파라미터를 추정한다.
  • 단안 손 재구성: HaMeR는 서로 다른 3D 및 2D-keypoint 데이터셋으로 학습한 ViT-based regressor를 사용해 in-the-wild 데이터에 대한 일반화 성능을 높인다.
  • Video diffusion model과 diffusion feature: Video diffusion model은 pixel-space VDM과 latent-space SVD에서 CogVideoX 및 Wan series와 같은 대규모 text-to-video transformer로 발전했다.이 모델들은 billion-parameter 규모와 internet 규모에서 시간적·기하학적으로 일관된 video를 생성한다.

3 방법

ViDiHand는 두 단계, 즉 hand-overlay finetuning과 dual-branch decoding을 통해 사전학습된 video diffusion model을 4D 양손 재구성에 맞게 조정한다. Decoder는 전체적인 hand-token 추론과 국소 joint localization을 differentiable geometric translation solve와 결합한다.

  • Hand-overlay adaptation: ViDiHand는 hand-overlay rendering을 적용하면서 Wan2.1-VACE의 VACE branch만 finetuning하고, base DiT는 동결해 scene, object, interaction prior를 보존한다.Overlay에는 완전히 가려진 frame도 포함되며, MANO-parameter supervision 없이 flow-matching supervision을 사용한다.
  • Feature extraction: Feature는 layer L⋆=15, denoising step τk≈0.7의 mid-block activation에서 추출한 뒤 diffusion backbone을 통한 backpropagation 없이 decoding한다.선택한 activation은 joint localization에 필요한 spatial resolution과 articulated pose에 필요한 abstraction 사이의 균형을 이룬다.
  • Dual-branch decoding: Dual-branch decoder는 전체적인 articulated MANO pose에 hand-token slot을, 국소적인 local 2D coordinates에 joint heatmap을 사용하며, mutual cross-attention으로 상호 보완적인 evidence를 교환한다.고정된 query slot은 handedness classifier 없이 hand identity를 제공하고, spatial-token anchoring은 image-space joint의 국소적 특성에 맞춘다.
  • Geometric projection: Mixed-projection head는 depth를 regression하고, predicted joint, anchor, camera intrinsic으로부터 in-plane translation (tx, ty)을 closed form으로 구한다.Differentiable weighted least-squares solve는 heatmap, offset, MANO, depth component를 공동으로 최적화하면서 root-translation/root-pose ambiguity를 피한다.
  • Training objective: Decoder training은 다섯 가지 loss를 결합한다: Ldec = LMANO + Lcam + Limg + Lvis + Ltemp.이 항들은 결합된 MANO–camera system에서 MANO, camera-frame geometry, image consistency, visibility, temporal behavior를 supervision한다.

4 실험

ViDiHand is evaluated on three complementary egocentric hand benchmarks using coverage-aware metrics that penalize missed hands. It ranks first across nearly all metrics, with gains in detection robustness, pose accuracy, temporal smoothness, and challenging occlusion cases.

  • Dataset: 평가는 occlusion, distortion, motion blur, lighting, rapid motion, out-of-distribution generalization을 집중적으로 시험하는 ARCTIC, HOT3D, held-out HOI4D를 포괄한다.ARCTIC과 HOT3D는 in-distribution인 반면, HOI4D는 모든 방법의 명시적 supervised training에서 제외된다.
  • 평가 protocol: Coverage-aware metric은 false negative에 결정론적 placeholder error를 부과해, 어려운 frame을 건너뛰어 이득을 얻는 것을 막는다.이 protocol은 detection metric에 coverage-aware pose, orientation, position, temporal measure를 추가한다.
  • Quantitative results: 26 of 27 metrics rank ViDiHand first; ARCTIC FAcc reaches 0.997 versus 0.919 for WiLoR, reducing frame-error rate 27× from 8.1% to 0.3%.FAcc requires every on-screen hand to be correctly recovered, making it especially sensitive to missed hands.
  • 정량적 결과: ViDiHand의 HOT3D MPJPE-p는 21.5 mm로, best baseline의 31.0 mm에서 향상된다. ARCTIC EPE-p는 WildHands의 50.5 px에서 12.4 px로 감소한다.공동 예측된 손에 대해서도 ViDiHand는 대다수 metric에서 대부분의 baseline을 여전히 능가한다.
  • Quantitative results: ARCTIC jitter drops to 3.18, 4× below Dyn-HaMR’s 12.8, while ViDiHand uses neither a motion prior nor test-time optimization; on held-out HOI4D it ranks first on eight of nine metrics.The reported smoothness reflects backbone coherence plus a lightweight training-time regularizer rather than inference-time engineering.
  • Ablation: Mid-block feature와 τk≈0.7이 가장 우수한 성능을 보이고, pretrained video backbone이 대안을 능가한다. Decoder component를 제거하면 FAcc가 0.9979에서 0.9767–0.9829로 감소한다.L15는 모든 metric에서 최적 layer이며, heatmap localization과 mixed projection이 image-space placement를 이끈다.

5 결론

ViDiHand는 사전학습된 video diffusion prior를 hand-overlay training으로 특화하고 articulated pose와 image-space coordinates로 디코딩해 4D 양손 motion을 복원한다. offline tool로 작동하면서도 coverage-aware 성능에서 선도적 결과를 달성하며, distillation, 약한 supervision, 더 폭넓은 interaction settings의 필요성을 제시한다.

  • 기여: ViDiHand는 사전학습된 video diffusion prior, hand-overlay specialization, dual-branch decoder를 사용해 egocentric video에서 4D 양손 motion을 복원한다.Camera translation은 closed-form mixed-projection solve로 고정된다.
  • Results: ViDiHand ranks first on every coverage-aware metric on ARCTIC and HOT3D and on eight of nine on held-out HOI4D.It pairs near-complete detection coverage with competitive per-hand accuracy without inference-time smoothing.
  • 한계와 향후 연구: 4 A100 GPU에서 5.5 fps로 동작하는 ViDiHand는 현재 offline annotation tool이다.Distillation과 few-step 또는 autoregressive generator가 real-time inference로 나아가는 직접적인 경로로 제시된다.
  • 한계와 향후 연구: Joint-only annotation만으로도 Stage-1a overlay pretext를 구동할 수 있으므로, full MANO supervision은 필수적이지 않다.향후 확장 방향으로는 더 약한 label, image dataset, 추가적인 camera viewpoint, hand–object interaction을 넘어서는 interaction이 포함된다.

보충 자료

보충 자료에서는 먼저 평가 프로토콜과 metric을 형식화한 뒤, pairwise pose 비교, 측면별 detection F1 세부 분석, 추가 정성적 비교를 통해 본문 결과를 확장한다.

  • 평가 프로토콜: 보충 자료는 coverage-aware 평가 프로토콜을 도출하고 모든 평가 metric의 closed-form 정의를 제시하는 것으로 시작한다.이 자료는 이후 결과에 앞서 §A에 제시된다.
  • 추가 평가: 세 benchmark 전체에서 co-predicted hand를 대상으로 pairwise pose 비교를 추가한다.이 비교는 한 축을 따라 본문 평가를 확장한다.
  • 추가 평가: 또한 detection F1의 측면별 세부 분석과 13개의 추가 정성적 비교 figure를 제공한다.이 확장은 §§C, B, D에 제시된다.

A 평가 프로토콜 및 Metric 정의

The evaluation defines nine metrics across four categories, then aligns predictions with ground truth and applies a coverage-aware protocol that combines detection coverage with pose accuracy. All pose metrics use this protocol except Jitter, whose second-order finite difference requires three contiguous tracked observations.

  • 평가 프로토콜 및 Metric 정의: 아홉 개의 metric은 네 가지 범주로 구성되며, 정의, prediction–ground-truth alignment, coverage-aware evaluation을 순서대로 설명한다.coverage-aware protocol은 metric 정의(§A.1)와 alignment(§A.2) 이후 §A.3에서 소개된다.
  • 평가 프로토콜 및 Metric 정의: coverage-aware protocol은 모든 pose metric에 false negative를 반영하므로, detection coverage와 pose accuracy를 하나의 수치로 나타낸다.이 프로토콜로 계산된 metric에는 “-p” subscript가 붙으며, 이는 존재하는 모든 ground-truth hand가 기여함을 뜻한다.
  • Evaluation Protocol and Metric Definitions: All pose metrics use the coverage-aware protocol, while Jitter opts out because its second-order finite difference requires three contiguous tracked observations.Detection metrics are higher-better; the remaining metrics are lower-better.

A.1 Metric Definitions · A.2 Prediction–Ground-Truth Alignment

논문은 detection, coverage-aware 3D pose, absolute orientation 및 position, reprojection, temporal-smoothness metric으로 손 재구성 성능을 평가한다. Prediction은 permissive handedness-constrained IoU matching, visibility threshold, off-screen exclusion을 사용해 ground truth에 정렬한다.

  • A.1 Metric Definitions: loss term과 metric 전반에서 일관된 21-joint ordering을 사용하며, joint 0은 손목이다.Predicted joint는 camera-frame position이며 대응하는 ground-truth joint와 짝지어진다.
  • A.1 Metric Definitions: Detection metrics는 pose accuracy와 별개로 test frame 및 segment 전반의 corpus-level count를 사용해 좌우 손 검출을 독립적으로 평가한다.여기에는 false positive와 false negative를 균형 있게 반영하는 strict frame accuracy, recall, F1이 포함된다.
  • A.1 Metric Definitions: MPJPE-p와 PA-MPJPE-p는 root-relative 3D joint accuracy를 측정하며, coverage-aware aggregation은 canonical placeholder로 누락된 손에 불이익을 준다.MPJPE-p는 absolute translation을 제거하고, PA-MPJPE-p는 matched positive에서 global orientation, translation, scale도 추가로 제거하지만 raw missed-hand cost는 유지한다.
  • A.1 Metric Definitions: Absolute metrics는 root-relative articulation이 아니라 global wrist orientation, camera-frame translation, 2D reprojection을 평가한다.GO-p는 geodesic rotation error를 보고하고, CT-p는 3D wrist placement를 측정하며, EPE-p는 on-screen mask를 사용해 projected joint error를 집계한다.
  • A.1 Metric Definitions: Jitter는 최소 세 frame으로 이루어진 contiguous true-positive run에서 mm/frame2 단위의 second-order finite-difference magnitude 평균을 측정한다.False negative는 run을 끊으며, temporal difference에는 contiguous tracked identity가 필요하므로 jitter는 coverage-aware placeholder 없이 계산한다.
  • A.2 Prediction–Ground-Truth Alignment: 각 frame의 predicted MANO mesh와 ground-truth MANO mesh는 ground-truth box를 10% dilation한 뒤 bounding-box IoU 내림차순으로 greedy matching한다.Match에는 동일한 handedness와 IoU > τIoU=0.1이 필요하며, 이는 모호한 near-miss를 고려한 의도적으로 permissive한 threshold다.
  • A.2 Prediction–Ground-Truth Alignment: matched prediction은 hand-presence probability가 exceeds 0.5일 때 true positive가 되며, confidence는 각 baseline의 output type에 따라 해석한다.이 방법은 σ(ˆe) > 0.5로 thresholding한다. explicit-confidence baseline은 보고된 probability를 사용하고, tracker pipeline은 산출된 모든 prediction을 positive로 처리한다.
  • A.2 Prediction–Ground-Truth Alignment: ground-truth hand는 21개의 MANO joint 중 어느 것도 z > 0.01 m 조건으로 image 내부에 projection되지 않을 때 off-screen으로 간주하며, 이러한 손은 evaluation에서 제외한다.joint-based criterion은 MPJPE 및 EPE와 정렬되며, mesh fingertip의 일부만 보인다는 이유로 손을 visible로 분류하는 것을 방지한다.

A.3 커버리지 인식 평가 프로토콜

커버리지 인식 프로토콜은 탐지 누락을 포함해 모든 ground-truth 손을 평가하며, false negative에는 정규 MANO placeholder error를 할당한다. 이를 통해 true positive만 평가하는 대신 탐지 커버리지와 pose accuracy를 함께 반영하는 metric을 산출한다.

  • 동기: 표준 pose metric은 true-positive detection만 평가하므로, 모호한 프레임을 건너뛰는 보수적인 방법이 오히려 유리하게 평가될 수 있다.예측별 accuracy가 뛰어나면서 손의 85%를 탐지하는 방법이, accuracy는 약간 낮지만 97%를 탐지하는 방법보다 우수해 보일 수 있다.
  • Placeholder 구성: 각 false negative에 대해 이 프로토콜은 canonical MANO placeholder를 대입한다. 이는 camera origin에 위치한 identity-rotation, zero-pose, mean-shape 손이다.
  • Placeholder error: canonical placeholder는 wrist anchoring 후 ARCTIC에서 sample당 약 132 mm의 MPJPE를 산출하며, rest-pose에서 일반적인 articulation으로 이동할 때의 joint displacement를 반영한다.MPJPE는 root-relative이므로 absolute depth는 상쇄된다.
  • 커버리지 인식 metric: 이 metric은 detection coverage와 pose accuracy를 함께 반영하며, 누락된 손에는 상당한 결정론적 비용을 부과하고 부정확한 prediction에도 penalty를 준다.Placeholder error는 고정 상수로 처리하지 않고, 누락된 손의 실제 pose, orientation, position을 사용해 sample별로 계산한다.

B 측면별 손 검출 분석

측면별 검출 분석은 세 벤치마크에서 왼손, 오른손, 전체 F1을 사용해 좌우 혼동을 분리해 분석한다. ViDiHand는 일관성이 매우 높은 반면, baseline의 비대칭성은 HOI4D에서 가장 심하며 이는 존재하지 않는 손에 대한 잘못된 예측 때문이다.

  • HOI4D 비대칭성: HOI4D에서 다섯 baseline은 왼손 F1 0.385에서 0.473 사이에 도달하며, 데이터셋 전반에서 가장 심한 비대칭성을 보인다.대부분의 clip에서 한 손 조작이 나타나므로 이러한 pipeline은 존재하지 않는 쪽에 잘못된 예측을 출력한다.
  • ViDiHand 성능: ViDiHand는 모든 데이터셋에서 측면별 F1을 0.981 이상으로 유지한다.이는 평가된 벤치마크 전반에서 좌우 손 검출이 일관됨을 나타낸다.
  • 측면별 검출 지표: Table 7은 세 벤치마크에서 8개 baseline과 ViDiHand의 왼손, 오른손 및 결합 검출 F1을 평가한다.F1은 높을수록 좋으며, 이 분석에서는 비대칭적인 측면별 F1을 좌우 혼동의 척도로 취급한다.

C 공동 예측 손에 대한 쌍별 비교 · D 추가 정성적 비교

공동 예측 손 비교는 누락된 손을 제외해 baseline에 유리한 프로토콜을 사용하지만, ViDiHand는 가림, 잘림, 주변부 시점, 손-물체 상호작용 전반에서 강한 정성적 강건성을 보인다. 추가 비교는 projected joints, mesh overlays, novel-view renderings를 사용해 ARCTIC, HOT3D, in-the-wild 클립을 다룬다.

  • C 공동 예측 손에 대한 쌍별 비교: Tables 8–10은 두 방법이 같은 손쪽을 예측하고 ground-truth 손이 보이는 경우에만 baseline / ViDiHand metrics를 보고한다.이 관례적 프로토콜은 공동 예측된 손에 대한 pose를 집계하며, 누락된 손은 기여하지 않도록 한다.
  • C 공동 예측 손에 대한 쌍별 비교: 이 프로토콜은 어려운 누락 손을 제외하므로 baseline에 유리하며, in-distribution 데이터에서 baseline의 승리는 Procrustes-aligned MPJPE에 집중된다.이 정렬에서는 강력한 crop-based 및 SLAM-refined baseline이 검출된 손에서 ViDiHand와 맞먹거나 이를 능가할 수 있다.
  • C 공동 예측 손에 대한 쌍별 비교: held-out HOI4D에서는 baseline의 승리가 Procrustes-aligned MPJPE, 2D reprojection, camera translation 전반으로 확대된다.ViDiHand는 명시적인 HOI4D supervision 없이 ARCTIC과 HOT3D로 학습되지만, pretrained corpus에서 우연히 노출되었을 가능성은 배제할 수 없다.
  • D 추가 정성적 비교: 정성적 figure는 projected 2D joints, reprojected MANO overlays, three novel-viewpoint 3D renderings를 통해 8개 baseline과 ViDiHand를 비교한다.비교는 ARCTIC, HOT3D, in-the-wild 클립을 아우르며, in-the-wild 예시에서는 ground-truth MANO를 생략한다.
  • D 추가 정성적 비교: ARCTIC 예시 전반에서 ViDiHand만이 물체, frame boundary, 또는 가림으로 손 대부분이 숨겨진 경우에도 일관되게 두 손과 그럴듯한 articulation을 복원한다.Baseline은 한 손 또는 두 손을 자주 놓치고, articulation을 왜곡하거나, 가려진 손을 잘못된 depth에 배치한다.
  • D 추가 정성적 비교: HOT3D 예시 전반에서 ViDiHand는 어둡고, fisheye이며, 주변부에 위치하고, 흐리거나 심하게 가려진 장면에서도 hand position, orientation, depth, articulation을 보존한다.Baseline은 흔히 손을 놓치거나 mesh를 붕괴시키며, position, depth, articulation을 잘못 예측한다.
  • D 추가 정성적 비교: In-the-wild 예시는 cloth occlusion, shelf-edge occlusion, uneven lighting, severe depth 또는 rotation error 상황에서 ViDiHand가 그럴듯한 bimanual 또는 single-hand pose를 복원함을 보여준다.Baseline은 손을 놓치고, detection을 중복 생성하며, blob 또는 phantom hand를 만들거나, depth, rotation, articulation을 잘못 추정한다.

E 구현 세부사항

구현은 데이터, decoder, loss, 두 단계 training procedure를 통해 전체 pipeline을 구체화한다. 비디오 backbone은 Wan2.1-VACE이며, VACE branch는 egocentric input video를 conditioning으로 사용한다.

  • 이 절에서는 전체 pipeline을 구성하는 데이터, decoder architecture, loss, 두 단계 training procedure를 종합한다.
  • Wan2.1-VACE는 1.3-billion-parameter video diffusion transformer이며, VACE branch를 통해 egocentric input video를 conditioning으로 주입한다.
  • L15는 30개 transformer block 중 15번째를 뜻하며, τ_k는 τ=0의 순수 noise에서 τ=1의 완전히 denoised된 상태까지 이어지는 정규화된 denoising step을 뜻한다.

E.1 데이터셋 및 카메라 … E.5 통제된 피팅 연구: Feature Slice의 용량

부록에서는 ViDiHand에서 사용한 데이터셋, 카메라 인식 decoder, 손실 함수, 단계적 학습을 명시한 뒤, 선택한 mid-denoise feature slice가 MANO decoding을 지원할 수 있는지 검증한다. 또한 실험 해석을 위해 데이터셋 노출 범위와 held-out 평가 조건을 기록한다.

  • E.1 데이터셋 및 카메라: 모든 clip은 연속된 81-frame segments를 사용하며, 21 latent frames로 압축한 뒤 height 480으로 resizing하고 데이터셋별 spatial patch grids를 적용한다.그리드는 ARCTIC의 경우 30×42, HOT3D의 경우 30×30, HOI4D의 경우 30×54이며, HOI4D는 patchification 전에 854에서 864 pixels로 padding한다.
  • E.1 데이터셋 및 카메라: HOI4D는 16개 category에 걸친 800+ object instances를 포함하는 held-out 15-fps test set이며, ViDiHand를 포함한 어떤 method도 이 데이터셋으로 학습하지 않는다.대부분 single-handed인 clip에서는 연속된 긴 구간에 대해 “no hand on screen”을 보고해야 한다.
  • E.2 Decoder Architecture; E.2.1 Ray-Space Positional Encoding: 37-million-parameter decoder는 고정된 Stage-1b DiT activations를 읽고, per-hand token branch와 joint-heatmap branch를 mutual cross-attention으로 결합해 MANO parameters를 예측한다.hand-token branch는 ray-space encoding을 사용하며, heatmap branch는 손마다 21 joint estimates와 visual descriptors를 생성한다.
  • E.2.1 Ray-Space Positional Encoding: Ray-space positional encoding은 pinhole intrinsics에서 camera-ray directions를 계산하고, spatial positional encoding에 camera-aware corrections를 residual 방식으로 더한다.그 기여도는 zero-initialized이므로 decoder는 처음에 spatial encoding만 사용하고 ray-space corrections를 점진적으로 학습한다.
  • E.2.2 Mixed-Projection Camera-Translation Head: Mixed-Projection Head는 log-depth를 regress하지만, refined heatmap anchors로부터 independent scalar least-squares problems를 풀어 in-plane translation을 analytically 구한다.유효한 경우 21개 joint가 모두 참여하며, per-frame 및 per-hand masking으로 유효 system size를 조정한다.
  • E.4 Two-Stage Training Pipeline; E.4.1 Stage 1a: Joint-Overlay Pretraining on EgoDex; E.4.2 Stage 1b: MANO Mesh-Overlay Finetuning; E.4.3 Stage 2: MANO Decoder Training: 학습에서는 EgoDex joint-overlay pretraining, ARCTIC/HOT3D mesh-overlay finetuning, cached Stage-1b features를 이용한 decoder training으로 VACE를 adapt한다.Stage 1a는 25 k steps, Stage 1b는 sampling weights (0.283, 0.717)로 10 k steps 수행하며, Stage 2는 30 k steps 동안 학습한다.
  • E.5 Controlled Fitting Study: Capacity of the Feature Slice: 통제된 single-segment ARCTIC fitting study는 frozen default L15, τk≈0.7 feature slice가 정확하고 시간적으로 일관된 MANO decoding에 충분한 정보를 포함하는지 검증한다.decoder는 MPJPE-p를 평가하기 전에 full decoder loss로 3 k steps 동안 fit한다.

F ARCTIC에서의 손실 항 Ablation

ARCTIC 손실 항 ablation은 training protocol과 backbone을 고정한 채 decoder loss를 한 번에 하나씩 제거한다. 모든 제거는 MPJPE-p를 악화시키며, acceleration smoothness는 temporal jitter를 구체적으로 regularize한다.

  • Ablation protocol: 각 ablation은 다른 모든 항, training protocol, backbone을 고정한 채 전체 decoder objective에서 one loss term을 제거한다.Stage-2 decoder training은 ARCTIC만 사용하며, Stage-1b VACE backbone은 ARCTIC + HOT3D에서 계속 학습된다.
  • Loss-term effects: 어떤 단일 loss term을 제거해도 MPJPE-p가 증가한다. shape consistency는 0.12 mm로 증가 폭이 가장 작고, geodesic rotation은 0.84 mm로 가장 크다.비교 기준은 full objective다.
  • Loss-term effects: acceleration smoothness를 제거하면 Jitter가 3.42에서 3.88 mm/frame2로 증가해, 이 metric을 실질적으로 변화시키는 유일한 loss가 된다.이 결과는 acceleration smoothness가 temporal regularizer임을 보여준다.
Loading 2606.30308v2…