Source-linked AI summary
Learnable Triangulation of Human Pose
Karim Iskakov, Egor Burkov, Victor Lempitsky, Yury Malkov
TL;DR
소수의 카메라 뷰에서 다중 뷰 3D human pose estimation을 수행하는 일은 여전히 중요하지만 상대적으로 연구가 부족한 과제다. 이 논문은 learnable algebraic 및 volumetric triangulation 방법을 제안하며, volumetric 접근법은 state-of-the-art 성능을 달성하고 RANSAC 대비 약 30%의 추가 오차 감소를 보인다.
문제
소수의 뷰에서 정확한 다중 뷰 3D human pose estimation을 수행하는 일은 직접적인 실용적 응용이 있는 중요하고 상대적으로 연구가 부족한 과제로 남아 있다.
방법
이 논문은 confidence-weighted algebraic triangulation과 다중 뷰 2D feature의 volumetric aggregation을 사용해 3D pose heatmap으로 정제하는 differentiable learnable triangulation을 제안한다.
결과
volumetric 방법은 RANSAC 대비 약 30%의 추가 오차 감소를 달성했으며, state-of-the-art 성능과 데이터셋 간 일반화 성능을 보였다.
핵심 시사점 및 한계
Learnable triangulation은 정확한 pose estimation에 필요한 뷰 수를 크게 줄이고 카메라 설정과 데이터셋 간에 전이될 수 있다.
핵심 시사점 및 한계
Volumetric 접근법은 algebraic triangulation에 의존하므로 pelvis를 관측하는 카메라 뷰가 최소 두 개 필요하다.
Abstract
from arXiv · showhide
We present two novel solutions for multi-view 3D human pose estimation based on new learnable triangulation methods that combine 3D information from multiple 2D views. The first (baseline) solution is a basic differentiable algebraic triangulation with an addition of confidence weights estimated from the input images. The second solution is based on a novel method of volumetric aggregation from intermediate 2D backbone feature maps. The aggregated volume is then refined via 3D convolutions that produce final 3D joint heatmaps and allow modelling a human pose prior. Crucially, both approaches are end-to-end differentiable, which allows us to directly optimize the target metric. We demonstrate transferability of the solutions across datasets and considerably improve the multi-view state of the art on the Human3.6M dataset. Video demonstration, annotations and additional materials will be posted on our project page (https://saic-violet.github.io/learnable-triangulation).
1. 서론
Multi-view 3D pose estimation은 in-the-wild 단안 pose의 ground truth를 확보하고, 소수의 카메라로 구성된 실용적 setup에서 실시간 tracking을 수행하는 데 유용하다. 이 논문은 정확한 3D pose에 필요한 view 수를 줄이도록 설계된 두 가지 learnable-triangulation 방법을 제안하고, Human3.6M과 CMU Panoptic에서 평가하여 아직 충분히 탐구되지 않은 문제를 다룬다.
- 동기: Multi-view pose estimation은 단안 3D pose estimation을 위한 in-the-wild ground truth를 제공할 수 있지만 [5] [22], marker 기반 및 visual-inertial 대안에는 한계가 있다.이러한 한계에는 제한적인 pose 표현과 의복 제약이 포함되며, 기존 multi-view dataset 구축에는 비현실적으로 많은 view가 필요했다 [5] [22].
- 동기: 소수의 카메라를 사용하는 multi-view system은 스포츠와 computer-assisted living 같은 응용 분야에서 multi-camera setup이 보편화됨에 따라 실시간 human-pose tracking을 직접 지원할 수 있다.실용적인 system은 대개 몇 개 이상의 view를 사용하지 않으므로, 이러한 환경에 적합한 방법이 필요하다.
- 기여: 이 논문은 multi-view pose estimation이 아직 충분히 탐구되지 않았다고 주장하며, 정확한 3D pose에 필요한 view 수를 줄이는 서로 연관된 두 가지 learnable-triangulation 방법을 제안한다.두 방법 모두 marker 기반 motion-capture 또는 “meta”-ground-truth supervision을 사용해 학습된다.
- 실험: Human3.6M 과 CMU Panoptic [5]에서 수행한 실험은 제안 방법이 state-of-the-art 정확도와 데이터셋 간 일반화 성능을 보인다고 보고한다.평가는 정확도와 데이터셋 간 transferability를 모두 다룬다.
2. 관련 연구
기존 연구는 단일 뷰 3D pose estimation을 2D-to-3D lifting과 직접적인 image-based prediction으로 나누며, multi-view 방법은 좌표 융합, volumetric representation 또는 반복적인 3D pose-prior refinement를 사용한다. 제안 방법은 learnable volume processing과 end-to-end training을 통해 기존 volumetric 방법과 차별화된다.
- 단일 뷰 3D pose estimation: 단일 뷰 방법은 deep network로 고품질 2D 추정치를 3D로 lifting하거나 volumetric representation을 사용해 이미지에서 3D pose를 직접 예측한다 [8] [16].Lifting 방식은 간단하고 빠르며, skeleton과 view augmentation을 적용한 motion-capture training을 사용할 수 있다.
- Multi-view 3D pose estimation: Multi-view 연구는 주로 ground-truth annotation 생성을 목표로 하며, 다른 방법은 모든 뷰의 2D joint를 concat해 global 3D coordinate를 fully connected prediction한다 [14] [5] [6].좌표 융합 방식은 서로 다른 뷰의 정보를 사용하며 motion-capture data로 학습할 수 있다.
- Multi-view 3D pose estimation: 초기의 multi-view volumetric 방법은 pretrained 2D keypoint heatmap을 volume으로 unproject한 뒤 non-learnably aggregate했다 [12, 5].제안 방법은 대신 volume 내부의 정보를 learnably 처리하고 network를 end-to-end로 학습해, 해석 가능한 heatmap 없이도 2D backbone을 조정한다.
- Multi-view 3D pose estimation: 별도의 multi-stage 방법은 external 3D pose prior를 사용해 [17] [18], 3D pose를 camera view로 반복적으로 reproject하고 prediction과 fusion해 pose를 재추정했다.먼저 모든 뷰에서 2D joint heatmap을 추출하고, 3D pose-prior space에서 latent coordinate를 최적화한 다음 reprojection과 convolutional fusion을 반복한다.
3. 방법
이 방법은 알려진 projection matrices를 사용하는 동기화된 다중 카메라 비디오에서 두 가지 differentiable triangulation 접근법, 즉 confidence-weighted algebraic triangulation과 3D refinement를 포함한 volumetric aggregation을 통해 프레임별 global 3D joint positions를 추정한다.
- 방법 개요: 시스템은 동기화된 카메라 프레임을 시간축에서 독립적으로 처리해 고정된 human joints 집합의 global 3D positions를 추정한다.알려진 camera projection matrices와 장면 내 단일 인물을 가정한다.
- Algebraic triangulation: algebraic baseline은 differentiable soft-argmax로 2D joint positions를 추출한 뒤, projection 기반 homogeneous linear system을 풀어 이를 triangulation한다.inverse temperature α = 100은 gradient flow를 유지하면서 초기에 soft-argmax가 heatmap maxima를 근사하도록 한다.
- Algebraic triangulation: Learned camera-joint weights는 각 view가 triangulation에 기여하는 정도를 조정해 신뢰하기 어려운 occluded views를 처리하며, 제외된 카메라의 gradient가 차단될 위험이 있는 RANSAC의 한계를 피한다.weights는 intermediate backbone features에서 convolutional branch를 통해 예측되며 detector와 함께 joint하게 학습된다.
- Volumetric triangulation: features를 3D 공간으로 lifting하면 잘못된 predictions를 공간적으로 분리할 수 있고, camera parameters를 통합하며 pose priors를 모델링하고 multimodal 2D detections를 처리할 수 있다.volumetric representation은 카메라별 독립 처리를 극복하고 일관되지 않은 evidence에 convolutional filtering을 적용하도록 설계된다.
4. 실험
Human3.6M과 CMU Panoptic에서 수행한 실험은 learnable volumetric triangulation이 algebraic 및 RANSAC baseline을 크게 능가하고, 더 적은 view에서도 효과를 유지하며, 데이터셋 간 전이가 가능함을 보여준다. 또한 이 방법은 monocular estimation을 지원하고, occlusion 상황에서 학습된 3D pose prior의 이점을 얻는다.
- Human3.6M: Human3.6M에서 absolute MPJPE는 3.9 cm voxel size보다 훨씬 작으며, 이는 subpixel을 분해하는 soft-argmax의 중요성을 보여준다.absolute-coordinate 평가는 ground-truth annotation이 잘못된 장면을 제외하며, Table 2에 보고된다.
- Human3.6M: 단일 camera에서 volumetric method는 한 대에서 네 대까지 임의의 camera 수로 학습한 뒤 별도 tuning 없이 49.9 mm error를 달성한다.monocular estimation에서는 pelvis를 기준으로 한 joint position에 L1 loss를 사용해 학습한다.
- CMU Panoptic: 네 대의 camera만 사용해도 volumetric triangulation은 CMU의 meta-ground-truth에서 28대의 camera로 얻은 RANSAC accuracy를 능가한다.error-versus-camera-count 실험은 임의의 camera subset을 sampling하며, 실제 환경에서 필요한 camera 수가 줄어듦을 보여준다.
- CMU Panoptic: CMU Panoptic에서 volumetric triangulation은 algebraic triangulation보다 극적인 이점을 보이며, 특히 강한 occlusion과 신체 부위 누락 상황에서 두드러진다.저자들은 이 이점을 학습된 3D pose prior에 기인한다고 설명하며, 비교에는 네 대의 camera validation scene에서의 absolute MPJPE를 사용한다.
- 데이터셋 간 전이: CMU에서 학습한 model을 Human3.6M으로 전이하면 learnable triangulation은 36 mm MPJPE, volumetric triangulation은 34 mm를 보인다.이 error는 Human3.6M에서 직접 학습한 method가 얻은 16–18 mm보다 높지만, 데이터셋 간 일반화 성능으로는 합리적인 수준이라고 설명된다.
5. 결론
이 논문은 Human3.6M에서 state-of-the-art 다중 뷰 3D human pose estimation 성능을 달성하는 두 가지 learnable triangulation 방법을 제시한다. 높은 정확도에 필요한 뷰 수를 줄이고 temporal processing 없이 매끄러운 CMU Panoptic pose sequence를 생성하지만, 단일 인물 장면만 지원하며 volumetric triangulation에는 최소 두 뷰에서 pelvis가 보여야 한다.
- 결론: 제안한 두 가지 learnable triangulation 방법은 Human3.6M dataset에서 state-of-the-art 성능을 달성한다.이 방법들은 다중 뷰 3D human pose estimation을 위한 새로운 해법으로 제시된다.
- 결론: 이 방법들은 높은 정확도에 필요한 뷰 수를 획기적으로 줄이고 temporal processing 없이 매끄러운 CMU Panoptic pose sequence를 생성한다.저자들은 이러한 매끄러운 출력이 CMU Panoptic ground-truth annotation을 잠재적으로 개선할 수 있다고 제안한다.
- 결론: 이 접근법은 단일 인물만 지원하며, volumetric triangulation에는 최소 두 camera view에서 pelvis가 관측되어야 한다.2D human detection에 ReID를 적용하면 단일 인물이라는 한계를 완화할 수 있지만, volumetric 방법이 algebraic-triangulation prediction에 의존한다는 점은 여전히 제약이다.