Source-linked AI summary
Everybody Dance Now
Caroline Chan, Shiry Ginosar, Tinghui Zhou, Alexei A. Efros
TL;DR
프레임이 정확히 대응하는 학습 쌍 없이 소스 수행자의 동작을 타깃으로 옮기기는 어렵다. 이 논문은 pose-guided video translation을 사용해 서로 다른 수행자와 외형 간에도 설득력 있고 고품질인 motion-transfer 결과를 보고한다.
문제
소스와 타깃 피사체 사이에 프레임 간 pose correspondence가 정확히 존재하지 않아 supervised image-to-image translation이 어렵다.
방법
이 방법은 pose를 검출하고 정규화한 뒤 타깃 피사체에 매핑하며, temporal coherence를 모델링하고 전용 generator로 얼굴을 개선한다.
결과
이 방법은 사실적인 in-the-wild 입력의 복잡한 동작을 포함해 설득력 있고 고품질이며 세밀한 motion-transfer 영상을 생성한다.
시사점 및 한계
이 접근법을 사용하면 훈련받지 않은 아마추어도 발레 회전, 무술 발차기, 역동적인 춤과 같은 전이된 동작을 수행할 수 있다.
시사점 및 한계
이 모델은 헐렁한 옷이나 머리카락에서 비롯된 시각적 아티팩트, 누락된 신체 부위, 고주파 셔츠 텍스처를 처리하는 데 어려움을 겪는다.
Abstract
from arXiv · showhide
This paper presents a simple method for "do as I do" motion transfer: given a source video of a person dancing, we can transfer that performance to a novel (amateur) target after only a few minutes of the target subject performing standard moves. We approach this problem as video-to-video translation using pose as an intermediate representation. To transfer the motion, we extract poses from the source subject and apply the learned pose-to-appearance mapping to generate the target subject. We predict two consecutive frames for temporally coherent video results and introduce a separate pipeline for realistic face synthesis. Although our method is quite simple, it produces surprisingly compelling results (see video). This motivates us to also provide a forensics tool for reliable synthetic content detection, which is able to distinguish videos synthesized by our system from real data. In addition, we release a first-of-its-kind open-source dataset of videos that can be legally used for training and motion transfer.
1. 서론
이 논문은 pose를 매개로 하는 간단한 video-to-video 방법을 제안해 source performer의 motion을 다른 target subject에게 전이하고, 설득력 있는 합성 영상을 생성한다. 또한 synthetic-video detection과 motion transfer 및 fake detection을 위한 open-source dataset을 기여한다.
- 1. 서론: 이 방법은 두 subject의 appearance 사이에서 video-to-video mapping을 학습해 source video의 motion을 target subject에게 전이한다.amateur도 source sequence를 직접 수행하지 않고 ballet, martial arts, 생동감 있는 pop-star dancing과 같은 motion을 수행할 수 있게 한다.
- 1. 서론: 이 접근법은 frame별로 일치하는 motion을 수행하지 않은 subject 사이의 직접적인 image translation을 피함으로써 paired frames의 부재를 해결한다.같은 routine을 수행하더라도 supervised learning에 필요한 정확한 pose correspondence가 안정적으로 생성되지는 않는다.
- 1. 서론: Pose stick figure는 subject identity를 추상화하면서 시간에 따른 motion을 보존하므로 intermediate representation으로 사용된다.이 접근법은 OpenPose [6] [34]와 같은 off-the-shelf human pose detector를 사용하고 pose-to-image translation을 학습한다.
- 1. 서론: 이 논문은 사실적인 in-the-wild video에서 설득력 있고 고품질인 motion-transfer 결과를 보고하며, 이 방법으로 합성된 video를 탐지하는 tool을 소개한다.이 detection application은 생성 결과의 품질에 의해 동기를 얻었다.
- 1. 서론: 공개된 dataset은 training과 evaluation을 위한 5개의 긴 single-dancer video와 transfer 및 fake detection을 위한 다수의 짧은 YouTube video를 결합한다.single-dancer data는 motion-transfer와 video-generation 연구를 위한 high-resolution open-source data로 지정된다.
2. 관련 연구
기존 motion transfer 연구는 video manipulation, optical-flow retargeting, 3D graphics, multi-camera capture, deep generative models를 아우른다. 본 연구는 2D pose representation, personalized video data, image-to-image translation을 사용해 인간 피사체 간 full-body transfer를 수행하는 데 초점을 둔다.
- 관련 연구: 초기 방법들은 기존 영상을 조작하거나, “Do as I do” 및 “Do as I say” retargeting에 optical flow를 사용하거나, inverse-kinematic 3D graphics를 적용했다.이러한 접근에는 발화되지 않은 음성을 합성하고 animated character 간 motion을 retargeting하는 방법이 포함된다.
- 관련 연구: Calibrated multi-camera systems는 target actor를 스캔하고, 3D joint를 추정하며, personalized kinematic model을 fitting한 뒤 새로운 motion을 rendering한다.이러한 방법은 정교한 multi-view capture와 3D modeling에 의존한다.
- 관련 연구: Deep reanimation 방법은 facial motion 또는 rigged 3D character를 합성하는 반면 [19], MoCoGAN 과 Dynamics Transfer GAN [2]은 motion과 appearance를 disentangle해 novel-motion video를 생성한다.이들 연구와 달리 본 방법은 skeleton과 유사한 intermediate representation을 사용해 인간 피사체 간 full-body motion을 transfer한다.
- 관련 연구: Pose-conditioned image 및 video generation은 새로운 human pose를 위한 architecture와 loss를 도입했지만 [27] [28] [33], 본 연구는 personalized video data를 통해 한 명의 알려진 인물의 style을 학습해 세밀한 dancing video를 생성한다.차이는 한 장의 image로부터 보지 못한 인물의 view를 생성하는 것과, 상당한 video data로부터 알려진 인물을 합성하는 것 사이에 있다.
- 관련 연구: 동시기에 제안된 방법들은 facial 또는 pose-to-body transfer를 위한 video mapping을 학습하며 [1] [4] [24], 그중에는 유사한 quality를 보이지만 complexity와 computational cost가 더 큰 방법도 있다.이 접근은 OpenPose [6] [34]와 DensePose 를 포함한 robust pose estimation 및 image-to-image translation의 발전으로 가능해졌다.
3. 방법
이 방법은 pose-conditioned video-to-video translation을 통해 source performer의 motion을 target subject로 전달한다. pose detection, global pose normalization, adversarial image synthesis, temporal smoothing, specialized face refinement를 결합한다.
- Pipeline: Pipeline은 source pose를 검출하고 target의 신체 형태와 위치에 맞게 정규화한 뒤, adversarial training을 사용해 변환된 stick figure를 target-person image로 매핑한다.이를 통해 motion extraction, retargeting, appearance synthesis를 세 단계로 분리한다.
- Global pose normalization: Global pose normalization은 pose height와 ankle position을 사용해 source keypoint를 변환하므로, 전달된 motion이 target의 사지 비율과 camera location에 맞는다.이는 video 간 신체 형태와 subject distance의 차이를 다룬다.
- Temporal smoothing: 단일 frame translation은 temporal artifact를 만들고 세밀한 human-motion detail을 놓치므로, 이 방법은 adjacent frame을 jointly 예측하고 학습된 temporal-coherence model을 추가한다.첫 번째 frame은 사용할 수 없는 이전 generated frame에 zero placeholder를 사용하고, 다음 frame은 preceding output을 조건으로 한다.
- Face GAN: Face GAN은 nose-centered 128 × 128 crop을 refinement하며, main generator의 face output에 더할 residual을 예측하고 ground-truth face와 perceptual reconstruction을 수행한다.Full-image GAN과 face GAN은 별도 단계에서 학습하며, face-GAN optimization 동안 full-image weight는 고정한다.
4. 실험
실험 결과, 제안 방법은 nearest-neighbor 및 PoseWarp baseline보다 선호되며, temporal smoothing과 Face GAN은 각각 video quality와 realism을 향상시킨다. 평가는 held-out target-subject data에 대한 Mechanical Turk perceptual study와 SSIM 및 LPIPS 측정을 결합한다.
- 평가 설정: 평가는 촬영된 target subject 전반에서 10초 transfer snippet을 사용하며, 각 task에서 100명의 서로 다른 MTurk 참가자가 144×256 video pair를 시청한다.연구에서는 perceptual judgment를 사용해 제안 방법을 baseline 및 ablation condition과 비교하고, ablation quality는 SSIM 및 LPIPS로 추가 측정한다.
- baseline과의 비교: 91.2%와 79.1%: FBF+TS ablation은 각각 Nearest Neighbors와 PoseWarp보다 선호되었으며, 이는 이러한 우위가 Face GAN synthesis만으로 설명되지 않음을 보여준다.full model은 FBF+TS보다 약간 더 자주 선호되었다.
- Ablation study: SSIM과 LPIPS는 body region 및 full image에서 model variant 간 유사하지만, full model은 FBF+TS보다 face-region 결과를 향상시킨다.모든 variant가 static background를 생성할 수 있으므로 full-image similarity에는 한계가 있지만, face residual generator는 complete model을 구별한다.
- Ablation study: 58.8%와 53.3%: perceptual study에서 full model은 각각 frame-by-frame synthesis와 FBF+TS보다 선호되었다.이 결과는 temporal information이 video result를 향상시키며 Face GAN이 추가적인 전반적 이점을 제공함을 나타낸다.
- 정성적 결과: Temporal modeling은 frame-to-frame coherence를 높이며, specialized facial generator와 discriminator는 facial detail과 realism을 더한다.temporal smoothing 효과는 qualitative video result와 perceptual study에서 가장 뚜렷하게 나타나는 반면, Face GAN의 이점은 single-frame comparison에서도 확인된다.
5. 가짜 비디오 탐지
이 논문은 frame fidelity와 temporal consistency를 모두 활용해 생성된 시퀀스를 식별하는 two-frame fake-video detector를 학습한다. 학습에서 제외한 14명의 피험자에 대해 평가한 결과, source motion 전반에서 real video와 fake video를 구분하며, same-person transfer에서 정확도가 가장 낮고 Misty Copeland motion에서 가장 높다.
- Detector 설계: fake-detector는 두 개의 연속 프레임을 real 또는 fake로 분류하며, 개별 프레임의 fidelity와 temporal consistency를 모두 활용한다.합성 과정과 병렬로 학습하며, ground-truth frame을 real example로, generated frame을 fake example로 사용한다.
- Data와 training: 학습에는 공개 1920 × 1080 dancing video에서 추출한 48명의 피험자를 사용하며, 별도의 synthesis model이 detector 학습용 fake content를 생성한다.14명의 피험자는 testing에서 제외하며, multi-subject 학습 설정은 generalization 향상을 목표로 한다.
- Evaluation: detector는 학습에서 제외한 각 target subject에 대해 Bruno Mars와 Misty Copeland를 포함한 same-subject 및 different-subject source motion 모두에서 평가된다.이를 통해 fake video 합성에 사용된 source-target 관계를 넘어 detection이 generalize되는지 검증한다.
- Results: fake-detection accuracy는 same-person motion transfer에서 가장 낮고, prima ballerina Misty Copeland에게서 motion이 온 경우 가장 높다.평가에는 학습에서 제외한 14명의 test subject에 대해 합성한 video가 포함되며, 결과는 Table 5에 제시된다.
6. 잠재적 응용
이 시스템은 여러 피사체가 동기화된 댄스 영상을 지원하며, 상업용 augmented-reality 및 게임 내 엔터테인먼트 응용에도 활용되었다.
- 다중 피사체 동기화: 이 시스템은 하나의 소스 영상으로 여러 명의 학습된 타깃 피사체를 구동해 동일한 춤 동작을 동기화하여 수행하게 할 수 있다(Figure 8).여러 피사체가 등장하는 가족 재회 영상을 제작하는 데 활용할 수 있다.
- 상업적 응용: Prototype 기반 시스템은 부유하는 3D-rendered 무용수가 등장하는 augmented-reality 무대 작품 과 NBA 선수들을 춤추게 하는 게임 내 응용 에 상업적으로 사용되었다.
7. 한계와 논의
이 모델은 source 동작으로부터 임의로 긴 고품질 댄스 영상을 생성할 수 있지만, pose representation, detection 실패, 시각적 artifact에 의해 성능이 제한된다. 팔다리 길이와 카메라 위치가 일치하지 않아도, 관찰하지 못한 다양한 source 동작에 비교적 잘 일반화된다.
- 전반적인 한계: 이 모델은 일반적으로 source 댄서의 동작을 따르는 target 댄서의 임의로 긴 고품질 영상을 생성하지만, 여전히 몇 가지 한계가 있다.이 방법의 능력은 아래에서 논의하는 한계의 영향을 받는다.
- 시각적 artifact: 헐렁한 옷과 머리카락, OpenPose에서 누락된 팔다리, 셔츠 주름의 texture artifact가 합성 영상의 품질을 저하시킬 수 있다.저자들은 다양한 의복이나 장면 조명을 포함한 target 영상을 사용하고, pose detection을 개선하며, artifact를 완화할 것을 제안한다.
- Pose normalization: Pose normalization은 서로 다른 팔다리 길이나 카메라 위치를 고려하지 않으므로, training과 testing 동작 사이의 간극이 커진다.이러한 불일치는 pose representation의 한계로 남는다.
- 동작 일반화: Pose 불일치에도 불구하고, 이 모델은 새로운 동작에 비교적 잘 일반화되며, 유사한 target 동작을 요구하지 않고도 광범위한 source 동작을 포괄하는 하나의 모델을 학습한다.target sequence를 촬영할 때 특정 source 동작을 가정하지 않으므로, target은 어떤 source와 닮은 동작도 수행할 필요가 없다.
8. 부록
부록에서는 512 × 256에서 vid2vid와의 비교 가능한 품질, 구현 세부사항, 데이터셋 수집 방식, 그리고 source와 target의 framing을 맞추기 위한 pose normalization 절차를 보고한다.
- 구현 세부사항: 모델은 temporal prediction을 위해 pix2pixHD architecture를 수정하고, progressive 512 × 256 then 1024 × 512 synthesis를 사용하며, Patch-GAN face-residual pipeline을 추가한다.학습에는 λP = 5와 λV GG = 10을 사용하며, global stage는 수집한 데이터셋에서 5 epochs 동안 학습한다. perceptual loss는 다섯 VGG-19 layer의 output을 비교한다.
- 데이터셋: 공개된 target-video dataset에는 법적으로 동의한 피험자가 직접 촬영한 8–17분 분량의 영상이 포함되며, source videos는 static camera로 촬영된 in-the-wild 단일 댄서 clip이다.target set에는 1920 × 1080 video 네 개와 1280 × 720 video 한 개가 포함되며, 피험자는 다양한 경로에서 모집했다.
- vid2vid와의 비교: 512 × 256에서 우리 system과 vid2vid는 대체로 비슷하게 perform하며, 정성적 비교에서 comparable-quality result를 생성한다.vid2vid에는 과도한 memory와 computing power가 필요하므로 high-resolution comparison은 실행할 수 없었다. Figure 10은 Face GAN을 제외한 model을 비교한다.
- Pose normalization: Pose normalization은 source keypoint를 target의 camera-relative position과 apparent size에 맞도록 translation하고 scaling하며, ankle y position을 ground axis에 맞춰 정렬한다.이 방법은 ankle coordinate로부터 close와 far position을 추정하고, ankle-to-nose Euclidean distance로 subject height를 계산하며, close/far에 별도의 scale factor를 적용한다.
- Pose normalization: Far-position heuristic은 median보다 위에 있는 ankle coordinate를 clustering하며, α = 0.7이 대체로 효과적이지만 camera height와 subject motion range에 맞게 조정할 수 있다.Close position은 frame 전체에서 ankle y coordinate의 average가 최대가 되는 값으로 결정한다.