PaperlayerView exact revision on arXiv

Source-linked AI summary

High-Resolution Virtual Try-On with Misalignment and Occlusion-Handled Conditions

Sangyun Lee, Gyojung Gu, Sunghyun Park, Seunghwan Choi, Jaegul Choo

arXiv:2206.14180v2cs.CVcs.AI

TL;DR

Image-based virtual try-on must coordinate clothing warping with segmentation generation, because operating these stages separately produces misalignment and pixel-squeezing artifacts. The paper unifies them in a try-on condition generator and adds discriminator rejection, achieving state-of-the-art high-resolution results while addressing incorrect segmentation predictions.

  • Problem

    Separate clothing-warping and segmentation-generation stages can create misalignment and pixel-squeezing artifacts in image-based virtual try-on.

  • 방법

    이 논문은 정보 교환을 통해 warping과 segmentation generation을 동시에 수행하는 unified try-on condition generator와, 잘못된 segmentation prediction을 위한 discriminator rejection을 제안한다.

  • 결과

    이 프레임워크는 1024×768 고해상도 dataset에서 misalignment와 occlusion을 처리하면서 정량적·정성적 결과 모두 state-of-the-art 성능을 달성한다.

  • 시사점 및 한계

    condition generator와 discriminator rejection은 고해상도 및 실제 환경의 virtual try-on application에 실질적으로 유용한 방법으로 제시된다.

  • 시사점 및 한계

    discriminator rejection은 서로 다른 camera view나 사람이 없는 image처럼 low-quality segmentation을 유발할 수 있는 out-of-distribution input에 대한 대응에서 동기를 얻는다.

Abstract

from arXiv · show

Image-based virtual try-on aims to synthesize an image of a person wearing a given clothing item. To solve the task, the existing methods warp the clothing item to fit the person's body and generate the segmentation map of the person wearing the item before fusing the item with the person. However, when the warping and the segmentation generation stages operate individually without information exchange, the misalignment between the warped clothes and the segmentation map occurs, which leads to the artifacts in the final image. The information disconnection also causes excessive warping near the clothing regions occluded by the body parts, so-called pixel-squeezing artifacts. To settle the issues, we propose a novel try-on condition generator as a unified module of the two stages (i.e., warping and segmentation generation stages). A newly proposed feature fusion block in the condition generator implements the information exchange, and the condition generator does not create any misalignment or pixel-squeezing artifacts. We also introduce discriminator rejection that filters out the incorrect segmentation map predictions and assures the performance of virtual try-on frameworks. Experiments on a high-resolution dataset demonstrate that our model successfully handles the misalignment and occlusion, and significantly outperforms the baselines. Code is available at https://github.com/sangyun884/HR-VITON.

1 숭실대학교

Figure 1은 VITON-HD와 제안 방법의 1024×768 virtual try-on 결과를 비교하며 misalignment와 pixel-squeezing artifacts를 강조한다. 제안 방법은 두 artifacts를 모두 처리한다.

  • Figure 1은 VITON-HD와 제안 방법의 1024×768 try-on synthesis 결과를 비교한다.
  • 빨간색 영역은 warped clothing과 segmentation map 사이의 misalignment로 발생한 artifacts를 나타낸다.
  • 초록색 영역은 body-part occlusion으로 발생한 pixel-squeezing을 나타내며, 제안 방법은 이를 성공적으로 처리한다.

1 서론

Image-based virtual try-on은 의류 warping, segmentation map 생성, image fusion을 결합하지만, warping과 segmentation 단계를 분리하면 misalignment와 occlusion artifact가 발생한다. 제안하는 unified condition generator는 두 단계 사이에서 정보를 교환하며, discriminator rejection은 잘못된 segmentation prediction을 필터링한다.

  • 1 서론: Image-based virtual try-on은 사람과 의류 이미지를 사용해 대상 의류를 착용한 사람을 합성한다.
  • 1 서론: 기존 방법은 의류를 warp하고 segmentation map을 예측해 합성을 유도하며, 생성할 영역과 보존할 영역을 분리한다.
  • 1 서론: 분리된 warping 및 segmentation 모듈은 정보를 교환하지 않기 때문에, 특히 고해상도에서 misalignment artifact를 생성한다.
  • 1 서론: 정보 단절은 신체 부위에 의해 가려진 의류 영역 주변에서 과도한 warping을 일으켜 pixel-squeezing을 유발하며, 적용 가능한 pose를 제한한다.
  • 1 서론: 제안하는 condition generator는 warping과 segmentation generation을 통합해 정렬된 warped garment와 segmentation map을 동시에 생성하면서 occlusion을 처리한다.
  • 1 서론: Discriminator rejection은 잘못된 segmentation prediction을 필터링하며, 이 방법은 고해상도 dataset에서 state-of-the-art performance를 달성한다.

2 관련 연구

관련 연구는 모듈형 image-based try-on 파이프라인, 의류 변형 방법, segmentation-guided synthesis, rejection 전략을 발전시켜 왔다. 이러한 접근법은 의류 정렬, segmentation, 신뢰할 수 없는 출력을 함께 처리해야 할 필요성을 제시한다.

  • 2 관련 연구: 최근 image-based virtual try-on 방법은 일반적으로 분리된 segmentation, clothing-warping, fusion 모듈을 사용한다.
  • 2 관련 연구: VITON-HD는 misalignment를 완화하기 위해 normalization을 사용하지만, 논문은 misaligned regions를 의류 texture로 자연스럽게 채우지 못한다고 보고한다.
  • 2 관련 연구: 선행 연구에는 test time에 discriminator rejection sampling을 수행하는 방법을 비롯해, 품질이 낮은 generated samples를 폐기하는 rejection 방법이 포함된다.

3 제안 방법

HR-VITON은 try-on condition generator에서 의류 warping과 segmentation generation을 통합하고 두 과정 사이에서 정보를 교환한다. 이후 정렬된 condition으로 최종 이미지를 생성하며 discriminator rejection을 사용해 잘못된 segmentation prediction을 필터링한다.

  • Framework 개요: 이 framework는 clothing-agnostic person representation과 clothing image를 입력으로 받아 최종 이미지를 합성하기 전에 try-on condition을 생성한다.두 stage는 try-on condition generator와 try-on image generator다.
  • Try-On Condition Generator: condition generator는 clothing encoder와 segmentation encoder를 decoder와 함께 사용해 warped clothing과 person의 segmentation map을 jointly predict한다.입력에는 clothing image와 mask, clothing-agnostic segmentation map, pose map이 포함된다.
  • Feature Fusion Block: Feature fusion block은 flow pathway와 segmentation pathway 사이에서 정보를 exchange information하며 appearance flow와 segmentation feature를 동시에 정제한다.교환된 feature는 정렬된 warped clothing과 segmentation map을 추정하는 데 사용된다.
  • Condition Aligning: Condition aligning은 겹치지 않는 clothing-mask 영역을 제거하고, body-part occlusion handling은 warped clothing에서 가려진 영역을 제거해 pixel-squeezing artifacts를 없애는 데 도움을 준다.정렬된 condition은 warped clothing, clothing mask, generated segmentation map으로부터 생성된다.
  • Training: condition generator는 cross-entropy, conditional GAN, L1, perceptual, total-variation loss를 사용해 trained end-to-end된다.total-variation loss는 appearance-flow smoothness를 강제하며, 마지막 appearance flow에만 regularization을 적용하는 것이 coarse-scale flow estimation에 중요하다고 보고된다.
  • Discriminator Rejection: test time에는 discriminator rejection이 discriminator에서 도출되고 training dataset에서 추정된 acceptance probability를 사용해 low-quality segmentation prediction을 filters low-quality segmentation한다.이 방법은 acceptance probability가 지정된 threshold보다 낮은 prediction을 거부한다.

4 실험

실험에서는 정성적 비교, ablation, 표준 image-quality metric을 사용해 high-resolution paired 및 unpaired try-on 설정에서 HR-VITON을 평가한다. 모델은 특히 1024×768에서 더 사실적인 결과를 생성하고 misalignment와 occlusion을 처리하며 baseline을 능가한다.

  • 실험 설정: VITON-HD dataset에는 정면 시점의 여성–상의 의류 pair 13,679개가 포함되며, training pair 11,647개와 test pair 2,032개로 분할된다.이미지의 original resolution은 1024×768이며, 필요한 경우 downsample된다.
  • 정성적 결과: HR-VITON은 의류 세부 정보와 자연스러운 neckline을 유지하면서 CP-VTON, ACGPN, VITON-HD보다 더 photo-realistic images를 생성한다.또한 condition generator는 VITON-HD보다 더 자연스러운 body shape을 생성한다.
  • 정성적 결과: Unified condition generator는 정렬된 warped clothing과 segmentation map을 생성해 VITON-HD에서 관찰되는 misalignment artifacts를 제거한다.보고된 비교에서는 이 결과가 high-quality condition을 공동으로 생성하기 때문이라고 설명한다.
  • 정성적 결과: Body-part occlusion 처리는 occluded region 주변의 과도한 의류 변형을 방지하고 pixel-squeezing artifacts를 제거한다.Occlusion handling이 없으면 사람의 body shape에 맞추기 위해 의류가 과도하게 변형된다.
  • 정성적 결과: Discriminator는 주로 부정확한 clothing mask와 같은 preprocessing error로 발생한 손상된 segmentation map을 reject한다.Reject된 sample은 accept된 sample보다 손상 정도가 상당히 크다.
  • 실험 설정: Paired reconstruction에는 SSIM과 LPIPS를 사용하고, unpaired clothing transfer에는 FID와 KID를 사용한다.Data 수가 적을 때 KID는 FID보다 더 설명력이 높은 metric으로 사용된다.
  • Ablation Study: Feature fusion block과 condition aligning은 대체로 additive benefits를 제공하며, 둘 다 제거하면 suboptimal result가 나타난다.Ablation은 warping과 segmentation generation 사이의 information exchange가 필수적임을 보여준다.
  • 정량적 결과: HR-VITON은 모든 evaluation metric에서 baseline을 능가하며, 특히 1024×768에서 우수한 성능을 보인다. 반면 CP-VTON과 ACGPN은 high-resolution unpaired image를 처리하지 못한다.또한 이 framework는 유사한 try-on image generator를 사용함에도 VITON-HD를 능가한다.

5 논의

Discriminator rejection은 실제 virtual try-on 환경에서 낮은 품질의 segmentation map을 생성할 수 있는 분포 외 입력에 대한 대응으로 논의된다.

  • Discriminator Rejection의 한계: 실제 환경의 입력은 서로 다른 camera view를 사용하거나 사람이 전혀 포함되지 않을 수 있어, 기존 image-based virtual try-on 방법이 사용하는 동일 분포 가정을 위반한다.이러한 분포 외 입력은 낮은 품질의 segmentation prediction을 초래할 수 있다.
  • Discriminator Rejection의 한계: Discriminator rejection은 낮은 품질의 segmentation map을 가진 분포 외 입력을 걸러낼 수 있다.저자들은 이를 virtual try-on 애플리케이션에서 사용자 경험을 향상하는 방법으로 제시한다.

6 결론

이 논문은 HR-VITON이 의류 warping과 segmentation generation을 공동으로 수행하면서 두 과정 간 정보를 교환한다고 결론짓는다. 또한 artifact가 없는 condition, 손상된 segmentation 결과를 유용하게 거부하는 기능, 1024×768에서의 우수한 성능을 보고한다.

  • 결론: 제안된 architecture는 두 과정 간 정보를 교환하면서 의류 warping과 segmentation generation을 동시에 수행한다.이 통합 설계는 논문의 try-on condition generator를 구성한다.
  • 결론: condition generator는 body-part occlusion을 처리해 misaligned region을 제거하고 pixel-squeezing artifact를 해결한다.결론에서는 이 방법이 occlusion과 misalignment를 성공적으로 처리한다고 보고한다.
  • 결론: condition-generator discriminator는 손상된 segmentation 결과를 필터링하며, 논문은 이를 실제 virtual try-on application에 실질적으로 유용한 기능으로 본다.결론에서는 1024×768 해상도에서의 우수한 성능도 보고한다.
  • 결론: HR-VITON은 광범위한 실험에서 1024×768 해상도의 기존 virtual try-on 방법보다 우수한 성능을 보인다.이는 논문이 보고한 high-resolution 평가 결과다.

A. 구현 세부 사항

구현은 condition generator와 image generator로 구성된 2단계 architecture를 사용하며, multi-scale discriminator와 여러 reconstruction 또는 perceptual objective로 학습한다. Inference에서는 condition output을 1024×768로 upscaling한다.

  • Architecture 표기: condition-generator architecture는 residual block, up/downsampling factor, convolutional output-channel count를 사용해 구체적으로 설명된다.image-generator architecture도 유사하게 residual block, upsampling factor, convolutional layer를 사용한다.
  • Try-On Condition Generator: try-on condition generator는 encoder 2개, feature fusion block 4개, encoder당 residual block 5개로 구성된다.decoder는 두 feature pyramid의 feature를 융합해 segmentation과 appearance flow를 예측한다.
  • 학습 및 Inference: condition generator는 256×192에서 학습하며, image generation 전에 segmentation map과 appearance flow를 1024×768로 upscaling한다.receptive field를 넓히기 위해 discriminator input은 factor 2로 downsampling한다.
  • Try-On Image Generator: try-on image generator는 upsampling layer가 포함된 residual block, spectral normalization, 두 개의 multi-scale discriminator를 사용한다.objective는 conditional adversarial, perceptual, feature matching loss를 결합한다.
  • 학습 세부 사항: 구현은 β1 = 0.5 및 β2 = 0.999인 Adam을 사용하며, image-generator learning rate를 generator에는 0.0001, discriminator에는 0.0004로 설정한다.제시된 loss weight는 λCE = 10, λVGG = 10, λTV = 2를 포함한다.

B. 추가 실험

추가 실험에서는 다양한 해상도에서 모델을 VITON-HD*와 비교하고, 사용자 연구를 통해 지각 품질을 평가하며, multi-scale loss의 효과를 검토한다. 결과적으로 artifact 처리, 지각 품질, 의류 세부 정보 보존, 중간 flow 추정이 개선된다.

  • VITON-HD 변형 모델과의 비교: 우리 모델은 1024×768에서 모든 평가 지표에서 일관되게 VITON-HD*를 능가한다.비교는 고해상도 설정에서 수행되며 Table 3에 보고된다.
  • VITON-HD 변형 모델과의 비교: VITON-HD*는 misalignment artifact를 유지하는 반면, 우리 모델은 misalignment와 pixel-squeezing 문제를 모두 해결한다.occlusion 처리가 없는 상태에서 warping 자유도를 높이면 pixel-squeezing artifact가 악화된다.
  • 사용자 연구: 우리 모델은 photo-realism과 의류 세부 정보 보존에서 가장 높은 평균 사용자 선택률을 달성한다.이 연구는 1024×768 해상도에서 21명의 참가자를 대상으로 30개의 테스트 세트를 평가한다.
  • Multi-Scale L1/VGG Losses의 효과: Multi-scale L1/VGG losses는 coarse-to-fine appearance-flow 생성을 위한 의미 있는 coarse-scale flow 추정을 가능하게 한다.이러한 loss가 없으면 모델은 coarse scale에서 flow 추정을 학습하는 데 어려움을 겪는다.
  • 추가 결과: 추가 정성적 결과는 서로 다른 의류와 사람의 조합 및 1024×768에서의 고해상도 합성을 보여준다.이 결과는 Figures 17–20에 제시된다.
Loading 2206.14180v2…