Source-linked AI summary
SPair-71k: A Large-scale Benchmark for Semantic Correspondence
Juhong Min, Jongmin Lee, Jean Ponce, Minsu Cho
TL;DR
Semantic correspondence는 기존 benchmark가 작고 variation이 제한적이거나 annotation이 희소하기 때문에 여전히 어렵다. SPair-71k는 풍부하게 annotation된 70,958개 image pair를 도입하고 viewpoint와 scale 변화가 현재 method에 상당한 영향을 미친다는 점을 보여준다.
문제
Semantic correspondence에는 충분한 규모와 viewpoint·scale 다양성, 직접적인 correspondence annotation, 포괄적인 evaluation label을 갖춘 benchmark가 부족하다.
방법
SPair-71k는 체계적으로 구성된 data split 전반에 걸쳐 keypoint, mask, bounding box, viewpoint, scale, truncation, occlusion annotation이 포함된 70,958개 image pair를 구축한다.
결과
Variation이 적을수록 현재 method의 성능이 더 높으며, viewpoint와 scale 변화가 성능에 큰 영향을 미치고 truncation과 occlusion도 성능을 저하시킨다.
시사점 및 한계
SPair-71k는 semantic correspondence와 관련 joint problem의 향후 연구를 위한 대규모·다양하고 풍부하게 annotation된 benchmark를 제공한다.
시사점 및 한계
Cylindrical category에서는 앞/뒤와 왼쪽/오른쪽 keypoint의 구분이 어려우므로 instance를 평면으로 취급한다.
Abstract
from arXiv · showhide
Establishing visual correspondences under large intra-class variations, which is often referred to as semantic correspondence or semantic matching, remains a challenging problem in computer vision. Despite its significance, however, most of the datasets for semantic correspondence are limited to a small amount of image pairs with similar viewpoints and scales. In this paper, we present a new large-scale benchmark dataset of semantically paired images, SPair-71k, which contains 70,958 image pairs with diverse variations in viewpoint and scale. Compared to previous datasets, it is significantly larger in number and contains more accurate and richer annotations. We believe this dataset will provide a reliable testbed to study the problem of semantic correspondence and will help to advance research in this area. We provide the results of recent methods on our new dataset as baselines for further research. Our benchmark is available online at http://cvlab.postech.ac.kr/research/SPair-71k/.
1. 동기
Semantic correspondence는 동일한 범주 내 인스턴스를 매칭할 때 큰 intra-class variation이 발생해 어렵고, 기존 benchmark는 규모가 작으며 다양성이 부족하고 annotation이 불완전하며 split도 일관되지 않다는 문제가 있다. SPair-71k는 70,958 image pairs, 풍부한 annotation, 명확하게 구성된 learning split으로 이러한 한계를 해결한다.
- Semantic correspondence는 서로 다른 동일 객체 또는 장면 범주 인스턴스 사이의 visual correspondence를 설정하지만, intra-class variation 때문에 매우 어려운 문제다.
- PF-WILLOW 와 PF-PASCAL [4]은 ground-truth correspondence를 제공하지만, keypoint annotation이 포함된 image pair가 각각 900개와 1,300개에 불과하다.
- 기존 dataset은 대규모 model 학습에 지나치게 작고, viewpoint, scale, occlusion, truncation의 다양성이 부족하며, annotation이 제한적이고 명확한 train-validation-test split이 없다.학습과 테스트에 동일한 image가 공유될 수 있으며, 평가는 서로 다른 PF-PASCAL split을 사용한다 [5] [11].
- SPair-71k는 PASCAL 3D+ [14]와 PASCAL VOC 2012 에서 70,958 image pair를 도입하며, 풍부한 annotation과 명확하게 구성된 learning split을 제공한다.Annotation에는 semantic-part keypoint, segmentation mask, bounding box, viewpoint, scale, truncation, occlusion 차이가 포함된다.
2. 데이터셋 생성 및 주석
SPair-71k는 18개 범주에 걸친 PASCAL VOC 이미지 1,800장으로 생성되며, 시점, 스케일, 잘림, 가림 변화를 포착하도록 이미지 수준 및 쌍 수준 주석을 포함한다. 생성된 benchmark에는 training, validation, testing split에 걸쳐 서로 겹치지 않는 image pair 70,958개가 포함된다.
- 데이터셋 생성 및 주석: 이 데이터셋은 18개 PASCAL VOC 범주의 이미지 1,800장을 사용하며, 이 중 10개 rigid PASCAL 3D+ 범주에서 1,000장을 사용한다.
- Dataset 생성 및 annotation: Viewpoint와 scale 차이는 쉬움, 중간, 어려움으로 분류하며, 가려졌거나 잘린 keypoint는 제외한다. 실제로 각 instance에는 3에서 30개의 주석 keypoint가 포함된다.
- 데이터셋 생성 및 주석: image-level split은 pairing 전에 생성되며, 양자화된 azimuth 값에 따라 training 이미지 997장, validation 이미지 322장, testing 이미지 481장으로 구성된다.
- 데이터셋 생성 및 주석: pair-level 주석은 공통 keypoint correspondence와 azimuth, bounding-box, 잘림 및 가림 정보를 결합하며, 공통 keypoint가 없는 pair는 제외한다.
- 데이터셋 생성 및 주석: 총 70,958개의 image pair를 얻으며, training pair 53,340개, validation pair 5,384개, testing pair 12,234개로 구성된다.
3. SPair-71k에서의 baseline 결과
이 절에서는 저자들이 제공한 original model과 SPair-71k로 finetune한 version을 모두 사용해 최신 방법들을 SPair-71k에서 baseline 평가한다. 또한 viewpoint, scale, truncation, occlusion 변화에 따른 성능을 분석해 viewpoint와 scale이 가장 큰 성능 저하를 일으키는 요인임을 확인한다.
- Baseline 평가: 최신 state-of-the-art 방법 [8] [9] [11] [12]을 저자들이 제공한 original model과 SPair-71k train/validation set으로 finetune한 model에서 모두 평가한다.한 방법의 original weakly supervised learning objective는 큰 viewpoint 차이에서 취약한 것으로 보여, 그 결과에 대해서는 추가 조사가 필요하다.
- 변화 요인별 분석: viewpoint 변화가 커질수록 Image alignment methods [9] [12]는 region-matching methods보다 성능을 더 빠르게 잃는다.scale 변화, truncation, occlusion으로 인한 성능 저하는 방법 간에 유의미한 차이가 없다.
- 변화 요인별 분석: Viewpoint와 scale 변화는 truncation과 occlusion보다 성능에 더 큰 영향을 미치지만, truncation과 occlusion 모두 결과를 뚜렷하게 악화시킨다.SPair-71k는 viewpoint와 scale을 easy, medium, hard로, truncation과 occlusion을 source, target, both, none으로 주석 처리한다.
4. 결론
이 논문은 71k개의 image pair, 다양한 실제 환경 변이, 풍부한 annotation을 갖춘 대규모 semantic correspondence benchmark인 SPair-71k를 소개한다. 기존 dataset을 넘어 visual correspondence를 일반화하도록 설계되었다.
- 4. 결론: SPair-71k는 semantic correspondence를 위한 71k개의 image pair를 포함하는 대규모 benchmark dataset을 제공한다.
- 4. 결론: 이 dataset은 실제 환경을 반영하는 다양한 viewpoint, scale, truncation, occlusion 변이를 포함한다.
- 4. 결론: SPair-71k는 object bounding box, keypoint correspondence, variation factor를 포함한 풍부한 annotation을 제공한다.