PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

A Metric Learning Reality Check

Kevin Musgrave, Serge Belongie, Ser-Nam Lim

arXiv:2003.08505v3cs.CV

TL;DR

메트릭 학습에서 보고된 정확도 향상은 조건을 일관되게 통제한 비교에 근거하지 않았다. 이 논문은 실험 방법의 결함을 점검하고 교차 검증 기반 하이퍼파라미터 튜닝으로 손실 함수를 재평가한 결과, 기존 방법 대비 개선이 미미하며 때로는 성능이 동등함을 보인다.

  • 문제

    메트릭 학습 논문에는 보고된 정확도 향상이 다른 실험 변수가 아닌 알고리즘에서 비롯되었는지 판단하는 데 필요한, 조건을 일관되게 통제한 비교가 부족하다.

    출처: §2.1 · p. 5

  • 방법

    저자들은 실험 방법의 결함을 점검하고, 하이퍼파라미터 튜닝에 클래스가 겹치지 않는 교차 검증을 적용하는 수정된 평가 절차로 손실 함수를 비교한다.

    출처: §1.7 · p. 5, §3.3 · p. 10

  • 결과

    확인된 평가상의 결함을 바로잡으면 최신 손실 함수의 성능은 기존 방법보다 근소하게 우수하며, 때로는 동등하다.

    출처: §5 · p. 14

  • 시사점 및 한계

    이 결과는 메트릭 학습에서 주장된 성능 향상을 전제로 한 이론적 설명에 의문을 제기한다.

    출처: §4.2 · p. 14

    서로 다른 손실 함수가 비슷한 성능을 보이는 이유와 최적 하이퍼파라미터가 데이터셋·아키텍처 조합과 어떤 관계가 있는지는 밝히지 못한다.

    출처: §5 · p. 14

Abstract

from arXiv · show

Deep metric learning papers from the past four years have consistently claimed great advances in accuracy, often more than doubling the performance of decade-old methods. In this paper, we take a closer look at the field to see if this is actually true. We find flaws in the experimental methodology of numerous metric learning papers, and show that the actual improvements over time have been marginal at best.

1 메트릭 학습 개요

메트릭 학습은 임베딩 손실이나 분류 손실로 유사도 기반 과제를 위한 임베딩 공간을 구축하며, 마이닝과 고도화된 학습 기법을 함께 활용한다. 이 논문은 방법론적 결함을 해소하는 학습·평가 절차를 제안하고, 교차 검증으로 하이퍼파라미터를 적절히 조정하면 대부분의 방법이 유사한 성능을 보인다고 보고한다.

1.1 메트릭 학습의 중요성

  • 메트릭 학습은 유사한 샘플을 가깝게, 비유사한 샘플을 멀게 배치하여 검색과 개방 집합 인식을 지원하며, 관계 기반 지도와 자기지도 학습도 수용한다.개방 집합 인식은 최근접 이웃 투표나 거리 임계값으로 학습·테스트 클래스가 서로 겹치지 않는 상황을 다루며, 얼굴 검증 과 사람 재식별 [20]이 이에 해당한다. 쌍·트리플렛 기반 지도 [64]와 추가적인 관계 정보 는 명시적 레이블 없이도 임베딩 손실을 사용할 수 있게 한다. 자기지도 학습의 의사 레이블 [18] [6]은 반복마다 의미가 유지되지 않으므로 임베딩 손실이 적합하다.출처: §1.1 · pp. 1–2

1.2 임베딩 손실

  • 대조 손실 은 샘플 쌍의 절대적 거리 임계값을 적용하는 반면, 트리플렛 마진 손실 은 상대적 거리를 제약하여 클래스 간 비유사도의 차이를 허용한다.고정된 대조 손실 임계값은 유사도의 차이를 무시한다. 후속 손실 함수들은 각도 마진, 학습 가능한 임계값, 신호 대 잡음 비교, softmax 또는 LogSumExp 집계 를 도입한다. N-Pairs 는 softmax를 사용하고, multi similarity, tuplet margin, circle 은 샘플 쌍에 가중치를 부여한다. 반면 FastAP 는 소프트 히스토그램으로 배치의 평균 정밀도를 근사한다.출처: §1.2 · pp. 2–3

1.3 분류 손실

  • 분류 손실은 가중치 행렬을 통해 임베딩을 클래스 로짓으로 변환하며, 변형 기법들은 정규화, 거리, 각도 마진 또는 클래스별 대표 벡터 수를 변경한다.Normalized softmax [72]는 L2 정규화된 가중치 열을 사용하고, ProxyNCA 는 코사인 유사도를 유클리드 거리로 대체하며, SoftTriple 은 클래스마다 여러 열을 사용한다. SphereFace, CosFace, ArcFace 은 각각 곱셈형 각도 마진, 덧셈형 코사인 마진, 덧셈형 각도 마진을 도입한다. 그러나 메트릭 학습 실험에서는 얼굴에만 국한되지 않는 이 손실 함수들을 일관되게 제외했다.출처: §1.3 · p. 3

1.4 쌍 및 트리플렛 마이닝

  • 마이닝은 배치 구성 전이나 배치 내부에서 학습에 유용한 쌍 또는 트리플렛을 선택하여, 메모리를 소모하고 쉬운 샘플이 과도한 비중을 차지하게 하는 모든 조합의 사용을 피한다.가장 어려운 샘플만 선택하면 [20] 기울기에 잡음이 생기고 좋지 않은 국소 최적점에 도달할 수 있다. 세미하드 마이닝 은 양성 샘플보다 멀리 있는 음성 샘플을 선택하지만, 이러한 음성 샘플이 사라지면 학습 진전이 둔화된다. 거리 가중 샘플링 은 여러 난이도의 음성 샘플을 혼합하고, 계단식 모델 은 어려운 쌍을 복잡한 모델이 처리하도록 한다. Wang et al. 은 반대 유형 중 가장 어려운 샘플을 기준으로 쌍을 선택한다.출처: §1.4 · pp. 3–4

1.5 고도화된 학습 기법

  • 고도화된 학습 기법은 생성기, 계층적 마진, 어텐션 앙상블, 분리 표현 학습, 임베딩 공간의 분할별 독립 학습으로 손실 설계와 마이닝을 확장한다.생성기는 클래스 중심과 분산을 모델링하거나, 어려운 음성 샘플을 생성하거나, 모델의 학습 역량에 맞춰 음성 샘플의 난이도를 조정한다. HTL 은 계층적 클래스 트리에서 클래스별 마진을 추정하고, ABE 는 서로 다른 어텐션 마스크를 학습하며, MIC 는 클래스 고유 속성과 공유 속성을 분리한다. DCES 는 분할별로 별도의 임베딩 층을 학습한다.출처: §1.5 · p. 4

1.6 관련 연구

  • 교차 검증과 베이지안 최적화는 손실 함수 간 성능 차이를 크게 줄이며, 이는 이 논문의 방법론이 기존 비교 연구와 구별되는 지점이다.Fehervari et al. [13]은 주로 2017년 또는 그 이전의 방법을 살펴봤으며, 이 연구와 동시기에 수행된 Roth et al. 모두 테스트 세트의 피드백을 이용한 학습 문제를 다루지 않았다. Roth et al. 은 원래 발표된 값 주변의 작은 격자에서 하이퍼파라미터를 조정했다.출처: §1.6 · pp. 4–5

1.7 이 논문의 기여

  • 교차 검증으로 하이퍼파라미터를 적절히 조정하면 대부분의 방법은 유사한 성능을 보인다. 이를 바탕으로 불공정한 비교, 부실한 정확도 지표, 테스트 세트 피드백 문제를 해소하는 절차를 제안한다.이 결과는 하이퍼파라미터와 데이터셋의 관계, 그리고 특정 데이터셋·아키텍처 조합이 개방 집합 인식 정확도를 본질적으로 제한하는지에 대한 의문을 제기한다.출처: §1.7 · p. 5

2 기존 문헌의 문제점

일관되지 않은 실험 설정, 테스트 세트에 기반한 모델 선택, 임베딩 품질의 차이를 드러내지 못하는 정확도 지표가 메트릭 학습의 비교를 저해한다. 보고되지 않은 구현상의 선택과 신뢰구간 누락도 성능 향상 주장을 평가하기 어렵게 한다.

2.1 불공정한 비교

  • 네트워크 구조와 임베딩 차원이 달라지면 보고된 정확도 향상이 새로운 메트릭 학습 알고리즘 덕분인지 판단하기 어렵다.2017년의 한 논문은 ResNet50을 GoogleNet 기반 방법들과 비교했으므로, 성능 향상의 상당 부분은 구조 선택에서 비롯되었을 가능성이 크다. 임베딩 차원을 늘려도 정확도가 향상되므로 조건을 통제한 비교가 필수적이다.출처: §2.1 · pp. 5–6
  • 옵티마이저와 학습률 설정의 불일치는 공정한 비교를 방해하며, 신뢰구간 누락으로 한 자릿수 초반 수준의 정확도 향상을 평가하기 어렵다.옵티마이저가 테스트 정확도에 미치는 영향은 명확하지 않다. Adam과 RMSprop은 더 빠르게 수렴하지만 SGD는 일반화 성능이 더 좋을 수 있다. 여러 실행의 평균과 신뢰구간을 보고하면 작은 성능 향상도 더 의미 있게 평가할 수 있다.출처: §2.1 · p. 6
  • 2019년의 한 논문 코드에서 CUB200 성능이 2점 향상된 원인은 BatchNorm 고정이었지만, 논문에는 이 설정이 빠져 있었다.일부 구현은 보고된 것보다 정교한 크롭 방식을 사용하기도 한다. 크롭 위치, 크기, 종횡비를 바꿔 학습 데이터의 다양성을 높이고 과적합을 억제한다.출처: §2.1 · p. 6

2.2 널리 쓰이는 정확도 지표의 한계

  • 100%에 가까운 Recall@1과 거의 동일한 NMI 및 F1 점수로는 클래스 간 분리 정도가 다른 단순 예제의 임베딩 공간들을 구별하지 못한다.NMI와 F1은 군집화 알고리즘의 선택과 초기화에도 의존한다. 이 예제들에서 일반적인 k-means 평가는 유용한 정보를 주지 못하는 점수를 산출한다. 저자들은 임베딩에 직접 적용하면서 더 세밀한 차이를 포착하는 지표를 모색한다.출처: Figure 1 · p. 7, §2.2 · p. 7
  • NMI는 실제 정확도와 무관하게 클래스가 많은 데이터셋에 높은 점수를 주는 경향이 있다. Adjusted Mutual Information 은 이 편향을 보정하지만 여전히 군집화가 필요하다.출처: §2.2 · p. 7

2.3 테스트 세트의 피드백을 이용한 학습

  • 검증 세트 없이 테스트 세트의 피드백으로 모델을 선택하고 하이퍼파라미터를 조정하면 테스트 세트에 과적합되어 보고된 발전에 의문이 제기된다.대부분의 논문은 처음 50%의 클래스로 학습하고, 나머지 클래스에서 주기적으로 확인한 정확도 중 최댓값을 보고한다. 미리 정한 학습 기간이 끝난 뒤 결과를 보고하더라도, 테스트 세트에 기반한 하이퍼파라미터 조정과 불명확한 반복 단계 선택 문제는 남는다.출처: §2.3 · pp. 7–8

3 제안하는 평가 방법

제안하는 평가 방법은 표준화된 실험, 정보력이 높은 검색 지표, 클래스가 겹치지 않는 교차 검증으로 기존 방법론의 결함을 보완한다. 반복 학습과 신뢰구간으로 난수 시드에 대한 민감도를 줄인다.

3.1 공정한 비교와 재현성

  • ImageNet 으로 사전 학습한 BN-Inception 네트워크 에서 128차원 임베딩을 추출하며, 과적합을 줄이기 위해 BatchNorm 매개변수를 고정한다.모든 배치는 이미지 32장으로 구성한다. 임베딩 손실에는 8개 클래스에서 각각 4장씩, 분류 손실에는 32개 클래스에서 각각 1장씩 표본을 추출한다.출처: §3.1 · p. 8
  • RMSprop의 네트워크 학습률은 1e-6이며, 손실별 학습 가능한 가중치의 학습률은 조정한다.학습 시 이미지의 짧은 변을 256픽셀로 조정하고, 크기 40–256과 종횡비 3/4–4/3으로 무작위 자르기를 적용한 뒤 227x227로 조정하며, 50% 확률로 좌우 반전한다. 평가 시에는 256으로 크기를 조정하고 중앙을 227로 자른다. 손실 계산 전에 임베딩을 L2 정규화한다.출처: §3.1 · p. 8

3.2 정보력이 높은 정확도 지표

  • MAP@R은 R개 이웃에 대한 평균 정밀도를 쿼리 전체에서 평균하여 검색 순위를 반영하며, R은 쿼리와 클래스가 같은 참조 샘플의 수다.반면 R-precision은 순위를 고려하지 않고 R개 이웃 중 쿼리와 클래스가 같은 샘플의 비율을 측정한다. 기존 논문과 비교하기 위해 두 지표와 함께, 이전에 Recall@1로 불렸던 Precision@1도 보고한다.출처: §3.2 · p. 9
  • 검증 정확도의 1시차 자기상관이 MAP@R에서는 0.81, Recall@1에서는 0.73이라는 결과는 MAP@R의 잡음이 더 적어 체크포인트 선택이 쉬움을 보여준다.Table 3은 Recall@1의 제한된 정보력을 보여준다. R = 10을 가정하면, 뚜렷한 차이가 있는 네 가지 가상 검색 결과가 모두 100%를 기록한다. MAP@R은 별도의 군집화 단계가 필요 없으며, 군집이 잘 형성된 임베딩 공간에 높은 점수를 부여한다.출처: §3.2 · p. 9, Table 3 · p. 9

3.3 교차 검증을 통한 하이퍼파라미터 탐색

  • 베이지안 최적화를 50회 반복하며, 클래스가 겹치지 않는 4분할 교차 검증으로 손실 함수의 하이퍼파라미터를 선택한다.클래스의 전반부를 결정론적으로 연속된 네 구간으로 나눈다. 세 구간으로 학습하고 나머지 한 구간으로 검증하며, 검증 정확도가 더 이상 향상되지 않으면 학습을 중단한다. 후반부는 테스트 세트로 유지하여 기존 논문과의 비교 가능성을 보존한다.출처: §3.3 · pp. 9–10
  • 최적의 하이퍼파라미터로 10회 반복 학습하여 평균 정확도와 신뢰구간을 구하고 난수 시드에 따른 잡음을 줄인다.평균 검증 정확도를 최대화하는 하이퍼파라미터를 선택하고, 각 분할에서 정확도가 가장 높은 체크포인트로 L2 정규화된 테스트 임베딩을 생성한다. 평가에서는 네 개의 128차원 임베딩을 이어 붙여 정규화된 512차원 임베딩을 만들거나, 개별 128차원 임베딩 네 개의 정확도를 평균한다.출처: §3.3 · p. 10

4 실험

베이스라인을 제대로 구현하고 평가 조건을 맞추자, 2006년부터 2019년까지 제안된 메트릭 학습 방법들은 극적인 발전보다는 유사한 성능을 보였다. 논문들이 과장한 성능 향상은 취약한 contrastive loss 및 triplet loss 베이스라인에 기댄 것이었다.

4.1 손실 함수와 데이터셋

  • 13개 손실 함수와 손실 함수–miner 조합 하나를 CUB200, Cars196, Stanford Online Products 에서 공통 설정으로 평가했다.10회 실행의 평균 정확도와 해당되는 경우 95% 신뢰구간을 보고하며, 사전 학습 임베딩을 PCA로 512차원 또는 128차원으로 축소한 결과도 함께 제시한다. CUB200의 배치 크기를 32에서 256으로 늘려도 FastAP가 다른 방법과 동등한 수준으로 유의하게 향상된 점 외에는 변화가 거의 없었다.출처: §4.1 · p. 10
  • 비교에는 얼굴 검증용 손실 함수인 CosFace와 ArcFace, 공유하여 학습하는 Margin β와 클래스별로 학습하는 Margin β, N-Pairs 또는 InfoNCE라고도 불리는 NT-Xent가 포함됐다.CosFace와 ArcFace의 손실 함수만 사용했으며, 얼굴 데이터셋이나 얼굴 데이터로 학습한 모델은 사용하지 않았다.출처: Table 7 · p. 12

4.2 논문과 현실

  • lifted structure 구현 은 배치당 N/2 쌍과 N/3 triplet만 사용해 가용 정보를 거의 활용하지 않았고, triplet 마진도 약 0.1이 아니라 1이었다.N은 배치 크기를 뜻하며, 약 0.1이 대체로 최적이었다. 이후 논문 대부분은 더 합리적인 베이스라인을 직접 구현하기보다 기존의 낮은 베이스라인 수치를 재사용했다.출처: §4.2 · p. 12
  • 평가 조건을 맞추자 2006년부터 2019년까지 제안된 방법들의 Precision@1은 거의 평탄한 추세를 보여, 눈부신 발전이 아니라 유사한 성능을 나타냈다.저자들은 평가에 포함하지 않은 최신 논문들의 결과와, 올바르게 평가하면 사라지는 성능 향상을 전제로 한 이론적 설명에도 의문을 제기한다.출처: §4.2 · pp. 12, 14, Figure 2 · p. 13
  • 많은 논문이 contrastive loss 대비 100%를 넘는 상대적 향상과 triplet loss 대비 거의 50%의 상대적 향상을 주장했는데, 이는 보고된 베이스라인 정확도가 극히 낮았기 때문이다.Figure 3은 FastAP와 비교 대상이 아닌 나머지 베이스라인 손실 함수를 제외하고, 논문에 발표된 상대적 향상과 저자들의 128차원 분리 설정 및 512차원 연결 설정에서 얻은 상대적 향상을 비교한다.출처: §4.2 · p. 12, Figure 3 · p. 13

5 결론

불공정한 비교, 오해를 부르거나 불완전한 평가 지표, 테스트 세트 피드백을 바로잡자 최신 메트릭 학습 손실 함수의 성능은 고전적 방법보다 근소하게 높았으며, 때로는 비슷한 수준에 그쳤다.

5 결론

  • 이 논문은 신경망 구조, 임베딩 차원, 이미지 증강, 옵티마이저의 차이에서 비롯된 불공정한 비교를 지적한다.출처: §5 · p. 14
  • 기존 문헌에서 사용하는 정확도 지표는 오해를 부르거나 임베딩 공간을 종합적으로 보여주지 못할 수 있다.출처: §5 · p. 14
  • 검증 세트 없이 학습하면 테스트 세트 피드백이 발생하며, 이 역시 기존 문헌에서 확인된 방법론적 결함이다.출처: §5 · p. 14
  • 실험상의 결함을 바로잡자 최신 손실 함수의 성능은 고전적 방법보다 근소하게 높았으며, 때로는 비슷한 수준에 그쳤다.이는 시간이 흐르면서 정확도가 크게 향상되었다는 기존 논문들의 주장과 대조된다.출처: §5 · p. 14
  • 향후 연구에서는 데이터셋–신경망 구조 조합별 최적 하이퍼파라미터를 탐색하고, 손실 함수 간 성능이 유사한 이유를 설명하며, 정확도 향상을 추구할 수 있다.올바른 머신러닝 실험 관행과 공정한 비교는 결과를 더 현실적으로 만들고 자기지도 학습 등의 분야로 일반화될 가능성을 높일 것이다.출처: §5 · p. 14

Related papers

Loading 2003.08505v3…