PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

Learning Transferable Visual Models From Natural Language Supervision

Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, Ilya Sutskever

arXiv:2103.00020v1cs.CVcs.LG

TL;DR

자연어 기반 이미지 표현 학습은 벤치마크 성능이 낮았으며, 웹 규모에서의 잠재력은 충분히 탐구되지 않았다. CLIP은 인터넷에서 수집한 400백만 쌍으로 이미지–텍스트 매칭을 학습하고 클래스명을 사용해 zero-shot 분류를 수행한다. 규모가 충분히 커지면 여러 데이터셋에서 과제별 지도 학습 모델과 경쟁할 수 있다.

  • 문제

    기존 자연어 기반 이미지 표현 학습은 벤치마크 성능이 낮았고, 웹 규모에서의 잠재력도 충분히 탐구되지 않았다.

    출처: §1 · p. 2

  • 방법

    CLIP은 인터넷에서 수집한 400백만 쌍으로 이미지–텍스트 매칭을 학습하고, 클래스명을 텍스트 짝 후보로 사용해 zero-shot 분류를 수행한다.

    출처: §1 · p. 2, §3.1.2 · p. 6

  • 결과

    규모가 충분하면 zero-shot CLIP은 여러 기존 데이터셋에서 과제별 지도 학습 모델과 경쟁할 수 있다.

    출처: §9 · p. 27

  • 시사점과 한계

    과제에 구애받지 않는 웹 규모 사전 학습의 성공은 NLP를 넘어 컴퓨터 비전으로 확장된다.

    출처: §9 · p. 27

    Zero-shot CLIP은 세밀한 구분이 필요한 과제와 추상적 과제에서 여전히 취약하며, 새로운 과제에서는 무작위 추측 수준에 가까운 성능을 보일 수도 있다.

    출처: §6 · p. 19

Abstract

from arXiv · show

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

1. 서론 및 연구 배경

CLIP은 자연어 기반 이미지 지도학습을 400백만 쌍의 이미지–텍스트로 확장하고, 과제별 지도학습 모델에 견줄 만한 제로샷 전이 성능을 달성한다. 이미지 인코더와 텍스트 인코더를 통해 고정된 학습 레이블 대신 클래스 이름이나 설명으로 분류기를 정의할 수 있다.

1. 서론 및 연구 배경

  • NLP의 웹 텍스트 사전 학습과 제로샷 전이는 크라우드소싱으로 레이블을 붙인 컴퓨터 비전 사전 학습의 대안으로 확장 가능한 자연어 지도 학습을 탐구하는 동기가 된다.텍스트 입출력 인터페이스는 별도의 출력 헤드나 데이터셋별 맞춤 설계 없이도 다운스트림 전이를 가능하게 한다 (McCann et al., 2018; Raffel et al., 2019).출처: §1 · p. 1
  • Joulin et al. (2016)은 캡션 단어 예측으로 ImageNet 사전 학습에 견줄 만한 표현을 학습했으며, Li et al. (2017)은 예측 대상을 구문 n-gram으로 확장했다.이후 VirTex (Desai & Johnson, 2020), ICMLM (Bulent Sariyildiz et al., 2020), ConVIRT (Zhang et al., 2020)는 각각 트랜스포머 언어 모델링, 마스크 언어 모델링, 대조 학습 목적함수를 탐구했다.출처: §1 · pp. 1–2
  • CLIP은 서로 대응하는 쌍을 식별하도록 이미지와 텍스트 인코더를 공동 학습한 뒤, 클래스 이름이나 설명을 임베딩해 제로샷 선형 분류기를 구성한다.일반적인 이미지 모델과 달리 이미지 특징 추출기를 고정된 레이블 분류기와 함께 학습하지 않는다.출처: Figure 1 · p. 2
  • Li et al. (2017)의 제로샷 ImageNet 정확도 11.5%는 자연어 지도 학습의 활용을 위축시킨 성능 격차를 보여준다.이는 Xie et al. (2020)의 88.4%와 전통적 접근법의 50% 에 못 미쳤다. Mahajan et al. (2018)은 선별한 해시태그를 이용한 사전 학습으로 미세 조정 후 ImageNet 정확도를 5% 넘게 높였으며, Kolesnikov et al. (2019)과 Dosovitskiy et al. (2020)은 JFT-300M 사전 학습으로 더 폭넓은 전이 벤치마크에서 성능을 개선했다.출처: §1 · p. 2
  • 1000개와 18291개라는 클래스 수는 각각 Mahajan et al. (2018)과 Kolesnikov et al. (2019)의 약지도 학습 접근법을 제약한다.이들의 고정된 softmax 분류기는 출력을 동적으로 바꿀 수 없어 유연성과 제로샷 능력이 제한된다. 반면 자연어는 더 폭넓은 시각 개념에 학습 신호를 제공할 수 있다.출처: §1 · p. 2

1. 서론과 연구 배경

  • 400백만 쌍의 이미지–텍스트를 바탕으로 CLIP을 처음부터 학습하고 자연어 지도학습을 대규모로 연구한다.연산량이 거의 백 배 차이 나는 여덟 모델에서 전이 성능은 연산량에 따라 매끄럽게 변하는 예측 가능한 함수를 따른다.출처: §1 · p. 2

1. 서론 및 연구 배경

  • Bag-of-words 예측 (Joulin et al., 2016)을 CLIP의 대조 학습 목적함수로 대체하면 학습 효율이 4x 높아진다.제로샷 ImageNet 분류에서 트랜스포머 기반 캡션 기준 모델은 bag-of-words 기준 모델보다 학습 속도가 3x 느리다.출처: Figure 2 · p. 3
  • 30개가 넘는 데이터셋에서 제로샷 CLIP이 다양한 시각 과제에 걸쳐 과제별 지도 학습 모델과 경쟁할 수 있음을 확인한다.과제에는 OCR, 지리적 위치 추정, 행동 인식이 포함된다. 선형 프로브 평가에서도 CLIP은 공개된 ImageNet 모델 중 최고 성능 모델을 더 높은 연산 효율로 능가한다. 제로샷 CLIP은 정확도가 같은 ImageNet 지도 학습 모델보다 훨씬 강건하다.출처: §1 · pp. 2–3

2. 접근법

CLIP은 인터넷 이미지–텍스트 400백만 쌍에서 대조 목적함수로 이미지 인코더와 텍스트 인코더를 공동 학습한다. 자연어 감독은 시각 표현을 언어와 연결해 유연한 제로샷 전이를 가능하게 한다.

2.1. 자연어 감독

  • 자연어 감독은 표준화된 클래스 레이블 없이 기존 인터넷 텍스트를 활용해 규모를 확장하고, 학습된 시각 표현을 언어와 연결해 유연한 zero-shot 전이를 가능하게 한다.기존의 크라우드소싱 이미지 분류와 달리, 이 접근법은 단일 범주형 정답 레이블 형태의 주석을 요구하지 않는다.출처: §2.1 · p. 3

2.2. 충분히 큰 데이터셋 구축

  • 인터넷 이미지–텍스트 400백만 쌍으로 구성된 WebImageText (WIT)는 기존 데이터셋보다 더 큰 규모의 자연어 감독을 제공하도록 구축되었다.500,000개 검색어로 검색하고 검색어당 최대 20,000쌍을 포함해 검색어별 데이터 규모를 대략 균등하게 맞춘다. WIT의 총 단어 수는 GPT-2의 WebText와 비슷하다. 기존 대안인 MS-COCO와 Visual Genome은 각각 약 100,000장의 학습 사진을 포함하며, YFCC100M에서 영어 자연어 메타데이터가 있는 사진만 추리면 15백만 장이 남는다.출처: §2.2 · pp. 3–4

2.3. 효율적인 사전학습 방법 선택

  • Bag-of-words 기준 모델의 예측 목적함수를 대조 목적함수로 바꾸자 ImageNet으로의 zero-shot 전이 효율이 4x 높아졌다.대조 과제는 이미지에 대응하는 정확한 단어들을 예측하는 대신, 어떤 텍스트 전체가 이미지와 짝을 이루는지 예측한다. 앞서 시도한 캡션 예측에서는 매개변수가 63백만 개인 transformer가 ResNet-50 인코더의 두 배에 달하는 연산량을 사용했지만, ImageNet 인식 학습은 bag-of-words 예측보다 세 배 느렸다.출처: §2.3 · p. 4
  • CLIP은 대칭 대조 목적함수로 각 배치 내에서 일치하는 쌍과 불일치하는 쌍을 구별하도록 이미지·텍스트 인코더를 공동 학습한다.N개 쌍에 대해 인코더는 대칭 교차 엔트로피 손실을 사용해 올바른 조합 N개의 코사인 유사도를 최대화하고, 잘못된 조합 N^2 − N개의 코사인 유사도를 최소화한다.출처: §2.3 · p. 4
  • CLIP은 선형 투영, 무작위 정사각형 이미지 자르기, 학습 가능한 온도를 사용해 두 인코더를 모두 처음부터 학습한다.선형 투영과 비선형 투영 간 학습 효율 차이는 없었으며, 이미지와 짝지어진 텍스트 상당수가 한 문장뿐이므로 문장 샘플링은 생략한다. 온도는 0.07에서 시작하며, 로짓의 배율이 100을 넘지 않도록 제한해 학습 불안정을 방지한다.출처: §2.3 · p. 4, §2.5 · p. 5

2.4. 모델 선택과 규모 확장

  • 이미지 인코더로는 어텐션 풀링을 적용한 수정된 ResNet이나 입력 층 정규화를 추가한 Vision Transformer (Dosovitskiy et al., 2020)를 사용한다.ResNet에는 He et al. (2019)의 ResNet-D 개선 사항, Zhang (2019)의 앨리어싱 방지 rect-2 블러 풀링, 전역 평균 풀링 특징을 조건으로 하는 단일 층 다중 헤드 어텐션 풀링을 적용한다. ResNet의 규모를 확장할 때는 추가 연산량을 너비, 깊이, 해상도에 균등하게 배분한다.출처: §2.4 · pp. 4–5
  • 마스킹된 어텐션을 사용하는 텍스트 Transformer 는 소문자로 변환한 BPE 텍스트를 마지막 [EOS] 활성값으로 표현한 뒤 정규화와 선형 투영을 적용한다.기본 인코더는 매개변수 63백만 개, 12개 층, 너비 512, 어텐션 헤드 여덟 개, 어휘 크기 49,152개 토큰, 최대 시퀀스 길이 76으로 구성된다. ResNet 너비에 맞춰 텍스트 인코더의 너비만 확장한다. CLIP 성능은 텍스트 인코더 용량에 덜 민감했으므로 깊이는 고정한다.출처: §2.4 · p. 5

2.5. 학습

  • ViT-L/14@336px는 성능이 가장 높은 모델이자 CLIP 결과 보고의 기본 모델로, 표준 사전학습 후 336픽셀 해상도에서 한 에포크를 추가로 학습한다.ResNet 5개와 Vision Transformer 3개를 Adam, 분리된 가중치 감쇠, 코사인 학습률 감쇠, 배치 크기 32,768로 32에포크 동안 학습한다. RN50x64는 V100 GPU 592개에서 18일이 걸렸고, 가장 큰 Vision Transformer는 V100 GPU 256개에서 12일이 걸렸다. 학습에는 혼합 정밀도와 메모리 절약 기법을 사용한다.출처: §2.5 · p. 5

3. 실험

실험에서는 여러 데이터셋에서 CLIP의 zero-shot 전이 성능과 linear probe로 측정한 표현 품질을 평가하고, 지도 학습 기준 모델과 비교하며 자연적 분포 변화에 대한 강건성을 분석한다. 또한 프롬프트 설계, 데이터셋별 클래스 이름, ImageNet 지도 학습 적응이 정확도와 강건성에 미치는 영향을 살펴본다.

3.1.1. 동기

  • Zero-shot 전이는 보지 못한 객체 범주의 인식에만 국한하지 않고, 보지 못한 데이터셋에 대한 일반화를 과제 학습의 대리 지표로 평가한다.CIFAR-10처럼 실제로 수행할 과제가 명확히 정의되지 않은 벤치마크에서는 주로 과제 일반화보다 분포 변화에 대한 강건성과 도메인 일반화를 측정한다.출처: §3.1.1 · p. 6

3.1.2. CLIP을 이용한 ZERO-SHOT 전이

  • CLIP은 이미지 임베딩과 후보 클래스를 설명하는 텍스트 임베딩을 비교하고, 온도로 조정한 코사인 유사도에 softmax를 적용해 zero-shot 분류를 수행한다.이는 입력과 가중치를 L2 정규화하고 편향 없이 텍스트로 클래스 가중치를 생성하는 선형 분류기다. 텍스트 임베딩은 캐싱해 여러 예측에 재사용할 수 있다. 따라서 사전 학습은 언어로 정의한 32,768개 클래스에 클래스당 예시 하나를 배정한 대리 분류 과제를 반복 최적화하는 과정으로 해석할 수 있다.출처: §3.1.2 · p. 6

3.1.3. VISUAL N-GRAMS와의 초기 비교

  • Zero-shot CLIP은 ImageNet 정확도 76.2%로 Visual N-Grams의 11.5% (Li et al., 2017)를 크게 앞서며, ImageNet 학습 예시 없이 원래의 지도 학습 ResNet-50과 동등한 성능을 낸다.CLIP은 top-5 정확도도 95%로 Inception-V4 (Szegedy et al., 2016)와 동등하며, aYahoo 오류를 95% 줄이고 SUN 정확도는 Visual N-Grams의 두 배를 넘는다. 다만 이는 통제된 비교가 아니라 맥락을 제공하는 비교다. CLIP은 데이터가 10x, 예측 연산량이 거의 100x이며 학습 연산량도 1000x를 넘을 것으로 추정된다. 한편 동일한 YFCC100M 데이터셋에서 처음부터 학습한 CLIP ResNet-50은 V100 GPU 한 대로 하루 이내에 Visual N-Grams의 ImageNet 성능에 도달한다.출처: §3.1.3 · pp. 6–7, Table 1 · p. 7

3.1.4. 프롬프트 설계와 앙상블

  • 맥락 없는 클래스 이름 대신 프롬프트 설계와 앙상블을 사용하면 36개 데이터셋에서 평균 zero-shot 성능이 거의 5점 향상된다.맥락은 클래스 이름의 모호성을 해소하고 개별 레이블과 사전 학습 문장 사이의 간극을 줄인다. “A photo of a {label}.”은 ImageNet 정확도를 1.3% 높이며, 과제별 설명을 사용하면 더 개선된다. 텍스트 임베딩을 평균 내면 캐싱할 수 있어 예측당 상각 비용이 추가되지 않는다. ImageNet에서는 프롬프트 80개를 앙상블하면 기본 프롬프트 대비 3.5%가 추가로 향상된다.출처: Figure 4 · p. 7, §3.1.4 · pp. 7–8

3.1.5. ZERO-SHOT CLIP 성능 분석

  • ImageNet을 포함한 27개 중 16개 데이터셋에서 zero-shot CLIP은 ResNet-50 특징으로 학습한 완전 지도 학습 선형 분류기를 앞선다.CLIP은 이 기준 모델보다 Stanford Cars와 Food101에서 20% 넘게 앞서지만 Flowers102와 FGVCAircraft에서는 10% 넘게 뒤처진다. STL10에서는 99.3%를 달성하고, Kinetics700과 UCF101에서는 각각 14.5%와 7.7% 향상된다. 위성 영상 분류, 종양 탐지, 개수 세기, 교통 표지판, 주행 거리 인식에는 약하다. 익숙하지 않은 전문 과제를 few-shot 대신 zero-shot 전이로 평가하는 것 자체가 적절한지도 의문이다.출처: Figure 5 · p. 8, §3.1.5 · pp. 8–9
  • 동일한 CLIP 특징을 사용하는 4-shot 로지스틱 회귀는 zero-shot CLIP의 평균 성능과 동등하며, 이 성능은 평가 대상 중 가장 우수한 16-shot 분류기와도 대체로 비슷하다.해당 16-shot 분류기는 BiT-M ResNet-152x2 특징을 사용한다. 자연어는 개념을 직접 지정하지만, L2 정규화로 zero-shot 가중치와 few-shot 학습을 결합하려는 시도에서는 사실상 zero-shot 분류기가 선택되는 경우가 많다. 성능이 동등해지는 클래스당 레이블 수 추정치는 1 미만부터 184까지이며, 평균은 20.8, 중앙값은 5.4다. Flowers102와 EuroSAT에서는 one-shot 모델보다 뒤처지지만, ImageNet에서는 동일한 특징을 사용하는 16-shot 분류기와 동등하다.출처: Figure 6 · p. 9, §3.1.5 · pp. 9–10, Figure 7 · p. 10
  • Zero-shot CLIP과 자체 특징에 완전 지도학습을 적용한 linear probe는 성능 상관관계가 높지만, 대체로 10–25점의 격차를 보인다.평가 데이터셋이 충분히 크다고 가정하면, 지도학습한 linear probe의 성능은 zero-shot 성능의 대략적인 상한이 된다. 두 성능의 상관계수는 0.82 (p-value < 10^-6)이며, 격차가 세 점 이내인 데이터셋은 다섯 개뿐이고, 모두 두 평가에서 정확도가 90%를 넘는다. 다섯 CLIP ResNet에 걸쳐 36개 데이터셋에서 수행한 39건의 평가에서, 모델 연산량이 44x로 늘어나는 범위에 걸쳐 평균 오차는 로그-로그 공간에서 매끄러운 선형 추세를 보이지만, 개별 평가의 변동은 상당하다.출처: Figure 8 · p. 10, §3.1.5 · p. 10, Figure 9 · p. 11

3.2. 표현 학습

  • 336픽셀 해상도로 한 에포크 더 학습한 CLIP ViT-L/14는 12개 데이터셋의 linear probe 평가에서 Noisy Student EfficientNet-L2보다 평균 2.6% 향상된다.Linear probe는 미세 조정이 가릴 수 있는 표현의 한계를 드러내며, OCR, 지리적 위치 추정, 감정 인식, 행동 인식 등을 포함한 27개 데이터셋에서 모델 66종을 표준화된 방식으로 비교할 수 있게 한다. 작은 CLIP ResNet은 BiT-M과 연산 비용이 비슷한 EfficientNet보다 뒤처지지만, ResNet-50x64는 Noisy Student EfficientNet-L2를 소폭 앞선다. CLIP의 Vision Transformer는 CLIP ResNet보다 연산 효율이 약 3x 높다.출처: §3.2 · p. 11, Figure 10 · p. 12
  • GTSRB에서의 14.7% 향상은 EfficientNet 대비 CLIP의 성능 우위를 보여주는 사례이며, OCR, 지리적 위치 추정, 장면 인식, 동영상 활동 인식, 세밀한 차종 인식에서도 우세하다.반면 EfficientNet은 ImageNet, CIFAR10, CIFAR100, PatchCamelyon, CLEVRCounts에서 앞서며, 마지막 두 데이터셋에서는 두 접근법 모두 성능이 낮다. 저자들은 ImageNet의 제한된 지도 신호가 세밀한 차이를 구분하기 어렵게 만들 수 있으며, CLIP의 크기 조절 기반 데이터 증강 부재가 저해상도에서의 약점을 일부 설명할 수 있다고 제안한다.출처: §3.2 · pp. 12–13
  • 27개 중 21개 데이터셋에서 CLIP 특징으로 학습한 선형 분류기가 Noisy Student EfficientNet-L2 특징으로 학습한 분류기를 앞선다.더 폭넓은 평가에서는 모든 규모의 CLIP이 평가 대상 시스템보다 연산 효율이 높고, 가장 우수한 모델의 평균 점수 우위는 2.6%에서 5%로 커진다. SimCLRv2도 Kornblith et al. (2019)의 12개 데이터셋에서는 BiT-M보다 뒤처지지만, 27개 데이터셋 평가에서는 앞선다.출처: §3.2 · p. 12, Figure 11 · p. 13

3.3. 자연적 분포 변화에 대한 강건성

  • Taori et al. (2020)의 자연적 분포 변화 벤치마크 7개는 기존 이미지를 인위적으로 변형하는 대신 새로 수집한 이미지에서 강건성을 평가한다.보고된 평균은 분포가 변한 데이터셋 7개와 이에 대응하는 ImageNet 클래스 부분집합을 대상으로 하며, Youtube-BB와 ImageNet-Vid에서는 pm-0과 pm-10 정확도를 평균 낸다. 인위적 분포 변화에서 성능을 높이는 기법이 자연적 분포 변화에서도 일관되게 성능을 높이지는 않는다. 특정 분포의 상관관계는 다른 분포에서 성립하지 않을 수 있고 기존 평가 대부분이 ImageNet으로 학습한 모델을 다루므로, 다른 데이터와 자연어 지도 신호를 사용하는 CLIP은 이러한 실패를 조사하는 또 다른 수단이 된다.출처: §3.3 · p. 13
  • Zero-shot CLIP 모델에서는 ImageNet 정확도와 자연적 분포 변화에서의 정확도 간 격차가 최대 75% 줄어들고, 유효 강건성도 크게 향상된다.유효 강건성은 분포 변화에서의 정확도가 단순히 향상된 정도가 아니라, ImageNet 정확도로 예측한 수준을 얼마나 웃도는지 측정한다. Zero-shot 모델도 사전 학습 분포와 평가 분포에 공통된 허위 상관관계를 이용할 수 있다.출처: §3.3 · pp. 13–14, Figure 13 · p. 15
  • Few-shot CLIP은 높은 유효 강건성을 유지하지만 지도 신호가 추가될수록 이점이 줄어든다. ImageNet 성능이 같을 때는 zero-shot CLIP이 더 강건하다.여러 실험에서 특정 분포의 학습 데이터를 제한하면 데이터셋별 성능을 희생하는 대신 유효 강건성이 높아지는 경향이 나타나며, 완전 지도 학습에서는 강건성 이점 대부분이 사라진다. 저자들은 강건성을 높이고 성능을 더 잘 평가하기 위해 Yogatama et al. (2019)와 Linzen (2020)이 제안한 과제 비종속적 사전 학습과 폭넓은 zero-shot/few-shot 평가를 지지한다.출처: §3.3 · pp. 15–16
  • CLIP에 지도 학습으로 선형 적응을 적용하면 ImageNet 정확도는 9.2% 높아져 전체 85.4%에 도달하지만, 자연적 분포 변화에서의 평균 정확도는 소폭 낮아진다.ImageNetV2에서는 유의하게 향상되지만, ImageNet-R에서는 4.7%, ObjectNet에서는 3.8%, ImageNet Sketch에서는 2.8%, ImageNet-A에서는 1.9% 정확도가 하락한다. Youtube-BB와 ImageNet Vid의 변화는 유의하지 않다. 이 결과만으로는 ImageNet 지도 학습이 강건성 격차를 유발하는지, CLIP의 다른 학습 설정이 이를 설명하는지, 같은 양상이 종단 간 미세 조정에도 나타나는지 판단할 수 없다.출처: §3.3 · pp. 14–15, Figure 14 · p. 16
  • 각 데이터셋의 클래스 이름으로 데이터셋별 zero-shot CLIP 분류기를 직접 구성하면 평균 유효 강건성이 5% 향상된다.대상 범주가 ImageNet 범주와 다를 때, 이 방식은 Taori et al. (2020)이 사용한 불완전한 ImageNet 하위 클래스 통합을 피한다. 향상은 일부 데이터셋에 집중되지만, ObjectNet 정확도도 2.3% 높아진다.출처: §3.3 · p. 15, Figure 14 · p. 16

4. 인간의 성능과 비교

품종당 예시 하나만으로도 사람의 성능이 크게 향상되어, 사람과 CLIP의 few-shot 학습 간 차이가 드러났다. Zero-shot CLIP이 가장 어려워한 이미지는 사람에게도 어려웠다.

4. 인간의 성능과 비교

  • 37개 품종에 걸친 Oxford IIT Pets 테스트 이미지 3669장을 품종당 예시 0개·1개·2개 조건에서 각각 다섯 명이 분류했다.Zero-shot 조건에서 사람은 응답을 유보할 수 있었으며 온라인 검색은 할 수 없었다. 모델은 사람처럼 예시 이미지를 참조할 수 없어 사람과 모델의 few-shot 조건이 완전히 일치하지는 않았다.출처: §4 · p. 16
  • CLIP의 few-shot 학습에 사전 지식을 통합하면 Lake et al. (2016)이 지적한 인간과 기계 간 표본 효율성 격차를 줄일 수 있다.이 CLIP 평가에서는 사람과 달리 사전 지식을 효과적으로 활용하지 못했다. 고품질 사전학습 특징을 사용하는 선형 분류기가 few-shot 학습에서 최고 수준에 근접했다는 점(Tian et al., 2020)은 이러한 격차가 더 광범위하게 나타남을 시사한다.출처: §4 · p. 17
  • 사람의 클래스별 평균 정확도는 품종당 예시 하나에서 76%로 zero-shot의 54%보다 크게 높았으며, 두 번째 예시의 추가 효과는 미미했다.Zero-shot에서 one-shot으로 전환할 때의 성능 향상은 거의 모두 참가자가 확신하지 못했던 이미지에서 나타났다. 이는 사람이 예시 하나로 불확실한 판단을 갱신할 수 있음을 시사한다.출처: Table 2 · p. 17, §4 · p. 17
  • Zero-shot CLIP이 가장 어려워한 이미지는 사람에게도 어려웠으며, 이러한 공통 오류의 설명으로 데이터셋 잡음과 분포 외 이미지가 제시되었다.데이터셋 잡음에는 잘못된 레이블이 붙은 이미지가 포함된다. 이러한 설명은 확립된 원인이 아니라 가설이었다.출처: §4 · p. 17

5. 데이터 중복 분석

검출된 학습–평가 데이터 간 중복은 대체로 적었으며 CLIP의 전체 제로샷 정확도에 미치는 영향도 작았다. 불완전한 중복 검출과 중복 표본 및 비중복 표본 간 분포 차이로 인해 분석에 한계가 있다.

5. 데이터 중복 분석

  • 사전 학습 데이터와의 중복은 일반화 평가의 타당성을 훼손할 수 있지만, 중복을 미리 제거하려면 모든 평가 데이터셋을 예상해야 하며 새로운 평가를 위해 비용이 큰 재학습이 필요할 수 있다.이러한 상충 관계를 고려해, 평가를 학습 전에 알려진 데이터셋으로 제한하기보다 중복과 그 성능 영향을 측정한다.출처: §5 · p. 17
  • CLIP RN50x64의 데이터 오염 영향은 All - Clean 제로샷 정확도 차이로 추정했으며, 중복 검출과 수동으로 조정한 임계값으로 Overlap과 Clean 부분집합을 정의했다.최근접 이웃으로 매칭된 쌍을 수동으로 검토해 정밀도를 우선하면서 재현율을 최대화했으며, 오염률은 Overlap의 크기를 All의 크기로 나누어 측정했다. 통계적 검증에는 Clean 정확도를 기준으로 한 단측 이항 검정과 99.5% Clopper-Pearson 신뢰구간을 사용했다.출처: §5 · pp. 17–18
  • 전체 정확도 변화가 0.1%를 넘은 데이터셋은 7개뿐이었으며, Bonferroni 보정 후 통계적으로 유의한 것은 2개뿐이었다.검출된 최대 정확도 향상은 Birdsnap의 0.6%였으며, 이 데이터셋의 중복률은 12.1%였다.출처: §5 · p. 18
  • 35개 데이터셋에서 검출된 중복률은 중앙값 2.2%, 평균 3.2%였으며, 9개 데이터셋에서는 중복이 검출되지 않았다.중복이 검출되지 않은 데이터셋은 대체로 합성 데이터이거나 특수 목적의 데이터, 또는 사전 학습 데이터셋 수집 이후에 수집된 데이터로, 낮은 위양성률을 뒷받침한다.출처: §5 · p. 18
  • Country211의 중복률은 21.5%로 검출된 값 중 가장 높았지만, 정확도 증가는 0.2%에 그쳤다.Country211은 YFCC100M으로 구축되었으며, 해당 데이터셋을 필터링한 부분집합이 사전 학습에 포함되었다. 중복된 학습 캡션에는 위치 정보가 빠진 경우가 많아 지리적 위치 추정에 주는 이점이 제한되었을 수 있다.출처: §5 · p. 18
  • 불완전한 중복 검출 재현율과 Overlap 및 Clean 간 분포 변화로 인해 정확도 변화를 데이터 오염 탓으로 단정하기 어려우며, 과적합이 드러나지 않을 수 있다.검토한 일치 사례에서는 정밀도가 높았지만, 400백만 개의 예시 전반에 걸쳐 탐지기의 재현율을 포괄적으로 검증할 수는 없었다. Kinetics-700의 Overlap에서 관측된 20% 정확도 하락은 검은 전환 프레임으로 설명되었으며, 저해상도 CIFAR-100 이미지는 중복 오탐을 유발했다.출처: §5 · p. 18

6. 한계

CLIP의 zero-shot 전이는 전반적으로 최고 성능에 못 미치며, 특수한 과제와 실제 분포 외 데이터에 취약하다. 제한된 출력, 낮은 데이터 효율, 평가 관행, few-shot 예제 활용의 어려움도 해결되지 않은 한계다.

6. 한계

  • 검출된 데이터 중복으로 인한 전체 테스트 정확도 상승 추정치 중 최대는 Birdsnap의 0.6%였다.검출된 중복은 대체로 전체 예제의 한 자릿수 퍼센트에 불과하다. 단측 이항 검정에서 통계적으로 유의한 정확도 향상을 보인 데이터셋은 여섯 개뿐이었다.출처: Figure 17 · p. 19
  • Zero-shot CLIP은 평균적으로 ResNet-50 특징 기반 선형 분류기와 대등한 성능을 보이지만, 이 기준 모델은 평가한 데이터셋 대부분에서 최고 성능에 못 미친다.전반적으로 최고 성능에 도달하려면 연산량을 1000x 늘려야 할 것으로 추정되며, 이는 현재 하드웨어로는 실현 불가능하다. 따라서 연산 효율과 데이터 효율을 개선해야 한다.출처: §6 · pp. 18–19
  • CLIP은 세부 범주 분류와 개수 세기에 취약하며, 사전 학습에 등장했을 가능성이 낮은 새로운 과제에서는 무작위 수준에 가까운 성능을 보일 수 있다.자동차 모델, 꽃의 종, 항공기 세부 기종 구분과 가장 가까운 자동차까지의 거리 추정이 그 예다.출처: §6 · p. 19
  • MNIST에서 정확도 88%를 기록한 zero-shot CLIP은 원시 픽셀 기반 로지스틱 회귀에도 못 미치며, 이는 실제 분포 외 데이터에 대한 일반화가 취약함을 보여준다.CLIP은 사전 학습에서 흔히 접하는 디지털 렌더링 텍스트에서는 성능이 좋지만, 학습 이미지를 검색해 보면 MNIST와 유사한 이미지는 거의 없다. 따라서 학습 데이터가 광범위하더라도 불안정한 일반화 문제는 해결되지 않는다.출처: §6 · p. 19
  • 새로운 출력을 생성할 수 있는 이미지 캡션 생성 모델과 달리, CLIP은 zero-shot 분류기에 주어진 개념만 선택할 수 있다.평가에 사용한 캡션 생성 기준 모델은 연산 효율이 훨씬 낮았다. 대안으로는 대조 학습과 생성 학습의 결합, 또는 Andreas et al. (2017)과 유사하게 추론 시 자연어 설명을 탐색하는 방식이 제안된다.출처: §6 · p. 19
  • 32 에포크에 걸친 12.8십억 회의 이미지 제시는 감독 신호원을 확장할 수 있음에도 CLIP의 데이터 효율이 낮다는 점을 보여준다.데이터 효율을 높이는 방법으로 자기지도 학습(Henaff, 2020; Chen et al., 2020c)과 자기학습(Lee; Xie et al., 2020)이 제안된다. 필터링과 정제를 거치지 않은 인터넷 이미지–텍스트 감독 신호는 CLIP이 사회적 편향도 학습하게 한다.출처: §6 · p. 20
  • 전체 검증 세트의 반복적인 피드백과 방법론에 맞춰 함께 조정된 평가 데이터셋 구성은 CLIP의 방법론이 zero-shot 전이를 현실적으로 검증하는 데 한계가 된다.Kornblith et al. (2019)의 표준화된 12개 데이터셋 평가 결과도 보고하지만, 주된 평가는 다소 임의로 구성한 27개 데이터셋을 사용한다. 저자들은 광범위한 zero-shot 전이를 명시적으로 검증하도록 설계한 벤치마크를 제안한다.출처: §6 · p. 20
  • 모든 시각적 개념을 텍스트로 쉽게 명시할 수는 없으며, zero-shot에서 few-shot 학습으로 전환할 때 CLIP 특징에 선형 분류기를 학습시키면 성능이 저하될 수 있다.CLIP은 few-shot 성능을 직접 최적화하지 않는다. 따라서 zero-shot 능력과 예제를 통한 효율적인 학습을 결합하는 방법이 여전히 필요하다.출처: §6 · p. 20

7. 광범위한 영향

이 절에서는 CLIP의 유연한 zero-shot 능력이 제공하는 유용한 응용과 편향·감시 위험을 함께 살펴보고, 클래스 설계, 라벨 부여 임곗값, 배포 맥락이 잠재적 피해에 미치는 영향을 강조한다. 또한 잠재적 실패 양상과 추가 연구 영역을 파악하기 위한 향후 과제를 제시한다.

7. 광범위한 영향

  • CLIP은 재학습 없이 텍스트–이미지 검색과 맞춤형 분류를 지원해 유용한 응용 범위를 넓히지만, 맥락별로 적합성, 편향, 감시 위험을 평가해야 한다.OCR, 행동 인식, 지리적 위치 추정 등의 능력은 유익한 응용에도 감시에도 쓰일 수 있다. 초기 편향 탐색은 제한적이므로, 배포 환경별 분석과 더 폭넓은 맥락에서의 검증이 여전히 필요하다.출처: §7 · p. 20

7.1. 편향

  • LR CLIP은 대부분의 FairFace 평가에서 Linear Probe Instagram (Mahajan et al., 2018)과 FairFace 모델을 앞서지만, zero-shot 성능은 범주에 따라 달라진다.두 변형 모두 FairFace의 모든 인종 범주에서 성별 분류 정확도가 95%를 넘는다. 벤치마크 정확도가 현실에서의 공정성을 입증하지는 않으며, 성능 격차가 작다고 영향의 격차도 작다는 뜻은 아니다.출처: Table 3 · p. 21, Table 4 · p. 21, §7.1 · pp. 21–22
  • FairFace 이미지의 4.9%에 비인간 라벨이 부여되었으며, 흑인 이미지의 오분류율은 약 14%인 반면 다른 모든 인종 범주에서는 8% 미만이었다.이미지 10,000장을 대상으로 한 탐색에서 범죄 관련 오분류율은 남성 이미지에서 16.5%, 여성 이미지에서 9.8%였다. 0–20세의 비인간 분류율은 14%, 범죄 관련 분류율은 약 18%였으며, 범죄 관련 분류율은 20–60세에서 약 12%, 70세 초과에서 0%였다.출처: Table 6 · p. 22, §7.1 · p. 22
  • 아동 클래스를 추가하자 20세 미만 얼굴의 유해한 분류가 크게 줄어, 클래스 정의, 표현, 임곗값이 편향을 어떻게 바꾸는지 보여주었다.FairFace의 성별 2개·인종 7개 범주는 일부 인구집단을 통째로 누락하며, 이 범주를 사용한 목적은 비교이지 지지가 아니다. FairFace 모델이 인종을 백인/비백인으로 이분화한다는 점도 비교를 제약한다.출처: §7.1 · pp. 21–23
  • 미국 연방의회 의원 이미지의 성별 분류 정확도는 100%였지만, 직업·외모 라벨에는 성별 고정관념이 드러났고 라벨 부여 임곗값에 따라 달라졌다.직업 라벨 임곗값이 0.5%일 때 품질이 낮은 출력에는 여성의 경우 보모·가사도우미, 남성의 경우 수감자·조직폭력배가 포함되었다. 상용 시스템의 라벨을 사용하면 여성에게는 외모 라벨이, 남성에게는 지위가 높은 직업 라벨이 더 많이 부여되었다. 임곗값을 4%에서 0.5%로 낮추자 여성에게 부여되는 직업 라벨은 다양해졌지만, 여성과 연관된 표현이 남성에게 부여되는 범위는 그만큼 넓어지지 않았다.출처: §7.1 · p. 23, Figure 18 · p. 24

7.2. 감시

  • CCTV 분류의 top-1 정확도는 91.8%였으나 유사한 경쟁 캡션을 도입하자 51.1%로 떨어졌고, 작은 물체의 존재 여부를 세밀하게 판별하는 성능은 무작위 수준에 가까웠다.평가에는 동영상 시퀀스 12개의 이미지 515장이 사용되었으며, 초기의 대략적 분류에는 최소 6개 선택지가 주어졌다. 경쟁 캡션 평가에서 CLIP은 40.7%의 비율로 유사한 오답을 선택했다.출처: §7.2 · p. 24
  • 유명인 식별의 zero-shot top-1 정확도는 후보 이름 100개에서 59.2%였으나 1,000개에서는 43.3%로 떨어져 실제 운영 시스템의 성능보다 낮았다.과제별 데이터셋은 사용하지 않았다. CelebA에는 밝은 피부색이 과다 대표되어 있으며, 평가에서 인구통계적 특성을 통제할 수 없었다. CLIP은 객체 탐지와 의미론적 분할을 지원하지 않아 감시 용도로서의 상대적 매력은 제한적이지만, 특수한 응용에 필요한 데이터와 기술의 진입 장벽을 낮출 수 있다.출처: §7.2 · pp. 24–25, Table 8 · p. 25

7.3. 향후 과제

  • 연구 공동체의 탐색을 통해 능력과 한계를 체계화하고, 유익한 용도와 사회적으로 민감한 용도를 파악하며, 편향의 특성을 규명하고, 개발 초기용 평가 모음을 구축해야 한다.이 분석은 포괄적이기보다 예비적이다. 사회의 다양한 이해관계자가 관련된 민감한 응용에는 정책 입안자의 개입이 필요할 수 있다.출처: §7.3 · p. 25
  • 저자들은 잠재적 실패 양상과 추가 연구 영역을 파악할 것을 제안한다.저자들은 이 작업에 기여할 계획이며, 자신들의 분석이 후속 연구를 촉진하는 사례를 제공하기를 기대한다.출처: §7.3 · p. 25

8. 관련 연구

CLIP은 자연어 지도와 텍스트-이미지 검색에 기반하지만, 이미지 표현과 텍스트 표현 사이의 내적만으로 상호작용하며 시각 모델을 처음부터 학습한다. 이미지에 동반된 텍스트를 활용한다는 점에서도 검색어를 레이블로 쓰는 웹 기반 지도 학습과 다르다.

8. 관련 연구

  • 자연어 지도는 분포 의미론과 언어 모델링을 폭넓게 포괄하며, NLP에서는 설명, 지시, 조언, 상호작용 피드백으로부터 명시적으로 학습하기도 한다.의미 파싱은 설명을 특징이나 추가 레이블(Hancock et al., 2018)로 변환한다. ExpBERT (Murty et al., 2020)는 설명과 관계 기술을 조건으로 문맥 표현을 구성하여 관계 추출 성능을 높인다.출처: §8 · pp. 25–26
  • 자연어 지도는 시각 분야에서도 CLIP 이전부터 활용되었으며, 이미지 검색, 객체 분류, 비디오 이해, 그라운딩된 표현, 강화학습 과제에 걸쳐 연구되었다.Ramanathan et al. (2013)은 비디오 이벤트 이해에 다른 지도 신호와 함께 설명을 사용했으며, He & Peng (2017)과 Liang et al. (2020)은 세밀한 조류 분류 성능을 높였다. 언어를 조건으로 하는 강화학습 연구는 체계적인 제로샷 과제 수행을 입증했다(Hill et al., 2019).출처: §8 · p. 26
  • CLIP의 텍스트-이미지 검색 목적함수는 예측 목적함수에서 공동 멀티모달 임베딩, 순위화 목적함수, 표현력이 점점 더 높은 모델로 이어지는 연구 흐름을 따른다.초기 임베딩 접근법은 커널 정준상관분석 등의 기법을 사용했으며, 후속 연구는 목적함수, 전이, 모델 표현력의 조합을 탐구했다.출처: §8 · p. 26
  • 관련 연구는 자연어 지도를 이미지에서 비디오로 확장하고, 비디오, 텍스트, 원시 오디오를 결합해 추가적인 이점을 얻는다.Stroud et al. (2020)은 설명 텍스트와 비디오를 짝지으며, 다른 연구는 밀도 높은 음성 지도 신호를 사용한다(Miech et al., 2019; 2020b). Alayrac et al. (2020)은 세 모달리티를 모두 결합했을 때의 이점을 입증했다.출처: §8 · p. 26
  • 기존에 자동 구축된 이미지-텍스트 데이터셋은 학습 예시 1–10백만 개 규모로, 더 엄격한 필터링이나 과제별 설계로 인해 WIT보다 여전히 훨씬 작다.소규모 크라우드소싱 캡션 데이터셋은 달성 가능한 성능을 제한한다. Mithun et al. (2018)은 인터넷에서 추가로 수집한 이미지-텍스트 쌍이 검색 성능을 높일 수 있음을 보였다.출처: §8 · p. 26
  • 검색어를 레이블로 쓰는 웹 기반 지도 학습과 달리, CLIP은 이미지에 동반된 전체 텍스트를 학습 지도 신호로 사용하고 데이터셋 검색을 텍스트 부분 문자열 일치로만 제한한다.웹 기반 지도 학습 방법은 대개 검색 엔진을 통해 이미지를 확보하며, 컴퓨터 비전 시스템이 개입할 수도 있는 복잡한 검색·필터링 파이프라인을 사용한다. Divvala et al. (2014)은 CLIP과 특히 유사한 목표를 공유한다.출처: §8 · p. 26
  • CLIP은 시각 모델을 처음부터 학습하며, 촘촘히 연결된 공동 어텐션 모델 대신 단 한 번의 내적으로 이미지와 텍스트를 연결한다.관련 시각-언어 시스템은 일반적으로 사전학습된 하위 시스템을 최소 세 개 결합하고, 시각 질의응답, 상식 추론, 멀티모달 함의 같은 과제에 맞춰 함께 미세조정한다.출처: §8 · p. 27

9. 결론 · A. 선형 프로브 평가

CLIP은 사전학습 중에 익힌 과제를 자연어 프롬프트를 통한 제로샷 전이에 활용하며, 규모가 충분히 크면 과제별 지도학습 모델에 견줄 만한 성능을 보인다. 부록에서는 선형 프로브 평가의 추가 세부사항을 제시한다.

9. 결론

  • 규모가 충분히 크면 CLIP의 제로샷 성능은 과제별 지도학습 모델에 견줄 만하지만, 여전히 개선의 여지가 크다.이러한 전이는 다양한 기존 데이터셋에 적용된다.출처: §9 · p. 27
  • CLIP 모델은 사전학습 중에 학습 목적함수를 최적화하면서 매우 다양한 과제를 수행하는 법을 배운다.출처: §9 · p. 27
  • 자연어 프롬프팅은 사전학습 중에 익힌 과제를 활용해 제로샷 전이를 가능하게 한다.출처: §9 · p. 27
  • NLP에서 사용되는 과제에 구애받지 않는 웹 규모 사전학습을 도입하면 컴퓨터 비전에서도 유사한 양상이 나타난다.출처: §9 · p. 27
  • 이 논문은 이러한 연구 방향의 사회적 함의도 논의한다.출처: §9 · p. 27

A. 선형 프로브 평가

  • 선형 프로브 평가 부록에서는 평가에 사용된 데이터셋과 모델을 비롯해 추가적인 실험 세부사항을 제시한다.출처: A. Linear-probe evaluation · p. 37

A.1. 데이터셋 · A.2. 모델 · A.3. 평가

확장된 데이터셋 모음과 새로 구축한 두 데이터셋에서 CLIP 변형 모델과 다른 사전 학습 모델을 선형 프로브로 평가한다. 공통 로지스틱 회귀 절차에 따라 검증 데이터로 정규화 강도를 조정한 뒤 최종 평가한다.

A.1. 데이터셋

  • 15개 추가 데이터셋으로 에서 도입한 12개 데이터셋 모음을 확장하여 더 다양한 분포와 과제에서 평가한다.UCF101과 Kinetics700은 각 동영상의 가운데 프레임을 입력 이미지로 사용한다. STL-10과 UCF101의 결과는 미리 정의된 모든 분할에서 얻은 결과를 평균하며, 분할 수는 각각 10개와 3개다.출처: §A.1 · p. 37
  • Country211은 211개 국가 범주로 구성된 균형 잡힌 지리적 위치 추정 데이터셋으로, 국가별 학습 사진 200장과 테스트 사진 100장을 포함한다.사진은 YFCC100m 에서 가져오며, GPS 태그가 있는 사진이 최소 300장인 ISO-3166 국가로 한정한다.출처: §A.1 · p. 37
  • Stanford Sentiment Treebank 문장 을 흰 배경에 검은 글자로 렌더링한 448×448 이미지로 OCR 평가용 Rendered SST2를 구성한다.이 데이터셋은 시각 표현의 광학 문자 인식 능력을 측정하도록 설계되었다.출처: §A.1 · p. 37

A.2. 모델

  • LM RN50은 대조 학습을 자기회귀 텍스트 예측으로 대체하며, ResNet-50 이미지 특징을 언어 모델에 입력할 접두 토큰 4개로 투영한다.다른 CLIP 모델과 동일한 학습 데이터셋과 에포크 수를 사용한다.출처: §A.2 · p. 37
  • ResNet 기반 5개와 Vision Transformer 기반 4개의 CLIP 변형 모델은 다양한 구조, 연산 예산, 입력 해상도를 포괄한다.ResNet 변형에는 ResNet-50, ResNet-101과 EfficientNet 방식 (Tan & Le, 2019)으로 너비·깊이·해상도를 확장해 연산량이 약 4x, 16x, 64x인 모델 3개가 포함된다. Vision Transformer (Dosovitskiy et al., 2020) 변형은 224-by-224픽셀로 학습한 ViT-B/32, ViT-B/16, ViT-L/14와 336-by-336픽셀로 미세 조정한 ViT-L/14로 구성된다.출처: §A.2 · p. 37
  • 지도 학습 비교 모델은 합성곱과 트랜스포머 구조를 포괄하지만, 확보할 수 없는 체크포인트 때문에 일부 모델 계열의 평가 범위가 제한된다.비교에는 원본 및 noisy-student EfficientNet 모델 (Tan & Le, 2019), Instagram으로 사전 학습한 ResNeXt 모델 4개 (Mahajan et al., 2018)와 이들의 고해상도 FixRes 변형 2개, ResNet-50, ResNet-101, ResNet152 (He et al., 2016b)가 포함된다. ImageNet-1k와 ImageNet-21k로 학습한 BiT-S와 BiT-M (Kolesnikov et al., 2019), ImageNet-21k로 사전 학습한 ViT-B/32, ViT-B/16, ViT-L/16, ViT-H/14 (Dosovitskiy et al., 2020)도 포함된다. BiT-L과 JFT-300M으로 학습한 최고 성능의 ViT 모델은 공개되지 않았다.출처: §A.2 · pp. 37–38
  • 추가 비교 모델은 자기지도 학습과 캡션 기반 사전 학습을 포괄하며, 명시된 공개 체크포인트를 사용한다.여기에는 선택적 커널을 사용하고 사전 학습만 수행한 SimCLRv2 체크포인트 7개 (Chen et al., 2020c), BYOL 50x1과 200x2 (Grill et al., 2020), MoCo-v1 (He et al., 2020), MoCo-v2 (Chen et al., 2020d)가 포함된다. VirTex (Desai & Johnson, 2020)는 CLIP-AR과 설계가 유사하지만, 크기가 1000x 작은 고품질 MSCOCO 캡션 데이터셋을 사용한다.출처: §A.2 · pp. 37–38

A.3. 평가

  • 선형 프로브는 끝에서 두 번째 층의 특징으로 로지스틱 회귀를 학습하며, CLIP-ViT에서는 투영 전 특징을 사용하고 기존 분류 헤드는 사용하지 않는다.Scikit-learn의 L-BFGS는 최대 1,000회 반복한다. L2 정규화 강도는 10^-6부터 10^6까지 로그 간격의 96개 단계에 걸쳐 탐색하며, 이진 세분화로 열 배 구간당 여덟 단계까지 탐색한다. 하이퍼파라미터는 제공된 검증 데이터나 학습 데이터에서 분리한 일부를 사용해 선택한다. 이후 검증 샘플을 학습 데이터에 다시 합치고, 사용하지 않은 분할에서 최종 평가한다.출처: §A.3 · p. 38

A.4. 결과 · B. 제로샷 예측

최고 성능의 CLIP 모델은 보고된 신뢰구간 기준에 따라 27개 데이터셋 중 21개에서 최고 수준의 선형 프로브 성능을 달성했다. 제로샷 결과는 데이터셋별 점수와 36개 분류기의 예측 시각화로 제시된다.

A.4. 결과

  • CLIP은 여러 데이터셋에서 다른 모델보다 유의하게 우수한 성능을 보여, 기존 이미지 분류 사전 학습 대비 자연어 감독의 이점을 입증한다.출처: §A.4 · p. 38
  • 선형 프로브 평가에는 논문 작성 당시 온라인에서 이용할 수 있었던 Birdsnap 및 Kinetics700 자료를 사용한다.출처: Table 9 · p. 39
  • 27개 데이터셋 중 21개에서 최고 성능의 CLIP 모델이 보고된 신뢰구간 기준에 따라 최고 수준의 선형 프로브 성능을 달성했다.이 모델은 336×336픽셀 이미지와 ViT-L/14를 사용한다. 각 데이터셋의 최고 점수를 중심으로 한 Clopper-Pearson 99.5% 신뢰구간 내 점수를 해당 기준에 부합하는 것으로 본다.출처: §A.4 · p. 38, Table 10 · p. 40
  • 27개 데이터셋의 개별 선형 프로브 점수는 Table 10에 제시하고 Figure 20에 도식화한다.출처: §A.4 · p. 38, Table 10 · p. 40, Figure 20 · p. 41

B. 제로샷 예측

  • 36개 제로샷 CLIP 분류기의 예측을 정성적으로 시각화하며, 예시는 무작위로 선택하되 Hateful Memes는 불쾌감을 주는 내용을 피하기 위해 다시 선택했다.Table 11은 27개 데이터셋의 제로샷 성능을 보고하며, Figure 22는 CLIP의 제로샷 성능과 ResNet의 선형 프로브 성능을 비교한다.출처: Figure 21 · p. 42, Table 11 · p. 43, Figure 22 · p. 43

A.4. 결과

  • 각 예측 시각화에는 확률이 가장 높은 5개 클래스와 각 클래스의 확률 및 해당 클래스를 나타내는 텍스트가 함께 표시된다.여러 템플릿을 사용한 경우 첫 번째 템플릿만 표시한다. 정답 레이블은 녹색, 잘못된 예측은 주황색으로 표시한다.출처: Figure 21 · p. 42

C. 중복 탐지기

저자들은 모델의 임베딩 공간에서 의미적 유사성에 따른 위양성과 크기 조정에 따른 위음성을 발견하고, 대조학습 기반의 전용 유사 중복 탐지기를 구축했다. 이 탐지기는 대리 학습 과제에서 거의 100%의 정확도를 달성했다.

중복 탐지기

  • 모델의 임베딩 공간에서는 의미적 유사성으로 인해 중복 탐지의 위양성이 발생하고, 서로 다른 보간 알고리즘으로 크기를 조정한 질감이 있는 유사 중복 이미지에서는 위음성이 발생한다.서로 다른 객체라도 설명이 비슷하면 유사도가 거의 완벽할 수 있는 반면, 털이나 줄무늬 패턴은 크기 조정 방식이 다르면 유사도가 놀라울 정도로 낮을 수 있다.출처: C. Duplicate Detector · p. 44
  • 합성 이미지 변환으로 탐지기를 학습하며, CLIP의 n-pair / InfoNCE 손실을 사용해 변환된 이미지끼리는 대응시키고 배치 내 다른 이미지와는 구분한다.손실의 온도는 0.07로 고정한다. 증강에는 자르기, 확대·축소, 종횡비 왜곡, 해상도 변경, 작은 각도 회전, JPEG 압축, HSV 색상 지터, 무작위 보간 알고리즘을 조합한다.출처: C. Duplicate Detector · p. 44
  • ResNet-50 중복 탐지기는 사전 학습 데이터셋에서 추출한 약 30백만 장의 이미지로 학습한 뒤 대리 학습 과제에서 거의 100%의 정확도를 달성했다.학습에는 총 배치 크기 1,712를 사용했다. 보고된 정확도는 별도의 중복 탐지 벤치마크가 아니라 대리 학습 과제에 대한 것이다.출처: C. Duplicate Detector · p. 44
  • 탐지기는 앨리어싱을 억제한 ResNet-50 (Zhang, 2019), 가중치 정규화 (Salimans & Kingma, 2016), GELU 활성화 함수 (Hendrycks & Gimpel, 2016)를 사용한다.배치 통계를 통한 중복 정보 누출을 막기 위해 배치 정규화 (Ioffe & Szegedy, 2015)를 가중치 정규화로 대체한다. 이 문제는 (Henaff, 2020)에서도 지적되었다. 이 과제에서는 GELU의 성능이 더 좋았다.출처: C. Duplicate Detector · p. 44

학습 데이터 비교

  • CLIP의 ResNet-50을 YFCC100M이나 같은 크기의 WIT 부분집합으로 학습하면, 제로샷 평가와 선형 분류기 평가 모두에서 평균 성능과 우위를 보인 횟수가 비슷하다.그럼에도 데이터셋별 성능은 크게 다르다. Table 12는 선형 프로브 기준으로 YFCC가 가장 우세한 세 비교와 가장 열세인 세 비교를 강조한다.출처: Table 12 · p. 44

D. YFCC100M 데이터셋 어블레이션 · E. 주요 과제 및 데이터셋 결과 · E.1. 이미지 및 텍스트 검색

크기가 같은 YFCC100M과 WIT 부분집합은 유사한 평균 전이 성능을 보이며, 제로샷 CLIP은 Flickr30k와 MSCOCO에서 기존 제로샷 검색 결과와 동등하거나 더 높은 성능을 보인다.

D. YFCC100M 데이터셋 어블레이션

  • 필터링한 YFCC100M과 WIT에서 크기가 같은 부분집합을 사용하면 제로샷과 선형 프로브 설정 모두에서 전체 평가 과제에 걸쳐 유사한 평균 성능을 보인다.두 모델 모두 과적합으로 전이 성능 향상이 정체되기 시작한 시점인 32에포크까지 학습했다.출처: D. Dataset Ablation on YFCC100M · p. 44
  • 특정 세부 범주 분류 데이터셋에서는 YFCC100M과 WIT으로 각각 사전학습한 모델 간에 10%를 넘는 성능 차이가 나타나기도 한다.YFCC100M 사전학습은 Birdsnap과 Flowers102에서, WIT 사전학습은 자동차와 반려동물 분류에서 더 유리하다. 저자들은 이러한 차이가 관련 사전학습 데이터의 상대적 밀도를 반영한다고 추측한다.출처: D. Dataset Ablation on YFCC100M · p. 44
  • 이 어블레이션 결과는 CLIP이 적절히 필터링된 이미지–텍스트 모음을 활용할 수 있음을 시사하며, YFCC100M 대비 WIT의 주된 이점은 훨씬 큰 규모에 있는 것으로 추정된다.이는 저자들의 해석이며, 입증된 인과적 설명은 아니다.출처: D. Dataset Ablation on YFCC100M · p. 44
  • WIT의 3.7%는 YFCC100M에서 가져왔으며, 이 중복으로 인해 YFCC100M과 WIT의 나머지 데이터 간 성능 차이가 과소평가될 수 있다.저자들은 WIT 구축 중 YFCC100M을 추가해도 모델 성능이 눈에 띄게 달라지지 않았으므로 그 가능성은 낮다고 본다.출처: D. Dataset Ablation on YFCC100M · p. 45

E. 주요 과제 및 데이터셋 결과

  • 주요 결과 절들은 특정 과제군, 데이터셋, 평가 설정별 성능을 상세히 제시해 본문의 종합 분석을 보완한다.데이터셋과 실험이 매우 다양하므로 본문은 전반적인 결과에 중점을 둔다.출처: E. Selected Task and Dataset Results · p. 45

E.1. 이미지 및 텍스트 검색

  • 제로샷 CLIP은 Flickr30k와 MSCOCO의 모든 기존 제로샷 텍스트 및 이미지 검색 결과와 동등하거나 더 높은 성능을 보인다.Flickr30k 텍스트 검색에서는 전체 최고 성능에 견줄 만하다. 이미지 검색에서는 전체 최고 성능에는 못 미치지만 미세조정한 Unicoder-VL에 견줄 만하다. 규모가 더 큰 MS-COCO에서는 미세조정으로 성능이 크게 향상되며, 제로샷 CLIP은 최신 연구에 견줄 만한 성능을 내지 못한다.출처: §E.1 · p. 45
  • Flickr30k와 MSCOCO에서 이미지 설명 앞에 “a photo of”를 붙이면 제로샷 R@1이 1점에서 2점 향상된다.보고된 검색 평가에는 이 프롬프트를 사용한다.출처: §E.1 · p. 45

E.2. 광학 문자 인식

CLIP은 문장 수준의 의미 처리와 혐오 밈 탐지를 지원하는 OCR 능력을 학습하지만, 성능은 영역에 따라 크게 달라진다. 디지털로 렌더링한 단어에서 가장 좋은 성능을 보이며, 손글씨와 거리 이미지 속 숫자에서는 성능이 낮다.

E.2. 광학 문자 인식

  • SVHN 전체 숫자열 인식에서 CLIP의 정확도 51%는 발표된 모든 결과보다 낮으며, 제로샷 MNIST 성능도 원시 픽셀에 지도학습한 로지스틱 회귀에 못 미친다.사례를 살펴보면 반복되는 문자와 SVHN의 저해상도 흐릿한 이미지에서 어려움을 겪는 것으로 보인다.출처: §E.2 · p. 45, Table 14 · p. 46
  • IIIT5K에서 제로샷 CLIP은 Jaderberg et al. (2014)의 초기 개방형 어휘 OCR 접근법과 비슷한 성능을 보인다.IIIT5K는 자연 이미지에서 단어별로 잘라낸 이미지로 구성되며, 비교 대상 접근법은 딥러닝과 구조화 예측을 결합한다.출처: §E.2 · p. 45
  • 렌더링한 SST-2에서 CLIP 표현을 사용하는 선형 분류기의 정확도 80.5%는 정확도 80%인 GloVe continuous-bag-of-words 기준 모델과 대등하다.기준 모델은 840 십억 개의 토큰으로 사전 학습한 단어 벡터를 사용하며, 최고 수준의 정확도는 97.5%다. 이는 텍스트 이미지에서 유의미한 문장 수준 표현을 도출할 수 있음을 보여준다.출처: §E.2 · p. 45, Table 14 · p. 46
  • CLIP의 OCR 성능은 Hateful Memes와 SST-2의 디지털로 렌더링한 단어에서 가장 높지만, 손글씨와 거리 이미지 속 숫자에서는 눈에 띄게 낮다.다섯 데이터셋으로 문자·단어 인식(MNIST, SVHN, IIIT5K)과 의미 처리 과제(Hateful Memes, SST-2)를 평가한다. 기초적인 OCR 능력은 CLIP 개발 과정에서 나타났으며 꾸준히 향상되는 양상을 보였다.출처: §E.2 · p. 45, Table 14 · p. 46
  • 완전 지도학습한 CLIP은 정답 텍스트 없이도 Hateful Memes에서 단일 모델 최고 성능보다 0.7점 낮은 우수한 성능을 보인다.CLIP은 원 논문의 가장 좋은 기준 모델을 수 점 앞서며, 경쟁 모델들의 결과는 정답 텍스트를 사용한다. 제로샷 CLIP도 함께 평가한 다른 56개 모델의 완전 지도학습 선형 프로브 중 최고 성능을 넘어선다.출처: §E.2 · p. 45, Table 14 · p. 46

E.3. 영상 행동 인식 · E.4. 지리적 위치 추정

CLIP은 선형 프로브와 제로샷 평가 모두에서 행동 인식에 높은 전이 성능을 보인다. 지리적 위치 추정 성능은 여러 과제 특화 모델과 비슷하지만, 최고 수준에는 미치지 못한다.

E.3. 영상 행동 인식

  • CLIP의 선형 프로브는 기존 UCF101 최고 성능과 동등하고, 평가한 다른 모든 모델을 능가하며, Kinetics-700에서는 미세 조정한 기존 I3D 기준 모델보다 높은 성능을 보인다.CPU 분류기의 계산 비용 때문에 영상의 중앙 프레임 하나만으로 평가하므로 성능이 다소 과소평가되었을 가능성이 있다. 이 결과는 기존 영상 기반 평가와 직접 비교할 수 없다.출처: Table 15 · p. 46, §E.3 · pp. 46–47
  • 제로샷 CLIP은 별도 학습 단계 없이 모든 프레임의 예측을 평균해, Kinetics-700에서 완전 지도학습한 I3D와 1% 이내의 성능 차이를 보인다.I3D 기준 모델은 레이블이 있는 영상 545000개로 학습했다.출처: §E.3 · p. 47
  • CLIP은 RareAct의 이례적인 행동에 대한 제로샷 인식에서 기존 최고 성능을 10포인트 웃돈다 (Miech et al., 2020a).이전 최고 모델은 교육용 동영상 100백만 개에서 자동 추출한 캡션으로 학습한 S3D였다.출처: §E.3 · p. 47
  • 아키텍처, 학습 데이터 분포, 데이터셋 크기, 연산량이 서로 달라 어떤 설계 선택이 CLIP의 높은 행동 인식 성능을 이끌었는지 분리해 규명할 수 없다.이 실험은 동사 인식을 평가해, 더 폭넓은 언어 감독을 통한 학습이 ImageNet의 보통명사 레이블을 넘어 전이되는지 살펴본다.출처: §E.3 · pp. 46–47

E.4. 지리적 위치 추정

  • CLIP은 더 적은 참조 이미지를 사용하면서도 1백만 장의 참조 이미지로 IM2GPS에서 여러 과제 특화 모델과 비슷한 성능을 보이지만, 최고 성능에는 여전히 미치지 못한다.정해진 반경 이내로 위치를 추정한 이미지의 비율로 성능을 측정한다.출처: Table 17 · p. 47, §E.4 · p. 47
  • CLIP은 임베딩 공간에서 가장 가까운 참조 이미지의 GPS 좌표로 IM2GPS 이미지의 지리적 위치를 추정하므로, 이는 제로샷 평가가 아니라 최근접 이웃 회귀다.저자들은 위치 인식 성능을 정량화하기 위해 Country211도 구축했으며, IM2GPS로는 기존 연구와 비교한다.출처: §E.4 · p. 47

E.5. 분포 변화에 대한 강건성 · F. 모델 하이퍼파라미터

Zero-shot CLIP은 평가한 7개 데이터셋 중 5개에서 기존 최고 성능을 경신하며, ImageNet-Vid, Youtube-BB, ImageNet-R에서 가장 큰 향상을 보인다. 하이퍼파라미터 표는 CLIP 공통 설정, CLIP-ResNet, CLIP-ViT를 다룬다.

E.5. 분포 변화에 대한 강건성

  • Zero-shot CLIP은 7개 데이터셋 중 5개에서 기존 최고 성능을 경신한다: ImageNet-R, ObjectNet, ImageNet-Sketch, ImageNet-Vid, Youtube-BB.Taori et al. (2020)의 평가 모음에 보고된 최고 성능 결과를 비교 기준으로 삼는다.출처: §E.5 · p. 47
  • CLIP은 유연한 zero-shot 능력 덕분에 ImageNet-Vid와 Youtube-BB에서 특히 큰 성능 향상을 보인다.출처: §E.5 · p. 47
  • 부록은 Table 16의 데이터셋별 수치 결과로 Section 3.3의 개괄적인 ImageNet 강건성 분석을 보완한다.출처: §E.5 · p. 47
  • ImageNet-R에서 CLIP이 보인 큰 성능 향상은 사전 학습 분포에 창작 콘텐츠가 상당량 포함되어 있음을 반영하는 것으로 보인다.출처: §E.5 · p. 47
  • Taori et al. (2020)에서 논의했듯이, Instagram으로 사전 학습한 ResNeXt 모델에서도 유사한 양상이 보고되었다.출처: §E.5 · p. 47

F. 모델 하이퍼파라미터

Related papers

Loading 2103.00020v1…