PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

Matching Networks for One Shot Learning

Oriol Vinyals, Charles Blundell, Timothy Lillicrap, Koray Kavukcuoglu, Daan Wierstra

arXiv:1606.04080v2cs.LGstat.ML

TL;DR

표준 딥러닝으로는 단일 라벨 예시만으로 새로운 개념을 학습하기 어렵다. Matching Networks는 attention과 memory를 결합하고 학습·추론 조건을 일치시켜, fine-tuning 없이 작은 support set에서 라벨을 예측하며 ImageNet one-shot 성능을 Inception보다 거의 6% 높인다.

  • 문제

    표준 딥러닝 시스템은 수백 또는 수천 개의 예시를 필요로 하므로, 단일 라벨 예시에서 학습하는 one-shot learning이 필요하다.

    출처: §1 · p. 1

  • 방법

    Matching Networks는 attention, memory, episodic meta-learning을 사용해 작은 라벨이 지정된 support set과 예시를 fine-tuning 없이 해당 라벨에 대응시킨다.

    출처: §1 · p. 1, §2.1 · p. 2, §2.2 · p. 4

  • 결과

    Matching Networks는 randImageNet 실험에서 ImageNet one-shot 성능을 Inception보다 거의 6% 높인다.

    출처: §4.1.2 · p. 7

  • 핵심 내용 및 한계

    one-shot learning을 명시적으로 학습하고 비모수 구조를 사용하면 다양한 one-shot classification task에서 최고 수준의 성능을 낼 수 있다.

    출처: §5 · p. 8

    새로운 라벨의 분포가 학습 분포와 크게 달라지면 성능이 저하될 수 있다.

    출처: §2.2 · p. 4

Abstract

from arXiv · show

Learning from a few examples remains a key challenge in machine learning. Despite recent advances in important domains such as vision and language, the standard supervised deep learning paradigm does not offer a satisfactory solution for learning new concepts rapidly from little data. In this work, we employ ideas from metric learning based on deep neural features and from recent advances that augment neural networks with external memories. Our framework learns a network that maps a small labelled support set and an unlabelled example to its label, obviating the need for fine-tuning to adapt to new class types. We then define one-shot learning problems on vision (using Omniglot, ImageNet) and language tasks. Our algorithm improves one-shot accuracy on ImageNet from 87.6% to 93.2% and from 88.0% to 93.8% on Omniglot compared to competing approaches. We also demonstrate the usefulness of the same model on language modeling by introducing a one-shot task on the Penn Treebank.

1 서론

이 논문은 단일 레이블 예시로 클래스를 학습하는 원샷 학습을 소개하고, 빠른 적응을 위해 훈련과 시험 절차를 일치시킨 Matching Networks를 제안한다. 또한 ImageNet과 소규모 언어 모델링을 위한 벤치마크 과제를 정의한다.

동기

  • 원샷 학습은 단일 레이블 예시로 클래스를 학습하는 것을 목표로 하며, 수백 또는 수천 개의 예시를 필요로 하는 딥러닝의 한계를 해결하고자 한다.데이터가 적은 환경에서 데이터 증강과 정규화는 과적합을 완화하지만, 대규모 데이터셋과 수많은 가중치 갱신에 대한 광범위한 의존성을 해결하지는 못한다.출처: §1 · p. 1

모델

  • Matching Nets는 새로운 예시를 빠르게 학습할 수 있도록 attention과 memory 메커니즘을 결합한다.이 모델은 새로운 개념을 빠르게 습득하는 능력을 비롯해 매개변수적 접근법과 비매개변수적 접근법의 장점을 결합하고자 한다.출처: §1 · p. 1

훈련 절차

  • 훈련 절차는 클래스당 적은 수의 예시만 제시하고 미니배치마다 과제를 전환해 시험 조건을 일치시킨다.이 절차는 적은 예시로 제시되는 새로운 과제에서 빠르게 학습하도록 네트워크를 훈련하기 위해 설계되었다.출처: §1 · pp. 1–2

벤치마크

  • 이 논문은 ImageNet 원샷 학습과 소규모 언어 모델링을 위한 벤치마크 과제를 정의한다.이 과제들은 해당 문제에 대한 다른 접근법을 평가하는 데 활용될 수 있다.출처: §1 · p. 2

2 모델

Matching Networks는 학습된 임베딩에 대한 attention을 사용해, 소규모 레이블 support set과 테스트 예제를 예측 분포로 사상하는 집합 간 매핑으로 one-shot learning을 정식화한다. one-shot 추론과 일치하도록 분류기를 episodic 방식으로 학습하므로, fine-tuning 없이도 보지 못한 클래스에 대해 예측할 수 있다.

모델 정식화

  • Matching Networks는 support set S와 테스트 예제 x̂를 P(ŷ|x̂, S)로 사상하고, arg max_y P(y|x̂, S)로 레이블을 예측한다.support set은 k개의 이미지-레이블 쌍으로 이루어지며, 새로운 support set에도 동일한 매개변수화 네트워크를 재사용한다.출처: §2.1 · pp. 2–3
  • 분류기는 attention mechanism으로 가중한 레이블 조합을 계산하며, 특정 attention을 선택하면 kernel density estimation 또는 k−b-nearest neighbours로 환원된다.These interpretations follow when attention is a kernel or assigns nonzero weight only to the nearest support examples.출처: §2.1 · p. 3

Attention 메커니즘

  • Attention은 신경망 임베딩 f(x̂)와 g(x_i) 간 cosine similarity에 softmax를 적용한다. 이미지에는 deep convolutional networks를, 언어에는 word embeddings를 사용한다.임베딩 함수는 매개변수를 공유할 수 있으며, f = g도 가능한 설정이다.출처: §2.1.1 · p. 3

전체 문맥 임베딩

  • 모델은 전체 support set을 반영해 임베딩을 구성하며, g(x_i, S)에는 bidirectional LSTM을, f(x̂, S)에는 attention 기반 LSTM을 사용한다.테스트 임베딩은 고정된 K회의 unrolling step 동안 g(S)에 attention을 적용할 수 있다. 이 과정에서 일부 support 요소를 무시할 수 있으며 attention 계산에 깊이를 더한다.출처: §2.1.2 · pp. 3–4

학습

  • 학습에서는 레이블 분포에서 episodic task, support set, 배치를 표본 추출하고, 각 support set을 조건으로 한 배치 레이블 예측 오차를 최소화한다.이 meta-learning 절차는 추론 과정을 모방해 fine-tuning 없이 새로운 클래스를 분류할 수 있게 한다. 다만 새로운 레이블 분포가 학습 분포와 크게 다르면 성능이 저하된다.출처: §2.2 · p. 4

3 관련 연구

관련 연구는 Matching Networks를 표현력이 높은 attention 기반 신경망 구조, metric learning, 기존 one-shot 및 zero-shot 학습 연구와 연결한다. 논문은 support set 전체를 사용하는 손실을 차별점으로 제시하고, 기존 문헌의 부족을 보완하기 위해 ImageNet one-shot 벤치마크를 도입한다.

표현력이 높은 신경망 구조

  • LSTM, content-based attention, Neural Turing Machine은 고정 벡터의 정적 분류를 넘어서는 모델의 사례다.이러한 발전은 음성, 번역, 프로그램 학습 과제 전반에서 표현력이 높은 구조를 가능하게 했다.출처: §3.1 · p. 4

Metric learning

  • Matching Networks는 content-based attention, 커널 최근접 이웃 방법, metric learning, 특히 Neighborhood Component Analysis와 관련된다.인용된 NCA 연구에는 비선형 후속 연구도 포함된다.출처: §3.2 · pp. 4–5
  • 논문의 손실 함수는 쌍별 비교 대신 support set S 전체를 사용하므로 one-shot 학습에 더 적합하다.관련된 기존 접근법에는 심층 합성곱 샴 네트워크와 표현력이 더 낮은 metric을 사용한 set 기반 손실이 있다.출처: §3.2 · p. 5

One-shot 및 zero-shot 학습

  • 기존 one-shot 연구는 이 논문에 영감을 주었고 Omniglot 데이터셋을 제공했지만, ImageNet을 사용한 zero-shot 연구와 달리 ImageNet one-shot 문헌은 제한적이었다.저자들은 다음 절에서 ImageNet 벤치마크와 과제 정의를 제시해 이 공백을 메운다.출처: §3.2 · p. 5

4 실험

Omniglot, ImageNet, 새로운 Penn Treebank 언어 과제에서 보지 못한 클래스를 대상으로 N-way k-shot 분류를 수행해 Matching Networks를 평가한다. 모델은 주요 시각 벤치마크에서 기준 모델보다 우수하며, 언어 과제에서는 지원 예시가 늘수록 정확도가 높아지지만 LSTM oracle에는 미치지 못한다.

실험 설정

  • N-way k-shot 과제에서는 이전에 보지 못한 N개 클래스의 레이블 없는 분리된 예시를, 클래스당 레이블이 있는 k개 예시를 바탕으로 분류한다.무작위 분류의 성능은 1/N이며, one-shot 학습과 테스트에는 서로 분리된 홀드아웃 레이블 집합을 사용한다.출처: §4 · p. 5
  • 평가에는 Omniglot, ImageNet, Penn Treebank가 포함되며, 다양한 데이터 복잡도와 규모, 양상에 걸친 이미지 분류와 언어 모델링을 다룬다.시각 과제의 기준 모델에는 raw-pixel matching, classifier features, MANN, Convolutional Siamese Nets가 포함된다.출처: §4 · p. 5, §4.1 · p. 5

Omniglot

  • Matching Networks는 1-shot 및 5-shot, 5-way 및 20-way 설정 전반에서 Omniglot 기준 모델보다 우수하며, 예시가 많을수록 성능이 높고 5-way 과제가 20-way 과제보다 쉽다.미세 조정은 Baseline Classifier의 성능을 소폭 높이며, cosine distance를 사용하면 작은 지원 집합에서도 미세 조정을 피할 수 있다.출처: §4.1.1 · p. 6
  • Omniglot으로 학습한 뒤 분리된 10-way MNIST에서 Matching Networks는 72%의 정확도를 달성한다. Baseline Classifier는 63%, Siamese Nets는 70%다.이는 완전히 분리된 분류 과제로의 전이를 평가한다.출처: §4.1.1 · p. 6

ImageNet

  • Around two percentage points is the typical performance improvement from Full Contextual Embeddings on miniImageNet, with Matching Networks outperforming baselines with and without fine-tuning.Full Contextual Embeddings made no difference on Omniglot but could be evaluated sensibly on the harder miniImageNet task.출처: §4.1.2 · p. 6

5 결론

이 논문은 원샷 학습을 위해 설계된 신경망 구조와 학습 방식을 제안하며, 여러 원샷 분류 과제에서 최첨단 성능을 달성한다. 과제별 학습과 비모수적 신경망 구조가 새로운 학습 데이터셋을 기억하고 이에 적응하는 데 핵심적인 통찰임을 강조한다.

5 결론

  • Matching Networks는 다양한 원샷 분류 과제에서 최첨단 성능을 달성하는 학습 방식을 갖춘 신경망 구조다.논문은 이 구조를 핵심 기여로 제시한다.출처: §5 · p. 8
  • 원샷 학습을 수행하도록 네트워크를 특화해 학습하면 원샷 학습이 더 쉬워진다.이를 이 연구의 첫 번째 핵심 통찰로 꼽는다.출처: §5 · p. 8
  • 비모수적 구조는 신경망이 동일한 과제에서 새로운 학습 데이터셋을 기억하고 이에 적응하는 데 도움이 된다.이를 이 연구의 두 번째 핵심 통찰로 꼽는다.출처: §5 · p. 8

부록 · A 모델 설명

이 부록에서는 전체 지원 집합 S를 조건으로 임베딩 함수 f와 g를 정의하는 모델을 상세히 명시한다. 유사한 메커니즘이 이전 연구에서 이미 설명되었으므로 본문에서 생략한 구체적인 내용을 제공한다.

A 모델 설명

  • 부록에서는 프레임워크에 사용된 모델을 완전히 명시한다.이 모델은 전체 지원 집합 S를 조건으로 임베딩 함수 f와 g를 정의한다.출처: A Model Description · p. 10
  • 명시된 모델은 전체 지원 집합 S를 조건으로 임베딩 함수 f와 g를 정의한다.출처: A Model Description · p. 10
  • 유사한 메커니즘이 선행 연구에서 이미 충분히 설명되었으므로 구체적인 모델 설명은 부록에 수록했다.출처: A Model Description · p. 10

A.1 완전 조건부 임베딩 f

완전 조건부 임베딩은 질의의 신경망 임베딩과 지원 집합 임베딩에 대한 반복적 attention 기반 읽기를 결합한다. 지원 예제에 대해 정규화한 콘텐츠 기반 attention을 사용해 LSTM 읽기 메커니즘을 K단계 수행한다.

최종 임베딩

  • K회 읽은 뒤 attLSTM(f′(x̂), g(S), K)는 완전 조건부 임베딩으로 h_K를 산출한다.LSTM은 [23]에 정의된 구현을 따르며, x를 입력으로, h를 출력으로, c를 셀로 사용한다.출처: §A.1 · p. 10

임베딩 구성 요소

  • 임베딩에는 VGG 또는 Inception과 같은 신경망 f′와 각 지원 집합 원소 x_i에 적용되는 g를 사용한다.지원 집합 임베딩은 g(S)로 표기한다.출처: §A.1 · p. 10

반복 처리

  • 모델은 선행 연구에서 설명한 “Process” 블록에 따라 K단계 처리를 수행한다.k단계 처리 후 상태는 이 절의 방정식에서 재귀적으로 정의한다.출처: §A.1 · p. 10

Attention과 읽기 결과

  • 각 단계에서 콘텐츠 기반 attention은 g(S)에서 정보를 읽고, 읽기 결과를 앞선 LSTM 상태에 연결한다.attention softmax는 g(x_i)에 대해 정규화한다.출처: §A.1 · p. 10

A.2 완전 조건부 임베딩 g

완전 조건부 임베딩 g(x_i, S)는 신경망 g′(x_i)를 기반으로 구성한 양방향 LSTM으로 각 support set 원소를 인코딩하며, 입력과 출력 사이에 skip connection을 둔다.

완전 조건부 임베딩 g

  • g(x_i, S)는 VGG나 Inception 같은 신경망이 제공하는 g′(x_i)를 사용해 양방향 LSTM으로 support set 원소를 인코딩한다.임베딩은 양방향 LSTM의 상태와 g′(x_i)를 결합한다.출처: §A.2 · p. 10
  • 순환 계산은 명시된 LSTM 구현을 따르고, 역방향 재귀는 i = |S|에서 시작하며, 입력과 출력 사이에 skip connection을 둔다.LSTM은 x를 입력으로 사용하고, 출력 게이트를 거친 출력을 h로, 셀을 c로 표기한다.출처: §A.2 · p. 10

B miniImageNet 설명

miniImageNet은 무작위로 선정된 ImageNet 클래스 100개로 구성되며, 이 중 80개는 학습에 사용하고 20개는 테스트용으로 남겨 둔다. 각 클래스에는 이미지가 600장씩 있다.

데이터셋 구성

  • miniImageNet은 무작위 ImageNet 클래스 100개로 구성했다.정확한 클래스 식별자는 논문에 첨부된 텍스트 파일에 제시되어 있다.출처: B miniImageNet Description · p. 10

학습-테스트 분할

  • 80개 클래스는 학습에 사용하고, 마지막 20개는 테스트용으로 남겨 학습 중 한 번도 보지 않도록 했다.이 분할은 논문의 one-shot 실험에 사용되었다.출처: B miniImageNet Description · p. 10

데이터셋 내용

  • miniImageNet의 100개 클래스에는 각각 이미지가 정확히 600장씩 포함되어 있다.논문은 각 클래스를 구성하는 정확한 이미지 목록이 담긴 텍스트 파일을 참조하도록 안내한다.출처: B miniImageNet Description · p. 10

C ImageNet 클래스 분할

전체 ImageNet 실험에서는 두 가지 클래스 분할을 정의해 사용하며, Section 4.1.2에 설명된 원샷 실험에서는 해당 클래스들을 학습에서 제외한다.

C ImageNet 클래스 분할

  • 전체 ImageNet 실험을 위해 두 가지 클래스 분할을 정의한다.각 분할에 해당하는 클래스 식별자를 열거한다.출처: C ImageNet Class Splits · p. 11
  • 원샷 ImageNet 실험에서는 분할된 클래스들을 Section 4.1.2에서 학습 대상에서 제외한다.이 제외를 통해 해당 실험에서 사용할 클래스 분리가 이루어진다.출처: C ImageNet Class Splits · p. 11

D PTB 클래스 분할

이 절에서는 Penn Treebank 실험에 사용된 두 가지 클래스 분할을 정의한다. 이 클래스들은 section 4.1.3의 원샷 언어 실험에서 학습 대상에서 제외되었다.

D PTB 클래스 분할

  • 실험을 위해 두 가지 PTB 클래스 분할을 정의한다.이 분할은 원샷 언어 설정에서 학습 대상에서 제외된 클래스를 지정한다.출처: D PTB Class Splits · p. 11
  • 나열된 분할 어휘에는 “abortion”, “accelerating”, “acceptable”, “airport”와 같은 토큰이 포함된다.이 항목들은 클래스 분할 어휘에 속하는 것으로 제시된다.출처: D PTB Class Splits · p. 11
  • 어휘에는 “demonstrated”, “department”, “devaluation”, “dividends”, “earthquakes”와 같은 토큰도 포함된다.이 부분에서는 PTB 분할 정의에 사용된 클래스의 열거를 이어간다.출처: D PTB Class Splits · p. 12

Related papers

Loading 1606.04080v2…