Very Deep Convolutional Networks for Large-Scale Image Recognition

1 서론

• 이 연구는 다른 구조적 매개변수를 고정하고 매우 작은 3 × 3 필터를 활용해 합성곱 층을 추가함으로써 네트워크 깊이의 영향을 분리해 분석한다.이 작은 합성곱 필터를 모든 합성곱 층에 사용한다.출처: §1 · p. 1
• 더 깊은 ConvNet은 ILSVRC 분류 및 위치 추정 과제에서 최고 수준의 정확도를 달성한다.저자들은 후속 연구를 촉진하기 위해 성능이 가장 좋은 두 모델을 공개했다.출처: §1 · p. 1
• 학습된 표현은 미세 조정 없이 선형 SVM만 사용해도 다른 영상 인식 데이터셋에서 뛰어난 성능을 달성한다.이는 비교적 단순한 인식 파이프라인에서도 이 표현을 활용할 수 있음을 보여준다.출처: §1 · p. 1

2.1 아키텍처

• 224 × 224 RGB 학습 이미지는 스트라이드 1과 해상도를 유지하는 패딩을 적용한 작은 3 × 3 합성곱을 통과한다.전처리는 각 픽셀에서 학습 세트의 평균 RGB 값을 빼는 것뿐이다. 일부 합성곱 뒤에 배치된 최대 풀링층 5개는 2 × 2 윈도와 스트라이드 2를 사용한다.출처: §2.1 · p. 2
• 세 완전연결층의 채널 수는 각각 4096, 4096, 1000이며, 그 뒤에 소프트맥스를 적용한다. 모든 은닉층은 ReLU를 사용한다.공통 완전연결층 구성은 1000개 클래스의 ILSVRC 분류를 수행한다. 한 네트워크를 제외한 모든 네트워크는 LRN을 생략한다. LRN은 ILSVRC 성능을 개선하지 못하면서 메모리 사용량과 연산 시간을 늘린다.출처: §2.1 · p. 2

2.2 구성

• 공통 아키텍처 설계를 따르는 구성 A–E에서, A의 11개 가중치 층과 E의 19개 가중치 층이 깊이의 양 끝을 이룬다.합성곱층의 채널 수는 64에서 시작해 풀링 후마다 두 배로 늘어나 512에 도달한다. 이 네트워크들은 깊이가 깊어도 Sermanet et al. (2014)의 더 얕고 넓은 네트워크가 가진 144M개의 가중치를 넘지 않는다.출처: §2.2 · p. 2, Table 1 · p. 3

2.3 논의

• 입출력 채널 수가 C일 때, 7 × 7 합성곱 하나는 3 × 3 합성곱 세 개를 쌓은 경우보다 81% 더 많은 매개변수가 필요하다.이 적층 구조는 7 × 7 유효 수용 영역을 제공하며, 정류 연산을 한 번 대신 세 번 적용해 결정 함수의 판별력을 높인다. 작은 필터로 분해하는 것 자체도 정규화 효과를 준다.출처: §2.3 · pp. 2–3
• 구성 C의 1 × 1 합성곱층은 입출력 채널 수를 같게 유지하면서 합성곱 수용 영역에는 영향을 주지 않고, 정류를 통해 결정 함수의 비선형성을 높인다.출처: §2.3 · p. 3
• 저자들은 독립적으로 개발되었으며 연결 구조가 더 복잡한 GoogLeNet (Szegedy et al., 2014)보다 높은 단일 네트워크 분류 정확도를 보고한다.GoogLeNet은 22개의 가중치 층과 1 × 1, 3 × 3, 5 × 5 합성곱을 사용한다. 연산량을 줄이기 위해 초기 층에서 공간 해상도를 더 급격히 낮춘다.출처: §2.3 · pp. 3–4

3.1 학습

• 모멘텀을 적용한 미니배치 경사하강법으로 다항 로지스틱 회귀 목적함수를 최적화하며 370K회 반복(74 에포크)으로 학습을 완료했다.배치 크기는 256, 모멘텀은 0.9, L2 규제 계수는 5·10^-4였으며, 처음 두 완전연결층의 드롭아웃 비율은 0.5였다. 학습률은 10^-2에서 시작해 검증 정확도가 더 이상 향상되지 않을 때마다 십분의 일로 낮추었으며, 총 세 차례 낮췄다.출처: §3.1 · p. 4
• 더 깊은 네트워크는 초기화에 따른 학습 불안정을 피하기 위해 구성 A의 처음 네 합성곱층과 마지막 세 완전연결층을 이어받았다.중간층은 무작위로 초기화했다. 이어받은 층은 기존 학습률을 유지했고, 무작위 가중치는 평균 0과 분산 10^-2로, 편향은 0으로 설정했다. 제출 이후 저자들은 Glorot & Bengio (2010) 초기화를 사용하면 사전 학습 없이도 학습할 수 있음을 확인했다.출처: §3.1 · p. 4
• 크기를 조정한 영상에서 224 × 224 학습 크롭을 무작위로 추출하고, Krizhevsky et al. (2012)에 따라 좌우 반전과 RGB 색상 변화를 적용했다.학습 스케일 S는 크기를 조정한 영상의 짧은 변 길이를 뜻한다. S가 클수록 고정 크기 크롭이 담는 영상 영역은 작아진다. 고정 스케일 모델은 S = 256 또는 S = 384를 사용했으며, 후자는 S = 256의 가중치를 이어받아 학습률 10^-3에서 시작했다.출처: §3.1 · p. 4
• 다중 스케일 학습은 각 영상의 짧은 변 길이를 256–512에서 무작위로 뽑아 다양한 크기의 객체를 인식할 수 있게 한다.이 스케일 지터링 증강은 고정 스케일 S = 384에서 미리 학습한 동일 구성 모델의 모든 층을 미세조정하는 방식으로 구현한다.출처: §3.1 · pp. 4–5

3.2 테스트

• 밀집 테스트는 완전연결층을 합성곱층으로 변환해 자르지 않은 영상 전체를 처리하고, 그 결과인 클래스 점수 맵을 공간적으로 평균한다.첫 완전연결층은 7 × 7 합성곱으로, 마지막 두 층은 1 × 1 합성곱으로 바뀐다. 테스트 스케일 Q는 학습 스케일 S와 달라도 되며, 최종 점수는 원본 영상과 좌우 반전 영상의 softmax 사후확률을 평균해 구한다.출처: §3.2 · p. 5
• 밀집 평가는 크롭별 중복 계산을 피하는 반면, 다중 크롭 평가는 추가 계산 비용을 들여 더 촘촘한 샘플링과 상호 보완적인 경계 조건을 제공한다.크롭은 제로 패딩을 사용하지만, 밀집 평가는 인접 영상 영역을 패딩으로 사용해 더 넓은 문맥을 반영한다. 비교 기준 평가는 스케일당 50개씩 세 스케일에서 총 150개 크롭을 사용했다. 저자들은 잠재적인 정확도 향상이 추가 계산 비용을 정당화하기에는 부족하다고 판단했다.출처: §3.2 · p. 5

3.3 구현 세부 사항

• GPU 네 개로 단일 GPU 대비 3.75배의 속도 향상을 달성했으며, NVIDIA Titan Black GPU 네 개에서 네트워크 하나를 학습하는 데 2–3주가 걸렸다.구현은 Caffe 를 확장해 다중 GPU 실행과 전체 영상의 다중 스케일 처리를 지원한다. 학습 시 배치를 GPU들에 나누고 기울기를 동기적으로 평균해 단일 GPU 학습과 같은 결과를 낸다.출처: §3.3 · p. 5

4 분류 실험

• 1000개 클래스의 ILSVRC-2012 분류에는 학습 이미지 1.3M개, 검증 이미지 50K개, 정답 레이블이 비공개인 테스트 이미지 100K개를 사용하며, top-1 및 top-5 오류율로 평가한다.top-1은 오분류 비율을, top-5는 상위 다섯 예측에 정답 범주가 없는 비율을 측정하며, top-5가 ILSVRC의 주 평가 기준이다. 대부분의 실험은 검증 이미지를 사용하며, 일부 테스트 세트 결과는 공식 ILSVRC 서버에 제출했다.출처: §4 · pp. 5–6

4.1 단일 스케일 평가

• 깊이가 증가할수록 분류 성능이 개선되지만 19개 층에서 오류율이 포화되며, 3 × 3 필터는 이를 1 × 1 필터로 대체한 경우보다 우수하다.비선형성 추가로 C는 B보다 우수하지만, 깊이가 같은 D에는 뒤처진다. 5 × 5 합성곱층 다섯 개로 구성된 얕은 네트워크는 중앙 크롭 top-1 오류율이 B보다 7% 높다. 국소 반응 정규화는 A의 성능을 개선하지 않아 B–E에서는 제외했다. 학습 스케일을 S ∈ [256; 512]에서 지터링하면 단일 스케일 테스트에서도 S = 256 또는 384로 고정한 경우보다 성능이 좋다.출처: §4.1 · p. 6, Table 3 · p. 6

4.2 다중 스케일 평가

• 다중 스케일 평가에서 단일 네트워크의 최고 검증 성능은 top-1/top-5 오류율 24.8%/7.5%이며, 구성 E는 테스트 top-5 오류율 7.3%를 달성한다.크기를 조정한 테스트 이미지들의 클래스 사후확률을 평균하면 단일 스케일 평가보다 성능이 개선된다. D와 E의 성능이 가장 좋으며, 학습 스케일 지터링은 고정 스케일 학습보다 우수하다. 학습·테스트 스케일 차이가 크면 성능이 저하되므로, 고정 스케일 모델은 Q = {S − 32, S, S + 32}를, 지터링으로 학습한 모델은 Q = {Smin, 0.5(Smin + Smax), Smax}를 사용한다.출처: §4.2 · pp. 6–7, Table 4 · p. 7

4.3 다중 크롭 평가

• 다중 크롭 평가는 밀집 평가보다 약간 우수하며, 두 방식의 soft-max 출력을 평균하면 어느 한 방식만 사용할 때보다 성능이 좋다.저자들은 서로 다른 합성곱 경계 조건이 이러한 상호보완성을 설명한다고 추정한다. 이 비교에서는 [256; 512]에서 추출한 학습 스케일과 테스트 스케일 {256, 384, 512}를 사용한다.출처: §4.3 · p. 7, Table 5 · p. 7

4.4 ConvNet 결합

• 다중 스케일 모델 D와 E를 결합할 때, 밀집 평가의 테스트 오류율 7.0%는 밀집 평가와 다중 크롭 평가를 함께 사용하면 6.8%로 낮아진다.융합은 soft-max 클래스 사후확률을 평균하여 모델 간 상호보완성을 활용한다. 이 비교에서 가장 성능이 좋은 단일 모델 E의 오차는 7.1%다. 기존의 일곱 네트워크 앙상블은 단일 스케일 네트워크들과 완전연결층만 미세 조정한 다중 스케일 D를 사용해 테스트 오차 7.3%를 기록하고 ILSVRC-2014에서 준우승했다.출처: §4.4 · p. 7, §4.5 · pp. 7–8, Table 6 · p. 8

4.5 기존 최고 성능과의 비교

• 테스트 오류율 6.8%를 기록한 VGG의 두 모델 앙상블은 오류율 6.7%인 GoogLeNet과 대등한 성능을 보인다.VGG는 단일 네트워크에서도 최고 성능인 테스트 오류율 7.0%를 달성해 단일 GoogLeNet보다 0.9% 우수하다. LeCun et al. (1989)의 고전적 구조를 유지하면서도 깊이를 늘린 네트워크는 이전 대회 우승 모델들을 능가한다. 여기에는 외부 학습 데이터를 사용했을 때 오류율 11.2%, 사용하지 않았을 때 11.7%를 기록한 Clarifai도 포함된다.출처: Table 7 · p. 8, §4.5 · p. 8

5 결론

• 기존 ConvNet 구조의 깊이를 대폭 늘려 ImageNet에서 최고 수준의 성능을 달성했다.출처: §5 · p. 8
• 대규모 이미지 분류에서 최대 19개의 가중치 층을 갖는 모델을 평가하여, 표현의 깊이를 늘리는 것이 분류 정확도 향상에 도움이 됨을 보였다.출처: §5 · p. 8
• 모델들은 다양한 과제와 데이터셋에 걸쳐 일반화 성능을 보이며, 더 얕은 표현을 기반으로 구성된 더 복잡한 인식 파이프라인과 대등하거나 더 우수한 성능을 낸다.출처: §5 · p. 8

• 연구팀은 오류율 25.3%로 2014 ILSVRC 위치 추정 대회에서 우승했다.출처: A LOCALISATION · p. 10
• 위치 추정은 해당 클래스의 객체 수와 무관하게 top-5 클래스 각각에 바운딩 박스 하나를 요구하는 객체 검출 문제로 다룬다.출처: A LOCALISATION · p. 10
• 이 방법은 ILSVRC-2013 위치 추정 대회에서 우승한 Sermanet et al. (2014)의 접근법에 몇 가지 수정을 가한 것이다.출처: A LOCALISATION · p. 10

위치 추정 ConvNet

• 구조 D의 16개 가중치 층을 위치 추정의 기반으로 사용하며, 마지막 완전연결층은 클래스 점수 대신 바운딩 박스 좌표를 예측한다.박스는 중심 좌표, 너비, 높이를 나타낸다. 단일 클래스 회귀인 SCR (Sermanet et al., 2014)은 공유 4-D 출력을 사용하고, 클래스별 회귀인 PCR은 1000개 클래스에 대해 4000-D 출력을 사용한다.출처: §A.1 · p. 10

학습

• 학습에서는 분류용 로지스틱 회귀 목적함수를 예측 바운딩 박스 매개변수와 정답 매개변수 간의 편차에 페널티를 부과하는 유클리드 손실로 대체한다.두 모델은 각각 단일 학습 스케일 S = 256과 S = 384를 사용했으며, 제출 시간 제약으로 스케일 지터링은 적용하지 않았다. 대응하는 분류 모델로 초기화하고 학습률 10^-3을 사용했다. 실험에서는 모든 층 또는 처음 두 완전연결층만 미세 조정했으며, 무작위로 초기화한 마지막 층은 처음부터 학습했다.출처: §A.1 · p. 10

테스트

• 검증 비교에서는 영상의 중앙 크롭에서 정답 클래스의 바운딩 박스 예측만 평가해 위치 추정 성능을 별도로 측정한다.이 평가 방식은 네트워크 변경 사항을 비교할 때 분류 오류의 영향을 배제한다.출처: §A.1 · p. 10
• 전체 영상 밀집 테스트는 Sermanet et al. (2014)의 탐욕적 병합 절차로 공간적으로 가까운 바운딩 박스 예측을 평균하고 분류 점수로 순위를 매긴다.여러 위치 추정 ConvNet을 사용할 때는 각 예측 집합을 합친 뒤 병합한다. 예측 해상도를 높이고 성능을 개선할 수 있는 Sermanet et al. (2014)의 다중 풀링 오프셋 기법은 사용하지 않았다.출처: §A.1 · pp. 10–11

설정 비교

• 클래스별 회귀가 클래스 비종속 단일 클래스 회귀보다 우수했으며, 완전연결 계층만 미세 조정하는 것보다 모든 계층을 미세 조정할 때 위치 추정 성능이 향상됐다.간소화한 평가 절차에서는 구성 D, 중앙 크롭 하나, 정답 클래스를 사용했으며, IoU가 0.5를 초과하면 올바른 박스로 판정했다 (Russakovsky et al., 2014). PCR의 우위는 Sermanet et al. (2014)의 결과와 상반됐으며, S = 384와 S = 256에서도 같은 경향이 나타났다.출처: §A.2 · p. 11, Table 8 · p. 11

본격적인 평가

• 전체 이미지 위치 추정이 중앙 크롭보다 훨씬 우수했으며, 다중 스케일 테스트와 네트워크 결합으로 성능이 더욱 향상됐다.선택한 PCR 모델은 모든 계층을 미세 조정했으며, 정답 레이블 대신 가장 우수한 분류 시스템의 top-5 레이블을 사용했다. 조밀하게 계산한 여러 바운딩 박스는 Sermanet et al. (2014)의 방법으로 병합했다.출처: Table 9 · p. 11, §A.2 · p. 11

최고 성능 기법과의 비교

• VGG는 테스트 오류율 25.3%로 ILSVRC-2014 위치 추정 대회에서 우승했다 (Russakovsky et al., 2014).VGG는 더 적은 수의 스케일을 사용하고 해상도 향상 기법을 적용하지 않았음에도 ILSVRC-2013 우승 모델인 Overfeat (Sermanet et al., 2014)를 크게 앞섰다.출처: §A.2 · p. 11

B 초심층 특징의 일반화

• ILSVRC로 사전 학습한 Net-D와 Net-E는 최종 분류기를 제거해 고정 특징 추출기로 사용하며, 끝에서 두 번째 층의 활성값을 집계하고 L2 정규화하여 대상 데이터셋으로 학습한 선형 SVM에 입력한다.4096-D 특징을 이용하면 대규모 모델을 처음부터 학습할 때 과적합 위험이 있는 소규모 데이터셋으로 전이할 수 있으며, 미세 조정은 수행하지 않는다. 여러 이미지 스케일에 신경망을 조밀하게 적용하고 전역 평균 풀링과 수평 반전 특징 벡터의 평균을 사용한다. 스케일별 특징 벡터는 이어 붙이거나 풀링하고, 신경망별 특징 벡터는 이어 붙여 융합한다.출처: B GENERALISATION OF VERY DEEP FEATURES · p. 12

Caltech-101과 Caltech-256 이미지 분류

• Caltech-256에서는 Chatfield et al. (2014) 대비 8.6% 향상을 보고하며, Caltech-101에서는 He et al. (2014)에 견줄 만한 성능을 보인다.19층 Net-E는 16층 Net-D보다 성능이 높으며, 두 표현을 결합하면 성능이 더 향상된다.출처: Table 11 · p. 12, B GENERALISATION OF VERY DEEP FEATURES · p. 13

VOC-2007과 VOC-2012 이미지 분류

• Chatfield et al. (2014) 대비 6%를 넘는 성능 향상으로 표준 ILSVRC 사전 학습 표현 중 VOC 이미지 분류의 최고 성능을 달성한다.Net-D와 Net-E의 성능은 같으며, 둘을 결합하면 소폭 향상된다. Wei et al. (2014)은 2000개 클래스로 확장한 사전 학습과 객체 검출을 활용하는 분류 파이프라인의 융합으로 VOC-2012에서 mAP가 1% 더 높다.출처: Table 11 · p. 12, B GENERALISATION OF VERY DEEP FEATURES · p. 13
• VOC에서 집계 스케일을 {256, 384, 512}에서 {256, 384, 512, 640, 768}로 늘리면 성능이 0.3% 향상된다.검증 성능은 평균과 이어 붙이기가 비슷했지만, 평균은 특징 벡터의 차원을 늘리지 않았다. 저자들은 VOC의 객체 크기가 다양해 이어 붙이기가 활용할 만한 스케일별 의미 정보가 거의 없다고 추측한다.출처: B GENERALISATION OF VERY DEEP FEATURES · pp. 12–13

Caltech-101과 Caltech-256 이미지 분류

• Caltech에서는 스케일 {256, 384, 512}를 사용한 다중 스케일 특징 벡터 이어 붙이기가 평균과 최대 풀링보다 성능이 높다.저자들은 Caltech 이미지에서는 대체로 객체가 화면을 가득 채우므로, 서로 다른 스케일이 객체 전체와 부분의 구별되는 정보를 포착하고 이어 붙이기가 이를 분류기에 보존해 전달한다고 설명한다.출처: B GENERALISATION OF VERY DEEP FEATURES · p. 13

기타 인식 과제

• Girshick et al. (2014)은 Krizhevsky et al. (2012)의 신경망을 공개된 16층 모델로 교체해 객체 검출에서 최고 성능을 달성했다.의미론적 분할(Long et al., 2014), 이미지 설명문 생성(Kiros et al., 2014; Karpathy & Fei-Fei, 2014), 질감 및 재질 인식(Cimpoi et al., 2014; Bell et al., 2014)에서도 Krizhevsky et al. (2012)의 더 얕은 구조보다 성능이 향상되었다고 보고했다.출처: B GENERALISATION OF VERY DEEP FEATURES · pp. 13–14

VOC-2012 행동 분류

• Net-D와 Net-E의 특징을 이어 붙이면 사람 경계 상자 없이도 VOC-2012 행동 분류에서 최고 성능을 달성하며, 경계 상자를 포함하면 성능이 더 향상된다.경계 상자를 활용하는 표현은 전체 이미지 특징과 사람 경계 상자 내부의 특징을 이어 붙인다. 두 설정 모두 과제별 휴리스틱을 사용하지 않는다.출처: B GENERALISATION OF VERY DEEP FEATURES · p. 13, Table 12 · p. 14

C 논문 개정 사항

• v3에서는 PASCAL VOC와 Caltech 이미지 분류 데이터셋에서의 일반화 실험을 추가하고 모델을 공개했다.v1에서는 ILSVRC 제출 전 실험을 보고했다. v2에서는 제출 후 scale jittering을 이용한 학습 데이터 증강 실험을 추가했으며, 이를 통해 성능이 향상됐다.출처: C PAPER REVISIONS · p. 14
• ICLR-2015 최종 출판본인 v6에서는 net B와 얕은 신경망의 비교를 추가했다.앞서 v4에서는 논문을 ICLR-2015 제출 형식으로 바꾸고 다중 크롭 분류 실험을 추가했다.출처: C PAPER REVISIONS · p. 14
• v6에서는 PASCAL VOC 행동 분류 벤치마크 결과도 추가했다.출처: C PAPER REVISIONS · p. 14