Deep Residual Learning for Image Recognition

1. 서론

• 정규화된 초기화 [37] [13]와 중간 정규화 계층 [16]이 기울기 소실/폭발 문제를 상당 부분 해결하면서, 수십 층 신경망도 수렴하기 시작했다.이러한 진전은 단순히 층을 더 쌓는 것만으로 더 나은 신경망을 쉽게 학습할 수 있는지에 대한 질문으로 이어진다.출처: §1 · p. 1
• 층을 추가하면 학습 오류가 증가하고 [11] [42] 정확도가 떨어질 수 있다. 이러한 성능 저하는 과적합 때문이 아니다.얕은 모델에 항등 계층을 추가하면 더 깊은 모델에서도 기존 학습 오류를 유지할 수 있다. 그런데도 기존 최적화 알고리즘은 그만큼 좋은 해를 찾지 못하거나 현실적인 시간 안에 찾지 못한다.출처: §1 · pp. 1–2
• 잔차 학습은 H(x)를 직접 근사하는 대신 F(x) := H(x)−x를 학습하고, 항등 지름길 연결을 통해 목표 매핑을 F(x)+x로 복원한다.저자들은 특히 목표 매핑이 항등 매핑일 때 잔차 매핑을 최적화하기가 더 쉽다고 가정한다. 항등 지름길 연결은 매개변수나 계산 복잡도를 늘리지 않으며, 최적화 알고리즘을 수정하지 않고도 SGD로 종단 간 학습할 수 있게 한다.출처: §1 · p. 2
• CIFAR-10 [20]에서 100개가 넘는 층의 잔차 신경망을 성공적으로 학습했으며, 1000개가 넘는 층의 모델도 탐색했다.ImageNet [36]에서 잔차 신경망은 최적화가 쉽고 깊이가 늘수록 정확도가 높아지는 반면, 대응하는 일반 신경망은 깊어질수록 학습 오류가 커진다. CIFAR-10에서도 비슷한 현상이 나타난다.출처: §1 · p. 2
• 잔차 네트워크 앙상블은 ImageNet 테스트 세트에서 top-5 오류율 3.57%로 ILSVRC 2015 분류 부문에서 우승했다.152개 층의 잔차 네트워크는 ImageNet에서 제시된 가장 깊은 네트워크이면서도 VGG 네트워크 [41]보다 복잡도가 낮다고 보고된다.출처: §1 · p. 2
• ILSVRC 및 COCO 2015 대회에서는 ImageNet 객체 검출, ImageNet 객체 위치 추정, COCO 객체 검출, COCO 분할 부문에서도 우승했다.이 결과는 매우 깊은 표현이 이미지 분류를 넘어 다른 과제에도 일반화됨을 보여준다.출처: §1 · p. 2

잔차 표현

• VLAD 와 Fisher Vector [30]는 이미지 검색과 분류 에 쓰이는 잔차 기반의 얕은 표현이다.Fisher Vector [30]는 VLAD의 확률적 버전 으로 정식화할 수 있다. 벡터 양자화에서는 원래 벡터보다 잔차 벡터를 인코딩하는 방식 [17]이 더 효과적이다.출처: §2 · p. 2
• 다중 격자법 과 계층적 기저 전처리 는 스케일 간 잔차를 활용해 잔차를 고려하지 않는 표준 해법보다 빠르게 수렴하며, 재정식화로 최적화를 단순화할 수 있음을 시사한다.다중 격자법 은 다중 스케일 하위 문제에 잔차 해를 할당하고, 계층적 기저 전처리 는 두 스케일 간 잔차 벡터를 나타내는 변수를 사용한다.출처: §2 · p. 2

Shortcut 연결

• 기존 shortcut에는 입력과 출력을 잇는 MLP 연결, 보조 분류기 [24], 응답/기울기/오차 중심화, inception 분기 가 있다.보조 분류기 [24]는 기울기 소실/폭주에 대응하며, inception 은 shortcut 분기와 더 깊은 분기를 결합한다.출처: §2 · p. 2
• 매개변수가 있고 데이터에 의존하는 게이트 를 사용하는 highway networks [42] [43]와 달리, 이 연구는 정보를 항상 전달하고 잔차 함수를 학습하는 매개변수 없는 항등 shortcut을 사용한다.반면 닫힌 highway shortcut은 비잔차 함수를 생성한다. highway networks [42] [43]에서는 100개 층을 넘는 경우처럼 깊이를 크게 늘렸을 때 정확도가 향상된다는 결과가 제시된 바 없었다.출처: §2 · pp. 2–3

3.1. 잔차 학습

• 잔차 학습은 적층된 층들이 목표 매핑 H(x)를 직접 근사하는 대신 F(x) = H(x) − x를 근사하도록 한다.항등 매핑이 최적이라면, 비선형 층들이 항등 매핑을 직접 학습할 필요 없이 잔차 층의 가중치가 0에 가까워지면 된다. 실험에서 관찰된 작은 잔차 응답은 항등 매핑이 적절한 사전조건화 역할을 함을 시사한다.출처: §3.1 · p. 3

3.2. 단축 연결을 통한 항등 매핑

• 항등 단축 연결은 추가 매개변수 없이 학습된 잔차에 입력을 더하므로, 무시할 만한 원소별 덧셈 외에는 동일한 조건에서 일반 네트워크와 잔차 네트워크를 비교할 수 있다.잔차 분기는 두 층 또는 세 층으로 구성하며, 단일 층 분기에서는 이점이 없었다. 합성곱 분기에서는 특성 맵을 채널별로 더한 뒤 ReLU 를 적용한다.출처: §3.2 · p. 3

3.3. 네트워크 구조

• 34층 일반 기준 모델의 연산량은 3.6 billion FLOPs로, 19.6 billion FLOPs가 필요한 VGG-19 [41]의 18%다.VGG 네트워크 [41]에서 착안한 기준 모델은 주로 3×3 필터를 사용하며, 공간 해상도가 같으면 필터 수를 유지하고 스트라이드가 2인 합성곱으로 해상도가 절반이 되면 필터 수를 두 배로 늘린다. 전역 평균 풀링 뒤에 1000개 클래스를 분류하는 완전연결 softmax 층을 둔다.출처: §3.3 · p. 3, Figure 3 · p. 4
• 잔차 구조는 일반 기준 모델에 단축 연결을 삽입하며, 차원이 같으면 항등 매핑을, 차원이 증가하면 제로 패딩 또는 투영을 사용한다.제로 패딩은 매개변수를 추가하지 않으며, 투영 단축 연결은 1×1 합성곱을 사용한다. 두 방식 모두 공간 크기가 다른 특성 맵을 연결할 때 보폭 2를 사용한다.출처: §3.3 · p. 4

3.4. 구현

• 모든 ImageNet 모델은 이미지 256개로 구성된 SGD 미니배치로 처음부터 학습하며, 각 합성곱 뒤와 활성화 함수 앞에 배치 정규화 [16]를 적용한다.가중치는 [13]의 방식으로 초기화한다. 학습률은 0.1에서 시작해 성능이 정체되면 열 배씩 낮추며, 최대 60 × 10^4회 반복 학습한다. 가중치 감쇠는 0.0001, 모멘텀은 0.9이며, [16]에 따라 드롭아웃 [14]은 사용하지 않는다. 데이터 증강 시 짧은 변의 길이를 [256, 480] [41]에서 무작위로 선택하고, 224×224 영역을 잘라 좌우 반전과 평균값 차감 을 수행하며, 색상 증강 도 적용한다.출처: §3.4 · p. 4
• 비교 실험에는 10-crop 테스트 를 사용하며, 최상의 결과는 여러 척도의 점수를 평균하는 완전 합성곱 평가 [41] [13]로 얻는다.다중 척도 평가에서는 이미지의 짧은 변 길이를 224, 256, 384, 480 또는 640으로 조정한다.출처: §3.4 · p. 4

4.1. ImageNet 분류

• 34층 ResNet은 같은 깊이의 일반 네트워크보다 top-1 오류율이 3.5% 낮아, 추가 매개변수 없이 잔차 학습의 이점을 보여 준다.34층 일반 네트워크는 18층 일반 네트워크보다 훈련 오류율이 높지만, ResNet-34는 ResNet-18보다 오류율이 2.8% 낮고 훈련 오류율도 낮다. 18층에서는 일반 네트워크와 잔차 네트워크의 정확도가 비슷하지만, ResNet이 더 빠르게 수렴한다.출처: Table 2 · p. 5, §4.1 · pp. 5–6, Figure 4 · p. 5
• 여섯 모델로 구성된 ResNet 앙상블은 top-5 테스트 오류율 3.57%로 ILSVRC 2015에서 우승했으며, 152층 단일 모델은 top-5 검증 오류율 4.49%를 달성했다.이 단일 모델의 성능은 이전의 모든 앙상블 결과를 능가한다.출처: Table 5 · p. 6, Table 4 · p. 6, §4.1 · p. 7
• 항등 shortcut은 투영 없이 성능 저하를 해소하고 병목 모델의 효율성을 유지한다. 병목 구조의 항등 shortcut을 투영으로 대체하면 시간 복잡도와 모델 크기가 두 배가 된다.모든 shortcut 방식이 일반 네트워크보다 성능이 높다. 차원이 증가할 때만 투영을 적용하면 제로 패딩보다 성능이 조금 높지만, 모든 shortcut에 투영을 적용해 얻는 추가 이득은 미미해 효율성을 위해 제외한다. 병목 구조는 1×1, 3×3, 1×1 합성곱으로 차원을 줄인 뒤 복원해 연산량을 절감한다. 병목 구조가 없는 ResNet도 깊이 증가의 이점을 얻지만, 일반 병목 네트워크에서는 여전히 성능이 저하된다.출처: §4.1 · p. 6
• ResNet-152의 연산량은 11.3 GFLOPs로 VGG-16/19의 15.3/19.6 GFLOPs보다 적으며, 50/101/152층 ResNet은 성능 저하 없이 34층 모델보다 높은 정확도를 달성한다.깊이 증가에 따른 정확도 향상은 보고된 모든 평가 지표에서 일관되게 나타난다.출처: §4.1 · p. 7

4.2. CIFAR-10 및 분석

• ResNet-110은 CIFAR-10 테스트 오류율 6.43%로 최고 수준의 성능을 달성하면서도 FitNet [35]과 Highway [42]보다 매개변수가 적다.20–56층 범위에서 일반 네트워크는 깊어질수록 훈련 오류율이 높아지지만, 잔차 네트워크는 깊어질수록 정확도가 높아진다. ResNet-110은 학습률 0.01로 예열해 훈련 오류율이 80% 미만이 되면 학습률을 0.1로 전환하며, 이후 잘 수렴한다.출처: Table 6 · p. 7, §4.2 · pp. 7–8
• ResNet-1202는 훈련 오류율이 0.1% 미만이고 최적화에도 어려움이 없지만, CIFAR-10 테스트 오류율은 7.93%로 ResNet-110보다 높다.저자들은 이 격차를 과적합 때문으로 본다. 매개변수가 19.4M개인 네트워크는 CIFAR-10에 불필요하게 클 수 있다. maxout과 dropout은 모두 사용하지 않았으며, 더 강한 정규화는 향후 연구 과제로 남긴다.출처: Table 6 · p. 7, §4.2 · p. 8
• 잔차 네트워크는 일반 네트워크보다 층별 응답이 작고, 더 깊은 ResNet은 층마다 신호를 더 적게 바꾼다. 이는 잔차 함수가 0에 더 가깝다는 해석을 뒷받침한다.응답 크기는 배치 정규화 이후, ReLU 및 덧셈 이전의 표준편차로 측정하며, ResNet-20, ResNet-56, ResNet-110을 비교한다.출처: §4.2 · p. 8

4.3. PASCAL 및 MS COCO 객체 검출

• 나머지 조건이 동일한 Faster R-CNN [32]에서 VGG-16 [41]을 ResNet-101로 교체하면 COCO [26] mAP@[.5, .95]가 6.0% 높아진다(상대적 향상률 28%).검출기 비교에는 PASCAL VOC 2007 및 2012 도 포함된다. 잔차 네트워크는 2015년 ImageNet 검출/위치 추정과 COCO 검출/분할 대회 부문에서 우승했다.출처: Table 8 · p. 8, §4.3 · p. 8

A. 객체 검출 베이스라인

• ResNet은 “Networks on Conv feature maps” (NoC) [33]를 따라 VGG-16의 은닉 완전연결층 대신 영역별 conv5_x 층을 사용한다.RoI 풀링 은 conv5_1 앞에 배치하며, 마지막 분류층은 병렬로 배치된 분류층과 박스 회귀층 으로 대체한다.출처: A. Object Detection Baselines · p. 10
• 영역 제안 네트워크(RPN) [32]와 Fast R-CNN 검출 네트워크 는 conv1부터 conv4_x까지의 스트라이드가 16픽셀인 특징 맵을 공유한다.이 단계들은 ResNet-101에서 91개의 합성곱층을 포함하며, 특징 맵의 스트라이드는 VGG-16과 같다. RPN은 300개의 후보 영역을 생성한다 [32].출처: A. Object Detection Baselines · p. 10
• 배치 정규화의 평균과 분산은 사전 학습 후 ImageNet에서 계산하며, 주로 메모리 사용량을 줄이기 위해 검출 미세 조정 중에는 고정한다.고정된 층은 일정한 오프셋과 스케일을 갖는 선형 활성화로 작동하며, 미세 조정 중에도 통계량은 갱신하지 않는다.출처: A. Object Detection Baselines · p. 10

• ResNet-101은 향상된 학습 특징만으로 VGG-16 대비 >3%의 mAP 향상을 달성한다.Faster R-CNN 학습에는 [32]와 동일한 하이퍼파라미터를 사용한다.출처: PASCAL VOC · p. 10
• [7, 32]에 따라 VOC 2007 평가를 위한 “07+12” 학습에는 VOC 2007 trainval 이미지 5k장과 VOC 2012 trainval 이미지 16k장을 사용한다.출처: PASCAL VOC · p. 10
• [7, 32]에 따라 VOC 2012 평가를 위한 “07++12” 학습에는 VOC 2007 trainval+test 이미지 10k장과 VOC 2012 trainval 이미지 16k장을 사용한다.출처: PASCAL VOC · p. 10

MS COCO

• MS COCO [26]의 객체 범주 80개를 평가하며, 학습 이미지 80k장과 검증 이미지 40k장을 사용한다.평가에는 PASCAL VOC 지표(mAP @ IoU = 0.5)와 표준 COCO 지표(mAP @ IoU = .5:.05:.95)를 사용한다.출처: MS COCO · p. 10
• GPU 8개로 PASCAL VOC 시스템과 유사한 COCO 검출 시스템을 학습하며, RPN과 Fast R-CNN의 미니배치는 각각 이미지 8장과 16장으로 구성한다.두 단계 모두 학습률 0.001로 240k회 반복 학습한 뒤, 0.0001로 80k회 반복 학습한다.출처: MS COCO · p. 10
• ResNet-101은 더 잘 학습된 특징만으로 VGG-16 대비 mAP@[.5, .95]에서 6%의 절대 향상을 달성하며, 이는 28%의 상대 향상에 해당한다.mAP@[.5, .95]의 절대 증가폭(6.0%)은 mAP@.5의 절대 증가폭(6.9%)과 거의 같아, 인식과 위치 추정이 모두 개선되었음을 시사한다.출처: MS COCO · p. 10

• 대회 성능 개선은 심층 특징에 기반한다.출처: B. Object Detection Improvements · p. 10
• 잔차 학습은 이러한 대회 성능 개선에 도움이 될 것으로 기대된다.출처: B. Object Detection Improvements · p. 10
• 이 절에서는 설명의 완결성을 위해 대회에서 적용한 개선 사항을 보고한다.출처: B. Object Detection Improvements · p. 10

박스 보정

• 박스 보정으로 mAP가 약 2점 향상된다. 회귀로 조정한 박스에서 특징을 다시 풀링해 새로운 분류 점수와 박스 회귀 결과를 얻는다.새로운 예측 300개를 기존 300개에 추가한 뒤, IoU 0.3에서 NMS [8]를 적용하고 박스 투표 [6]를 수행한다.출처: MS COCO · p. 10, Table 9 · p. 11

전역 문맥

• 전역 문맥으로 mAP@.5가 약 1점 향상된다. 분류와 박스 회귀 전에 전체 이미지의 특징을 각 영역의 특징과 연결한다.단일 레벨 전역 Spatial Pyramid Pooling [12]로 전체 이미지의 특징을 풀링한 뒤 RoI 이후 층을 통과시킨다. 결합된 구조는 종단 간 학습한다.출처: MS COCO · p. 10, Table 9 · p. 11

앙상블

• 세 네트워크 앙상블은 test-dev에서 59.0%와 37.4% mAP를 기록해 COCO 2015 검출 과제에서 우승했다.앙상블로 영역 후보를 생성하고, 영역별 분류기 앙상블로 이들의 합집합을 처리한다.출처: Table 9 · p. 11, MS COCO · p. 11

다중 스케일 테스트

• 다중 스케일 테스트로 mAP가 2점 넘게 향상된다. [33]에 따라 피라미드의 인접한 두 스케일에서 얻은 특징을 maxout으로 병합한다.피라미드는 이미지의 짧은 변 길이로 200, 400, 600, 800, 1000픽셀을 사용한다. 다중 스케일 테스트는 RPN이 아닌 Fast R-CNN에만 적용하며, 학습은 600픽셀의 단일 스케일을 유지한다.출처: MS COCO · pp. 10–11, Table 9 · p. 11

검증 데이터 활용

• 80k+40k trainval 세트로 학습한 단일 모델이 55.7% mAP@.5와 34.9% mAP@[.5, .95]를 달성한다.20k test-dev 세트에 대한 평가는 평가 서버를 통해 수행하며, 정답은 공개되지 않는다.출처: MS COCO · p. 11, Table 9 · p. 11

PASCAL VOC

• 이 PASCAL VOC 결과는 COCO에서 55.7% mAP@.5를 기록한 단일 모델을 미세 조정해 얻었다.박스 정제, 문맥 정보, 다중 스케일 테스트도 사용한다.출처: PASCAL VOC · p. 11
• PASCAL VOC 2012에서 83.8% mAP를 달성해 기존 최고 성능 [6]을 10포인트 웃돈다.출처: PASCAL VOC · p. 11
• PASCAL VOC 2007에서 85.6% mAP를 달성한다.출처: PASCAL VOC · p. 11

ImageNet 객체 검출

• ImageNet DET는 mAP@.5로 200개 객체 범주를 평가하며, 신경망은 1000개 클래스의 ImageNet 분류 데이터로 사전 학습한 뒤 DET 데이터로 미세 조정한다.검출기는 Table 9의 MS COCO 실험과 같은 알고리즘을 사용한다. [8]에 따라 DET 학습 세트와 val1으로 미세 조정하고 val2로 검증한다. 그 외 ILSVRC 2015 데이터는 사용하지 않는다.출처: ImageNet Detection · p. 11
• 세 모델 앙상블은 DET 테스트 세트에서 62.1% mAP를 기록해 ILSVRC 2015 객체 검출 부문에서 우승했으며, 차점과의 절대 격차는 8.5포인트였다.출처: ImageNet Detection · p. 12
• 단일 ResNet-101 모델은 DET 테스트 세트에서 58.8% mAP를 달성했다.출처: ImageNet Detection · pp. 11–12

C. ImageNet 위치 추정

• 이 시스템은 ImageNet으로 사전 학습한 네트워크를 클래스별 회귀에 맞게 미세 조정하고 [40] [41], RPN 프레임워크 [32]를 클래스별 객체 분류와 바운딩 박스 회귀에 맞게 변형한다.1000개 클래스의 ImageNet 학습 세트를 사용하며, 이미지 수준 분류기가 레이블을 먼저 예측한 뒤 위치 추정기가 해당 클래스의 박스를 예측한다. 병렬 1×1 합성곱 헤드는 1000개의 이진 분류 출력과 여러 앵커를 기준으로 하는 1000×4개의 박스 회귀 출력을 생성한다.출처: C. ImageNet Localization · p. 12
• 앙상블의 테스트 세트 top-5 위치 추정 오류율 9.0%는 ILSVRC 14 결과 대비 64%의 상대적 감소에 해당하며, ILSVRC 2015 위치 추정 부문에서 우승한 성능이다.정밀 보정을 적용한 단일 모델 시스템은 검증 세트에서 top-5 위치 추정 오류율 10.6%를 달성한다.출처: Table 14 · p. 12, C. ImageNet Localization · p. 12
• 정답 클래스를 사용하고 동일한 설정에서 평가했을 때, ResNet-101 기반 RPN 방식은 중앙 크롭 오류율을 보고된 기준 성능인 33.1%에서 13.3%로 크게 낮춘다.정답 클래스를 사용하는 ResNet-101의 밀집(완전 합성곱) 다중 스케일 테스트는 오류율 11.7%를 달성한다. top-5 분류 오류율이 4.6%인 ResNet-101로 클래스를 예측하면 top-5 위치 추정 오류율은 14.4%다.출처: C. ImageNet Localization · p. 12
• 크게 겹치는 후보 영역들이 유사한 풀링 특징을 생성해 이미지 중심 확률적 학습에서 표본 다양성이 제한되므로, Fast R-CNN 대신 RoI 중심 R-CNN [8]을 사용한다.저자들은 이러한 중첩이 이미지에 대개 하나의 주된 객체가 있기 때문이라고 설명하며, 낮은 표본 다양성이 확률적 학습에 바람직하지 않을 수 있다고 지적한다.출처: C. ImageNet Localization · p. 12
• 클래스별 RPN 후보 영역 중 점수가 가장 높은 200개를 정밀 보정 학습 표본으로 사용하며, 테스트 시 정밀 보정 네트워크는 예측된 각 클래스의 후보 영역 200개에 대해 점수와 박스 위치를 갱신한다.학습용 후보 영역은 정답 클래스에 해당하며, 각 영역을 잘라내 224×224 픽셀로 변형한 뒤 클래스별 분류 및 회귀 헤드로 처리한다.출처: C. ImageNet Localization · p. 12