Source-linked AI summary
U-Net: Convolutional Networks for Biomedical Image Segmentation
Olaf Ronneberger, Philipp Fischer, Thomas Brox
TL;DR
Biomedical segmentation은 픽셀 수준의 localization이 필요하지만 annotated image는 부족하고, 기존 sliding-window method는 느리며 context와 localization accuracy 사이의 절충이 필요하다. U-Net은 contracting path와 대칭적인 expanding path, high-resolution feature connection, 강력한 data augmentation, 접촉한 object를 분리하기 위한 weighted loss를 결합한다. PhC-U373에서 U-Net은 평균 IOU 92%를 달성해 차선 알고리즘의 83%보다 유의하게 우수하다.
문제
Biomedical segmentation은 픽셀 수준의 localization이 필요하지만 annotated image는 부족하고, 기존 sliding-window method는 느리며 context와 localization accuracy 사이의 절충이 필요하다.
방법
U-Net은 contracting path와 대칭적인 expanding path, high-resolution feature connection, 강력한 data augmentation, 접촉한 object를 분리하기 위한 weighted loss를 결합한다.
결과
PhC-U373에서 U-Net은 평균 IOU 92%를 달성해 차선 알고리즘의 83%보다 유의하게 우수하다.
시사점 및 한계
Data augmentation을 통해 U-Net은 매우 적은 annotated image만으로도 효과적인 biomedical segmentation을 수행하며, 서로 상당히 다른 imaging application 전반에서 성능을 낸다.
시사점 및 한계
이 dataset의 알고리즘들은 dataset-specific post-processing method를 사용하므로 비교가 복잡하다.
Abstract
from arXiv · showhide
There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .
1 서론
U-Net은 강력한 augmentation 및 특수한 loss weighting과 대칭적인 contracting–expanding architecture를 결합해 제한된 annotation data로 biomedical pixelwise segmentation을 수행한다. neuronal EM segmentation에서 기존 방법을 능가했으며, 가장 어려운 2D transmitted-light cell-tracking dataset 두 개에서 큰 격차로 우승했다.
- Biomedical segmentation은 pixel-level localization을 요구하지만, 수천 장의 annotated training image를 일반적으로 확보하기 어려워 제한된 data를 효율적으로 사용하는 방법이 필요하다.Classification network는 일반적으로 하나의 image-level label을 출력하는 반면, biomedical task에서는 개별 pixel에 class label을 할당해야 한다.
- Sliding-window segmentation 은 효과적인 localization을 제공하고 patch-level training data를 확장하지만, 중첩된 patch로 인해 느려지며 context–localization trade-off를 만든다.더 큰 patch는 더 많은 context를 제공하지만 추가 pooling으로 localization accuracy를 낮추는 반면, 더 작은 patch는 network를 더 적은 context에 노출한다.
- 제안된 architecture는 fully convolutional network [9]를 contracting path, symmetric expansive path, high-resolution feature connection으로 확장해 더 정밀한 localization을 달성한다.Expanding path에서는 pooling 대신 upsampling을 사용하며, 연속적인 convolution이 전달된 context와 high-resolution feature로부터 정밀한 output을 구성한다.
- 과도한 elastic-deformation augmentation은 annotated image corpus에서 해당 변환을 요구하지 않고도 실제적인 tissue deformation에 대한 invariance를 학습시킨다.Biomedical image에서 deformation은 흔한 variation의 원천이며 효율적으로 simulation할 수 있으므로 이 접근법은 특히 중요하다.
- Weighted loss는 서로 맞닿은 cell을 분리하는 background label에 큰 weight를 할당해 동일한 class에 속한 인접 object의 separation을 개선한다.Touching-object separation은 cell segmentation의 주요 난제로 제시된다.
2 네트워크 아키텍처
U-Net 아키텍처는 convolutional feature extraction을 위한 contracting path와 segmentation output을 위한 expansive path를 결합하며, contracting path에서 반복적인 convolution, ReLU, max pooling을 사용한다. Seamless output tiling을 위해서는 입력 타일의 차원이 2x2 pooling 연산과 호환되도록 유지되어야 한다.
- 2 네트워크 아키텍처: 아키텍처는 contracting path와 expansive path로 구성되며, contracting path에서는 downsampling을 위해 두 개의 3x3 convolution, ReLU, 2x2 max pooling을 반복 적용한다.각 downsampling 단계에서 feature channel 수가 두 배로 증가한다.
- 2 네트워크 아키텍처: 입력 타일의 차원은 모든 2x2 max-pooling 연산에 짝수 x- 및 y-size의 layer가 입력되도록 설정해야 하며, 이를 통해 출력 segmentation map을 seamless tiling할 수 있다.
3 훈련
훈련은 pixel-wise soft-max cross-entropy에 class- 및 border-aware weighting을 적용하고, 신중한 초기화와 단일 이미지 기반 high-momentum 최적화, 강력한 augmentation을 사용해 적은 수의 annotation 이미지에서도 견고성을 확보한다.
- 3 훈련: 훈련에는 큰 input tile, batch size 1, 그리고 Caffe의 stochastic-gradient-descent 구현에서 momentum 0.99를 사용한다.Unpadded convolution으로 인해 output은 일정한 border width만큼 input보다 작아진다.
- 3 훈련: 각 neuron의 incoming node 수로 결정되는 variance를 사용해 feature map 전반의 unit variance를 대략적으로 유지하도록 weight를 초기화한다 [5].64개의 preceding feature channel을 사용하는 3x3 convolution에서 incoming-node 수는 N = 576이다.
- 3 훈련: Data augmentation은 shift와 rotation invariance, deformation 및 gray-value 변화에 대한 견고성을 목표로 하며, 적은 수의 annotation 이미지에서는 특히 random elastic deformation이 중요하다.Smooth deformation에는 Gaussian distribution에서 표준편차 10 pixels로 sampling한, coarse 3 by 3 grid상의 random displacement vector를 사용한다.
4 실험
u-net은 전자현미경의 신경 구조 분할과 광학현미경의 세포 분할에서 평가되었으며, 신경 구조 분할에서 state-of-the-art 결과와 PhC-U373 세포 데이터셋에서 92% average IOU를 달성한다. 신경 구조 분할 결과는 추가적인 전처리나 후처리 없이 기존 sliding-window convolutional network를 능가한다.
- 실험 범위: 실험에서는 전자현미경의 신경 구조와 광학현미경의 세포를 포함한 세 가지 서로 다른 segmentation task에서 u-net을 검증한다.신경 구조 데이터셋은 512x512 픽셀 크기의 이미지 30장으로 구성된다.
- 신경 구조: 0.0003529 warping error와 0.0382 rand-error는 EM challenge [14]에서 신경 구조 분할의 새로운 최고 성능을 확립한다.u-net은 7개의 회전된 입력 버전에 대한 예측을 평균내며, 추가적인 전처리나 후처리는 사용하지 않는다.
- 신경 구조: u-net은 Ciresan et al.의 sliding-window network를 크게 능가하며, 해당 방법은 warping error 0.000420과 rand error 0.0504를 보고했다.다른 알고리즘은 Ciresan et al.의 probability map에 데이터셋에 매우 특화된 후처리를 적용한다.
- 세포 분할: ISBI cell tracking challenge 2014 및 2015 의 PhC-U373 cell-segmentation dataset에서 92% average IOU를 달성한다.이 데이터셋은 phase-contrast microscopy로 촬영한 Glioblastoma-astrocytoma U373 세포의 부분적으로 주석 처리된 training image 35장으로 구성된다.
5 결론
u-net architecture는 다양한 biomedical segmentation application에서 매우 우수한 성능을 보이며, annotated image가 적고 NVidia Titan GPU에서 단 10시간의 training만 필요하다. 저자들은 Caffe[6]-based implementation과 trained network를 제공하여 추가 task에도 적용할 수 있게 한다.
- u-net은 매우 다양한 biomedical segmentation application에서 매우 우수한 성능을 달성한다.
- Elastic deformation을 사용한 data augmentation으로 annotated image가 매우 적어도 training할 수 있으며, NVidia Titan GPU (6 GB)에서 training 시간은 단 10시간이다.
- 저자들은 전체 Caffe[6]-based implementation과 trained network를 제공하며, u-net이 더 많은 task에도 쉽게 적용될 것으로 기대한다.