Source-linked AI summary
Learning to Refine Object Segments
Pedro O. Pinheiro, Tsung-Yi Lin, Ronan Collobert, Piotr Dollàr
TL;DR
객체 분할은 고수준 객체 정보와 저수준 공간 세부 정보를 결합해야 하지만, 표준 feedforward CNN은 이를 불균등하게 표현한다. SharpMask는 DeepMask 기반 architecture에 top-down refinement를 추가해 average recall을 10–20% 높이는 동시에 실행 시간을 50% 단축한다.
문제
Feedforward CNN은 의미론적 객체 정보를 제공하지만 pixel-level resolution을 잃어 instance segmentation에서 정확한 객체 경계 라벨링을 제한한다.
방법
SharpMask는 feedforward 과정에서 coarse mask encoding을 생성한 뒤, top-down representation을 대응하는 하위 수준 feature와 결합해 이를 연속적으로 refinement한다.
결과
COCO object proposal generation에서 average recall이 10–20% 높고, DeepMask보다 50% faster하며 이미지당 평균 0.76s가 걸린다.
시사점 및 한계
SharpMask는 더 선명한 객체 경계를 지닌 higher-fidelity masks를 생성하면서 object proposal 성능과 속도에서 state-of-the-art를 달성한다.
시사점 및 한계
공간 해상도를 줄이면 instance-segmentation 성능이 저하되며, 더 깊은 층에서 해상도를 유지하려면 training networks from scratch가 필요하므로 저자들은 이를 향후 과제로 남겼다.
Abstract
from arXiv · showhide
Object segmentation requires both object-level information and low-level pixel data. This presents a challenge for feedforward networks: lower layers in convolutional nets capture rich spatial information, while upper layers encode object-level knowledge but are invariant to factors such as pose and appearance. In this work we propose to augment feedforward nets for object segmentation with a novel top-down refinement approach. The resulting bottom-up/top-down architecture is capable of efficiently generating high-fidelity object masks. Similarly to skip connections, our approach leverages features at all layers of the net. Unlike skip connections, our approach does not attempt to output independent predictions at each layer. Instead, we first output a coarse `mask encoding' in a feedforward pass, then refine this mask encoding in a top-down pass utilizing features at successively lower layers. The approach is simple, fast, and effective. Building on the recent DeepMask network for generating object proposals, we show accuracy improvements of 10-20% in average recall for various setups. Additionally, by optimizing the overall network architecture, our approach, which we call SharpMask, is 50% faster than the original DeepMask network (under .8s per image).
1 서론
SharpMask는 점진적으로 더 이른 층의 feature를 활용해 feedforward mask encoding을 정제함으로써 고수준 object knowledge와 저수준 spatial detail 사이의 긴장을 해소한다. DeepMask를 기반으로 COCO proposal recall과 속도를 개선하면서 더 선명한 mask를 생성한다.
- 동기: Object instance segmentation은 각 object instance를 식별하는 동시에 정확한 pixel-level mask를 생성해야 하므로 detection과 semantic segmentation의 난제를 함께 다룬다 [9].표준 feedforward CNN은 pooling을 통해 coarse하고 고도로 semantic한 representation을 생성하므로 pixel-accurate mask 생성이 제한된다.
- 방법: 여러 층에서 독립적으로 예측한 뒤 결과를 평균내는 skip architecture 와 달리, SharpMask는 하나의 점진적으로 변화하는 mask representation을 정제한다.이 설계는 local receptive field만으로는 object-level structure를 포착하기 어려운 object instance segmentation을 대상으로 한다.
- 방법: SharpMask는 coarse한 feedforward mask encoding을 연속적인 top-down stage를 통해 정제함으로써 저수준 spatial information과 상위 층의 object knowledge를 결합한다.각 refinement module은 top-down mask encoding을 대응되는 bottom-up features와 결합하고, spatial resolution을 두 배로 높이며, 완전히 backpropagation 가능하다.
- 방법: 이 방법은 DeepMask [22]에 top-down refinement를 추가하고 DeepMask의 bottom-up architecture도 최적화해 segmentation quality와 efficiency를 향상한다.그 결과 얻은 접근법은 더 선명하고 높은 fidelity의 object mask를 생성하므로 SharpMask라 명명한다.
- 결과: COCO에서 10–20% higher average recall을 달성함으로써 SharpMask는 object proposal generation의 state of the art임을 입증하며, 최적화된 model은 이미지당 .76s로 DeepMask보다 50% 빠르다.Fast model은 .46s에 실행되며 추가 image scale을 사용하면 small-object recall을 ∼2× 향상할 수 있다.
2 관련 연구
기존 CNN 기반 pixel-labeling 방법에는 multiscale, deconvolutional, graphical-model architecture가 포함되지만, 심각한 계산 제약으로 인해 이미지마다 수백 개의 object proposal을 refinement하는 데 적용하기 어렵다. SharpMask는 여러 image scale에서 feature를 재계산하지 않고도 효율적인 refinement를 수행하며, deconvolutional switch보다 풍부한 feature 정보를 전달하고 graphical-model runtime을 피한다.
- CNN은 depth estimation, optical flow, semantic segmentation 에 성공적으로 적용되어 왔으며, 이는 pixel labeling을 위한 architecture 혁신을 촉진했다.
- 대부분의 기존 architecture는 object proposal에 적합하지 않다. 이미지마다 수백 개의 proposal을 refinement하려면 proposal당 추가 계산량이 최소여야 하기 때문이다.
- Multiscale architecture: Multiscale method 는 여러 image resolution을 처리하는 반면, SharpMask는 각 scale에서 feature를 재계산하지 않고 유사한 coarse-to-fine 직관을 사용하여 여러 위치에서 효율적인 refinement를 가능하게 한다.
- Deconvolutional network와 graphical model network: Deconvolutional network 와 graphical-model CNN [18]은 coarse mask를 선명하게 만들지만, SharpMask는 communication을 pooling switch로 제한하는 대신 feature value를 전달하고 proposal 수준의 계산 비용을 피한다.
3 마스크 정제 학습
SharpMask는 semantic mask encoding과 공간적으로 세밀한 feature를 결합하는 top-down refinement 경로를 DeepMask에 추가해, 더 선명하고 픽셀 단위로 정확한 object mask를 생성한다. 이 방법은 학습된 refinement module을 통해 mask encoding을 점진적으로 업샘플링하면서 효율적인 완전 역전파 가능 연산을 유지한다.
- 동기: SharpMask는 더 선명하고 픽셀 단위로 정확한 object mask를 생성하는 refinement를 추가해 DeepMask의 거친 경계 정렬 문제를 해결한다.DeepMask는 object-level shape를 포착하지만 경계와의 정렬이 거칠다. SharpMask는 경계 품질을 개선한다.
- Architecture: 이 architecture는 feedforward mask encoding에 이은 top-down refinement를 통해 high-level semantic information과 low-level spatial detail을 결합한다.먼저 object-level information을 사용한 뒤, pooling으로 인한 해상도 손실을 되돌리면서 앞선 layer의 feature를 연속적으로 통합한다.
- Architecture: 각 refinement module은 coarse mask encoding M_i와 이에 대응하는 bottom-up features F_i를 결합하고, spatial resolution을 두 배로 높인 뒤 full-resolution pixel labels를 반복적으로 생성한다.학습되는 연산은 M_i+1 = R_i(M_i, F_i)이며, pooling layer마다 하나의 module이 배치된다.
- Mask Encoding: Feedforward 경로는 단순한 segmentation mask보다 더 많은 정보를 담는 다중 channel의 low-resolution semantic mask encoding을 생성한다.좋은 정확도를 얻으려면 k_1^m > 1을 사용하는 것이 중요하다.
- Refinement Module: 연산량을 제어하기 위해 각 module은 bottom-up feature를 skip feature로 압축하고, 이를 mask encoding과 concatenate한 뒤 convolution과 ReLU를 적용하고 bilinear 방식으로 2배 업샘플링한다.이 module은 convolution, ReLU, bilinear upsampling, concatenation만 사용하므로 완전 역전파 가능하고 효율적이다.
- Training: SharpMask는 DeepMask와 동일한 data definition과 loss를 사용하고, ImageNet pretraining 으로 trunk를 초기화하며, 나머지 layer는 무작위로 초기화한다.Training sample에는 input patch, object presence와 scale label, 그리고 positive sample의 binary mask가 포함된다.
4 Feedforward Architecture
Feedforward architecture 연구에서는 DeepMask의 trunk와 head에서 계산 병목을 식별하고, segmentation 정확도와 inference 속도에 영향을 미치는 설계 trade-off를 탐색한다. Mask prediction에서는 stride density가 특히 중요하며, 단순화한 head와 차원 축소가 효율성을 높인다.
- Trunk: DeepMask의 feature extraction, mask prediction, score prediction이 runtime의 40%, 40%, 20%를 각각 차지하므로, 더 깊거나 넓은 trunk는 비용이 크다.11-layer VGG-A trunk를 16-layer VGG-D로 대체하면 runtime이 두 배가 될 수 있어, 저자들은 50-layer Residual Network를 사용한다.
- Trunk: Input size를 줄이거나 pooling을 늘리면 inference가 빨라지지만 resolution과 mask accuracy가 낮아지며, depth를 늘리면 spatial resolution 감소로 성능이 저하될 수 있다.저자들은 input size W, pooling layers P, stride density S, depth D, feature channels F를 검토하며, resolution을 줄이지 않고 더 깊은 network를 학습하는 것은 향후 과제로 남겨 둔다.
- Trunk: Stride density는 mask prediction의 핵심이다. 고정된 input size에서 stride를 두 배로 늘리면 더 큰 spatial invariance가 필요해져 성능이 크게 저하된다.Stride density는 S=W/stride로 정의되며, ground-truth location과의 overlap이 조밀할수록 mask prediction이 향상된다.
- Trunk: 1×1 convolution은 feature aggregation 전에 high-dimensional top-layer channel을 줄여 substantial speedups를 달성한다.High-dimensional feature는 aggregation bottleneck을 유발하므로, aggregation 전에 차원을 축소한다.
- Head: Head는 shared computation을 통해 DeepMask의 느린 mask-and-score branching을 단순화한다. Head A는 interleaving을 제거하고, Head B는 feature를 공유하며, Head C는 이를 한층 더 단순화한다.DeepMask는 두 branch 모두에 large convolution이 필요하고, score branch에는 pooling과 interleaving도 필요하다. 각 variant는 동일한 mask branch를 유지하면서 score computation을 점진적으로 단순화한다.
5 실험
COCO에서 IoU 기반 average recall, 객체 크기, 속도, 정확도에 걸쳐 mask와 proposal의 품질을 평가한다. SharpMask의 최적화된 feedforward 기반과 top-down refinement가 결합되어 기존 시스템보다 더 빠르고 정확하며 고충실도의 proposal을 제공한다.
- 평가 프로토콜: COCO 평가에서는 10, 100, 1000개 proposal에서 IoU 기반 average recall을 측정하고, 이 수치를 AUC로 요약하며, 소형·중형·대형 객체별로 결과를 별도 보고한다.대부분의 실험은 첫 5k개 validation image를 사용하고, 별도의 validation subset에서 architecture와 hyperparameter를 선택한다.
- Feedforward Architecture: DeepMask-ours는 DeepMask보다 3× 이상 빠르며, 이미지당 처리 시간을 1.59s에서 .46s로 줄이는 동시에 정확도를 높이고 parameter 수를 ∼75M에서 ∼17M으로 줄인다.이 architecture는 W160-P4-D39-F128 trunk와 head C를 결합하며 SharpMask의 feedforward 기반으로 사용된다.
- 기존 방법과의 비교: SharpMask는 모든 COCO box 및 segmentation proposal metric에서 큰 격차로 state-of-the-art 속도와 정확도를 달성한다.Table 3은 box proposal과 segmentation proposal 모두에서 SharpMask와 기존 방법을 비교하며, 예측된 mask의 tight bound에서 box를 도출한다.
- Top-Down Refinement: Top-down refinement는 동일한 score branch를 사용하는 DeepMask-ours baseline보다 상당한 AR 향상을 제공하며, box prediction보다 segmentation에서 더 큰 이득을 보인다.공유 score branch는 refinement에 기인한 향상을 분리해 보여주며, mask를 선명하게 만들어도 tight object box는 크게 달라지지 않을 수 있다.
- Detection Results: SharpMask의 28 AP는 COCO bounding-box detection에서 SelSearch보다 5 AP 높으며, 이미지당 약 500개 proposal에서 성능이 수렴한다.두 방법 모두 Fig. 5c 비교에서 MPN classifier를 사용한다.
6 결론
이 논문은 object instance segmentation을 위해 top-down refinement 모듈을 추가한 feedforward architecture를 제안한다. 성능과 속도 모두에서 object proposal generation의 state of the art를 달성하며, refinement 방식은 다른 pixel-labeling task에도 확장할 수 있다.
- 제안하는 architecture는 object instance segmentation을 위해 feedforward network에 top-down refinement 모듈을 추가한다.
- 이 model은 성능과 속도 모두에서 object proposal generation의 새로운 state of the art를 달성한다.
- 이 refinement 방식은 일반적이며 다른 pixel-labeling task에도 적용할 수 있다.