Source-linked AI summary
ET-Net: A Generic Edge-aTtention Guidance Network for Medical Image Segmentation
Zhijie Zhang, Huazhu Fu, Hang Dai, Jianbing Shen, Yanwei Pang, Ling Shao
TL;DR
의료 영상 segmentation 방법은 정확한 경계에 유용한 edge 정보를 간과한 채 region extraction을 우선하는 경우가 많다. ET-Net은 초기 단계에서 edge-attention feature를 학습하고 이를 multi-scale decoding에 전달하며, 네 가지 segmentation task에서 기존 방법을 능가한다.
문제
기존 의료 영상 segmentation 방법은 정확한 경계 segmentation에 중요한데도 edge 정보를 제외하는 경우가 많다.
방법
ET-Net은 초기 encoding layer에서 edge-attention representation을 학습하고, weighted aggregation을 통해 이를 multi-scale decoding layer로 전달한다.
결과
retinal, chest X-Ray, CT segmentation task 전반에서 ET-Net은 기존 방법을 능가했으며, lung CT에서는 98.68% Acc.와 96.23% mIoU를 달성했다.
시사점 및 한계
실험 결과는 의료 영상 segmentation 정확도 향상을 위해 edge-attention representation을 보존하는 것이 유용한 구성 요소임을 뒷받침한다.
Abstract
from arXiv · showhide
Segmentation is a fundamental task in medical image analysis. However, most existing methods focus on primary region extraction and ignore edge information, which is useful for obtaining accurate segmentation. In this paper, we propose a generic medical segmentation method, called Edge-aTtention guidance Network (ET-Net), which embeds edge-attention representations to guide the segmentation network. Specifically, an edge guidance module is utilized to learn the edge-attention representations in the early encoding layers, which are then transferred to the multi-scale decoding layers, fused using a weighted aggregation module. The experimental results on four segmentation tasks (i.e., optic disc/cup and vessel segmentation in retinal images, and lung segmentation in chest X-Ray and CT images) demonstrate that preserving edge-attention representations contributes to the final segmentation accuracy, and our proposed method outperforms current state-of-the-art segmentation methods. The source code of our method is available at https://github.com/ZzzJzzZ/ETNet.
1 서론
의료 영상 분할은 edge detection의 국소 세부 정보와 object segmentation의 전역 의미 정보를 조화시켜야 한다. 어느 하나만 사용하면 경계가 불완전하거나 불확실해질 수 있기 때문이다. ET-Net은 초기 단계에서 edge-attention representations를 학습하고, 이를 edge guidance 및 weighted aggregation module을 통해 분할을 유도하는 데 활용한다.
- 동기: Edge detection 방법은 국소 edge representations에 의존하고 object-level information이 부족해 단순한 영역과 불연속적인 경계를 생성하는 반면, object segmentation 방법은 foreground-background의 균질성과 의미적 특성을 보존한다.서론에서는 retinal blood-vessel extraction에 사용되는 edge 기반 방법 과 object segmentation 방법 [18]을 대조한다.
- 배경: U-Net은 cell detection, retinal vessel segmentation, chest X-Ray 및 CT 영상에서의 lung-region extraction 을 비롯한 의료 영상 응용을 가능하게 했다.이러한 응용은 의료 영상에서 U-Net 기반 분할이 폭넓게 사용됨을 보여준다.
- 기여: ET-Net은 edge-attention representations를 임베딩해 분할을 유도함으로써, 하나의 범용 medical image segmentation network에서 edge detection과 object segmentation을 통합한다.이 방법은 의료 영상을 위한 범용 분할 접근법으로 설계되었다.
- 방법: Edge guidance module은 초기 encoding layer에서 국소 edge 특성을 학습하고 보존하며, weighted aggregation module은 이러한 representations를 전달하고 결합해 분할에 활용한다.제공된 architecture 설명은 encoder-decoder network, edge guidance module, weighted aggregation module을 제시한다.
2 방법
ET-Net은 edge guidance module과 weighted aggregation module을 ResNet-50 encoder–decoder에 확장 적용한다. 초기 layer에서 학습한 edge-attention feature가 decoding을 유도하고, multi-scale feature와 통합되어 segmentation을 수행한다.
- Architecture: ET-Net은 ResNet-50 encoder–decoder를 사용하며, 네 개의 해상도별 encoding block에 EGM과 WAM module을 추가한다.각 encoding block은 shortcut connection과 결합된 stacked 1×1−3×3−1×1 convolution으로 구성된다.
- Edge Guidance Module: EGM은 초기 encoding layer에서 작동하며, edge-attention representation을 학습하고 decoding을 유도하며 edge-detection loss로 초기 convolution을 감독한다.low-level feature가 충분한 edge 정보를 보존하므로 E-Block 1과 2에 적용된다.
- Edge Guidance Module: EGM은 초기 feature를 upsampling하고 concatenation한 뒤, 1×1 convolution을 사용해 decoding guidance feature와 edge prediction을 각각 생성한다.edge supervision에는 Lovász-Softmax loss 를 사용해, 전달된 edge feature가 판별력 있는 high-level feature 추출을 유도하도록 한다.
- Weighted Aggregation Module: WAM은 edge-guided 조건에서 multi-scale output과 EGM의 edge-attention representation을 aggregation하면서 유용한 feature를 강조한다.bottom-up pathway가 feature-map size의 hierarchy를 구축한 뒤 concatenation과 1×1 convolution을 수행하며, segmentation에도 Lovász-Softmax loss를 사용한다.
- Implementation: 학습에는 ImageNet-pretrained ResNet-50, batch size 16의 synchronized batch normalization, poly learning-rate scheduling, 그리고 geometric 및 color augmentation을 적용한 512×512 random crop을 사용한다.Scale augmentation 범위는 0.5에서 2까지이며, rotation은 −10에서 10 degree까지이고, color jitter는 probability 0.5로 적용된다.
3 실험
ET-Net은 일반적인 segmentation metric을 사용해 retinal, X-Ray, CT segmentation task에서 기존 및 state-of-the-art baseline과 비교 평가된다. 정성적 결과는 특히 object edge 주변에서 ET-Net을 선호하며, ablation 결과는 edge-guidance component의 이점을 보여준다.
- 실험 설정: 실험은 retinal image의 optic disc/cup 및 vessel segmentation과 X-Ray 및 CT image의 lung segmentation을 포괄한다.평가에는 Dice coefficient, mIoU, Acc. score 등 일반적인 segmentation에 맞게 선정된 metric이 사용된다.
- 정량적 및 정성적 결과: optic disc/cup segmentation에서는 ET-Net을 FCN, U-Net, M-Net, Multi-task, pOSAL 과 비교한다.pOSAL 은 REFUGE 대회에서 첫 번째를 차지한 state-of-the-art 방법으로 설명된다.
- 정량적 및 정성적 결과: ET-Net은 다른 method보다 ground truth에 가까운 segmentation 결과를 생성하며, 특히 edge region에서 성능이 향상된다.정성적 비교에는 retinal fundus image의 optic disc/cup 및 vessel segmentation과 Chest X-Ray 및 CT image의 lung segmentation이 포함된다.
- Ablation study: edge guidance module을 추가하면 Drishti-GS 성능이 DiceOC/DiceOD/mIoU 기준 90.11%/95.77%/84.41%에서 91.24%/97.17%/86.49%로 향상된다.이러한 향상은 computational cost를 소폭만 증가시키면서 달성된다.
- Ablation study: Ablation study에서는 encoder-decoder base network를 사용해 Drishti-GS dataset에서 제안한 component를 평가한다.해당 연구는 명시된 training settings에서 edge guidance module과 weighted aggregation module을 각각 검토한다.
4 결론
ET-Net은 edge detection과 region segmentation이 서로 이점을 준다는 전제에 기반한 general medical image segmentation network로 제안되었다. Edge Guidance Module과 Weighted Aggregation Module은 edge-aware representation을 생성하고 이를 강조된 high-level feature와 결합한다.
- ET-Net은 general medical image segmentation을 위한 새로운 network로 소개되었다.
- Edge Guidance Module은 object edge를 검출하고 충분한 edge 정보를 포함하는 edge-attention representation을 생성한다.
- Weighted Aggregation Module은 유용한 high-level feature를 강조하고 이를 edge representation과 결합한다.