Segment Anything

Alexander Kirillov; Eric Mintun; Nikhila Ravi; Hanzi Mao; Chloe Rolland; Laura Gustafson; Tete Xiao; Spencer Whitehead; Alexander C. Berg; Wan-Yen Lo; Piotr Dollár; Ross Girshick

AI 요약 · 영어에서 AI 번역

Segment Anything

Alexander Kirillov, Eric Mintun, Nikhila Ravi, Hanzi Mao, Chloe Rolland, Laura Gustafson, Tete Xiao, Spencer Whitehead, Alexander C. Berg, Wan-Yen Lo, Piotr Dollár, Ross Girshick

arXiv:2304.02643v12023년 4월 5일cs.CVcs.AIcs.LG

TL;DR

이미지 분할의 핵심 질문은 새로운 분포와 다운스트림 과제 전반에서 제로샷 일반화를 어떻게 달성할 것인가다. 저자들은 프롬프트로 제어 가능한 Segment Anything Model (SAM)을 개발하고 데이터 엔진으로 SA-1B 데이터셋을 자동 수집한다. SAM은 여러 다운스트림 과제에서 일관되게 우수한 제로샷 성능을 보인다.

문제
핵심 질문은 어떤 과제, 아키텍처, 데이터가 새로운 분포와 다운스트림 문제 전반에서 제로샷 분할을 가능하게 하는가다.
출처: §1 · p. 1
방법
저자들은 유효한 마스크를 생성하는, 프롬프트로 제어 가능한 Segment Anything Model (SAM)을 개발하고 데이터 엔진으로 SA-1B를 자동 수집한다.
출처: §1 · p. 2
결과
SAM은 에지 검출, 객체 후보 생성, 인스턴스 분할 등 다운스트림 과제 전반에서 일관되게 우수한 제로샷 성능을 보인다.
출처: §1 · p. 2
시사점 및 한계
SAM은 단일 RGB-D 이미지로 본 적 없는 객체를 재구성하는 MCC 등 더 큰 시스템의 구성 요소로 활용될 수 있다.
출처: §8 · p. 12
SAM은 미세 구조를 놓칠 수 있으며, 확대를 활용하는 연산량이 더 많은 방법 [18]보다 경계가 덜 선명할 수 있다.
출처: §8 · p. 12

Abstract

from arXiv · show

We introduce the Segment Anything (SA) project: a new task, model, and dataset for image segmentation. Using our efficient model in a data collection loop, we built the largest segmentation dataset to date (by far), with over 1 billion masks on 11M licensed and privacy respecting images. The model is designed and trained to be promptable, so it can transfer zero-shot to new image distributions and tasks. We evaluate its capabilities on numerous tasks and find that its zero-shot performance is impressive -- often competitive with or even superior to prior fully supervised results. We are releasing the Segment Anything Model (SAM) and corresponding dataset (SA-1B) of 1B masks and 11M images at https://segment-anything.com to foster research into foundation models for computer vision.

1. 서론

Segment Anything은 프롬프트 기반 분할 과제, SAM, 모델을 활용하는 데이터 엔진을 결합해, 프롬프팅만으로 새로운 분할 과제와 데이터 분포에 일반화하는 파운데이션 모델을 추구한다.

과제 (§2)

프롬프트 기반 분할 과제는 여러 객체를 가리킬 수 있는 모호한 프롬프트를 포함해, 어떤 분할 프롬프트에도 유효한 마스크를 출력해야 한다.공간 또는 텍스트 프롬프트로 분할 대상을 지정하며, 모호한 프롬프트에는 적어도 하나의 해석에 부합하는 타당한 마스크를 출력해야 한다. 이 과제는 사전 학습과 프롬프트 엔지니어링을 통한 다운스트림 분할에 모두 활용된다.출처: §1 · p. 2

모델 (§3)

SAM은 이미지 인코더, 프롬프트 인코더, 경량 마스크 디코더를 결합하며, 이미지 임베딩을 재사용해 대화형 분할을 수행하고 여러 마스크를 예측해 모호성에 대응한다.이미지 임베딩이 주어지면 SAM은 웹 브라우저에서 ∼50ms 만에 마스크를 예측한다. 점, 박스, 마스크 프롬프트를 지원하며, 자유 형식 텍스트를 사용한 초기 결과도 제시한다.출처: §1 · p. 2

데이터 엔진 (§4)

데이터 엔진은 수동 작업 보조, 반자동, 완전 자동 단계를 거치며 SAM과 주석을 함께 발전시킨다.처음에는 SAM이 주석 작업자를 보조하고, 이후에는 객체가 있을 법한 위치에 마스크를 생성하며 작업자는 나머지 객체에 주석을 달아 다양성을 높인다. 마지막으로, 규칙적인 격자로 배치한 전경 점에서 이미지당 ∼100개의 고품질 마스크를 얻는다.출처: §1 · p. 2

책임 있는 AI (§6)

SA-1B는 지리적·경제적으로 다양한 국가를 포괄하며, SAM은 서로 다른 인구 집단에서 유사한 성능을 보인다.저자들은 잠재적인 공정성 문제와 편향을 조사하고, 부록에 모델 카드와 데이터셋 카드를 제공한다.출처: §1 · p. 2

실험 (§7)

23개 분할 데이터셋에서 SAM은 단일 전경 점만으로 고품질 마스크를 생성하며, 그 품질은 수동으로 주석을 단 정답 마스크에 비해 근소하게 낮은 경우가 많다.제로샷 전이에서도 경계 검출, 객체 후보 생성, 인스턴스 분할, 초기 텍스트 기반 마스크 예측에 걸쳐 일관되게 우수한 정량적·정성적 결과를 보인다. 개선의 여지는 남아 있다.출처: §1 · p. 2

공개

저자들은 SA-1B를 연구용으로 공개하고, SAM을 허용 범위가 넓은 Apache 2.0 라이선스로 공개하며, 온라인 시연도 제공한다.출처: §1 · p. 2

데이터셋 (§5)

SA-1B는 SAM이 완전 자동으로 수집한 1.1B개의 고품질 마스크와 사용 허가를 받고 개인정보를 보호하는 11M장의 다양한 이미지로 구성된다.SA-1B의 마스크 수는 기존 분할 데이터셋보다 400× 많다 [66] [44]. 사람의 평가와 다수의 실험으로 마스크의 품질과 다양성을 검증한다.출처: §1 · p. 2, Figure 2 · p. 3

2. Segment Anything 과제

프롬프트 기반 분할은 모호한 프롬프트를 포함한 모든 프롬프트에 유효한 마스크를 출력해야 하며, 이는 사전 학습과 제로샷 전이의 토대가 된다. 프롬프트 설계와 조합은 하나의 모델을 고정된 과제 집합에 한정하지 않고 새로운 분할 과제로 확장하는 것을 목표로 한다.

과제

프롬프트 기반 분할은 점, 박스, 마스크, 텍스트 등의 프롬프트로부터 유효한 마스크를 반환하며, 모호성으로 인해 여러 객체가 가능한 경우에도 마찬가지다.모호한 프롬프트에 대한 유효한 출력은 가능한 객체 중 적어도 하나를 타당하게 분할해야 한다.출처: §2 · p. 4

사전 학습

사전 학습은 프롬프트 시퀀스를 모사하고 예측 마스크를 정답과 비교하며, 충분한 상호작용 이후뿐 아니라 모든 프롬프트 직후에 유효한 마스크를 출력하도록 한다.상호작용형 분할 에서 가져온 이 목표는 자동 주석 생성처럼 모호성을 고려해야 하는 용도를 지원한다. 이를 위해 특화된 모델링과 학습 손실 함수가 필요하다.출처: §2 · p. 4

제로샷 전이

제로샷 전이는 기존 검출기의 바운딩 박스로 인스턴스 마스크를 얻는 방식처럼, 다운스트림 분할 과제를 프롬프트 입력 문제로 재구성한다.실험에서는 자동 데이터셋 주석 생성 외에 다섯 가지 예시 과제를 살펴본다.출처: §2 · p. 4

논의

프롬프트 활용과 조합을 통해 분할 모델은 더 큰 알고리즘 시스템 안에서 작동하며, 모델 설계 당시 알려지지 않은 과제까지 지원할 가능성이 있다.사람의 사용에 초점을 맞춘 상호작용형 분할과 달리, 프롬프트 기반 분할은 알고리즘 차원의 조합을 명시적으로 지원한다. 저자들은 고정된 과제 집합에 맞춰 학습한 시스템보다 더 폭넓게 활용될 것으로 기대한다.출처: §2 · p. 4

3. Segment Anything Model

SAM은 이미지 인코더, 유연한 프롬프트 인코더, 빠른 마스크 디코더를 결합해 프롬프트 기반 분할을 수행한다. 모호한 프롬프트에 대응하기 위해 여러 마스크를 예측한다.

이미지 인코더

이미지 인코더는 MAE [47]로 사전 학습한 Vision Transformer (ViT) [33]를 고해상도 입력에 맞게 최소한으로 수정해 사용하며 [62], 이미지당 한 번 실행된다.이미지 인코딩은 프롬프트를 입력하기 전에 완료할 수 있다.출처: §3 · p. 5

프롬프트 인코더

프롬프트 인코더는 희소한 점·상자·텍스트 프롬프트와 밀집 마스크 프롬프트를 지원한다.점과 상자는 위치 인코딩 과 학습된 프롬프트 유형 임베딩을 결합하며, 텍스트는 기존 CLIP 텍스트 인코더를 그대로 사용한다. 마스크는 합성곱으로 임베딩한 뒤 이미지 임베딩과 원소별로 더한다.출처: §3 · p. 5

마스크 디코더

마스크 디코더는 수정된 Transformer 블록 두 개와 동적 마스크 예측 헤드를 통해 이미지 임베딩, 프롬프트 임베딩, 출력 토큰을 결합한다.프롬프트 self-attention과 양방향 프롬프트–이미지 cross-attention으로 임베딩을 갱신한다. 이미지 임베딩을 업샘플링한 뒤, MLP가 출력 토큰을 전경 확률을 예측하는 동적 선형 분류기로 변환한다.출처: §3 · p. 5

모호성 해소

흔히 나타나는 모호한 프롬프트 대부분은 마스크 출력 3개로 충분히 처리할 수 있어, 여러 유효한 마스크가 하나의 출력으로 평균화되는 것을 피한다.이 대안들은 전체·부분·하위 부분의 중첩된 마스크를 포괄한다. 예측된 신뢰도 점수는 각 마스크의 IoU를 추정하며 순위를 매기는 데 쓰인다.출처: §3 · p. 5

효율성

이미지 임베딩을 미리 계산해 두면, 웹 브라우저에서 CPU로 실행하는 SAM의 프롬프트 인코더와 마스크 디코더의 실행 시간은 ∼50ms다.세 구성 요소로 이루어진 구조는 연산 비용을 여러 실행에 분산해 실시간 성능을 내도록 설계되어 대화형 프롬프팅을 지원한다.출처: §3 · p. 5

손실과 학습

학습 중 기하학적 프롬프트로 마스크당 11회의 대화형 프롬프팅을 모사하며, 후보 마스크들의 손실 중 최솟값만 역전파한다.마스크 지도 학습에는 [14]와 같이 focal loss [65]와 dice loss 를 결합해 사용한다. 상호작용 모사는 [37]을 따르며 데이터 엔진에 통합할 수 있다.출처: §3 · p. 5

4. Segment Anything 데이터 엔진

데이터 엔진은 모델 보조 수동 주석에서 반자동 수집을 거쳐 완전 자동 마스크 생성으로 발전했다. 반복적인 모델 개선과 모호성을 고려한 예측 덕분에 최종 단계에서는 11M개 이미지에서 1.1B개 마스크를 생성했다.

모델 보조 수동 단계

전문 주석 작업자는 미리 계산한 이미지 임베딩을 활용하는 실시간 브라우저 기반 SAM 도구에서 전경·배경 클릭과 픽셀 단위의 정밀 편집을 수행했다.의미적 제약 없이 “stuff”와 “things” 모두에 주석을 달았으며, 제안된 객체 이름이나 설명은 수집하지 않았다. 눈에 띄는 객체부터 주석을 달았고, 마스크 하나에 30초 넘게 걸리면 다른 이미지로 넘어가도록 권장했다.출처: §4 · p. 5
모델 보조 수동 주석에서 마스크당 작업 시간은 34초에서 14초로 줄었고, 이미지당 평균 마스크 수는 20개에서 44개로 늘었다.여섯 차례 재학습을 거치며 SAM의 학습 데이터는 공개 분할 데이터셋에서 새로 주석을 단 마스크만으로 전환됐고, 인코더는 ViT-B에서 ViT-H로 확장됐다. 이 단계에서 120k개 이미지로부터 4.3M개 마스크를 수집했다. 14초의 주석 시간은 COCO 마스크 주석 [66]보다 6.5× 빨랐고, 극점 기반 바운딩 박스 주석 에 걸리는 시간의 2×에 불과했다.출처: §4 · p. 6

반자동 단계

반자동 단계에서는 덜 눈에 띄는 객체에 집중해 180k개 이미지에서 마스크 5.9M개를 추가로 수집하면서 누적 마스크 수가 10.2M개에 도달했다.첫 단계의 마스크를 단일 일반 객체 범주로 학습한 바운딩 박스 검출기 가 신뢰도 높은 마스크를 미리 채워 넣어, 주석 작업자가 나머지 객체에 주석을 달 수 있게 했다. 이 단계에서는 다섯 차례 재학습했다. 자동 생성 마스크를 제외한 수동 주석 시간은 마스크당 평균 34초였고, 자동 생성 마스크를 포함한 이미지당 마스크 수는 44개에서 72개로 늘었다.출처: §4 · p. 6

완전 자동 단계

데이터셋의 전체 11M개 이미지에서 고품질 마스크 1.1B개를 완전 자동으로 생성했다.다양한 반자동 마스크를 포함한 누적 주석을 통해 모델이 개선되고, 모호한 경우에도 유효한 마스크를 예측하는 모호성 인식 모델이 갖춰지면서 이 단계가 가능해졌다.출처: §4 · p. 6
32×32 점 격자를 프롬프트로 사용해 점마다 여러 마스크를 생성함으로써 객체의 세부 구성 요소, 부분, 전체를 예측에 담을 수 있게 했다.예측 IoU로 신뢰도 높은 마스크를 선택하고, 확률 임계값 0.5 − δ와 0.5 + δ에서 유사한 마스크가 나와야 안정적이라고 판단했으며, 비최대 억제로 중복을 제거했다. 서로 겹치는 확대 크롭으로 작은 마스크의 품질을 높였다.출처: §4 · p. 6

5. Segment Anything 데이터셋

SA-1B는 사용 허가를 받고 개인정보 보호 조치를 적용한 이미지 11M개와 분할 마스크 1.1B개로 구성된다. 대부분 자동 생성된 마스크는 전문가가 수정한 결과와 거의 일치하며, 데이터셋 규모는 기존 분할 데이터셋을 크게 웃돈다.

이미지

공개 이미지의 짧은 변 해상도는 1500픽셀이며, 얼굴과 차량 번호판은 흐림 처리했다.사진작가와 직접 협업하는 제공업체로부터 이미지 사용 허가를 받았으며, 저장 공간과 접근성 문제를 완화하기 위해 해상도를 낮췄다. SA-1B는 일부 연구 용도에 유리한 라이선스로 공개되며, 연구자 보호 조항을 포함한다.출처: §5 · p. 6

마스크

데이터 엔진이 생성한 마스크의 99.1%는 완전 자동으로 생성되었으며, SA-1B에는 자동 생성 마스크만 포함된다.Section 7에서는 여러 데이터셋과 비교한 사람의 평가를 통해 마스크 품질이 높음을 보고한다. 자동 생성 마스크만으로 학습해도 데이터 엔진이 생성한 모든 마스크를 사용한 경우와 성능이 거의 같다.출처: §5 · p. 6

마스크 품질

자동 예측 마스크와 전문가가 수정한 마스크 쌍의 94%는 90% IoU를 넘고, 97%는 75% IoU를 넘는다.전문 주석 작업자가 무작위로 추출한 이미지 500개에서 마스크 약 50k개를 수정했다. 선행 연구는 주석 작업자 간 일치도를 85-91% IoU로 추정한다 [44].출처: §5 · p. 6

데이터셋 규모

이미지 11M개와 마스크 1.1B개로 구성된 SA-1B는 Open Images 보다 이미지 수가 11×, 마스크 수가 400× 많다.저자들의 데이터 엔진으로 수집한 이 데이터셋은 컴퓨터 비전의 파운데이션 모델 연구를 지원하기 위해 공개된다.출처: §5 · pp. 6–7, Figure 6 · p. 7

마스크 특성

SA-1B는 이미지당 마스크 수가 Open Images 보다 36× 더 많다. 이 지표에서 가장 가까운 데이터셋인 ADE20K 도 마스크 수가 3.5× 적다.SA-1B는 이미지 크기 대비 작은 마스크와 중간 크기 마스크의 비율도 더 높다.출처: §5 · p. 7, Figure 6 · p. 7
SA-1B는 LVIS v1 [44]과 ADE20K 보다 이미지 모서리 영역을 더 잘 포괄하며, COCO [66]와 Open Images V5 는 중심 편향이 더 강하다.모든 데이터셋에 사진작가의 편향이 남아 있다. 마스크 크기 분포를 통제하면 SA-1B의 마스크 오목도 분포는 다른 데이터셋과 대체로 유사하다.출처: §5 · p. 7

6. Segment Anything의 책임 있는 AI(RAI) 분석

SA-1B는 지역과 소득 수준별 대표성이 불균등하다. SAM의 사람 분할 성능은 인식된 성별 집단 간에 유사하고 피부색에 따른 유의한 차이도 없지만, 의복 분할에서는 인식된 성별에 따른 편향의 징후가 나타난다.

지역 및 소득 수준별 대표성

SA-1B는 COCO [66]와 Open Images 보다 유럽, 아시아 및 오세아니아, 중소득 국가의 대표성이 높다. 세 데이터셋 모두 아프리카, 라틴아메리카 및 카리브해 지역, 저소득 국가는 충분히 대표하지 못한다.이미지가 촬영된 국가는 표준적인 방법으로 추정한다.출처: Table 1 · p. 7, §6 · p. 7

지역 및 소득별 대표성

아프리카를 포함한 SA-1B의 각 지역에는 28백만 개 이상의 마스크가 있으며, 이는 기존 어느 데이터셋의 전체 마스크 수와 비교해도 10×에 달한다.평균 마스크 수는 지역과 소득 수준에 걸쳐 비교적 일정하며, 이미지당 94–108개 범위다.출처: §6 · p. 7

사람 분할의 공정성

SAM은 인식된 성별 집단 간에 유사한 성능을 보이며, 피부색에 따른 유의한 차이가 없고, 고령으로 인식되는 사람에게서 가장 높은 성능을 보인다.각 속성별 집단에서 고령층과 중년층 간 비교를 제외하면 95% 신뢰구간이 겹친다. 고령층의 신뢰구간은 넓다.출처: Table 2 · p. 8, §6 · p. 8
의복 분할에서는 인식된 성별에 따른 편향의 징후가 나타나며, SAM을 더 큰 시스템의 일부로 사용할 때 편향이 발생할 수 있다.사람 분할 시험에는 무작위로 추출한 상호작용 지점 1개 또는 3개를 사용한다. 인식된 성별과 나이는 MIAP 로, 인식된 피부색은 자체 데이터셋으로 평가한다.출처: §6 · p. 8

7. 제로샷 전이 실험

SAM은 단일 점 분할, 경계 검출, 객체 후보 생성, 인스턴스 분할에서 제로샷 전이 성능을 보이며, 텍스트를 활용하는 변형 모델은 텍스트 기반 마스크 분할도 가능하다. 자동 평가 점수가 더 낮아도 사람 평가에서는 SAM이 우세한 경우가 있으며, 절제 실험에서는 더 단순한 학습이나 훨씬 적은 데이터로도 비슷한 성능을 보인다.

7.1. 제로샷 단일 점 유효 마스크 평가

23개 데이터셋 중 16개에서 SAM이 단일 점 mIoU 기준으로 RITM [92]보다 우수하며, 성능 차이는 최대 ∼47 IoU에 이른다.하나의 점이 여러 객체를 가리킬 수 있으므로, 정답에 유효한 대안이 빠져 있으면 평가 지표를 신뢰하기 어렵다. SAM의 세 마스크 중 신뢰도가 가장 높은 예측 대신 정답과 가장 잘 일치하는 마스크를 선택하면 모든 데이터셋에서 RITM을 능가한다.출처: §7.1 · pp. 8–9, Figure 9 · p. 9
평균 7에서 9인 사람이 매긴 마스크 품질 평점에서는 SAM이 자동 평가 점수가 더 낮은 데이터셋에서도 RITM [92]보다 앞선다.모호성을 고려하지 않는 단일 출력 SAM은 표준 SAM보다 낮은 평점을 받지만 여전히 RITM을 앞선다. 프롬프트의 점 수가 1에서 9로 늘어나면 기준 모델과의 격차가 줄어드는 반면, 무작위 점 샘플링에서는 SAM의 우위가 커지며 중심점 샘플링에 견줄 만한 성능을 보인다.출처: Figure 9 · p. 9, §7.1 · p. 9

7.2. 제로샷 경계 검출

SAM은 정밀도 50%에서의 재현율(R50)이 높아 기존 제로샷 경계 검출기를 능가하지만, BSDS500으로 학습한 최신 최고 성능 기법에는 미치지 못한다.격자형 점 프롬프트로 생성한 마스크에 Sobel 필터링과 비최대 억제를 적용해 경계 맵을 만든다. SAM은 BSDS500으로 학습한 HED 와 비교해도 좋은 성능을 보이지만, 주석에 없는 타당한 경계까지 추가로 예측해 정밀도가 낮아진다.출처: Table 3 · p. 10, §7.2 · p. 10

7.3. 제로샷 객체 후보 생성

LVIS 객체 후보 생성에서 SAM은 중형·대형 객체와 희귀·보통 빈도 범주의 객체에서 ViTDet-H를 능가하지만, 전체적으로는 DMP [16]를 사용한 ViTDet-H가 가장 우수하다.SAM은 자동 생성한 마스크를 객체 후보로 출력하며, 소형 객체와 고빈도 범주의 객체에서만 ViTDet-H보다 성능이 낮다. 모호성을 고려하지 않는 변형 모델은 모든 평균 재현율(AR) 지표에서 성능이 크게 떨어진다.출처: Table 4 · p. 10, §7.3 · p. 10

7.4. 제로샷 인스턴스 분할

SAM은 COCO와 LVIS의 마스크 AP에서 완전 지도학습한 ViTDet에 뒤처지지만, 더 선명한 경계를 생성하고 사람 품질 평가에서는 일관되게 더 높은 점수를 받는다.벤치마크 분할 평가에는 ViTDet의 상자 프롬프트를 사용하고, 사람 평가 비교에는 LVIS의 정답 상자를 사용한다. 품질이 더 높은 LVIS 마스크에서는 AP 격차가 줄어든다. 저자들은 ViTDet이 제로샷 SAM은 활용할 수 없는 주석 편향을 이용한다고 추정한다.출처: §7.4 · pp. 10–11, Table 5 · p. 11, Figure 11 · p. 11

7.5. 제로샷 텍스트 기반 마스크 생성

텍스트를 활용하는 SAM 변형 모델은 단순한 텍스트 프롬프트뿐 아니라 미묘한 의미를 담은 프롬프트로도 객체를 분할하며, 과 유사하게 점 프롬프트를 추가하면 실패한 결과를 수정하는 경우가 많다.이 개념 검증 모델은 수동으로 수집한 마스크에서 추출한 CLIP 이미지 임베딩으로 학습하므로 새로운 텍스트 주석이 필요 없다. 추론 시에는 이미지 임베딩과 정렬된 CLIP 텍스트 임베딩을 프롬프트로 사용한다.출처: Figure 12 · p. 11, §7.5 · p. 11

7.6. 절제 실험

자동 마스크만으로 학습한 경우와 모든 단계의 데이터로 학습한 경우의 차이는 ∼0.5 mIoU로 후자가 우세하지만, 작은 차이는 더 단순한 자동 마스크 전용 기본 설정을 뒷받침한다.데이터 엔진의 단계가 진행될 때마다 mIoU가 향상된다. 모든 단계의 데이터로 학습할 때는 수동·반자동 마스크를 10× 과표집하면 성능이 가장 좋다.출처: §7.6 · p. 11, Figure 13 · p. 12
약 100M개의 마스크를 포함한 학습 이미지 1M장만으로도 전체 11M장과 비슷한 성능을 얻지만, 이미지 0.1M장에서는 mIoU가 크게 하락한다.인코더 규모 확장의 효과도 포화된다. ViT-H는 ViT-B보다 성능이 크게 향상되지만 ViT-L보다는 소폭만 향상된다. 그럼에도 기본 설정은 전체 이미지 11M장을 사용한다.출처: §7.6 · pp. 11–12, Figure 13 · p. 12

8. 논의 · 부록

Segment Anything 프로젝트는 영상 분할용 파운데이션 모델을 향해 프롬프트로 제어하는 분할, SAM, SA-1B를 제시하며, 다른 구성 요소와의 결합을 고려한 프롬프트 인터페이스를 제공한다. 논의에서는 지도 학습의 규모 확장을 강조하면서도 마스크 품질, 실행 시간, 과제 측면의 한계를 인정한다.

8. 논의

SAM은 자기지도 학습 기반 MAE [47]로 초기화되지만, 대부분의 능력은 대규모 지도 학습에서 얻는다.분할이 컴퓨터 비전의 일부만 다루기는 하지만, 이 연구는 파운데이션 모델의 정의 [8]에 부합한다. 주석 규모를 확장하는 데이터 엔진은 지도 학습의 효과를 높인다.출처: §8 · p. 12
SAM은 다양한 프롬프트에 대해 유효한 마스크를 제공하는 인터페이스를 통해 더 큰 시스템에서 재사용 가능한 구성 요소가 되도록 설계되었다.MCC 는 단일 RGB-D 이미지 기반 3D 재구성에 SAM을 활용할 수 있으며, 보지 못한 객체에도 높은 일반화 성능을 보인다. 웨어러블 기기의 시선 프롬프트를 이용하면 추가 학습 없이 일인칭 시점 영상 같은 새로운 영역에 적용할 수 있다.출처: §8 · p. 12
SAM은 미세 구조를 놓치거나 실제로 없는 분리 영역을 생성할 수 있으며, 연산량이 많은 확대 기반 방법 [18]보다 경계가 덜 선명할 수 있다.저자들은 입력 점이 많을 때 전용 상호작용형 방법 [67]이 SAM보다 우수하고, 특정 영역에 특화된 도구 가 해당 영역에서 SAM보다 우수할 것으로 예상한다. SAM은 높은 IoU의 상호작용형 분할보다 범용성을 우선한다.출처: §8 · p. 12
SAM은 프롬프트를 실시간으로 처리하지만, 영상 인코딩의 높은 연산 부담으로 전체 과정은 실시간으로 동작하지 못한다. text-to-mask는 아직 탐색 단계이며 충분히 강건하지 않다.의미론적 분할과 파놉틱 분할을 위한 간단한 프롬프트를 어떻게 설계할지도 불분명하다.출처: §8 · p. 12
프로젝트의 핵심 기여인 프롬프트로 제어하는 분할, SAM, SA-1B 데이터셋과 함께 1B개가 넘는 마스크가 공개되었다.SAM이 파운데이션 모델로 자리매김할지는 연구 공동체가 이를 어떻게 활용하는지에 달려 있다.출처: §8 · p. 12

부록

부록은 모델과 과제의 세부 사항, 자동 마스크 생성, 책임 있는 AI 관련 세부 사항, 실험 구현, 사람 대상 연구 설계, 데이터셋·주석·모델 카드, 주석 지침을 다룬다.이 자료는 부록 A–G로 구성된다.출처: Appendix · p. 16

A. Segment Anything Model 및 과제 세부 사항 · B. 자동 마스크 생성 세부 사항

SAM은 이미지당 한 번 실행하는 이미지 인코더, 프롬프트 인코더, 모호성을 고려하는 경량 마스크 디코더로 구성되며, 모의 상호작용을 통해 학습된다. SA-1B 자동 생성에는 다중 스케일 프롬프팅, 품질 필터링, 마스크 후처리를 적용한 전용 SAM 변형을 사용한다.

A. Segment Anything Model 및 과제 세부 사항

SAM은 MAE [47]로 사전 학습한 ViT-H/16을 사용해 이미지당 한 번 임베딩을 계산하므로, 이후 프롬프트에서 계산 비용이 큰 인코더 출력을 재사용할 수 있다.인코더는 윈도 어텐션과 전역 어텐션 블록 4개를 사용한다. 입력의 크기를 조정하고 패딩해 1024×1024로 맞추면 64×64 임베딩이 생성되며, 합성곱과 계층 정규화로 이를 256채널에 투영한다.출처: A. Segment Anything Model and Task… · p. 16
SAM은 희소 프롬프트를 임베딩으로 표현하고, 공간 정보를 인코딩한 마스크 프롬프트는 이미지 임베딩에 직접 더한다.점은 위치 인코딩과 전경/배경 임베딩을 결합하고, 박스는 모서리를 인코딩하며, 텍스트는 CLIP 을 사용한다. 희소 임베딩은 256차원이다. 마스크 프롬프트는 이미지 임베딩에 맞도록 합성곱으로 다운샘플링하며, 마스크가 없으면 학습된 ‘마스크 없음’ 임베딩으로 표현한다.출처: A. Segment Anything Model and Task… · p. 16
경량 2계층 디코더가 양방향 교차 어텐션으로 프롬프트 토큰과 이미지 임베딩을 갱신한 뒤, 업샘플링한 이미지 특징에서 마스크를 동적으로 예측한다.학습 가능한 출력 토큰을 프롬프트 토큰에 추가하고, 기하 정보를 보존하도록 위치 인코딩과 원래 프롬프트 토큰을 반복해서 다시 주입한다. 4× 업샘플링과 추가 어텐션 단계 후, 3계층 MLP가 출력 토큰을 공간상 각 지점의 마스크 예측에 사용할 가중치로 변환한다.출처: Figure 14 · p. 16, A. Segment Anything Model and Task… · pp. 16–17
마스크 3개로 단일 프롬프트의 모호성에 대응하고, 프롬프트가 여러 개면 별도의 네 번째 마스크만 반환한다.모호한 프롬프트는 학습 시 마스크 손실 중 최솟값만 역전파하며, 추가 헤드가 IoU를 예측해 출력의 순위를 매긴다. 다중 프롬프트용 별도 마스크는 퇴화한 손실을 피하고 규칙적으로 기울기 신호를 받는다.출처: A. Segment Anything Model and Task… · p. 17
focal loss와 dice loss를 20:1로 가중해 마스크를 지도 학습하고, 평균제곱오차 손실로 예측 IoU가 실제 마스크 IoU에 맞도록 학습한다.IoU 손실은 배율 1.0으로 더한다. 각 디코더 계층 뒤에 추가한 보조 심층 지도는 도움이 되지 않았다.출처: A. Segment Anything Model and Task… · p. 17
11회의 학습 반복으로 상호작용을 모사한다. 초기 점 또는 박스 입력, 오류에 따른 교정점 입력 8회, 마스크만을 이용한 정제 2회로 구성된다.초기 점과 박스는 같은 확률로 선택하며, 박스 좌표에는 잡음을 더한다. 이후 반복에서는 임계값을 적용하지 않은 마스크 로짓을 재사용하고, 필요하면 예측 IoU가 가장 높은 마스크를 선택한다. 디코더의 각 반복에 드는 연산량은 인코더의 1% 미만이다. 기본 학습은 데이터 증강 없이 배치 크기 256으로 AdamW 를 사용해 90k회 반복한다.출처: A. Segment Anything Model and Task… · p. 17

B. 자동 마스크 생성 세부 사항

자동 마스크 생성은 다중 스케일 점 격자와 크롭을 고려한 억제 처리를, 추론 속도를 희생하는 대신 마스크 생성에 적합한 특성을 갖춘 전용 SAM 변형과 결합한다.전체 이미지의 32×32 격자와 16×16 또는 8×8 격자를 적용한 중첩 크롭 20개로 후보를 생성한다. 크롭 경계에 걸친 마스크는 제거하며, 박스 NMS에는 임계값 0.7을 사용한다. 크롭 내부에서는 예측 IoU로 순위를 매기고, 크롭 간에는 확대된 크롭을 우선한다. 전용 모델은 수동·반자동 데이터만 사용하고, 학습 반복은 90k회 대신 177656회, 디코더는 2계층 대신 3계층으로 설정하며, 대규모 지터 [40]를 적용한다. 학습 시 박스 없이 점을 9개 대신 4개 사용한다. 점 수를 줄이면 단일 점 성능은 유지되지만 더 많은 점을 사용하는 평가에서는 성능이 저하된다.출처: B. Automatic Mask Generation Details · p. 18
자동 생성 후보에 신뢰도, 안정성, 이미지 점유율 기준의 필터링을 적용한 뒤, 작은 연결 성분을 제거하고 작은 구멍을 채운다.필터는 예측 IoU 임계값 88.0, -1과 +1로 각각 이진화한 마스크 간 안정성 IoU 최소 95.0을 사용하며, 이미지의 95% 이상을 덮는 마스크는 제외한다. 불필요한 연결 성분과 구멍은 각각 마스크의 약 4%에 영향을 미치는 것으로 추정된다. 100픽셀 미만의 연결 성분은 제거하고 100픽셀 미만의 구멍은 채운다.출처: B. Automatic Mask Generation Details · p. 18

C. 책임 있는 AI에 관한 추가 세부 사항

책임 있는 AI에 관한 추가 분석에서는 데이터셋의 지리적 분포와 소득 수준을 추정하고, 인지된 성별 표현과 연령에 따른 분할 성능을 평가한다. 의복 분할에서는 성별 표현에 따른 격차가 나타나지만 프롬프트 점이 늘어나면 줄어들며, 인지된 연령에 따른 차이는 유의하지 않다.

SA-1B의 지리 정보 추론

SA-1B의 대략적인 위치는 Elmo 기반 개체명 인식 모델 을 사용해 캡션에서 추론한다. 모호성과 잠재적 편향 때문에 데이터셋 수준의 분석에만 사용한다.위치 개체명을 국가, 주·도, 도시에 대응시키되 이 순서로 우선순위를 둔다. 추론한 국가를 기준으로 세계은행 의 소득 수준을 부여하며, 중상위와 중하위 소득 범주는 통합한다. 추론한 위치는 공개하지 않으며, 이미지 제공자는 캡션 공개를 금지한다.출처: C. RAI Additional Details · p. 18

COCO와 Open Images의 지리 정보 추론

[29]를 따라 Flickr 메타데이터를 통해 COCO [66] 학습 이미지의 24% (19,562)와 마스크가 있는 Open Images 학습 이미지의 18% (493,517)에 대략적인 위치를 부여했다.이 데이터셋들은 지리적 위치를 제공하지 않으며, 수집된 표본이 전체 데이터셋의 분포를 대표하지 않을 수 있다.출처: C. RAI Additional Details · p. 18

의복 분할의 공정성

의복 분할에서 인지된 성별 표현별 95% 신뢰구간은 서로 겹치지 않으며, 주로 남성적으로 표현된 집단에서 성능이 더 높다. 인지된 연령에 따른 차이는 유의하지 않다.분석에는 MIAP 인물 박스 내의 Open Images 의복 마스크 6.5k개를 사용한다. 프롬프트 점을 1개에서 3개로 늘리면 성별 표현에 따른 격차가 줄어든다.출처: Table 6 · p. 19, C. RAI Additional Details · p. 19

인물 분할의 공정성

인물 마스크 3.9k개로 인지된 성별과 연령에 따른 공정성을 분석하며, Open Images 마스크의 바운딩 박스를 변 길이 기준 1%의 상대 오차 범위에서 MIAP 박스와 대응시킨다.MIAP는 인구통계학적 주석과 바운딩 박스를, Open Images는 정답 마스크를 제공한다.출처: C. RAI Additional Details · p. 19

D. 실험 구현 세부 사항 … D.6. SAM의 잠재 공간 탐색

이 실험들은 SAM을 점 프롬프트 기반 분할, 에지 검출, 객체 후보 영역 생성, 인스턴스 분할, 텍스트 기반 마스크 예측에 적용하고 잠재 표현을 탐색한다. 정성적 결과에서 SAM은 ViTDet보다 깔끔한 인스턴스 마스크 경계를 보이며, 명시적인 의미적 감독 없이도 불완전하나마 형태 및 의미적 유사성을 보인다.

D.1. 제로샷 단일 점 유효 마스크 평가

점 프롬프트는 객체 경계에서 가장 먼 지점에서 시작하고, 더 어려운 실험에서는 무작위 지점에서 시작한 뒤 예측 오류 영역을 겨냥한다.이후 각 점은 오류 영역의 경계에서 가장 먼 지점에 놓는다. 무작위 초기 점은 시선 입력처럼 프롬프트가 마스크 중심 부근에 안정적으로 놓이지 않는 상황을 모사한다.출처: §D.1 · p. 19
23개의 다양한 분할 데이터셋으로 제로샷 점 프롬프트 벤치마크를 구성하며, 종합 성능은 마스크를 한데 모아 계산하지 않고 데이터셋별 mIoU의 평균으로 산출한다.N = {1, 2, 3, 5, 9}개의 프롬프트를 입력한 뒤 IoU를 측정하며, 특정 IoU 임계값에 도달하는 데 필요한 클릭 수보다 소수의 프롬프트로 얻는 성능에 중점을 둔다. 마스크가 15k개를 넘는 데이터셋은 약 10k개로 부분 표본 추출하고, 사람의 얼굴은 흐림 처리한다.출처: §D.1 · p. 19, Table 7 · p. 20
기본 단일 점 비교 모델은 RITM 이며, 평가 대상 데이터셋 전반에서 FocalClick [18]과 SimpleClick [67]보다 성능이 높다.비교 모델은 각자의 가장 광범위한 데이터셋으로 학습한 공개 모델 중 가장 큰 모델을 사용하며, 기본 전처리와 매개변수를 그대로 유지한다. 모든 모델에 대해 여러 점을 입력한 결과도 보고한다. 오라클 단일 점 평가는 프롬프트의 모호성을 고려해 SAM의 최상위 마스크 대신 세 예측 중 정답과 가장 잘 일치하는 마스크를 선택한다.출처: §D.1 · p. 19

D.2. 제로샷 에지 검출

SAM의 제로샷 에지 맵은 사람의 주석과 대체로 일치하지만 추가 에지도 포함하며, 이는 에지 검출 학습을 받지 않았음을 반영한다.16×16 전경 점 격자로 768개의 마스크를 생성한다. 중복 억제 후 Sobel 필터링, 경계 영역 제한, 픽셀별 최댓값 계산, 정규화, 에지 NMS 를 거쳐 에지 맵을 만든다. 평가는 200개 이미지로 구성된 BSDS500 테스트 부분 집합과 ODS, OIS, AP, R50 지표를 사용한다.출처: Figure 15 · p. 21, §D.2 · p. 21

D.3. 제로샷 객체 후보 영역 생성

64×64 점 격자와 0.9의 NMS 임계값으로 이미지당 약 900개의 후보 영역을 생성하며, 이미지 크롭이나 예측 IoU·안정성 필터링은 사용하지 않는다.평가는 빈도 범주별 부분 집합을 포함한 LVIS v1 [44]의 마스크 AR@1000을 사용해 캐스케이드 ViTDet-H [62]와 비교한다. 후보가 너무 많으면 신뢰도와 안정성의 평균으로 순위를 매겨 1000개만 남긴다. 다중 출력의 효과를 검증하기 위해 단일 출력 SAM은 대신 128×128 격자, 0.95의 NMS 임계값, 무작위 순위를 사용하며 이미지당 약 950개의 마스크를 생성한다.출처: §D.3 · p. 21

D.4. 제로샷 인스턴스 분할

SAM은 ViTDet보다 경계가 더 깔끔한 고품질 인스턴스 마스크를 생성하는 경향이 있지만, 예측이 데이터셋의 주석 관례와 다를 수 있다.SAM은 완전 지도 학습된 ViTDet-H의 박스를 입력받고, 가장 신뢰도가 높은 마스크를 박스 프롬프트와 함께 다시 입력해 정제한다. SAM의 타당한 가시 영역 예측은 마스크 내부의 구멍을 허용하지 않는 LVIS 주석과 불일치할 수 있다.출처: Figure 16 · p. 22, §D.4 · p. 22

D.6. SAM의 잠재 공간 탐색

SAM의 최근접 이웃 마스크 임베딩은 명시적인 의미적 감독 없이도 불완전한 형태 및 의미적 유사성을 보인다.크롭 이미지와 이를 좌우 반전한 이미지에서 마스크로 가중한 이미지 특징을 평균해 임베딩을 구한다. 이러한 예비 관찰은 데이터 라벨링, 데이터셋 이해, 후속 작업용 특징으로의 활용 가능성을 시사한다.출처: Figure 17 · p. 22, §D.6 · pp. 22–23

D.5. 제로샷 텍스트 기반 마스크 예측

정렬된 CLIP 이미지·텍스트 임베딩을 통해 SAM은 이미지에서 얻은 프롬프트로 학습하고, 명시적인 텍스트 감독 없이 텍스트 프롬프트를 입력받을 수 있다.학습에는 정규화된 ViT-L/14@336px 임베딩과 데이터 엔진의 첫 두 단계에서 생성한 마스크를 사용하며, 배치 크기 128로 120k회 반복 학습한다. 이미지 프롬프트에는 객체 영역을 확장한 크롭, 선택적인 배경 영점 처리, 마지막 층의 masked attention을 사용하고, 이후 점 프롬프트를 반복적으로 적용한다. 추론 시에는 CLIP 텍스트 인코더를 변경 없이 사용한다.출처: §D.5 · p. 22

E. 사람 평가 실험 설계 · F. 데이터셋, 주석 및 모델 카드

정답 기반 지표의 한계를 보완하는 사람 평가에서 SAM은 기준 모델과 단일 출력 SAM보다 유의하게 높은 마스크 품질 점수를 받았다. 논문은 데이터셋, 주석 및 모델 카드도 제공한다.

E. 사람 평가 실험 설계

사람 평가는 타당한 다른 객체를 선택했을 때의 IoU 불이익과 정답 주석의 편향을 피하면서, SAM의 모호성 해소가 단일 점 기반 마스크를 개선하는지 검증한다.단일 출력 SAM은 모호한 마스크들을 평균화할 수 있으며, 해당 도메인에서 학습한 모델은 더 나은 마스크를 생성하기보다 주석 편향을 학습해 IoU를 높일 수 있다. 인스턴스 분할 비교에서는 SAM이 더 낮은 AP에도 시각적으로 더 나은 마스크를 생성하는지 검증한다.출처: E. Human Study Experimental Design · p. 23
23개 데이터셋 중 7개를 단일 점 기반 평가에 선정해 다양한 영상과 SAM 또는 RITM 이 IoU에서 우세한 사례를 포괄했다.장면 수준 영상, 일인칭 시점 영상, 그림, 상공 촬영 영상, 수중 영상, 합성 영상을 포함한다. 인스턴스 분할에는 기준 모델의 학습 데이터셋과 일치하는 LVIS v1 검증 세트를 사용한다.출처: E. Human Study Experimental Design · p. 23
마스크 품질을 1-10점으로 평가하며 객체의 타당성, 경계의 깔끔함, 입력과의 일치도를 측정했고, 평가를 돕는 다섯 가지 진단용 화면을 제공했다.점수는 해당하는 객체가 없음(1)부터 눈에 띄는 오류가 없음(10)까지였다. 주석 작업자 5명의 예비 평가에서 점수 표준편차가 평균 0.83으로 나타난 뒤, 작업을 주석 작업자 30명에게 무작위로 배정해 각 마스크를 한 번씩 평가했다. 품질 검수자는 지침 준수 여부를 표본 점검했다.출처: E. Human Study Experimental Design · p. 23
단일 점 기반 평가에는 데이터셋마다 무작위로 선택한 마스크 1000개를, 인스턴스 분할 평가에는 LVIS v1 검증 마스크 1000개를 사용했다.모델에는 마스크 경계에서 가장 멀리 떨어진 중심점 또는 정답 상자로 동일한 입력을 제공했으며, 데이터셋의 정답 마스크도 평가했다. 작은 마스크는 제외하고, 큰 이미지는 예측 전에 가장 긴 변의 길이가 2000이 되도록 축소했다.출처: E. Human Study Experimental Design · p. 23
SAM은 사람의 마스크 품질 평가에서 단일 점 기반 분할의 RITM, 인스턴스 분할의 ViTDet [62], 단일 출력 SAM보다 유의하게 높은 점수를 받았다.대응표본 t-검정과 10k개 표본을 이용한 대응 부트스트랩에서 매우 유의한 결과와 0을 포함하지 않는 99% 신뢰구간을 얻었다. 인스턴스 분할 검정에는 평가값 1000개를 모두 사용했으며, COCO 정답과의 비교에서는 각 모델과 정답에 대해 입력 794개를 일치시켰다.출처: E. Human Study Experimental Design · pp. 23–24, Table 8 · p. 24

F. 데이터셋, 주석 및 모델 카드

문서에는 를 따른 SA-1B 데이터셋 카드, CrowdWork-Sheets 를 따른 주석 카드, 를 따른 모델 카드가 포함된다.주석 카드는 데이터 엔진의 첫 두 단계를 다룬다. 데이터셋 카드와 주석 카드는 문답 형식이며, 모델 카드는 Table 9에 제시되어 있다.출처: F. Dataset, Annotation, and Model Cards · p. 25

F.1. SA-1B 데이터셋 카드

SA-1B는 사용 허가를 받은 이미지 11M장과 분할 마스크 1.1B개를 제공하며, 개인정보 보호를 위해 블러 처리를 적용했다. 다만 주석 오류, 대표성 불균형, 민감할 수 있는 콘텐츠는 남아 있다.

데이터셋 목적

이미지 11M장과 마스크 1.1B개로 구성된 SA-1B는 현재까지 가장 큰 분할 데이터셋이며, 기존 데이터셋보다 지리적 다양성이 높다.이미지는 사용 허가를 받았으며, 개인정보 보호를 위해 얼굴과 차량 번호판에 블러 처리를 적용했다.출처: §F.1 · p. 25

구성

이미지당 ∼100개의 마스크에는 범주나 텍스트가 연결되어 있지 않으며, 모델이 생성한 마스크에는 오류나 불일치가 있을 수 있다.서로 다른 사진들은 다양한 장소, 사물, 장면을 담고 있지만, 짧은 시간 간격으로 같은 대상을 촬영한 사진도 있다. 제공업체의 콘텐츠·위치 설명 캡션은 지리적 분석에 활용했으나 계약상 공개할 수 없다.출처: §F.1 · p. 25
부적절한 콘텐츠를 걸러내도록 요청했음에도 민감할 수 있는 시위·집회 장면이 남아 있으며, 얼굴에는 블러 처리가 적용되어 있다.이러한 장면은 종교적 신념, 정치적 견해, 노동조합 가입 여부를 드러낼 수 있다. 사용자는 부적절한 이미지를 신고해 삭제를 요청할 수 있다.출처: §F.1 · p. 25

수집 과정

공개된 마스크는 SAM이 자동으로 추론한 것이며, 모델 보조 수동 주석 작업으로 수집한 마스크는 공개하지 않는다.무작위로 선정해 테스트용으로 제외한 이미지 ∼2k장을 빼고, 사용 허가를 받은 모든 이미지와 이에 대해 생성한 마스크를 포함한다. 마스크 품질은 §5에 설명한 방식으로 검증했다.출처: §F.1 · p. 25

전처리 / 정제 / 라벨링

이미지는 짧은 변이 1500픽셀이 되도록 크기를 조정하며, 안전과 개인정보 보호를 위해 원본 사진은 공개하지 않는다.얼굴은 RetinaFace 로 검출하며, 차량 번호판 블러 처리 모델은 비공개다.출처: §F.1 · p. 26

용도

SA-1B는 대규모 분할을 위한 데이터셋이지만, 지역·소득 집단을 고르게 포괄하지 못해 모델이 학습하는 편향에 주의해야 한다.이 데이터셋은 SAM 학습에 사용되었으며, 연구자들의 추가 주석 수집을 권장한다.출처: §F.1 · p. 26

배포

SA-1B를 다운로드하거나 사용하려면 데이터셋 라이선스와 이용 약관에 동의해야 하며, 약관에는 금지된 용도가 명시되어 있다.데이터셋 라이선스와 제한 사항은 Meta AI 데이터셋 사이트에서 확인할 수 있다.출처: §F.1 · p. 26

유지·관리

SA-1B에는 데이터 보관 기간 제한이 없다. 업데이트는 신고된 이미지 삭제만 수행하며, 유해할 수 있는 콘텐츠가 포함된 이전 버전은 보관하지 않는다.Meta AI가 데이터셋을 유지·관리하며, 사용자는 콘텐츠를 신고해 삭제 검토를 요청할 수 있다. 기여자는 추가 주석을 직접 호스팅하고 배포해야 한다.출처: §F.1 · pp. 26–27

F.2. 데이터 주석 카드 · G. 주석 지침

주석 과정에서는 분할을 주관적인 작업으로 보고, 완전성보다 데이터 다양성을 우선하면서 대화형 도구, 교육, 정기적인 품질 피드백을 활용했다. 검토 지침은 마스크 오류와 원본 이미지에서 비롯된 픽셀화를 구분했다.

F.2. 데이터 주석 카드

분할은 본질적으로 주관적인 작업으로 간주했으며, 마스크별 주석에서는 완전성보다 데이터 다양성을 우선했다.객체를 묶는 방식에 대해 주석 작업자 간 의견이 다를 수 있었으며, 작업자의 숙련도는 마스크 품질과 이미지당 마스크 수 모두에 영향을 미쳤다.출처: §F.2 · p. 27
연구팀이 수행한 30개 주석 작업은 도구 사용상의 어려움을 파악하고, 복잡한 사례를 해결하며, 시각적 예시를 담은 지침을 개선하는 데 도움이 되었다.주간 피드백 회의, 실시간 작업 시연, 질의응답, 비동기 피드백을 통해 주석 작업자는 지침에서 불명확한 부분을 제기할 수 있었다.출처: §F.2 · p. 27
주석 작업자는 전경/배경 교정 클릭이나 경계 상자로 식별 가능한 모든 잠재적 객체의 마스크를 만들도록 지시받았으며, 세부 수정에는 픽셀 단위 정밀 도구를 사용할 수 있었다.이처럼 포괄적인 주석 목표와 별개로, 실제 작업에서는 빠짐없는 주석보다 다양성을 중시했다.출처: §F.2 · p. 27
모두 케냐에 거주하는 주석 작업자 130명은 사회인구학적 특성이 아니라 기존 컴퓨터 비전 주석 작업 경험을 기준으로 선발되었다.저자들은 주석 작업자의 사회인구학적 특성이 주석 데이터에 유의미한 영향을 미치지 않는다고 보았다.출처: §F.2 · p. 27
본 작업에 앞서 평균 1주간 교육을 진행했으며, 마스크 수동 표본 점검으로 작업 준비 여부를 판단하고 주간 검토로 본 작업의 품질을 평가했다.교육은 용역업체가 주도한 하루 교육과 주석 실습으로 시작했다. 전일제 인력 배치와 매우 낮은 이탈률은 지속적인 교육을 뒷받침했다. 일일 품질 검수 피드백, 연구팀의 주간 피드백, 스프레드시트와 채팅을 통한 소통이 주석 속도와 품질을 개선했다고 보고되었다.출처: §F.2 · p. 27
수작업 주석은 초기 SAM 버전의 학습에 사용되었으며 공개할 계획은 없었다. 주석 작업자가 자신의 데이터를 철회할 절차도 없었다.SA-1B에 접근하려면 특정 연구 용도를 허용하는 라이선스 조건에 동의해야 했다. 부적절한 이미지 삭제 외에는 데이터셋을 갱신할 계획이 없었다.출처: §F.2 · p. 27

G. 주석 지침

검토 지침은 무관한 객체의 결합, 점–마스크 불일치, 전경 가림 객체의 비일관적 처리를 오류로 지적하되, 원본 이미지에 부합하는 픽셀화는 허용했다.전경 가림 객체는 일관되게 포함하거나 제외해야 했다. 작은 마스크는 각진 외형이 허용되더라도 경계가 객체 밖으로 뻗어 나가는 오류가 있을 수 있었다.출처: G. Annotation Guidelines · p. 30