PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

SignDino: Self-Supervised Sign Language Representation Learning via Temporal-Axis Self-Distillation

Junyi Hu, Zhewen He, Haomian Huang, Zhenhua Li, Zhifei Li, Yi Fang

arXiv:2609.06296v1cs.CVcs.CL

TL;DR

수어 동영상 SSL은 서로 다른 조음 기관과 이들이 시간에 따라 어떻게 변화하는지를 표현해야 한다. SignDino는 추적된 해부학적 스트림에 DINO 방식의 학생-교사 학습을 적용해 여러 수어 과제에서 가장 강력한 공개 SSL 기준선보다 나은 성능을 보인다.

  • 문제

    수어 동영상 SSL은 글로스 레이블, 번역, 사람이 정의한 하위 수어 단위에 의존하지 않으면서 언어적 단서가 어디에서 조음되고 시간에 따라 어떻게 변화하는지를 포착해야 한다.

    출처: §1 · p. 1

  • 방법

    SignDino는 추적된 왼손, 오른손, 얼굴 스트림을 각각 독립적으로 인코딩하고, 시간축 DINO 증류, 마스킹 프레임 예측, 특징 확산, Gram 앵커링을 적용한다.

    출처: §1 · p. 2, §3 · p. 3, §3.2 · p. 4

  • 결과

    SIGNDINO는 번역, ISLR, 지문자 인식, 음운 특성 탐침에서 가장 강력한 공개 SSL 기준선보다 나은 성능을 보이며, 동결된 특징도 이전의 실시간 미세 조정 번역 기준선을 능가한다.

    출처: §5 · p. 9

  • 시사점 및 한계

    공개된 프레임워크, 코드, 체크포인트는 수어 동영상용으로 강력한 공개 자기지도 기준선을 제공한다.

    출처: §5 · p. 9

    가림이나 빠른 움직임으로 추적기가 정보를 놓치면 스트림 입력이 손상될 수 있으며, 유효성 마스크는 가장 심각한 사례만 제거한다.

    출처: Limitations · p. 9

Abstract

from arXiv · show

Self-supervised sign language representation learning must model two properties not central to natural-image SSL: signs are produced by a small set of anatomically distinct articulators, and their meaning depends on the temporal organisation of those articulators. We introduce SignDino, a self-supervised sign-video encoder that moves the DINOv3 student--teacher recipe from the spatial domain of image crops to the temporal domain of tracked sign streams. Each video is decomposed into left-hand, right-hand, and face streams by a detector-first YOLOv8n+ByteTrack pipeline. A frozen DINOv3 ViT-B/16 embeds each per-frame anatomical crop, while lightweight temporal Transformers, not the image backbone, form the student and EMA teacher. They are trained by temporal DINO self-distillation, frame-level masked-token prediction in the style of iBOT, KoLeo feature spreading, and Gram anchoring of the frame-to-frame similarity structure. This design keeps strong image-level visual primitives fixed and learns only how articulator states evolve across time. We evaluate on sign-to-English translation, isolated sign recognition, and fingerspelling detection benchmarks. Across these tasks, SignDino provides a strong public self-supervised representation and shows competitive or state-of-the-art performance under matched downstream evaluation.

1 서론

수어 표현은 gloss, 번역문, 사람이 정의한 수어 하위 단위 없이 학습하면서도 서로 다른 조음자와 그 시간적 협응을 추적해야 한다. SignDino는 추적된 해부학적 스트림에 DINO의 지역–전역 증류를 적용하고, 여러 수어 과제에서 이 프레임워크를 평가한다.

1 서론

  • 시간 관점에서는 조음자의 더 짧은 crop을 한 프레임의 또 다른 공간적 시점이 아니라 궤적 안에서 의미 있는 단위로 본다.Figure 1은 추적된 왼손, 오른손, 얼굴 스트림을 따라 배치된 시간적 전역·지역 crop과 지역 crop의 iBOT 마스크를 보여준다.출처: §1 · p. 1, Figure 1 · p. 2
  • 이 논문은 SHUBERT 프로토콜에 따라 SignDino를 수어-영어 번역, 고립 수어 인식, 지문자 검출 과제에서 평가한다.사전 계산된 클러스터를 지도 신호로 사용하는 SHUBERT와 달리, 이 방법의 사전학습 과제는 연속적인 시간 student–teacher 증류를 사용한다.출처: §1 · p. 2
  • SignDino는 DINO를 temporal crop에 적용하고 프레임별 조음자 토큰, 프레임 마스킹, Gram anchoring으로 클립 구조를 제약한다.교사는 더 긴 시간 crop을, 학생은 더 짧고 일부가 마스킹된 crop을 관측하며, 프로토타입과 프레임 유사도 구조를 맞춘다.출처: §1 · pp. 1–2
  • 왼손, 오른손, 얼굴 스트림은 각각 독립적으로 인코딩하고, 융합은 다운스트림 헤드 단계까지 미룬다.검출기 우선 YOLOv8n 및 ByteTrack 파이프라인이 해부학적 crop을 제공한다.출처: §1 · p. 2

2 관련 연구

관련 연구는 여러 양상에 걸친 자기지도 학습, 수어 특화 표현 학습, 다중 스트림 수어 비디오 파이프라인을 다룬다.

여러 양상에 걸친 SSL과 DINO 계열

  • DINO 계열 이미지 SSL은 student–teacher 학습을 기반으로 하며, DINOv2와 DINOv3는 이 학습 방식을 확장하고, iBOT은 masked-patch 예측을 추가하며 VideoMAE는 MAE를 비디오에 적용한다.SIGNDINO는 DINOv3 인코더를 고정하고, 추적된 스트림의 시간축을 따라 DINO, iBOT, KoLeo, Gram 목적 함수를 다시 적용한다.출처: §2 · p. 2

수어 표현 학습

  • 기존 수어 SSL은 재구성 또는 sign–text 정렬을 사용한다. SHUBERT는 군집화된 은닉 유닛을 예측하는 반면, SIGNDINO는 시간 크롭에 대해 연속적인 student–teacher 증류를 수행한다.SHUBERT의 스트림은 YouTube-ASL 984시간 데이터에서 마스킹된 군집 예측을 수행한다.출처: §2 · p. 2

다중 스트림 파이프라인, 검출기 우선 추적, 손가락 철자

  • 관련 sign-video 연구에는 다중 스트림 아키텍처, 누락된 프레임을 Kalman으로 보완하는 ByteTrack, ASL-Lex 2.0 및 ASL Citizen과 같은 음운론적 분해 자료가 포함된다.손가락 철자는 조밀한 시간 단서를 갖는 하위 과제로 설명된다.출처: §2 · p. 3

3 SignDino

SignDino는 왼손, 오른손, 얼굴 스트림을 각각 인코딩하고, 이미지 백본은 동결한 채 시간 표현을 학습한다. 학습에서는 DINO 방식의 증류를 시간 크롭, 마스킹된 프레임, 클립 내 유사도 구조에 맞게 적용한다.

3 SignDino

  • 왼손, 오른손, 얼굴을 각각 독립적으로 학습한 스트림으로 인코딩하며, 융합은 다운스트림 헤드 단계로 미룬다. 그래디언트는 시간 인코더와 헤드에만 전달된다.동결된 DINOv3 백본이 프레임별 크롭 임베딩을 제공한다.출처: §3 · p. 3, §3.2 · p. 3

3.1 다중 스트림 특징 전처리

  • YOLOv8n이 손과 얼굴을 검출하고, ByteTrack이 손의 정체성을 연결하며 최대 K 프레임까지의 누락을 보간한다.추적이 K 프레임 넘게 연속으로 실패하면 파이프라인이 해당 항목을 마스킹한다. Kalman 보정 추적으로 How2Sign에서 프레임별 손 검출률 약 95%를 달성한다.출처: §3.1 · p. 3

3.2 SignDino의 자기지도 학습

  • 각 시간 Transformer는 동결된 768차원 임베딩을 384차원으로 투영하고, 절대 프레임 사인파 위치 인코딩을 사용하는 pre-LN 블록 여섯 개를 적용한다.유효성 마스크는 검출기가 놓친 프레임이 어텐션에 포함되지 않게 한다. CLS 토큰과 프레임별 토큰은 서로 다른 손실 함수와 다운스트림 헤드에 입력된다.출처: §3.2 · p. 3
  • 학습에서는 64–96 프레임으로 구성된 전역 크롭 두 개와 10–32 프레임으로 구성된 로컬 크롭 여덟 개를 샘플링한다. 학생 모델은 프레임 위치를 마스킹하고, 교사 모델은 전역 크롭만 입력받는다.패딩 마스크와 유효성 마스크를 사용해 패딩 위치를 어텐션, iBOT 마스킹, Gram 손실에서 제외한다.출처: §3.2 · pp. 3–5
  • 1단계에서는 크롭 수준 DINO 증류, 마스킹 프레임 iBOT 예측, 임베딩을 단위 구면에 고르게 퍼뜨리는 KoLeo 정규화를 결합한다.iBOT 항은 학생이 입력을 보지 못한 프레임에서 교사의 프로토타입 할당을 예측한다.출처: §3.2 · pp. 4–5
  • 2단계에서는 Gram 앵커링을 추가해 같은 시간 크롭 안에서 학생과 동결된 교사의 프레임 간 코사인 유사도 행렬을 일치시킨다.이를 통해 클립 내에서 어떤 프레임끼리 유사하거나 다른지 보존한다.출처: §3.2 · pp. 5–6
  • 다운스트림에서는 세 스트림 모두의 프레임별 표현에 층별 가중치를 적용해 연결한 뒤, 태스크 입력 차원으로 투영한다.층별 가중치는 모든 Transformer 층의 토큰을 사용한다.출처: §3.2 · p. 6

4 실험

공개 데이터 조건을 맞춘 프로토콜에서 SIGNDINO와 SHUBERT를 비교하며, 가능한 한 downstream 설정은 일정하게 유지하고 upstream 표현만 바꾼다. 평가는 번역, 고립형 수어 인식, 음운론적 특성 탐색, 지문자 검출과 모델 및 학습 선택에 대한 ablation을 다룬다.

4 실험

  • 조건을 맞춘 프로토콜은 SHUBERT의 공개 데이터 설정을 따르며 upstream 표현을 바꾼다. 사전학습에는 약 984시간 분량의 YouTube-ASL로 구성된 오염 제거 source split을 사용한다.OpenASL 평가 세트와 겹치는 클립을 제거하고, 겹치지 않는 YouTube-SL-25의 ASL 동영상으로 대체한다.출처: §4 · p. 6, §4.1 · p. 6

4.2 수어 번역

  • 실시간 fine-tuning에서 How2Sign/OpenASL에 대해 17.9/24.5 BLEU를 기록해 SHUBERT보다 각각 +1.7/+1.3 BLEU 높다.특징을 고정한 SIGNDINO도 두 번역 데이터셋 모두에서 SHUBERT를 앞선다. zero-shot FLEURS-ASL에서는 SHUBERT의 4.7에 비해 5.3 BLEU를 기록한다.출처: §4.2 · pp. 6–7, Table 1 · p. 7

4.4 음운론적 특성 탐색

  • 음운론적 특성 탐색에는 특성별 classifier 16개를 사용해 SIGNDINO가 수어 내부 범주를 표현하는지 진단하며, 표현을 학습하거나 선택하지 않는다.탐색 대상인 ASL-Lex 2.0의 특성에는 손 모양, 선택된 손가락, 위치, 접촉, 동작이 포함된다.출처: §4.4 · p. 7

4.3 고립형 수어 인식

  • 전면 fine-tuning은 ASL Citizen에서 Recall@1 0.704 (+0.054), Sem-Lex에서 0.593 (+0.053)을 기록하며, rank-1 LoRA는 두 데이터셋 모두에서 +0.02 향상한다.WLASL2000에서 LoRA는 66.85/64.20 P-I/P-C를 기록해 Uni-Sign의 63.52/61.32 P-I/P-C보다 P-I에서 +3.3 앞선다. 특징을 고정한 변형은 SHUBERT를 앞서지 못한다.출처: §4.3 · p. 7, Table 2 · p. 8

4.5 지문자 검출

  • 전면 fine-tuning은 ASL-STEM-Wiki에서 0.43 mIoU를 기록하며, rank-1 LoRA를 적용한 SHUBERT의 0.40보다 높다.SIGNDINO는 rank-1 LoRA에서 0.41을 기록해 SHUBERT의 0.40보다 높다. 검출은 프레임별 이진 분류 후 임계값 적용, 평활화, 구간 추출을 수행한다.출처: Table 2 · p. 8, §4.5 · p. 8

4.6 Ablation

  • 시험한 전략 중 프레임만 마스킹하는 방식이 가장 좋은 결과를 보인다. 오른손을 제거했을 때 성능 저하가 가장 크며(-8.1 BLEU), 추가 ablation에서는 무작위 crop, layer-weighted pooling, ByT5가 더 나은 결과를 보인다.Teacher prototype entropy는 0.91을 웃돈다. layer weight는 ISLR과 지문자 검출에서 깊은 layer에 집중되지만 번역에서는 더 넓게 분산된다. fusion head의 Face query는 번역에서 자기 자신에 0.57의 attention을 둔다.출처: §4.6 · pp. 8–9
  • Gram anchor를 제거하면 How2Sign BLEU가 17.9에서 16.5로 하락하며, 짧은 teacher window는 2.1 BLEU, raw detection은 1.5 BLEU의 손실을 낳는다.raw detection은 ASL Citizen R@1도 0.094 낮춘다. 본문은 이를 단일 프레임 검출 실패를 보정하지 않아 crop이 더 드물고 잡음이 많아진 탓으로 설명하며, ISLR이 더 민감하다고 본다.출처: §4.6 · pp. 8–9, Table 4 · p. 9

5 결론

SIGNDINO는 추적된 손과 얼굴 스트림에 DINOv3 교사–학생 학습 방식을 시간축을 따라 적용한다. SHUBERT 공개 데이터 프로토콜에서 번역, 고립 수화 인식, 지문자 인식, 음운론적 탐색 전반에 걸쳐 가장 강력한 공개 SSL 기준선보다 나은 성능을 보인다.

5 결론

  • SIGNDINO는 추적된 왼손·오른손·얼굴 스트림에 DINOv3 교사–학생 학습을 적용하고, DINO, iBOT, KoLeo 및 2단계 Gram 앵커링을 사용한다.전단부는 YOLOv8n–ByteTrack 크롭과 고정된 DINOv3 이미지 인코더를 결합한다.출처: §5 · p. 9
  • SHUBERT 공개 데이터 프로토콜에서 SIGNDINO는 번역, ISLR, 지문자 인식, 음운론적 탐색 전반에 걸쳐 가장 강력한 공개 SSL 기준선보다 나은 성능을 보인다.결론에서는 고정 특징을 사용하는 SIGNDINO가 번역에서 이전의 실시간 미세 조정 기준선보다 높은 성능을 보인다고도 보고한다.출처: §5 · p. 9

한계

논문은 추적, 고정된 이미지 백본, 스트림 구성, 언어 범위, 전처리 비용에서 발생하는 실질적 한계를 짚는다. 또한 토큰 수가 달라지는데도 DINOv3 EMA 스케줄을 유지하는 이유를 설명한다.

한계

  • 가림이나 빠른 움직임으로 ByteTrack 추적이 오래 끊기면 손과 얼굴 스트림이 손상될 수 있으며, 유효성 마스크는 가장 심각한 사례만 제거한다.고정된 DINOv3 백본은 수어 동영상이 아닌 웹 이미지로 학습했으며, 스트림별 미세 조정은 향후 과제로 남겨 둔다.출처: Limitations · p. 9
  • 세 스트림 설계에는 명시적인 신체 자세 맥락이 빠져 있으며, 실험은 ASL 또는 ASL-영어 벤치마크만 다룬다. 다른 수어로의 확장은 향후 과제로 남아 있다.14-d 상체 스트림을 추가하는 작업은 융합 모듈에서 설정 한 줄을 바꾸면 된다고 설명한다.출처: Limitations · p. 9
  • 검출기-추적기 전처리와 고정 이미지 인코더의 임베딩에는 무시하기 어려운 일회성 비용이 들지만, 전체 상류 처리 예산은 가장 강력한 유사 SSL 기준선보다 낮다.임베딩을 캐시한 뒤에는 시간축 SSL 단계의 비용이 이에 비해 크지 않다.출처: Limitations · p. 9

기본 하이퍼파라미터 카드

  • 가변 길이 크롭에도 DINOv3 EMA 모멘텀 스케줄을 유지하는데, 평균화된 SSL 손실은 스텝당 그래디언트 크기가 토큰 수에 거의 영향을 받지 않도록 하기 때문이다.제시된 토큰 수 범위는 208–448이며, 이 스케줄은 토큰당 정보 흐름이 아니라 스텝당 파라미터 이동량을 추적한다.출처: A Default Hyperparameter Card · p. 13

B SIGNDINO 특징의 정성적 클러스터 분석

정성적 분석에서는 평가에 사용하지 않은 영상의 고정된 SIGNDINO 임베딩을 클러스터링해 각 스트림이 무엇을 나타내는지 살펴본다. 시각화된 클러스터에는 여러 정체성, 배경, 피부색에 걸쳐 반복되는 얼굴 표정과 자세, 손 모양이 포함된다.

B SIGNDINO 특징의 정성적 클러스터 분석

  • 새로운 How2Sign 및 OpenASL 영상에서 프레임별 L2 정규화 CLS 벡터에 k-means를 적용한 뒤, 선택한 중심점에 가장 가까운 크롭을 시각화한다.클러스터 레이블은 설명용일 뿐이며 후속 평가에는 사용하지 않는다.출처: B Qualitative Cluster Analysis of… · p. 13
  • 얼굴 클러스터는 여러 정체성에 걸쳐 반복되며 표정이나 자세를 반영하는 반면, 손 클러스터는 여러 배경과 피부색에 걸쳐 반복되는 손 모양을 포착한다.저자들은 이러한 양상이 SIGNDINO가 정체성이나 배경이 아니라 하위 어휘 수준의 조음기관 구조를 내재화한다는 증거라고 해석한다.출처: B Qualitative Cluster Analysis of… · p. 13

C 음운 특징 인식

SIGNDINO의 음운 탐침은 두 데이터셋 모두에서 16개 ASL-Lex 특징 전반에 걸쳐 SHUBERT보다 우수하다. 기술적 분석을 위한 t-SNE 탐침에서는 번역 학습 특징이 의미적으로 관련된 영어 단어의 출현 사례끼리 군집을 이루는 모습을 보여준다.

C 음운 특징 인식

  • 스트림 융합 고립 수어 특징의 평균을 내고, 16개 linear head로 ASL-Lex 음운 속성을 예측하며 특징별 top-1 Recall@1을 보고한다.목적은 진단에 있다. 표현을 학습하거나 모델 선택에 영향을 주지 않고 하위 어휘 구조를 검증한다.출처: C Phonological Feature Recognition · pp. 13–14
  • Sem-Lex에서 87.64 vs 79.38 R@1, ASL Citizen에서 91.85 vs 85.02 R@1을 기록해 SIGNDINO가 16개 특징 모두에서 SHUBERT를 앞선다.성능이 하락한 특징은 없으며, 시간에 따라 조음되는 범주와 세밀한 손 모양 범주 몇 가지에서 향상 폭이 가장 크다.출처: C Phonological Feature Recognition · p. 14, Table 6 · p. 15

D 번역 학습 특징의 문장 간 t-SNE

  • 시각화에서는 2,400개 샘플 문장의 단어별 시간 정렬 융합 특징을 투영해 영어 토큰 의미와의 정렬을 살펴본다.표본은 How2Sign과 세 개의 ISLR 데이터셋에서 추출했다.출처: D Cross-Sentence t-SNE of… · p. 15
  • t-SNE 투영에서 가족 명사와 시각 지각 동사가 군집을 이루는 반면, 날씨 명사와 움직임 동사는 서로 구별되는 영역에 분포한다.“Sleep”은 시각 지각 동사 군집과 움직임 동사 군집 사이에 위치한다.출처: D Cross-Sentence t-SNE of… · p. 15
  • 이 t-SNE는 기술적 분석을 위한 것으로, 모델 선택이나 정량적 주장을 위한 것이 아니다.SSL 표현에 SLT 목적 함수를 적용한 뒤 의미 구조를 문장 수준에서 살펴볼 수 있게 한다.출처: D Cross-Sentence t-SNE of… · p. 15

E 재현성 체크리스트

체크리스트에는 재현성을 위한 데이터 처리, 학습, 평가 및 공개 세부 사항이 기록되어 있다. 진단 분석에서는 프로토타입 사용, 레이어 가중치, 스트림 간 어텐션, 사전 학습 연산량을 보고한다.

E 재현성 체크리스트

  • 체크리스트는 원천 데이터 오염 제거, 해부학적 부위별 크롭 전처리, 과제별 평가 프로토콜, 공개 산출물, 시드 및 소프트웨어 설정을 설명한다.또한 개인정보 보호를 고려한 얼굴 처리 옵션을 유지하고, 사용자가 보존된 시각적 단서를 점검할 수 있도록 전처리 선택 사항을 보고한다.출처: E Reproducibility Checklist · pp. 15–17

F 학습 및 다운스트림 진단

  • 진단 분석에서는 프로토타입 붕괴, 인코더 레이어 활용, 그리고 융합 헤드의 어텐션이 다운스트림 과제 전반에서 조음기 역할과 일치하는지를 살펴본다.보고된 패턴은 과제 성능 결과가 아니라 진단 결과다.출처: F Training and Downstream Diagnostics · p. 17

F.1 프로토타입 엔트로피(클러스터 붕괴 방지)

  • Stage 2 수렴 시 정규화된 프로토타입 엔트로피는 손 스트림에서 약 0.92, 얼굴에서 0.94로 붕괴 영역보다 높은 수준을 유지한다.엔트로피는 초기화 시 1.000에서 감소하며, 얼굴 스트림은 전체 기간 동안 더 높은 값을 유지한다.출처: §F.1 · p. 18, Table 9 · p. 18

F.2 레이어 가중합 헤드 가중치

  • 손 스트림 레이어 가중치는 L=5에서 최고점에 이르는 반면, 얼굴 가중치는 더 이른 L=3–4에서 최고점에 이르며 레이어 전반에 더 고르게 분포한다.ISLR과 fingerspelling은 translation보다 손 레이어 L=5+6에 더 큰 가중치를 둔다.출처: §F.2 · p. 18, Table 10 · p. 18

F.3 가장 활성화된 융합 레이어의 스트림 간 어텐션

  • 융합 어텐션 패턴은 과제에 따라 다르다: SLT에서는 얼굴 쿼리가 얼굴 스트림을 선호하고, ISLR에서는 양손이 서로에 어텐션을 두며, fingerspelling에서는 스트림 전반에 어텐션이 더 분산된다.fingerspelling에서 얼굴 쿼리 어텐션은 0.34/0.33/0.33이며, 손의 자기 어텐션과 교차 어텐션은 더 강해진다.출처: §F.3 · pp. 18–19, Table 11 · p. 19

F.4 사전 학습 연산 예산

  • 세 스트림 인코더는 동일한 8-GPU 풀에서 순차적으로 학습되며, 고정된 DINOv3 임베딩 캐시가 스텝당 백본 연산량을 줄인다.연산 예산 표에는 전체 상위 학습 일정과 일회성 캐시 전처리 비용이 보고되어 있다.출처: §F.4 · p. 19

F.5 SSL 데이터 규모 확장 곡선

데이터 규모 확장 실험에서는 학습 및 평가 설정을 고정한 채 오염을 제거한 YouTube-ASL 사전 학습 말뭉치의 크기를 바꾼다. 고정 특징을 사용한 How2Sign 결과는 실험 범위 전체에서 향상된다.

F.5 SSL 데이터 규모 확장 곡선

  • 실험 전체에서 temporal sampler, embedding cache, downstream recipe, SSL 학습 일정은 고정하고, 원본 하위 집합의 크기만 바꾼다.평가에는 고정된 SIGNDINO 인코더와 동일한 downstream ByT5-Base 헤드를 사용한다.출처: §F.5 · p. 19, Table 13 · p. 19
  • 오염을 제거한 YouTube-ASL 말뭉치의 10%와 100%를 비교하며, 5개 지점으로 같은 규모 범위를 확장해 살펴본다.중간 규모 하위 집합은 화자 및 주제 분포를 유지하도록 의도한, 비디오가 서로 겹치지 않는 무작위 표본이다.출처: Table 13 · p. 19, Table 14 · p. 19, §F.5 · p. 19
  • 사전 학습 시간을 두 배로 늘리면 실험 범위 전체에서 BLEU가 약 1 향상되며, 공개 말뭉치의 100%에서도 곡선은 아직 평탄해지지 않는다.표에는 원본 말뭉치의 사전 학습 예산에 따른 고정 특징 기반 How2Sign의 BLEU와 BLEURT가 제시되어 있다.출처: Table 14 · p. 19

F.6 추가 어블레이션

어블레이션에서는 풀링, 파인튜닝, 크롭 샘플링, 시각 백본, 번역 디코더를 포함한 설계 선택지를 동일한 평가 설정에서 비교한다. 윤리 성명에서는 수어자 개인정보 보호와 수어자별 세분화된 공정성 분석의 부재를 언급한다.

F.6 추가 어블레이션

  • 별도 언급이 없는 한, 어블레이션 실험에서는 마스킹 전략도 시험하며 공통 학습 조건과 How2Sign 테스트 평가를 고정한다.부록에서는 마스킹, 풀링, 파인튜닝, 크롭 길이, 백본, 디코더를 비교한다.출처: §F.6 · pp. 19–20, Table 15 · p. 20
  • 동결된 DINOv3 임베딩을 그대로 사용하면 9.4 BLEU/41.2 BLEURT를 얻으며, 가중합 기본 설정보다 BLEU가 7.4 낮다. 마지막 레이어만 풀링하면 격차 대부분을 줄이지만 전부 해소하지는 못한다.이 어블레이션은 인코더의 모든 레이어에 대한 학습 가능한 가중합을 기본 풀링 방식으로 뒷받침한다.출처: §F.6 · p. 20, Table 16 · p. 20
  • 파인튜닝을 적용하면 17.9 BLEU를 달성해 동결 설정의 16.8 BLEU보다 높지만, 다운스트림 연산 자원이 제한적일 때는 동결 설정을 권장한다.주요 결과에는 파인튜닝 설정을 권장한다.출처: Table 1 · p. 20, §F.6 · p. 20, Table 17 · p. 20
  • 크롭 길이 탐색에서는 FLOP 격차가 커질수록 강해지는 일관된 방향의 무작위화 경향이 나타나지만, 단일한 큰 유의 격차가 나타난 것은 아니다.보고된 iso-FLOP 격차는 결합 시드 표준편차의 약 1.9–2.4배이며, 낮은 FLOP 설정의 격차는 약 2.8이다.출처: §F.6 · p. 20, Table 18 · p. 21
  • 동결된 DINO 계열 백본 5종에서 How2Sign BLEU는 16.5–18.0 범위다. DINOv3 ViT-L/16은 파라미터가 3.5×인데도 ViT-B/16보다 +0.1만 높다.저자들은 연산 효율을 고려해 ViT-B/16을 기본 설정으로 유지한다.출처: §F.6 · p. 21, Table 19 · p. 21
  • SIGNDINO는 시험한 모든 디코더에서 SHUBERT보다 +1.4–+1.7 BLEU 높다. 두 모델 모두 ByT5-Base가 가장 좋으며, 디코더 용량이 커져도 품질이 반드시 향상되지는 않는다.용량을 맞춘 조건에서도 SIGNDINO에서 ByT5-Base는 mT5-Base보다 +0.8 BLEU, mBART-large보다 +1.1 BLEU 높다.출처: §F.6 · p. 21, Table 20 · p. 21

G 윤리 성명

  • 평가에는 공개 ASL 연구 말뭉치를 사용하지만, 수어자별 세분화된 공정성 분석은 향후 과제로 남긴다.저자들은 공개된 산출물을 사용하는 실제 배포에 농인 공동체의 검토도 권고한다.출처: G Ethics Statement · p. 22

H How2Sign 번역 예시

이 절에서는 How2Sign 번역의 정성적 비교를 제시하고, 공간적 접지, 수화 동작, 시간적 움직임을 평가하는 ASL 음운 특성 프로브를 설명한다.

I ASL 음운 특성 분류 세부 사항

  • 프로브는 ASL-Lex 2.0 특성 집합을 사용하며 벤치마크 간 비교 가능성을 유지하기 위해 SHUBERT의 특성 어휘를 그대로 사용한다.특성값은 16개의 분류 헤드에서 사용된다.출처: I ASL Phonological Feature… · p. 22

H How2Sign 번역 예시

I ASL 음운 특성 분류 세부 사항

  • 음운 프로브는 공간적 접지, 세밀한 수화 동작, 동적인 시간 정보를 평가하도록 특성을 묶는다.위치와 접촉은 공간적 접지를, 손 모양, 선택된 손가락, 엄지 위치, 굴곡, 벌림은 수화 동작을, 움직임과 손목 비틀림은 시간 정보를 평가한다.출처: I ASL Phonological Feature… · p. 23

J 논의

SIGNDINO의 실시간 fine-tuning 이득은 SHUBERT보다 작지만, 저자들은 연산 자원이 제한된 환경에서는 동결형을 권장한다. 논의에서는 temporal distillation과 Gram anchoring을 SHUBERT의 cluster prediction을 보완하는 요소로 제시한다.

J 논의

  • SIGNDINO는 DINO의 local–global consistency를 추적된 articulator의 시간축 crop으로 옮기고, Gram anchoring으로 클립에서 어떤 프레임들이 서로 유사한지 보존한다.논의에서는 이 프레임 유사도 구조를 후속 fingerspelling 및 연속 sign 번역과 연결한다.출처: J Discussion · p. 23
  • SIGNDINO와 SHUBERT는 이미지 추출기와 SSL 목표가 다르며, chunk 수준의 cluster prediction과 frame 수준의 Gram anchoring을 결합하는 방안은 향후 과제로 남겨 둔다.저자들은 먼저 동일한 프로토콜의 ablation으로 각 기여를 분리해야 한다고 말한다.출처: J Discussion · p. 23
  • SIGNDINO의 동결되지 않은 temporal encoder는 +1.1 BLEU (16.8→17.9)를 얻은 반면, SHUBERT는 +2.6 BLEU (13.6→16.2)를 얻었다. SIGNDINO는 더 높은 frozen-feature 성능에서 출발한다.저자들은 다른 요인과 함께 SIGNDINO의 경량 temporal encoder와 Gram anchoring도 이득이 더 작은 이유로 든다.출처: J Discussion · p. 23
  • 저자들은 연산 자원이 제한된 환경에 배포할 때 SIGNDINO의 동결형을 권장한다. 이때 실시간 fine-tuning과의 격차는 이산 cluster 기반 SSL 기준선보다 작다.저자들은 Gram anchoring이 후속 head와 decoder에서 사용하는 프레임 간 구조를 보존하므로, 실시간 후속 학습 gradient가 새로 제공할 신호가 적다고 주장한다.출처: J Discussion · p. 24
Loading 2609.06296v1…