Source-linked AI summary
Self-Supervised Visual On-Policy Distillation
Yijiang Li, Yijun Liang, Yunjie Tian, Bingyang Wang, Ke Zhang, Zhenfei Yin, Di Fu, Philip Torr, Nuno Vasconcelos
TL;DR
Privileged supervision이나 더 강한 teacher를 사용할 수 없으면 visual on-policy distillation은 유익한 teacher–student 비대칭을 확보하기 어렵다. S2VOPD는 student의 입력 view를 열화해 이러한 비대칭을 만들며, 6개 fine-grained perception benchmark에서 Qwen3.5-4B를 70.7%에서 77.4%로 향상시킨다.
문제
On-policy distillation에는 유익한 teacher–student 비대칭이 필요하지만, 기존 접근법은 더 강한 teacher나 privileged supervision에서 이를 얻는다.
방법
S2VOPD는 원본 이미지를 보는 EMA teacher의 예측을 privileged supervision 없이 증강·열화된 view에서 작동하는 student에게 distill한다.
결과
6개 fine-grained perception benchmark에서 S2VOPD는 Qwen3.5-4B의 평균 정확도를 70.7%에서 77.4%로 높이며 fine-grained perception과 mathematical reasoning을 모두 향상시킨다.
시사점 및 한계
S2VOPD는 student에게 task-relevant visual information을 제한하면 privileged annotation 없이도 효과적인 self-supervised distillation signal을 제공할 수 있음을 보인다.
시사점 및 한계
Augmentation은 question-relevant information을 보존해야 한다. 필요한 evidence가 제거되면 더 큰 visual gap이 무의미해질 수 있기 때문이다.
Abstract
from arXiv · showhide
Visual on-policy distillation relies heavily on an informative teacher-student asymmetry, through either a larger, stronger teacher or privileged supervision, such as reference answers or ground-truth regions of interest. This raises a fundamental question: where can informative asymmetry come from when nothing privileged is available? We answer this by inverting where the asymmetry comes from. Rather than adding privileged information to the teacher, we subtract information from the student. This asymmetry creates the same effective learning signal for free as a teacher with access to information unavailable to the student, without ground-truth annotations, rewards, or a separate stronger teacher model. Building on this principle, we introduce Self-Supervised Visual On-Policy Distillation (S$^2$VOPD), a simple yet effective method that constructs on-policy learning signals from asymmetric augmented views. S$^2$VOPD distills the teacher's distribution conditioned on the original image on-policy into the student distribution conditioned on a strongly augmented view of the same image. We systematically explore a broad design space of visual augmentations and uncover that (1) asymmetry matters: all four augmentation families improve performance, while symmetric self-distillation degrades it; (2) strength matters: performance peaks at a moderate strength; and (3) the gap must remain task-consistent: augmentations that completely remove the question-relevant evidence can induce large but uninformative discrepancies. Across six fine-grained perception benchmarks, S$^2$VOPD improves Qwen3.5-4B from 70.7% to 77.4%, above all open-source models compared, up to Qwen3-VL at 235B, and surpasses GPT-5.4. While holding training data the same, it recovers 96% of the improvement achieved by methods with privileged information. Website is at https://williamium3000.github.io/s2vopd
1 서론
S2VOPD는 teacher에게 원본 이미지를, student에게 augmented view를 제공해 privileged supervision 없이 정보성 있는 teacher–student 비대칭을 만든다. 통제된 augmentation 연구를 통해 moderate하고 task-consistent한 gap이 효과적임을 확인했으며, Qwen3.5-4B에서 benchmark 성능을 크게 높였다.
- 방법: S2VOPD는 teacher에 privileged information을 추가하는 대신 student의 visual information을 차단해 ground-truth annotations나 더 강한 teacher 없이 predictive discrepancy를 만든다.teacher는 원본 이미지를 관찰하고, student는 동일한 입력의 degraded view에서 작동한다.
- 방법: 이 방법은 원본 이미지를 조건으로 하는 exponentially moving average teacher를 사용하고, augmented view ˜x = T(x)에서 생성된 student trajectory로 teacher의 distribution을 distill한다.이미지 x와 질문 q가 주어지면 student는 transformed view에서 on-policy trajectory를 생성한다.
- Augmentation 연구: 네 가지 asymmetric augmentation family는 모두 성능을 향상시키는 반면, symmetric self-distillation은 성능을 저하시킨다. 성능은 moderate teacher–student gap에서 정점에 이른다.또한 gap은 질문과 관련된 evidence를 제거하지 않고 task-consistent하게 유지되어야 한다.
- 결과: 6.7% gain: S2VOPD는 여섯 개 fine-grained perception benchmark에서 Qwen3.5-4B의 평균 accuracy를 70.7%에서 77.4%로 높여 Qwen3-VL-Instruct-235B와 GPT-5.4를 능가하고 Qwen3.5-397B와 동률을 이룬다.비교 대상의 accuracy는 Qwen3-VL-Instruct-235B가 75.8%, GPT-5.4가 72.8%다.
2 관련 연구
기존 연구는 augmented views에서 self-supervision을 도출하지만, perturbation이 instruction-relevant content를 바꿀 수 있어 vision-language training에서는 augmentation이 덜 일반적이다. On-policy distillation은 train–inference mismatch를 줄이지만 대개 외부 guidance가 필요하다. 본 연구는 대신 student의 view를 augment해 비대칭성을 만든다.
- Self- 및 semi-supervised learning: Self-supervised methods는 augmented views를 정렬하거나 student를 stop-gradient 또는 momentum teacher와 일치시키며, SimCLR [Chen et al., 2020], MoCo [He et al., 2020], BYOL, SimSiam [Chen and He, 2021], DINO [Caron et al., 2021] 등이 이에 해당한다.
- vision-language models에서의 visual augmentation: vision-language training에서 augmentation이 덜 일반적인 이유는 geometric 또는 photometric 변화가 instruction-relevant text, object identity, spatial relations를 바꿀 수 있기 때문이다.
- Knowledge distillation 및 on-policy distillation: On-policy distillation은 dense token-level teacher supervision과 함께 student 자신의 trajectory로 학습해 offline distillation의 train–inference mismatch를 줄인다.
- Knowledge distillation 및 on-policy distillation: 본 연구는 privileged teacher information을 strongly augmented student view로 대체하고, 그 결과로 생기는 teacher–student discrepancy를 유효하게 만드는 augmentation properties를 분석한다.
3 방법
S^2VOPD는 student의 시각 입력만 저하시켜 teacher–student 비대칭을 만들고, clean-view EMA-teacher의 분포를 student 자신의 trajectory에 distill한다. augmentation framework는 시각 정보, transformation strength, composition, application probability를 체계적으로 변화시키며, 기본 recipe로 downscaling과 Gaussian noise를 사용한다.
- 비대칭 on-policy distillation: S^2VOPD는 student로부터 시각 정보를 차단하는 동안 EMA teacher는 clean image를 유지하여, label, reward, privileged annotation, stronger teacher 없이 on-policy supervision을 만든다.teacher는 exponential moving average로 업데이트되며, augmentation이 유일한 supervision source다.
- 비대칭 on-policy distillation: student는 augmented view에서 rollout을 sample하고, teacher는 clean view에서 동일한 prefix를 평가하여 next-token distribution을 전달한다.divergence는 student policy에서 sample된 prefix에서 평가되므로, inference-time state에 대한 supervision은 on-policy가 된다.
- On-policy objective: Training은 α = 0.5인 generalized Jensen–Shannon divergence를 사용하며, optimization을 안정화하기 위해 두 distribution을 teacher의 top-k tokens로 제한한다.generalized divergence는 forward 및 reverse KL 사이를 보간하며, distribution overlap이 제한적일 때도 bounded 상태를 유지한다.
- Augmentation space: augmentation space는 controllable strength, probability, composition, global application rate를 통해 information-reduction, geometric, photometric, occlusion operator를 변화시킨다.Information reduction에는 downscaling, blur, pixelation, filtering, noise, visual-token dropping이 포함되며, occlusion은 국소 영역을 제거한다.
- Best recipe: 기본 transformation은 항상 student view를 downsample하고, t = 200에서 probability 0.5로 DDPM-style Gaussian noise를 독립적으로 추가한다.Downscaling은 resolution을 복원하지 않은 채 visual token을 줄이며, noise의 standard deviation은 약 0.11이고 rollout 및 forward-pass cost를 낮춘다.
4 실험
6개 perception benchmark에서 S2VOPD는 privileged annotation 없이 Qwen3.5-4B 성능을 크게 높이며, open-source 및 privileged-information baseline을 능가한다. 실험 결과, 효과적인 self-supervised distillation에는 비대칭적이고 중간 정도로 강하며 task-consistent한 augmentation이 필요하고, teacher-update 세부 설정에는 성능이 강건한 것으로 나타난다.
- 종합 결과: S2VOPD는 Qwen3.5-4B 평균 정확도를 70.68%에서 77.44%로 (+6.76%) 높여, 75.75%의 Qwen3-VL-Instruct-235B를 포함한 모든 open-source model을 능가하고 Qwen3.5-397B의 77.44%와 동률을 이룬다.비교에는 6개 fine-grained perception benchmark가 사용되며 privileged information으로 학습된 model도 포함된다.
- 공정한 비교: Vision-OPD-6K에서 S2VOPD는 non-privileged method 중 가장 높은 평균 성능을 달성하며, strongest self-rewarding baseline보다 4B에서 2.0%, 9B에서 0.7% 향상된다.4B에서는 모든 supervised baseline을 능가하고, 9B에서는 특권 annotation 없이 전체 두 번째 성능으로 Vision-OPD와 대등하다.
- Augmentation 분석: 모든 augmentation family가 base model을 개선한 반면, symmetric self-distillation은 70.58%에서 65.21%로 하락한다. information reduction은 75.65%로 가장 우수하다.고정된 analysis protocol에서 photometric, geometric, occlusion augmentation은 각각 74.40%, 74.30%, 72.44%에 도달한다.
- Augmentation 분석: 성능은 중간 정도의 teacher–student gap에서 정점에 도달하며, augmentation이 지나치게 약하거나 강해지면 하락한다.gap은 첫 10개 training step에 대해 평균한 token-level JS divergence로 측정되며, 유용한 비대칭성은 gap의 크기와 의미론 모두에 좌우된다.
- Augmentation 분석: Task-inconsistent gap은 성능을 저해한다. strength가 증가할수록 cropping 성능은 71.53%에서 68.76%, 67.44%로 하락하지만, 가장 강한 crop은 가장 큰 predictive gap을 만든다.이 결과는 augmentation이 question-relevant information을 보존해야 함을 보여주며, Gaussian noise를 적용한 downscaling이 가장 robust한 default다.
- Ablation: augmentation을 제거하면 성능이 base의 70.68% 대비 70.52%로 붕괴하는 반면, teacher를 freeze해도 손실은 0.40%에 불과하며 75.95%에 도달한다.teacher decay value가 0.95에서 0.999까지 변해도 성능은 0.8% 이내로 유지되며, 이는 teacher self-improvement나 정확한 update rate보다 view asymmetry가 더 중요함을 나타낸다.
5 결론
S2VOPD는 student view에서 task-relevant information을 제거해 privileged annotation 없이 informative teacher–student asymmetry를 만든다. 효과는 유도된 information gap의 크기와 의미에 달려 있다.
- 5 결론: S2VOPD는 student view에서 task-relevant information을 제거해 privileged annotation 없이 informative teacher–student asymmetry를 만든다.Teacher는 original image를 관찰하고 student는 degraded view로 학습한다.
- 5 결론: Information gap은 model 자체의 prediction을 perception-aligned training signal로 전환한다.
- 5 결론: S2VOPD의 효과는 유도된 information gap의 magnitude와 semantics에 의해 좌우된다.