PaperlayerView exact revision on arXiv

Source-linked AI summary

StreamOPD: A Post-Training Recipe with Spatio-Temporal Cue Gating for Streaming Video Understanding

Keming Wu, Baoyi Wang, Kaichen Zhang, Xiang An, Zuhao Yang, Sudong Wang, Haowei Zhu, Tingxuan Huang, Hongcheng Gao, Bin Wang

arXiv:2608.16320v1cs.CV

TL;DR

Streaming video 모델은 인과적 prefix에서 답해야 하지만, 기존 inference 장치는 명확한 필요성 없이 복잡성만 더한다. StreamOPD는 memory-free recent-window protocol에서 post-training을 분리해 검증하고, 4B student를 StreamingBench에서 83.9%까지 끌어올려 9B teacher와의 차이를 0.3 points 이내로 줄인다.

  • 문제

    단순한 memory-free inference path를 변경하지 않고도, streaming video에서 post-training으로 small-to-large model gap을 좁힐 수 있는가?

  • 방법

    StreamOPD는 검증 가능한 streaming-video data, thinking-mode OPD training, instruct-mode deployment, 그리고 fixed recent-window inference에서의 선택적 cue-gated teacher reweighting을 결합한다.

  • 결과

    StreamingBench에서 83.9%를 기록한 4B student는 9B teacher와의 차이가 0.3 points 이내이며, StreamOPD는 inference를 변경하지 않은 조건에서 HLD를 제외한 OVO-Bench를 9.1 points 향상시킨다.

  • 시사점 및 한계

    Post-training alone으로도 inference-time memory, retrieval, compression, online reasoning module을 추가하지 않고 streaming-video understanding을 크게 향상할 수 있다.

  • 시사점 및 한계

    ST-CueGate는 하나의 group-relative likelihood gate만 평가하므로, alternative aggregation과 absolute 또는 token-selective gating은 탐색하지 않았다.

Abstract

from arXiv · show

Streaming video understanding demands direct responses from the causally observed prefix of an unfolding video. Existing systems add inference-time memory, retrieval, and compression, yet a training-free sliding-window baseline already matches them. We therefore fix a memory-free recent-window protocol and ask how far post-training alone can go. Reinforcement learning with verifiable rewards fits this regime poorly, encouraging long ``think-then-answer'' generations, while on-policy distillation (OPD) supplies dense token-level teacher supervision on student trajectories but is stable only when both models train in thinking mode. These observations lead to \textsc{StreamOPD}, a recipe combining verifiable streaming-video data, thinking-mode OPD, and instruct-mode deployment. It raises StreamingBench from $77.9\%$ to $83.9\%$---within $0.3$ points of the 9B teacher---and improves OVO-Bench excluding its hallucination-detection subtask (HLD) by $9.1$ points under unchanged inference. As a teacher-privilege extension, \emph{Spatio-Temporal CueGate (ST-CueGate)} aggregates cue-versus-no-cue teacher likelihood ratios into a group-relative response score that reweights OPD. It reaches $71.9\%$ on OVO-Bench (excluding HLD) and $64.9\%$ on Video-MME, and is the only variant that stays above the base model on all four benchmarks. Replacing the teacher with a frozen copy of the student's initial policy---on-policy self-distillation---retains most of these gains and lifts HLD to $57.0\%$, above both the untrained student and the 9B teacher, so abstention loss is not intrinsic to the recipe. We provide a transparent and reproducible reference for open-source streaming-video research.

서론 · 방법

StreamOPD는 고정된 메모리 없는 최근 윈도우 프로토콜에서 post-training만으로 streaming video understanding을 크게 향상할 수 있음을 보인다. thinking-mode OPD는 안정적인 학습을 가능하게 하고, instruct-mode에서 배포한다. ST-CueGate 확장은 teacher 측 cue 민감도를 이용해 student inference는 변경하지 않은 채 distillation 가중치를 선택적으로 재조정한다.

  • 서론: 테스트한 mode 조합에서는 teacher와 student가 모두 thinking-mode로 학습한 경우에만 수렴하며, instruct mode 평가에서 StreamingBench 83.9%에 도달한다.Both-instruct와 teacher-thinking/student-instruct 실행은 매우 짧은 응답과 상당히 큰 gradient norm을 보이며 초기에 붕괴한다.
  • 서론: StreamingBench 83.9%는 Qwen3.5-4B student를 77.9%에서 Qwen3.5-9B teacher보다 0.3 points 이내로 끌어올리며, OVO-Bench에서 HLD를 제외하면 inference를 변경하지 않은 상태에서 9.1 points 향상된다.이러한 향상은 고정된 deployment protocol을 유지하면서 StreamOPD의 핵심적인 실증적 가치를 확립한다.
  • 방법: StreamOPD는 재현 가능한 25k verifiable-data pipeline, thinking-mode OPD training, instruct-mode deployment, 그리고 고정된 memory-free recent-window evaluation protocol을 결합한다.이 recipe는 teacher-free GRPO의 실패와 instruct-mode training을 포함한 OPD 구성의 실패에 대응한다.
  • 서론: 이 방법은 inference를 1 fps에서 가장 최근의 네 프레임으로 고정하고, memory bank, retrieval, compression을 제외하여 architectural change 없이 post-training을 평가한다.이 protocol은 training-free recent-window baseline이 더 복잡한 system과 대등할 수 있으며 OVO-Bench 67.7%, StreamingBench 80.6%에 도달한다는 SimpleStream의 발견을 따른다.
  • 방법: ST-CueGate는 각 student response에 대해 cue와 no-cue teacher likelihood를 비교하고, token-level contrast를 집계한 뒤 OPD advantage에 group-relative scalar weight를 적용한다.cue는 teacher에만 제공되며 student prompt와 inference protocol은 변경되지 않는다. group mean보다 높은 response에는 가중치를 높이고, 낮은 response에는 가중치를 낮춘다.
  • 방법: cue-contrast token의 56.5%는 0에 가깝고, 23.1%는 음수이며, 양수 token 중 상위 20%가 양수 질량의 82%를 차지한다. 이는 균일한 cue conditioning보다 선택적 cue conditioning을 사용할 근거가 된다.ST-CueGate는 minibatch 또는 sibling-rollout comparison group 내에서 표준화한 length-normalized response score를 사용한다.
  • 방법: training set에는 약 25k개의 verifiable MCQ, binary, counting question이 포함되며, answer option을 제거한 complete clip에서 자동으로 선별한 spatio-temporal cue를 생성한다.rule-based screening, regeneration, deterministic judging을 통해 candidate cue의 약 96.6%를 수용하며, 이 cue는 teacher에게만 제공된다.

실험

고정된 recent-window inference에서 StreamOPD는 thinking-mode OPD를 통해 4B student를 크게 향상시키며, ST-CueGate는 성능을 추가로 강화하고 self-distillation은 더 큰 teacher 없이도 대부분의 이득을 유지한다. 또한 실험 결과 response-level의 중간 강도 cue gating이 가장 안정적이며, GRPO는 심각한 format drift를 겪는 것으로 나타난다.

  • Training–Deployment Mode Decoupling and Stability: 마지막 문자 parser에서는 82.4%, 배포된 first-answer parser에서는 35.1%를 기록한 결과는 GRPO의 format drift를 보여주며, both-thinking OPD training은 수렴하고 간결한 출력을 유지한다.GRPO 응답의 중앙값 길이는 열 배를 넘게 증가한 반면, distillation 모델은 parser에 관계없이 일관된 결과를 보인다. 또한 teacher 규모만으로는 더 나은 on-policy supervision이 보장되지 않는다.
  • 고정된 Recent-Window Inference에서의 StreamOPD 핵심 레시피: StreamingBench에서 83.9%, HLD를 제외한 OVO-Bench에서 +9.1 points를 기록한 결과는 unchanged inference에서 standard OPD가 4B–9B gap의 대부분을 줄인다는 것을 보여준다.이득은 real-time perception과 backward tracing 전반에 걸쳐 나타났으며, 가장 큰 subtask 개선은 STU (+20.7)와 OCR (+13.4)에서 관찰된다.
  • Teacher-Privilege Extension: ST-CueGate: StreamingBench에서 83.35%, HLD를 제외한 OVO-Bench에서 67.35%를 기록한 결과는 self-distilled ST-CueGate가 대부분의 이득을 유지함을 보여주며, 57.0%의 HLD score는 untrained student와 9B teacher를 모두 웃돈다.동일한 backbone을 사용하는 frozen 4B teacher 덕분에 ST-CueGate는 teacher scale에 의존하지 않고 self-distillation과 호환된다.
  • ST-CueGate Ablations: Response-level n=4 gating은 StreamingBench, OVO-Bench, LongVideoBench에서 가장 좋은 성능을 내며, n=1은 Video-MME에서 소폭 우세하다. 반면 token-wise gating은 앞의 두 benchmark에서 각각 3.2와 1.4 points를 잃는다.cue contrast를 response level에서 집계하는 방식이 개별 token contrast를 독립적인 weight로 사용하는 것보다 안정적이다.
  • ST-CueGate Ablations: αg = 0.5는 네 benchmark 모두에서 가장 높은 결과를 내는 반면, αg = 1.0은 일관되게 성능을 저하시킨다.likelihood contrast는 공격적으로 증폭한 weight보다 중간 강도의 ranking signal로 사용할 때 가장 유용하다.

관련 연구

Streaming video understanding은 causal prefix에서 작동하며, 기존 시스템은 더 무거운 설계와 성능이 비슷한 recent-window baseline이 있음에도 memory, retrieval, compression을 사용해 왔다. OPD와 privileged-information 방법은 ST-CueGate의 fixed-trajectory 및 cue-removal contrastive reweighting을 뒷받침한다.

  • Streaming Video Understanding: Streaming model은 causal video prefix를 처리하며 일반적으로 memory, retrieval 또는 KV-cache compression을 사용한다. 한편 StreamingBench와 OVO-Bench는 real-time reasoning과 historical reasoning을 평가한다.Offline video MLLM은 대신 전체 clip을 처리한다. 관련 시스템으로 Chen et al. 2024; Zhang et al. 2024a; Qian et al. 2025; Yao et al. 2025; Zeng et al. 2026; Zhang et al. 2026; Xiao et al. 2024가 있다.
  • Streaming Video Understanding: SimpleStream (Shen et al. 2026)은 recent-window baseline이 더 무거운 streaming 설계와 성능을 맞출 수 있음을 보이는 반면, ThinkStream (Liu et al. 2026)은 memory와 online reasoning을 결합한다.
  • On-Policy Distillation and Teacher Privilege: OPD는 고정된 teacher target이 아니라 student-generated trajectory를 평가하며, text reasoning, multimodal pre-alignment, temporal video grounding으로 확장되었다.고전적인 distillation은 고정된 데이터에서 teacher target을 사용하지만(Hinton, Vinyals, and Dean 2015), OPD는 Agarwal et al. 2024; Gu et al. 2024; Zhao et al. 2026; Wang et al. 2026; Li et al. 2026과 관련된다.
  • On-Policy Distillation and Teacher Privilege: ST-CueGate는 privileged-information 및 visual-cue gating 연구를 바탕으로, frame, question, student trajectory를 고정한 채 teacher likelihood와 cue-removal reference를 대조한다.Privileged-information 방법은 학습 중에만 사용하는 부가 정보(training-only side information)를 제공하며(Vapnik and Izmailov 2015; Lopez-Paz et al. 2015), 관련 visual-cue 방법으로 Tian et al. 2026과 Sun et al. 2026이 있다.

결론

고정된 memory-free recent-window protocol에서 본 연구는 추가 inference machinery와 post-training을 분리해 분석하고, StreamOPD recipe를 이끈 failure mode를 규명한다. 이 recipe는 25k verifiable-data pipeline과 thinking-mode training 및 instruct-mode inference를 결합한다.

  • 핵심 recipe: StreamOPD는 고정된 memory-free recent-window protocol에서 25k verifiable-data pipeline과 thinking-mode training 및 instruct-mode inference를 결합한다.이 설정은 추가 inference machinery의 영향과 post-training의 영향을 분리한다.
  • Failure mode: Teacher-free GRPO는 deployment와 양립하기 어려운 장황한 응답으로 drift한다.
  • Failure mode: instruct-mode training을 포함한 테스트된 OPD configuration은 collapse하며, thinking-train/instruct-infer configuration을 정당화한다.

구현 및 데이터 세부사항 · Recent-Window 대 Dense-Uniform Context · Prompt Templates

이 연구는 재현 가능한 video-OPD 인프라를 사용하고, recent-window와 dense-uniform causal context를 비교하며, leakage를 통제한 cue 및 evaluation prompt를 명시한다. Dense context는 historical recall을 높이지만 recent-event perception을 저해하므로, deployment에 부합하는 recent-window protocol을 뒷받침한다.

  • 구현 및 데이터 세부사항: Training run은 HybridFlow-style RL, vLLM rollout, NVIDIA H200 GPU, response-only teacher log-probabilities, corrupt-video tolerance, 그리고 MCQ, binary, counting task용 verifiable reward를 사용한다.커스텀 pipeline은 prompt length가 서로 다른 teacher와 student를 정렬하고, 읽을 수 없는 clip은 건너뛴다.
  • 구현 및 데이터 세부사항: 설정은 downstream benchmark score를 절대 사용하지 않고 held-out validation aggregate만으로 한 번에 한 축씩 선택하며, Table 7에 탐색한 값과 보고된 선택값을 제시한다.주요 ST-CueGate configuration은 gate range [wmin, wmax]=[0, 2], γ=1, four epoch로 고정한다.
  • 구현 및 데이터 세부사항: 모든 checkpoint는 instruct-mode greedy decoding을 사용하며, StreamingBench와 OVO-Bench에는 recent-window evaluation을, Video-MME와 LongVideoBench에는 standard protocol을 적용한다.OVO-Bench는 full macro, HLD를 제외한 score, raw HLD를 보고한다. HLD는 episodic event recall이 아니라 hallucination robustness를 측정하기 때문이다.
  • 구현 및 데이터 세부사항: 각 trained configuration은 seeds 42, 43, and 44를 사용한다. 보고된 항목은 선택된 세 모델의 평균이며, standard deviation과 paired significance test는 제공되지 않는다.Greedy evaluation은 sampling noise를 제거하지만 training 및 checkpoint variance는 제거하지 않는다.
  • Recent-Window 대 Dense-Uniform Context: Dense-uniform context는 historical recall을 높이지만 recent-event performance를 낮춘다. ASI는 12.17, EPM은 7.48 상승하는 반면, realtime macro는 10.50, HLD는 15.05, StreamingBench는 3.04 points 하락한다.비교에는 하나의 고정된 ST-CueGate model을 사용한다. dense-uniform은 visible-prefix frame을 최대 32개까지 sample하고, Recent-4는 가장 최근의 네 개를 유지한다.
  • Prompt Templates: Student prompt는 training과 deployment에서 동일하게 유지되며 cue를 포함하지 않는 반면, teacher는 student content에 explicit visual-evidence instruction을 더해 입력받는다.ST-CueGate의 no-cue teacher pass는 원래 student prompt를 재사용하며, fallback sample은 Δ=0을 만족하고 neutral gate를 사용한다.
  • Prompt Templates: Cue generator는 answer 없이 pure spatio-temporal pointer를 생성하며, binary item에는 더 엄격한 rule을 적용한다. Flagged cue는 다시 생성하고 SAFE 또는 LEAK로 자동 판정한다.Judge는 location 또는 timing reference는 허용하지만, answer attribute, outcome, identity, count, yes/no content, 인용된 on-screen text는 거부한다.
  • Prompt Templates: StreamingBench와 OVO-Bench는 direct-answer template을 사용하는 반면, Video-MME와 LongVideoBench는 수정하지 않은 standard-protocol prompt를 유지한다.StreamingBench는 best option letter만 요구하며, OVO-Bench의 backward-tracing 및 real-time subtask는 더 짧은 동등 template을 사용한다.

Cue 구성 및 스크리닝

Cue pipeline은 짧은 시공간 pointer를 생성하고 자동 규칙과 수동 감사를 통해 answer leakage를 스크리닝한다. 채택된 cue는 대체로 non-leaking이지만, audit는 false-rejection rate가 아니라 precision을 추정한다.

  • Offline Cue Generation: Cue는 답이나 속성을 명시하지 않고 언제 또는 어디를 살펴볼지 가리키는 최대 25단어의 단문으로 생성된다.구현에서는 Qwen3.5-27B가 각 training sample마다 하나의 시공간 pointer를 생성한다.
  • Leakage Taxonomy and Screening: 스크리닝 taxonomy는 직접적인 답, semantic paraphrase, 판별적 속성, 결과 단서, 대안을 배제하는 cue를 포괄한다.Rule-based check는 option letter, binary assertion, 명시적 count, 인용된 answer text, lexical overlap을 탐지하며, 탈락한 candidate는 최대 세 번까지 재생성된다.
  • Automatic Screening: 25,118개 sample 중 96.6%는 자동으로 채택되었고, 3.4%는 원래 teacher prompt로 fallback되었다.Pipeline은 same-model automatic judging에 채택된 cue의 manual audit를 보완적으로 적용한다.
  • Manual Audit: 채택된 cue 7/300개가 첫 두 범주에서 leakage를 보였으며, 이에 따라 잔여 leakage는 2.3%, 추정 acceptance precision은 약 97.7%였다.Audit의 end-to-end non-leaking fraction은 약 94%이지만, fallback sample 중 false rejection은 추정하지 않는다.
  • Representative Accepted Cues: 대표적인 채택 cue는 색상, count, answer option을 명시하지 않고 순간, 대상 또는 영역을 특정하여 visual inspection의 필요성을 유지한다.Table 10은 공개된 training pool에서 각 answer format마다 두 개의 cue를 sample로 제시한다.

정답 파싱과 검증 가능한 보상

Typed answer parsing은 GRPO diagnostics에 exact-match reward를 부여하지만, OPD에서는 reward를 전혀 사용하지 않는다. Parser 방향성은 rationale이 긴 GRPO 출력에서 format-drift gap을 만들지만, distilled model의 bare option letter 덕분에 deployment parser와 training parser가 일치한다.

  • Reward definition: Exact-match reward는 type-specific extraction 후에는 1, 그 외에는 0이며, 이 rule-based reward는 GRPO diagnostics를 구동하지만 OPD objective에는 절대 들어가지 않는다.Ground truth는 A–H, yes/no, non-negative integer로 자동 typing되며, 각 format마다 전용 extractor를 사용한다.
  • Parser behavior: Training parser는 조건을 만족하는 multiple-choice letter 중 마지막 것을 취하는 반면, deployed streaming parser는 첫 번째 answer token을 취한다.Multiple-choice extraction은 마지막 명시적 answer cue를 우선하고, 그렇지 않으면 마지막 standalone uppercase letter를 사용한다. Binary와 counting extraction은 첫 번째 qualifying token 또는 integer를 사용한다.
  • Format-drift diagnostic: Answer 전에 긴 rationale이 나오면 training parsing에서는 높은 점수를 받지만 deployment parsing에서는 낮은 점수를 받아 GRPO format-drift gap이 발생한다.Distilled model은 bare option letter를 출력하므로 두 parser가 일치한다.

학습 알고리즘

ST-CueGate는 student의 thinking-mode response를 샘플링하고, cue와 original prompt 조건에서 teacher로 재생한 뒤, group-relative gate를 사용해 token-level OPD advantage에 가중치를 다시 부여한다. 이 gate는 reasoning, answer, punctuation, formatting을 포함한 모든 response token에 동일한 scalar weight를 적용하는 relative response measure다.

  • Gate 해석: 이 gate는 absolute cue-benefit test가 아니라 group-relative이므로, 모든 sibling response가 negative인 경우에도 평균보다 높은 response에는 w_i > 1이 부여될 수 있다.이는 clipped weight를 설정하기 전에 각 prompt의 sibling rollout group 안에서 g_i를 standardize하는 데서 따른 해석이다.
  • Gate 해석: response mean은 reasoning, answer, punctuation, formatting token을 섞으며, 그 scalar는 모든 token-level OPD advantage에 다시 가중치를 부여한다.인용된 문단에서는 alternative absolute, positive-clipped, positive-token-only, answer-token aggregation을 평가하지 않았다고 언급한다.
  • ST-CueGate 학습: ST-CueGate는 각 on-policy thinking-mode response를 cue와 original prompt 조건에서 teacher로 재생한 다음, sibling rollout group 안에서 response를 standardize해 clipped gate를 계산한다.이 절차는 group-relative response로부터 scalar weight를 만들고 이를 token-level OPD advantage에 적용한다.

목표 도출과 Policy-Gradient · 관점

도출식은 OPD가 편향 없는 sampled-token estimator를 사용하는 dense-reward policy-gradient 방법이며, extrapolated target은 근거 없고 실현 불가능한 분포를 가리킬 수 있음을 보인다. 반면 ST-CueGate는 length-normalized cue/no-cue likelihood ratio를 사용해 sibling rollout을 평균 보존 방식으로 재가중하며, clipping 동작은 group size와 gate strength에 의해 결정된다.

  • 관점: 단일 sampled-token estimator는 per-token reverse-KL 항에 대해 unbiased하며, 보고된 모든 run은 advantage 해석을 지원하는 signed k(1) estimator를 사용한다.긴 multimodal prompt에서 full-vocabulary summation은 비용이 크다. 분산이 더 낮은 k(2) 및 k(3) estimator도 사용할 수 있지만, 구성상 non-negative다.
  • 관점: OPD는 dense per-token reward r_i,t = τ_i,t − s_i,t에 대해 gradient ascent를 수행하며, teacher가 sampled token을 선호할 때 positive이고 student와 teacher가 일치하면 사라진다.이 reward는 rollout마다 동일한 결과를 받아 사라질 수 있는 GRPO의 response-level constant advantage와 달리 self-annihilating하다.
  • 관점: λ > 1일 때 ExOPD는 b_i,t + λ(τ_i,t − b_i,t)를 target으로 삼는데, 이는 일반적으로 어떤 normalized teacher policy의 log-density도 아니므로 실현 불가능한 분포를 향해 밀어붙인다.Extrapolation 방향이 training clip에서 관측 가능한 cue에 묶여 있지 않으므로, 이 근거 없는 signal은 보고된 불안정성과 일치한다.
  • 관점: AD-ExOPD는 dense-frame base reference를 사용해 teacher improvement를 frame 및 capacity axes로 분해하고, 각각의 gain을 둔다. 보고된 실험에는 λ_t = 1.5 및 λ_c = 1.0을 사용했다.λ_t = λ_c로 설정하면 ExOPD가 복원되며, 선택한 gain은 student가 추가 frame에는 접근하지만 9B capacity에는 접근하지 못한다는 점을 반영한다.
  • 관점: ST-CueGate의 sequence-level contrast는 동일하게 실현된 response에 대해 cue 및 no-cue context 사이의 length-normalized teacher likelihood ratio이며, information-theoretic mutual-information quantity가 아니다.두 conditional은 하나의 network에 두 방식으로 prompting해 얻으므로 cue와 response에 대한 일관된 joint distribution을 정의할 필요가 없다.
  • 관점: Gate는 각 sibling group 내부에서 mean-preserving하므로 group의 total contribution을 바꾸지 않고 weight를 재분배한다. α_g는 spread를 조절하며, |e_g| ≤ √n − 1이고 attainable weight는 [1 − α_g√n − 1, 1 + α_g√n − 1]이다.n = 4 및 α_g = 0.5일 때 attainable range는 clipping interval의 엄밀한 내부에 있으므로 clipping은 bind할 수 없다.
  • 관점: n = 4에서 α_g를 1.0으로 높이거나 α_g = 0.5에서 group size를 n = 8로 늘리면 두 clipping boundary에 모두 도달할 수 있으며, 해당 ablation에서 두 설정 모두 accuracy를 잃는다.논문은 이를 확인된 인과적 설명이라기보다 consistency observation으로 제시한다.
  • 관점: OPD, ungrounded control, contrastive gate는 group-relative reweighting mechanism을 공유하며, 실질적인 차이는 w_i를 생성하는 데 사용되는 reference다.Reference에는 OPD의 constant weight, DAD의 student–teacher disagreement, V-Zero의 positive/degraded visual view, ST-CueGate의 cue/no-cue teacher context가 포함된다.

데이터 구성 및 통계

학습 세트는 공개 instruction 데이터로 구축한 짧고 주로 시간적 추론을 요구하는 streaming-video QA 항목으로 구성되며, student와 teacher 모델 모두에게 쉬운 예시는 필터링해 제거했다. 최종 8,343개 항목에는 주로 응답 형식 이탈에서 비롯된 teacher 성능 저하 하위 집합이 소수 포함된다.

  • 데이터 구성 및 통계: 질문의 71.8%는 시간적 추론을 요구하며, 동영상의 중간 재생 시간은 ∼5.5s이고 89%가 15s보다 짧다.질문 유형은 multiple-choice 69.7%, binary 25.3%, counting 5.0%다.
  • 데이터 구성 및 통계: 두 모델 모두에게 이미 쉬운 샘플을 pass-rate filtering으로 제거한 뒤 8,343개 항목이 남는다.pass rate를 추정하기 위해 student와 teacher의 출력을 temperature 0.7에서 각각 8회 샘플링한다.
  • 데이터 구성 및 통계: teacher가 student보다 저조한 4.6%의 샘플 중 40.7%는 실제 능력 격차가 아니라 응답 형식 이탈을 반영한다.필터링 절차는 샘플별 pass rate를 추정하기 전에 두 모델을 temperature 0.7에서 각각 8회 샘플링한다.

Cue-Conditional Contrast Analysis · Negative Results: A Map of the Design Space

Cue-conditional teacher score는 여전히 희소하고 heavy-tailed하며 여러 training checkpoint에 집중되어 있어 ST-CueGate의 설계를 뒷받침한다. 대안적 reward, distillation mode, frame budget, teacher-free RL variant를 비교한 결과, 고정 protocol에서 standard OPD를 일관되게 개선하는 방법은 없었다.

  • Cue-Conditional Contrast Analysis: Inactive-token fraction은 52.4–56.5%로 유지되며, positive-∆ token 중 상위 20%가 세 checkpoint에서 positive mass의 80–82%를 차지한다.Base model, step 700, step 2100에서 정렬된 distribution은 희소하고 집중된 cue-conditional structure가 initialization에만 국한되지 않음을 보여준다.
  • Negative Results: A Map of the Design Space: Fixed evaluation protocol은 별도 언급이 없는 한 문서화된 variant 전반에서 동일한 25k backbone, optimizer, evaluation setup을 사용한다.이 negative result는 post-training과 teacher-privilege 설계에서 검증된 경계를 규정한다.
  • Negative Results: A Map of the Design Space: AD-ExOPD validation은 50–65% 사이에서 진동하고 step 1600에서 약 65%로 정점을 이루지만, standard OPD의 약 70%에는 결코 근접하지 못한다.Frame과 capacity extrapolation gain을 분리해 사용하는 방식은 초기 convergence도 저해한다.
  • Negative Results: A Map of the Design Space: DAD는 StreamingBench에서 84.27%에 도달하지만 OVO-Bench (excl. HLD)에서는 68.10%, Video-MME에서는 62.93%에 그쳐 일관된 OPD 개선을 제공하지 못한다.DAD의 response-disagreement weighting은 observation-agnostic하며, main method가 유지하는 teacher-side grounded privilege와 다르다.
  • Negative Results: A Map of the Design Space: Mode-mismatched OPD는 붕괴한다. Teacher-thinking/student-instruct validation은 69.3%에서 2% 미만으로 떨어지고, both-instruct는 step 100까지 69.9%에서 23.6%로 하락한다.따라서 이 recipe는 teacher와 student를 모두 thinking mode로 학습한다.
  • Negative Results: A Map of the Design Space: Teacher-free GRPO는 instruct mode에서 초기에 diverge하는 반면, thinking-mode GRPO는 format-drift 진단에서 untrained student 근처로 plateau한다.이 비교는 response-length growth와 evaluator가 첫 번째 답변 또는 마지막 답변을 읽는지에 대한 민감도를 추적한다.
  • Negative Results: A Map of the Design Space: V-Zero adaptation에서 ST-CueGate는 shared frame, question, realized response를 사용하고 cue presence만 다르게 하며, 보고된 negative evidence view는 video를 temporal하게 섞는다.Blacked-out negative view도 구현했지만, relevant temporal structure를 파괴하면서 appearance statistics를 보존하는 shuffled variant를 보고했다.
  • Negative Results: A Map of the Design Space: AFD v2/v3는 validation 약 60%에서 plateau하고 OPD의 70.6% peak를 결코 넘지 못하며, matched step에서 OPD보다 약 10 points 뒤처진다.Teacher의 frame budget을 늘리거나 해당 frame을 student의 frame의 strict superset으로 만들어도 동일한 25k data에서 distillation은 개선되지 않는다.

광범위한 영향과 배포 · 고려사항

Streaming-video 배포에는 privacy와 energy에 대한 고려가 필요하며, distilled model은 answerable하지 않은 query에 더 쉽게 답할 수 있어 명시적 abstention 평가가 safety와 관련된다. 또한 분석 결과, OPD는 간결하고 parser-invariant한 response를 보존하는 반면 pure RL에서는 response-format drift가 발생한다.

  • 고려사항: Distilled streaming model은 answerable하지 않은 query에 답하려는 경향이 커질 수 있으므로, practitioners는 배포 전에 abstention을 명시적으로 평가해야 한다.이 HLD degradation은 safety와 관련되지만 streaming event recall과는 구별된다.
  • 고려사항: Public benchmark와 instruction data는 compute-efficient model과 함께 배포 energy cost를 낮추지만, live camera feed는 privacy concern을 제기한다.
  • 고려사항: 확인된 HLD degradation은 streaming event recall과 별개이지만 여전히 배포와 관련된 safety concern으로 남는다.이 구분은 streaming performance만으로 safe abstention behavior가 확립되지 않음을 의미한다.
  • 고려사항: 전체 positive cue-conditional likelihood-ratio mass의 80–82%가 checkpoint 전반에서 positive-∆tokens 상위 20%에 집중되어 있다.cue-versus-no-cue ∆t distribution과 positive-score concentration은 base model부터 steps 700과 2100까지 안정적으로 유지된다.
  • 고려사항: Pure RL output은 간결한 answer에서 긴 rationale로 늘어나는 반면, OPD는 간결함을 유지한다.이는 sparse reward에서 response-format drift가 발생함을 진단한다.
  • 고려사항: Pure RL은 evaluator가 first answer를 읽는지 last answer를 읽는지에 민감해지는 반면, 간결한 OPD는 parser-invariant하게 유지된다.
Loading 2608.16320v1…