PaperlayerView exact revision on arXiv

Source-linked AI summary

PLUME: Latent Reasoning Based Universal Multimodal Embedding

Chenwei He, Xiangzhao Hao, Tianyu Yang, Yuxiang Ma, Yuheng Jia, Lingxiang Wu, Chaoyang Zhao, Haiyun Guo, Jinqiao Wang

arXiv:2604.02073v3cs.CV

TL;DR

Universal multimodal embedding은 검색 효율을 유지하면서 복잡한 query intent를 처리하기 위해 중간 계산이 필요하다. PLUME은 명시적 chain-of-thought를 적응형 latent rollout으로 대체하고, 10개 미만의 latent step으로 UME-R1을 능가하며 30배 이상 빠른 inference를 제공한다.

  • 문제

    Universal multimodal embedding은 일반적으로 단일 pass에서 embedding을 형성하므로, 검색 효율을 유지하면서 복잡한 query intent를 처리할 수 있는 중간 계산이 제한적이다.

  • 방법

    PLUME은 명시적 rationale을 semantic anchor가 유도하는 compact latent rollout으로 대체하고, verbalized reasoning을 hidden-state computation으로 점진적으로 전이한다.

  • 결과

    PLUME은 78-task MMEB-v2 benchmark에서 UME-R1보다 우수한 성능을 보이며, 수백 개 token 대신 10개 미만의 latent step을 사용하고 30배 이상 빠른 inference를 달성한다.

  • 시사점 및 한계

    PLUME은 video 및 visual document retrieval을 포함해 증거가 조밀하고 구조적으로 복잡한 retrieval task에서 특히 효과적이다.

  • 시사점 및 한계

    연속적인 latent trajectory에 대한 formal interpretability guarantee는 여전히 미해결 문제다.

Abstract

from arXiv · show

Universal multimodal embedding (UME) maps heterogeneous inputs into a shared retrieval space with a single model. Recent approaches improve UME by generating explicit chain-of-thought (CoT) rationales before extracting embeddings, enabling multimodal large language models to better infer complex query intent. However, explicit CoT incurs substantial inference overhead and can compress rich multimodal evidence into a narrow textual bottleneck. We propose PLUME, a latent reasoning framework that advances UME by replacing verbalized CoT with a short autoregressive rollout of continuous latent states. To support diverse multimodal queries, PLUME further introduces a semantic-anchor-guided transition adapter that steers latent rollout along different reasoning trajectories under the same fixed computation budget. To stabilize training, PLUME adopts a progressive explicit-to-latent curriculum that uses verbalized reasoning only as a temporary training scaffold and gradually transfers this behavior into hidden-state computation, eliminating explicit CoT at inference. On the 78-task MMEB-v2 benchmark, PLUME outperforms strong explicit-CoT UME baselines while reducing reasoning from hundreds of generated tokens to fewer than 10 latent steps, delivering over 30x faster inference. PLUME is especially well suited to retrieval settings where relevant evidence is dense, structurally complex, and difficult to organize through verbalized intermediate rationales, such as video and visual document retrieval. These results show that structured latent computation can preserve the benefits of intermediate reasoning without the overhead of explicit rationale generation, providing a stronger and more efficient paradigm for practical retrieval systems.

1. 서론

PLUME은 universal multimodal embedding을 위해 비용이 큰 verbalized chain-of-thought를 간결한 latent reasoning으로 대체해 복잡한 query 해석을 다루면서도 retrieval 효율을 유지한다. MMEB-v2에서 explicit-CoT baseline을 능가하며, latent step을 10개 미만으로 줄이고 inference를 30x 이상 빠르게 수행한다.

  • 1. 서론: 기존 single-pass UME 방법은 복잡한 query 해석, evidence 통합, representation 형성을 하나의 forward pass로 압축해 복잡한 intent에 대한 숙고형 연산을 제한한다.이러한 query에는 조합적 공간 이해, 지식 집약적 시각 추론, 또는 시간적·구조적으로 분산된 evidence의 집계가 필요할 수 있다.
  • 1. 서론: 이 논문은 retrieval에 반드시 verbalized intermediate text가 필요한 것이 아니라 intermediate computation이 필요하다고 주장하며, 장문 생성을 수행하지 않고도 순차적 reasoning 구조를 보존하는 latent rollout을 제안한다.이 관점은 explicit CoT의 latency와 token-cost 문제를 다루면서도 숙고형 연산의 여지를 유지한다.
  • 1. 서론: PLUME은 multi-step reasoning을 짧은 continuous latent process로 내재화해 explicit rationale 생성을 대체하면서도 heterogeneous multimodal input에 대한 intermediate computation을 보존한다.이 framework는 shared embedding space에서 text, image, video, visual document를 처리한다.
  • 1. 서론: PLUME은 progressive explicit-to-latent curriculum을 사용해 verbalized intermediate reasoning에서 hidden-state computation으로 점진적으로 전환하며, inference 시 explicit CoT가 불필요해질 때까지 학습한다.이 training strategy는 explicit rationale을 inference-time requirement가 아닌 임시 scaffold로 사용한다.
  • 1. 서론: PLUME은 MMEB-v2에서 강력한 explicit-CoT UME baseline을 능가하면서 reasoning을 latent step 10개 미만으로 줄이고 inference를 30x 이상 빠르게 수행한다.evidence가 조밀하고 구조적으로 복잡하며 언어로 조직하기 어려운 video 및 visual document retrieval에서 특히 효과적이다.

2. 관련 연구

Universal multimodal embedding은 contrastive dual encoder에서 더 통합적이고 폭넓은 검색 시스템으로 발전했지만, 대부분의 방법은 여전히 single-pass embedding extraction을 사용한다. 최근 연구는 복잡한 멀티모달 검색을 개선하는 동시에 추론 효율성을 높이기 위해 explicit 또는 latent reasoning을 도입한다.

  • Universal multimodal embedding: UME 방법은 CLIP [34], ALIGN [17], SigLIP, BLIP-2 [27]와 같은 contrastive image-text encoder에서 UniIR, MagicLens [52]를 포함한 통합 multi-task framework로 발전했다.이 초기 dual encoder 방식은 복잡한 멀티모달 조합에서 효과가 낮다.
  • Universal multimodal embedding: VLM2Vec-V2 [31], GME [54], UniME [10], LamRA [30], LLaVE [23], MoCa [3], DUME 는 multi-vector representation [6], data synthesis [56], visual document retrieval [49], reinforcement-learning alignment [48] 연구와 함께 검색 품질과 modality coverage를 향상시켰다.대부분의 방법은 intermediate reasoning을 모델링하지 않고 single forward pass에서 embedding을 도출하므로, 복잡한 멀티모달 의도를 조직하는 능력이 제한된다.
  • Embedding을 위한 explicit reasoning: CoT prompting [41], multimodal CoT, preference-optimized reasoning, DeepSeek-R1 [11]과 같은 reasoning-specialized model은 embedding extraction에 explicit reasoning을 도입하는 계기를 마련했다.Embedding에 초점을 둔 방법으로는 Think-then-Embed (TTE) [5], UME-R1 [24], TRACE, Embed-RL [18]이 있다.
  • Latent reasoning: Latent-reasoning 연구는 pause token [8], internal thought, continuous hidden state [12] [36], compressed thought trace [33]를 통해 explicit CoT를 넘어서는 연산을 수행한다.검색에서는 LaSER 가 explicit reasoning을 latent space에 내재화해 dense text retrieval을 수행한다.

3. 방법

PLUME은 연속 latent state의 짧은 autoregressive rollout을 통해 universal multimodal embedding을 형성하며, 순차적 reasoning 구조는 유지한 채 명시적 chain-of-thought decoding을 대체한다. Semantic-anchor-guided routed adapter와 progressive explicit-to-latent curriculum은 이 계산을 입력에 맞게 조정하고 inference 시 명시적 CoT를 제거한다.

  • Training 및 embedding extraction: Backbone은 완전히 fine-tuning하고, 경량 routed adapter와 anchor-conditioned router만 추가한다. 정규화된 backbone hidden state가 별도 head 없이 retrieval embedding을 직접 제공한다.PLUME의 retrieval objective는 bidirectional InfoNCE [32]와 decoded query 및 positive-target suffix를 위한 auxiliary causal language-modeling loss를 사용하는 표준 UME training을 유지한다.
  • Latent reasoning rollout: PLUME은 명시적 CoT decoding을 연속 hidden state의 짧은 autoregressive rollout으로 대체한 뒤, <gen>의 hidden state에서 retrieval embedding을 추출한다.Rollout은 multimodal prefix의 KV cache를 재사용하고, 앞선 latent state를 causal하게 참조하며, 수백 개의 명시적 reasoning token 대신 최소 K개의 latent step만 사용할 수 있다.
  • Latent reasoning rollout: Rollout은 latent vector가 동일한 causal position에 배치되고 attention-mask, positional-encoding, KV-cache mechanics가 동일하게 작동하므로, 명시적 generation의 순차적 dependency 구조를 보존한다.각 step은 이전 latent state를 정제한 뒤 full transformer backbone에 통과시키며, full multimodal prefix와 이전 latent state에 대한 access를 유지한다.
  • Semantic-anchor-guided transition adapter: Semantic-anchor-guided routed adapter는 shared expert와 specialized expert를 사용해 각 latent transition을 조정하며, 서로 다른 multimodal input이 하나의 rollout budget 아래에서 서로 다른 reasoning path를 따르도록 한다.고정된 anchor는 routing을 안정화하고, step embedding은 초기 transition과 후기 transition을 구분한다. Adapter는 경량이며 backbone은 변경하지 않고, mixture-of-experts design [7]을 따른다.
  • Progressive explicit-to-latent curriculum: PLUME은 fully latent stage에 더 많은 training을 할당하는 progressive explicit-to-latent curriculum을 사용하여, inference 시 명시적 CoT 없이 verbalized reasoning을 hidden-space computation으로 이전한다.초기 curriculum stage는 이 이전을 안정화하고, 최종 stage는 compact latent rollout을 강조한다.

4. 실험

PLUME은 짧은 latent rollout을 통해 MMEB-v2에서 universal multimodal retrieval 성능을 향상시키며, explicit-CoT 및 single-pass baseline을 능가하는 동시에 inference cost를 크게 줄인다. Ablation 결과, progressive transfer, iterative latent computation, routed transition design이 정확도와 specialization에 중요함을 보인다.

  • Overall benchmark results: PLUME은 overall 61.6을 기록해 UME-R1 [24]보다 1.5점, VLM2Vec-V2 [31]보다 3.6점 높았으며, Video에서는 VLM2Vec-V2 [31] 대비 +9.2의 향상을 보였다.동일한 backbone과 training data에서 PLUME은 수백 개의 generated reasoning token 대신 8개의 latent step을 사용한다.
  • Modality-group results: PLUME은 Video에서 44.1, VisDoc에서 67.5를 달성해 UME-R1의 42.2와 63.9를 웃돌았으며, Image에서는 66.6에 비해 66.3을 기록했다.또한 Image Grounding에서 79.7, VisDoc OOD에서 57.4로 최고 성능을 기록했다.
  • Inference efficiency: PLUME은 reasoning을 403개의 generated token에서 8개의 latent step으로, latency를 9023 ms에서 298 ms로 줄여 UME-R1 [24] 대비 30.3× speedup을 달성했다.VLM2Vec-V2 [31]와 비교하면 PLUME은 overall accuracy를 2.1점 향상시키면서 150 ms 미만의 시간만 추가한다.
  • Component ablation: Progressive curriculum을 제거하면 가장 큰 ablation 하락폭(−6.8 overall 및 Video에서 −7.6)이 발생하며, 이는 abrupt explicit-to-latent transfer가 training을 불안정하게 만든다는 것을 보여준다.Latent transition을 제거하면 accuracy가 overall 2.8점 하락하고, MoE adapter를 shared MLP로 교체하면 2.4점 하락하며 특히 VisDoc에서 −3.1의 손실이 발생한다.
  • Latent-step analysis: K = 6에서 PLUME은 UME-R1의 accuracy를 능가하면서 30x 이상 빠르게 실행되며, K = 8로 늘리면 accuracy가 +1.2 향상되는 대신 latency는 232 ms에서 300 ms로 증가한다.K = 8은 absolute accuracy가 가장 높고, K = 6은 accuracy–speed balance가 유리하다.
  • Routing analysis: Routed adapter는 task specialization을 발달시킨다. Expert 2는 video classification에서 75.2%로, Expert 0은 image grounding에서 62.9%로 최고치를 기록한다.Continuous latent trajectory에 대한 formal interpretability guarantee는 여전히 open problem이다.

5. 결론

PLUME은 universal multimodal embedding을 위해 명시적 chain-of-thought 생성을 짧은 hidden-space rollout으로 대체하며, latent reasoning, anchor-guided routed adaptation, progressive explicit-to-latent training을 결합한다. MMEB-v2에서 동일한 데이터로 학습한 UME-R1을 능가하면서 reasoning overhead를 줄인다.

  • PLUME은 universal multimodal embedding을 위해 명시적 chain-of-thought 생성을 짧은 hidden-space rollout으로 대체한다.
  • 이 설계는 latent multi-step reasoning, anchor-guided routed adaptation, progressive explicit-to-latent curriculum을 결합한다.이 구성 요소들은 reasoning을 compact embeddings로 전이한다.
  • 78-task MMEB-v2 benchmark에서 PLUME은 동일한 데이터로 학습한 UME-R1을 능가하면서 reasoning을 수백 개 토큰에서 제공된 본문이 명시한 수보다 적은 수준으로 줄인다.

A. Curriculum Ablation 세부 사항

PLUME의 curriculum ablation은 성능이 curriculum 세분화 정도에 대해 비단조적으로 의존함을 보여준다. 네 단계가 retrieval accuracy, optimization stability, curriculum efficiency 사이의 균형을 가장 잘 맞춘다. 갑작스러운 explicit-to-latent 전환은 성능이 낮고, 지나치게 세분화된 schedule은 각 단계를 충분히 활용하지 못하게 할 수 있다.

  • Curriculum Ablation 세부 사항: 두 단계에서는 갑작스러운 전환이 큰 distribution shift를 유발하기 때문에 가장 낮은 성능을 보이는 반면, 지나치게 세분화된 curriculum은 각 단계가 충분히 활용되기 전에 너무 짧아질 수 있다.관찰된 효과는 비단조적이므로 curriculum 세분화 정도가 클수록 일관되게 더 나은 것은 아니다.
  • Curriculum Ablation 세부 사항: 두 단계에서 네 단계로 늘리면 세 도메인 모두에서 성능이 크게 향상되며, 가장 큰 격차는 visual document retrieval에서 나타난다.더 점진적인 전환은 explicit reasoning을 latent rollout으로 대체하는 과정을 완화해 optimization difficulty를 낮추고 embedding 형성을 안정화한다.
  • Curriculum Ablation 세부 사항: 네 개의 curriculum 단계는 retrieval accuracy와 curriculum efficiency 사이에서 전반적으로 가장 나은 trade-off를 제공하며, PLUME의 default setting이 된다.curriculum은 backbone, data, epochs 및 기타 optimization setting을 고정한 채 전환 단계 수만 변경한다.

B. 학습 시간 및 계산 비용 분석

PLUME의 학습 비용은 latent rollout 길이에 따라 증가한다. 각 변형 모델이 동일한 backbone과 학습 recipe를 공유하므로, latent-step 수가 주요 계산 차이를 이룬다. 학습에는 각각 4, 6, 8개의 latent step에 대해 약 2562, 2838, 3119 H20 GPU hours가 필요하다.

  • 4개의 latent step으로 PLUME을 학습하려면 약 2562 H20 GPU hours가 필요하다.
  • rollout을 4개에서 6개의 latent step으로 늘리면 학습 비용이 약 2838 H20 GPU hours로 증가한다.모든 변형 모델은 동일한 backbone과 학습 recipe를 사용한다.
  • 8개의 latent step을 사용하면 학습 비용이 약 3119 H20 GPU hours로 추가 증가한다.latent reasoning step 수가 변형 모델 간 계산 비용 차이를 이루는 주요 요인이다.

C. 실패 사례 분석

PLUME은 세밀한 텍스트 보존, 복잡한 문서 이해, 외부 근거에 기반한 사실 지식이 필요한 검색에서 여전히 취약하다. ChartQA와 InfographicsVQA의 실패는 임베딩 기반 QA 평가의 한계를 일부 반영하며, 올바른 의미적 주변 영역은 찾더라도 정확한 수치나 답변 세분성을 놓치는 경우가 많음을 보여준다.

  • C. 실패 사례 분석: PLUME은 압축된 multi-step 검색 과제에서는 강한 성능을 보이지만, 세밀한 텍스트 보존, 복잡한 문서 이해, 외부 근거에 기반한 사실 지식에는 어려움을 겪는다.이 사례들은 검색 지향 표현 형성의 전반적 실패라기보다 latent reasoning에 남아 있는 한계를 보여준다.
  • C. 실패 사례 분석: ChartQA에서 PLUME은 정답보다 인접한 distractor를 높게 순위화하며, 5보다 4를 높게 순위화하고 올바른 평균 21.5보다 여러 값을 높게 순위화한다.이러한 실패는 임계값 초과 개수 질의와 multi-step 수치 집계를 포함하며, 과제 의도의 손실보다 작은 수치 차이를 충분히 보존하지 못함을 시사한다.
  • C. 실패 사례 분석: InfographicsVQA에서 PLUME은 관련된 의미적 주변 영역을 식별하지만, 정확한 대상보다 더 넓거나 구성적으로 연관된 답을 높게 순위화하며, 예를 들어 facebook보다 twitter, facebook, pinterest를 높게 순위화한다.인포그래픽 입력은 여러 영역의 세밀한 텍스트 단서를 통합하고 복잡한 레이아웃에서 정확한 답변 세분성을 유지해야 한다.
  • C. 실패 사례 분석: MMEB의 시각 질의응답 정식화는 fixed candidate pool에서 검색을 평가하므로, 실제적인 질의응답 환경과 완전히 일치하지 않는다.질의는 instruction, image, question을 결합하므로, 관찰된 QA 약점 중 일부는 모델의 한계뿐 아니라 benchmark 정식화도 반영할 수 있다.

D. 추가 Routing Visualization

Figure 9는 semantic-anchor-guided routed adapter가 modality 전반에 걸쳐 구조적이고 비균일한 패턴으로 experts를 할당함을 보여준다. 이러한 차별화된 할당은 단일 고정 computation pattern이 아니라 adaptive latent transition pathways를 지원한다.

  • D. 추가 Routing Visualization: Expert 2는 거의 모든 modality에서 강하게 활성화되며, 특히 text와 video에서 두드러진다. 이는 다양한 reasoning 상황에서 폭넓게 활용됨을 시사한다.반면 Expert 1은 더 뚜렷한 specialization을 보이며, experts가 균일하게 사용되기보다 서로 차별화된 modality 선호를 발달시킴을 나타낸다.
  • D. 추가 Routing Visualization: routed adapter는 일부 overlap을 유지하면서도 균일한 expert 사용을 피하며, heterogeneous multimodal retrieval 입력에 대한 차별화된 latent computation을 지원한다.이러한 구조적 할당 패턴은 단일 고정 computation pattern 대신 adaptive latent transition pathways를 사용하는 것과 일치한다.
  • D. 추가 Routing Visualization: Figure 9는 여섯 가지 input type에 대한 평균 expert activation을 시각화하여 modality-dependent routing patterns를 드러낸다.modalities는 text (T), image (I), video (V), document (D), text-image (TI), text-video (TV)다.

E. MMEB-V2 전체 결과

전체 MMEB-V2 평가는 비교된 모든 방법에 대해 task별 점수를 제시하여, 평균화된 category-level metric을 보완한다. PLUME의 향상은 소수 benchmark에 집중되지 않고 task family 전반에 폭넓게 분포한다.

  • E. MMEB-V2 전체 결과: task별 점수는 본문에서 보고한 평균 category-level metric보다 더 포괄적인 관점을 제공한다.
  • E. MMEB-V2 전체 결과: PLUME의 향상은 task family 전반에 걸쳐 나타나며, MMEB-V2 benchmark 중 소수에만 기인하지 않는다.Table 7, 8은 이 전체 benchmark 비교를 뒷받침하는 비교 대상 모든 방법의 상세 성능을 제시한다.
  • E. MMEB-V2 전체 결과: 이 절에서는 MMEB-V2에서 비교된 모든 방법의 상세 task별 성능을 보고한다.

F. 추가 Baseline 비교

정성적 retrieval 사례에서 explicit CoT는 textual, semantic, visual 또는 action-description 오류로 인해 경로가 이탈할 수 있지만, PLUME은 고정된 verbal 경로에 매이지 않고 latent rollout 후 올바른 target을 복원한다.

  • 정성적 비교: 대표 사례 전반에서 explicit CoT가 spurious text, coarse compression, surface prior 또는 잘못된 action description에 의해 오도될 때, PLUME은 latent rollout 후 올바른 target을 retrieval한다.이러한 실패 모드는 ARM​​YJUNK cue, 지나치게 coarse한 intent summary, cardboard egg-carton prior, 잘못된 video action description으로 예시된다.
  • Latent rollout 분석: PLUME의 rollout trajectory는 intermediate latent state와 최종 retrieved candidate 사이의 cosine similarity가 변하는 양상을 진단적으로 보여주며, 올바른 target은 여전히 복원 가능하고 최종적으로 선택된다.이 trajectory는 진단 목적으로만 제시되며, 모든 step이 해석 가능한 verbal reasoning trace에 대응한다는 의미는 아니다.
  • 정성적 비교: PLUME의 latent rollout은 intermediate reasoning을 discrete textual rationale로 externalize하지 않기 때문에, 초기의 verbal 오류에 retrieval이 고정되는 것을 피한다.latent-state similarity는 rollout 중 단조롭게 올바른 target에 가까워지기보다 변동할 수 있지만, 사례들은 이러한 대비를 뒷받침한다.
Loading 2604.02073v3…