Source-linked AI summary
WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report
Junjie Zhou, Ke Mei, Lei Li, Tianyi Wang, Fengyun Rao, Jing Lyu
TL;DR
기존 multimodal embedding 모델은 임의로 interleave된 multimodal input을 shared space에 자연스럽게 표현하지 못한다. WeMM-Embedding은 확장 가능한 2단계 training strategy로 이를 해결하며, 9B variant의 80.6 overall score를 포함해 benchmark에서 state-of-the-art 성능을 달성한다.
문제
기존 modality-specific encoding pathway는 interleave된 multimodal input의 joint representation을 자연스럽게 지원하지 못한다.
방법
WeMM-Embedding은 광범위한 multimodal alignment에 이어 curated fine-grained relevance learning과 cross-scale knowledge transfer를 수행하는 방식으로 2B, 4B, 9B 모델을 training한다.
결과
80.6 전체 점수: 9B 변형이 공식 MMEB-v2 리더보드에서 첫 번째를 차지하며, 이 모델군은 공개 벤치마크 전반에서 최고 수준의 성능을 달성한다.
시사점 및 한계
WeMM-Embedding은 26-task in-house benchmark와 14 online A/B test 전반에서 일관된 성능 향상을 제공하며, WeChat recommendation 및 search system에 배포되었다.
시사점 및 한계
Reranker supervision은 reranking이 신뢰할 수 있는 개선을 제공하는 setting으로 제한된다. 성능 향상은 multimodal task의 제한된 일부에서만 발생하기 때문이다.
Abstract
from arXiv · showhide
Universal multimodal embeddings are becoming a core component of modern AI systems, enabling heterogeneous content to be represented in a shared space for applications such as retrieval, recommendation, classification, and agentic systems. In this report, we present WeMM-Embedding, a family of universal multimodal embedding models supporting text, images, videos, visual documents, and arbitrarily interleaved multimodal inputs with flexible output dimensions. The family comprises 2B, 4B, and 9B variants and is trained in two stages: a large-scale multimodal alignment stage, followed by a refinement stage using curated data, fine-grained relevance supervision, and cross-scale knowledge transfer. Across extensive evaluations, WeMM-Embedding achieves leading performance on multiple public benchmarks. Notably, the 2B variant already surpasses the previously leading 8B open-source baseline on MMEB-v2, while the 9B variant further achieves a new state-of-the-art overall score of 80.6. WeMM-Embedding also demonstrates strong practical performance across WeChat applications, with substantial gains on a 26-task in-house benchmark and consistent improvements across 14 online A/B tests. It has been deployed at scale across recommendation and search applications, including WeChat Channels, Official Accounts, Moments, and e-commerce services. We have released the model weights and code to facilitate future research at https://github.com/Tencent/WeMM-Embedding.
1 서론
WeMM-Embedding은 광범위한 multimodal alignment와 이어지는 fine-grained relevance learning을 통해 학습된 universal multimodal embedding family다. 공개 benchmark에서 선도적인 성능을 달성하며, 2B에서 9B로 확장할 때 parameter-efficient한 성능 향상과 실용적 적용 가능성을 보인다.
- 동기: Multimodal embedding은 text, image, video를 classification [20], retrieval [2] [25] [48], recommendation [3] [13], agentic system [9] [14] [46]을 지원하는 공유 dense representation space로 매핑한다.또한 clustering [43]과 기타 downstream application도 지원한다.
- 동기: MLLM [1] [8] [24]은 임의로 interleave된 text, image, video 입력을 처리하면서 general-purpose representation learning을 위한 폭넓은 pretrained capability를 제공한다.이러한 장점은 MLLM hidden state를 universal multimodal embedding으로 변환하도록 adaptation하는 동기가 된다.
- 방법: WeMM-Embedding은 2B, 4B, 9B 규모를 아우르며, 광범위한 multimodal alignment에서 더욱 세밀한 relevance learning으로 진행되는 two-stage training을 사용한다.첫 번째 단계에서는 다양한 modality, task, domain에 걸친 수억 개의 heterogeneous pair를 사용한다.
- 결과: 9B WeMM-Embedding은 전체 MMEB-v2 점수 80.6을 달성해 공식 leaderboard에서 첫 번째 자리를 차지했으며, 등재된 모든 open-source 및 독점 모델을 능가한다.Figure 1에 결과가 요약되어 있다.
- 결과: compact한 2B variant는 MMEB-v2에서 기존 선도 8B open-source baseline을 surpass하며 강력한 parameter efficiency를 입증한다.이 비교는 Figure 1에 요약되어 있다.
2 데이터 구축
WeMM-Embedding은 서로 다른 multimodal example 수억 개를 source–target pair로 통합해 학습하며, 여기에 그 규모가 약 십분의 일인 curated dataset을 추가로 사용한다. curated stage에서는 resampling, filtering, hard-negative enrichment를 통해 semantic balance, quality, supervision을 개선한다.
- 대규모 수집: 수억 개의 example은 text, images, videos, interleaved multimodal inputs, 다양한 domain, task, supervision source를 포괄한다.Data는 public dataset, web-scale weak supervision, task-oriented synthetic data, in-house collection을 결합한다.
- 통합 Pair 기반 Format: 모든 task는 instruction, hard negative, graded relevance, multimodal source 및 target structure를 지원하는 통합 source–target pair format을 사용한다.Task-specific batch는 통합 multi-task pipeline을 가능하게 하며, semantic target masking은 반복되는 classification target로 인해 발생하는 false negative를 제거한다.
- Data Coverage 및 Composition: Corpus에는 weakly supervised pair와 caption pair, retrieval 및 classification pair, multimodal question-answer pair, graded-relevance pair가 포함된다.이는 coarse 및 fine-grained visual-language alignment, composed 및 reasoning-heavy retrieval, recognition, OCR, document 및 chart comprehension, ranking supervision [17]을 포괄한다.
- Curated Dataset: curated dataset은 large-scale collection의 규모가 약 십분의 일이며, semantic balance, data quality, 더욱 유용한 supervision을 목표로 한다.구축 과정에서는 Semantic-ID-guided resampling, multimodal quality filtering 및 text refinement, selective hard-negative enrichment를 결합한다.
- Curated Dataset: Hard negative는 생성된 incorrect text candidate, embedding으로 검색한 image 또는 video candidate, 그리고 어려운 example에 대해 reranker가 할당한 relevance score를 사용한다.이 절차는 target modality에 따라 달라지며, semantic similarity가 높은 candidate 간에 더욱 fine-grained한 supervision을 제공한다.
3 모델링 및 학습 전략
WeMM-Embedding은 native multimodal Qwen3.5 backbone 을 기반으로 구축된 2B, 4B, 9B 모델로 구성된다. interleaved multimodal input을 normalized representation으로 인코딩하고, 대규모 alignment에 이은 curated refinement를 통해 학습한다.
- Architecture 및 Input Encoding: 2B, 4B, 9B 모델은 각각 대응하는 native multimodal Qwen3.5 backbone 을 사용해 text, image, video의 임의 interleaving을 인코딩한다.Textual token과 visual token은 backbone이 처리하기 전에 원래 segment 순서를 유지한다.
- Architecture 및 Input Encoding: 전용 <embedding> token은 normalized representation을 생성하며, 여러 token을 사용하면 한 번의 forward pass에서 video-only embedding과 joint video–text embedding을 추출할 수 있다.Default token은 native causal attention mask에 따라 앞선 모든 multimodal content에 attend한다.
- Flexible Embedding Dimensions: Matryoshka Representation Learning [21]은 final hidden state를 truncate하고 renormalize해 한 번의 forward pass에서 multiple embedding dimensions를 지원한다.이 방법은 학습 중 지원되는 각 dimension에서 contrastive objective와 graded-relevance objective 모두에 적용된다.
- Two-Stage Training: 학습은 두 단계로 진행된다: 대규모 multi-task alignment에 이어 contrastive learning, hard negative, selective reranker supervision, larger-model distillation을 결합한 curated refinement를 수행한다.두 단계 모두 unified pair-based representation을 사용하며, 각 batch는 supervision signal이 지원하는 objective를 적용한다.
- Stage One: Multimodal Alignment: Stage-one alignment에서는 paired data에 InfoNCE를, annotated pair에 graded-relevance CoSENT-style learning을 사용하고, duplicate-aware masking과 relevance-gap weighting을 적용한다.Relevance가 높은 pair일수록 더 높은 similarity를 받도록 유도하며, label gap이 클수록 더 큰 weight를 부여한다.
- Stage Two: Curated Refinement: Reranker supervision은 reliable gains가 확인되는 task setting으로 제한하며, teacher distribution은 더 부드러운 relative similarity structure를 전달해 특히 compact variant에 이점을 준다.Reranking은 multimodal task 전반에서 일관되게 성능을 향상시키지 못하는 반면, distillation은 source-to-target 및 target-to-source similarity distribution을 정렬한다.
4 실험 및 분석
WeMM-Embedding은 image, video, visual document, text, agent-oriented retrieval을 아우르는 public 및 in-house benchmark에서 평가된다. 평가는 open-source 및 proprietary commercial system을 포함한 대표적인 state-of-the-art multimodal embedding model과 비교해 수행된다.
- 평가는 public 및 in-house benchmark에서 image, video, visual document, text, agent-oriented retrieval을 아우른다.benchmark suite에는 MMEB series, Gemini Embedding 2 study [35]의 cross-modal retrieval benchmark, 실제 애플리케이션에서 도출한 26-task in-house benchmark가 포함된다.
- 이 연구는 open-source 및 proprietary commercial 환경의 대표적인 state-of-the-art multimodal embedding model과 WeMM-Embedding을 비교한다.
- in-house 평가는 실제 애플리케이션에서 도출한 26개 task로 구성된다.
4.1 MMEB Series에서의 성능
WeMM-Embedding은 MMEB-v2와 MMEB-v3 전반에서 최고 수준의 성능을 달성하며, 지원되지 않는 audio task가 V3-All에서 0점을 받음에도 2B에서 9B variant로 갈수록 성능 향상이 커진다.
- MMEB-v2: MMEB-v2의 78개 dataset은 classification, question answering, retrieval, visual grounding에 걸쳐 image, video, visual document를 평가한다.이 benchmark는 image, video, audio, agent task에 Hit@1을, text retrieval에는 NDCG@5를 따른다.
- MMEB-v2: 79.2: WeMM-Embedding-4B는 MMEB-v2에서 이 overall score를 달성하며, 2B variant는 77.9를 기록해 Qwen3-VL-Embedding-8B를 능가한다.2B model은 Qwen3-VL-Embedding-2B와 DME-2B를 각각 4.7점과 3.1점 앞서며, 4B model은 비교된 모든 8B–9B baseline보다 우수하다.
- MMEB-v3: 53개의 text task와 47개의 agent task는 기존 modality를 넘어 MMEB-v3의 범위를 확장하며, 지원되지 않는 audio task는 V3-All에서 0점을 받는다.MMEB-v3에는 복잡한 text retrieval, agent 중심 task, audio evaluation, MCMR image retrieval이 추가되며, 현재 model은 audio를 지원하지 않는다.
- MMEB-v3: 59.5: WeMM-Embedding-9B는 MMEB-v3 V3-All에서 이 score에 도달하며, 2B와 4B variant는 각각 56.0과 58.2를 기록해 기존 model과의 격차를 더욱 벌린다.2B model은 이미 V3-All에서 비교된 모든 baseline을 능가하며, Text 및 Agent group에서도 각각 45.3과 45.1의 score로 선두를 차지한다.
4.2 Cross-Modal Retrieval 평가
WeMM-Embedding-2B는 12개 cross-modal retrieval benchmark에서 79.8을 달성해 비교 대상인 모든 open-source baseline을 앞섰으며, 4B와 9B로 확장하면 점수가 각각 80.8과 81.7로 상승한다.
- 평가 범위: 평가는 이미지, 비디오, visual document 전반에서 텍스트와 시각 콘텐츠 간 semantic alignment를 측정하는 12개 public benchmark를 포괄한다.
- 결과: 전체 점수 79.8에서 WeMM-Embedding-2B는 비교 대상인 모든 open-source baseline을 앞서며 주요 proprietary model과 비교해도 경쟁력 있는 성능을 보인다. 4B와 9B는 각각 80.8과 81.7에 도달한다.이 결과는 12개 public cross-modal retrieval benchmark에서의 성능을 평균한 값이다.
4.3 내부 평가
WeMM-Embedding-2B는 26-task WeChat benchmark의 5개 범주 모두에서 대표적인 open-source baseline을 크게 능가한다. 실제 서비스 배포에서도 WeChat Official Accounts, WeChat Channels, e-commerce를 포함한 recommendation 및 search 시스템 전반에서 14회 online A/B tests에 걸쳐 일관된 성능 향상을 보인다.
- 4.3 내부 평가: 이 benchmark는 classification, search, cross-domain content matching, article relevance, video relevance에 걸쳐 실제 WeChat 애플리케이션에서 도출한 26개 task로 구성된다.
- 4.3 내부 평가: WeMM-Embedding-2B는 26-task in-house benchmark의 5개 범주 모두에서 대표적인 open-source baseline보다 높은 점수를 달성한다.이 benchmark는 classification, search, cross-domain content matching, article relevance, video relevance를 평가하며, AVG는 26개 task 전체의 평균을 의미한다.
- 4.3 내부 평가: WeMM-Embedding은 대규모 recommendation 시스템 전반에서 14회 online A/B tests에 걸쳐 일관된 성능 향상을 제공하며, 여기에는 WeChat Official Accounts, WeChat Channels, e-commerce 콘텐츠가 포함된다.이 모델의 representation은 retrieval, ranking feature, user-sequence modeling, cross-domain content understanding 전반에서 text, cover-image, video-frame 신호를 결합하며, semantic ID는 compact indexing과 sequence-modeling feature를 지원한다.
- 4.3 내부 평가: WeChat search에서 이 모델은 Channels video, Official Accounts article, Moments를 대상으로 unimodal 및 cross-modal retrieval을 지원해 semantic relevance와 retrieval quality를 향상한다.이러한 배포 사례는 in-house 결과와 함께 다양한 실제 task 및 대규모 recommendation·search 시스템으로 성능을 확장한다.
4.4 추가 분석
추가 분석 결과, 256차원 Matryoshka 표현은 전체 차원 성능의 97% 이상을 task group 전반에서 유지하며, Stage-1과 Stage-2의 설계 선택이 MMEB-v2 성능에 큰 영향을 미친다. Stage-2 전략을 누적 적용하면 2B 모델의 overall score가 2.2 points 향상된다.
- Matryoshka 표현 분석: 2B 모델을 MMEB-v2의 modality 및 task subset에서 64차원부터 2,048차원까지 평가하고, 2,048차원 대비 retention을 측정한다.이 분석에서는 여러 embedding dimension에서 중첩된 표현을 생성하는 Matryoshka 표현을 사용한다.
- Matryoshka 표현 분석: 256차원에서 image와 video task는 각각 2,048차원 성능의 98.7%를 유지하며, 모든 classification, question-answering, retrieval group은 97% 이상을 유지한다.512차원에서는 image task의 retention이 99.2%, video task의 retention이 98.8%에 이른다. visual-document task는 차원 축소에 더 민감하며, 매우 낮은 차원에서는 task type 중 retrieval이 가장 큰 영향을 받는다.
- Stage-1 설계 ablation: task-consistent batching을 mixed sampling으로 대체하면 overall performance가 3.4 points 하락하고, task-specific instruction을 제거하면 0.8-point 하락이 발생한다.instruction ablation은 visual-document task에서 가장 큰 성능 저하를 보이며, 이는 명시적 instruction이 서로 다른 task 전반에서 task-specific matching objective를 포착하는 데 도움이 됨을 나타낸다.
- Stage-2 누적 분석: Stage-2 전략을 누적 적용하면 2B 모델의 MMEB-v2 overall score가 2.2 points 향상된다.Curated data는 image 및 video 성능을 향상시키고, reranker supervision은 visual-document task에 기여하며, dense similarity supervision은 서로 다른 task 간에 전이된다. 또한 확장된 visual input budget은 특히 video task를 향상시킨다.
5 결론 및 향후 연구
WeMM-Embedding은 광범위한 alignment에 이어 fine-grained representation learning을 수행해 학습한 multi-scale universal multimodal embedding model family다. 향후 연구에서는 data curation과 relevance supervision을 개선하는 동시에 input modality와 model scale을 확장할 예정이다.
- WeMM-Embedding은 여러 model scale을 아우르는 universal multimodal embedding family를 제시한다.
- 두 단계 학습은 curated data, 더욱 풍부한 relevance supervision, cross-scale knowledge transfer를 활용해 broad multimodal alignment에서 finer-grained representation learning으로 진행된다.
- 향후 연구에서는 omni-modal inputs, larger model sizes, 그리고 개선된 data curation과 fine-grained relevance supervision을 대상으로 삼을 예정이다.