WeMM-Embedding: WeChat Multi-Modal Embedding Technical Report

1 서론

• CLIP 방식의 듀얼 인코더 [33] [37] [49]는 모달리티를 정렬하지만 여러 모달리티가 혼합된 입력을 자연스럽게 표현하지는 못한다. 이후의 인코더 기반 확장 모델 [51] [54]도 여전히 범용성에 한계가 있다.멀티모달 임베딩은 이질적인 입력을 공통의 밀집 표현 공간으로 매핑하여 분류 [20], 검색 [2] [25] [48], 군집화 [43], 추천 [3] [13], 에이전트 시스템 [9] [14] [46]을 지원한다.출처: §1 · p. 2
• MLLM [1] [8] [24]은 텍스트, 이미지, 동영상이 임의의 순서로 섞인 입력을 지원하여 범용 멀티모달 임베딩의 기반을 제공한다.초기 연구는 짝지어진 멀티모달 데이터로 대조 학습을 이어가며 MLLM의 은닉 상태를 임베딩으로 활용하도록 조정했다 [19] [23]. 이후 대규모 쌍 데이터 합성과 지식 증류의 발전으로 성능이 향상되었다 [4] [52].출처: §1 · p. 2
• 2B, 4B, 9B WeMM-Embedding 모델은 광범위한 멀티모달 정렬에서 선별된 데이터를 활용한 세밀한 관련성 학습으로 이어지는 2단계 학습을 사용한다.첫 단계에서는 다양한 모달리티, 과제, 도메인에 걸친 수억 개의 이질적인 데이터 쌍을 사용한다. 두 번째 단계에서는 의미적 균형과 데이터 품질을 개선하고, 구분하기 더 어려운 네거티브 샘플을 추가하며, 더 풍부한 관련성 지도 신호와 모델 규모 간 지식 전이를 도입한다.출처: §1 · p. 2
• MMEB-v2 [28]에서 종합 점수 80.6을 기록한 9B WeMM-Embedding 모델은 공식 순위표에 등재된 모든 오픈소스 및 비공개 모델을 제치고 선두를 차지한다.2B 모델은 MMEB-v2 [28]에서 기존 최고 성능의 8B 오픈소스 베이스라인들을 능가한다. 또한 Gemini Embedding 2 [35]에 보고된 교차 모달 검색 평가 모음에서도 선도적인 비공개 모델들과 견줄 만한 성능을 보인다.출처: §1 · p. 2
• 26개 과제로 구성된 사내 벤치마크의 성능 향상과 14건의 온라인 A/B 테스트 전반에서 나타난 일관된 개선은 WeChat의 여러 서비스에서 WeMM-Embedding의 실용적 성능을 입증한다.모델은 WeChat Channels, Official Accounts, Moments 및 전자상거래 서비스의 추천과 검색에 대규모로 배포되어 있다.출처: §1 · p. 2

2 데이터 구축

• 수억 개의 예제는 텍스트, 이미지, 비디오, 교차 배치 입력을 아우르는 공개 데이터, 웹 규모 데이터, 합성 데이터, 내부 데이터를 결합한다.정제 데이터 모음은 더 높은 의미적 다양성과 데이터 품질, 더 풍부한 지도 신호로 대규모 말뭉치를 보완한다.출처: §2 · p. 2, §2.1 · p. 3

2.1 대규모 학습 데이터 수집

• 통합 소스–타깃 형식은 선택적으로 지시문, 하드 네거티브, 등급별 관련도 점수를 포함할 수 있어 하나의 다중 작업 파이프라인에서 작업별 배치를 구성할 수 있다.지시문은 매칭 관계를 구분하고, 관련도 점수는 상대적 순서 제약을 구성하며, 의미 기반 타깃 마스킹은 타깃 중복으로 발생하는 거짓 네거티브를 배치 내 네거티브에서 제외한다. 대규모 등급별 지도에는 순위 학습을 위해 수작업으로 부여한 이산적 관련도 등급을 사용하며, 정제 과정에서는 리랭커가 산출한 점수를 도입한다.출처: §2.1 · pp. 3–4
• 약한 지도 신호를 갖는 이미지–텍스트 및 비디오–텍스트 쌍은 폭넓고 개략적인 대응 관계를 제공하고, 명시적 캡션은 더 직접적이고 세밀한 시각–언어 지도 신호를 제공한다.캡션은 간결한 요약부터 개체, 속성, 관계, 공간적 맥락, 행동, 사건에 대한 상세한 설명까지 포괄한다.출처: §2.1 · pp. 3–4
• 검색, 분류, 멀티모달 질의응답 쌍은 질의–후보 매칭, 소스–레이블 인식, 지각, 추론, 문서 이해로 지도 범위를 확장한다.검색에는 조합형 질의, 지시문, 긴 문맥, 공간적 그라운딩, 시간적 위치 추정, 에이전트 관련 작업이 포함되며, 분류는 클래스명이나 자연어 설명으로 이미지·비디오 범주를 표현한다. 질의응답 쌍은 관계 및 공간 이해, OCR, 지식 집약적 이해, 차트, 사건도 다룬다.출처: §2.1 · p. 4

2.2 정제 데이터 구축

• 정제 데이터셋은 대규모 수집 데이터의 약 십분의 일 규모이며, Semantic-ID 기반 재표집으로 빈번한 의미 패턴에 대한 반복 노출을 줄인다.Semantic IDs [34]에서 착안해, 중간 WeMM-Embedding 체크포인트로 각 쌍에서 직렬화된 길이가 더 긴 쪽을 인코딩하고, 세 단계 잔차 k-means 양자화(RQ-KMeans) [26]로 세 원소로 구성된 식별자를 생성한다. 코드북 할당 밀도를 바탕으로 빈번한 코드의 샘플링 비율을 낮추고 드문 코드는 더 높은 비율로 유지하되, 균등한 분포를 강제하지 않는다.출처: §2.2 · p. 4
• 멀티모달 대규모 언어 모델은 소스–타깃 불일치를 걸러내고 텍스트 필드를 정제하여, 원래 대체 텍스트의 문체와 세부 내용을 유지하면서 사실관계의 불일치를 바로잡는다.필터링은 각 쌍이 해당 작업의 맥락에서 의도한 매칭 관계를 충족하는지 평가한다.출처: §2.2 · p. 4
• 선택적 하드 네거티브 보강은 그럴듯하지만 잘못된 텍스트 타깃을 생성하고, 중간 WeMM-Embedding 체크포인트를 사용해 의미적으로 유사한 이미지 또는 비디오 후보를 검색한다.멀티모달 대규모 언어 모델은 소스와 양성 타깃으로부터 텍스트 네거티브를 생성하며, 시각 후보는 작업별 후보군에서 가져온다. 리랭커는 발굴된 후보 집합 중 더 작은 일부에 점수를 부여해 더 세밀한 관련도 지도 신호를 제공한다.출처: §2.2 · pp. 4–5

3.1 모델링

• WeMM-Embedding은 마지막 <embedding> 토큰의 L2 정규화된 은닉 상태를 사용해 순서대로 교차 배치된 텍스트, 이미지, 비디오를 인코딩한다.기본 텍스트 및 시각 처리 파이프라인은 원래 구간 순서대로 토큰을 생성하며, 필요에 따라 맨 앞에 과제별 지시문을 붙인다.출처: §3.1 · p. 5
• 여러 <embedding> 토큰으로 모달리티별 출력을 생성하며, Matryoshka Representation Learning [21]은 임베딩의 앞부분만 남기고 재정규화해 다양한 임베딩 차원을 제공한다.비디오 뒤와 이어지는 ASR 전사문 뒤에 토큰을 배치하면 인과적 순전파 한 번으로 비디오 단독 표현과 비디오–텍스트 결합 표현을 얻는다. 지원하는 모든 임베딩 차원도 순전파 한 번으로 얻을 수 있다.출처: §3.1 · pp. 5–6

3.2 학습 전략

• 2단계 학습은 대규모 정렬로 범용 멀티모달 임베딩 공간을 구축한 뒤, 엄선한 데이터와 감독 신호에 따른 목적함수로 이를 정교화한다.두 단계 모두 통일된 쌍 기반 표현을 사용한다. 정교화 단계에서는 대조 학습, 명시적 하드 네거티브, 선택적 리랭커 감독, 더 큰 모델의 임베딩 증류를 결합한다.출처: §3.2 · p. 6

3.2.1 1단계: 대규모 멀티모달 정렬

• 수억 개의 소스–타깃 쌍으로 1단계 정렬을 수행하며, 배치 내 네거티브와 가용 하드 네거티브, 중복을 고려한 마스킹을 적용한 InfoNCE [30]를 사용한다.각 배치는 단일 데이터 출처로 구성하고 배치 간에 과제를 번갈아 배치한다. 유사도는 코사인 기반이며 학습 가능한 온도를 사용한다. 마스킹은 거의 중복된 소스에 연결된 후보와 양성 타깃을 닮은 후보를 제거하며, 명시적 하드 네거티브도 제거 대상에 포함한다.출처: §3.2.1 · p. 6
• 점수 차이로 가중한 CoSENT 방식의 순위 학습 은 관련도의 등급 차이를 보존하며, Matryoshka Representation Learning [21]은 각 배치의 목적함수를 지원 차원마다 독립적으로 평가한다.관련도 레이블 차이가 클수록 더 큰 가중치를 부여하고, 레이블이 같으면 순서 제약을 두지 않는다. 차원별 손실에는 독립적으로 앞부분만 남겨 정규화한 임베딩과 해당 손실 가중치를 사용한다.출처: §3.2.1 · pp. 6–7

3.2.2 2단계: 엄선한 데이터로 미세 조정 및 지식 증류

• 임베딩으로 검색한 후보를 재순위화해도 멀티모달 성능이 일관되게 개선되지는 않으므로, 리랭커 감독은 개선 효과가 확실한 과제에만 적용한다.전용 멀티모달 리랭커가 양성으로 주석된 사례와 발굴한 하드 네거티브에 점수를 매겨, 점수 차이로 가중한 질의 내 순서 비교를 제공한다. 리랭커가 점수를 매긴 배치는 대조 학습 대신 이 순위 목적함수를 사용한다.출처: §3.2.2 · p. 8
• 양방향 임베딩 증류는 소스에서 타깃으로, 타깃에서 소스로 양쪽 방향의 교사 유사도 분포를 전달하며, 소형 WeMM-Embedding 모델의 성능을 크게 높인다.온라인 소프트 타깃은 추가적인 오프라인 관련도 주석 없이 후보 간 상대적 유사도를 보존하며, 서로 다른 배치 유형을 지원한다. 더 큰 교사 모델이 있으면 선택된 과제 목적함수에 증류를 추가한다.출처: §3.2.2 · pp. 8–9
• 9B WeMM-Embedding은 2단계에서 고정된 교사로 2B와 4B 모델에 감독 신호를 제공한다. 최종 9B 모델은 대신 특화된 모델들을 병합한다 [47].더 큰 임베딩 교사 모델이 없으므로, 9B 모델은 상호 보완적인 데이터 혼합과 학습 설정으로 훈련한 모델들을 결합한다.출처: §3.2.2 · p. 9

• 공개 평가는 MMEB 벤치마크 시리즈 [15] [28]와 Gemini Embedding 2 연구 [35]에서 보고한 교차 모달 검색 벤치마크를 포함한다.출처: §4 · p. 9
• 사내 벤치마크는 실제 WeChat 응용 서비스에서 도출한 26개 과제로 구성된다.출처: §4 · p. 9
• 비교 대상에는 오픈소스와 비공개 상용 모델을 아우르는 대표적인 최첨단 멀티모달 임베딩 모델이 포함된다.출처: §4 · p. 9

4.1 MMEB 계열 성능

• MMEB 평가에서는 이미지, 비디오, 오디오, 에이전트 과제에 Hit@1을, 텍스트와 시각 문서 과제에 NDCG@5를 사용한다.MMEB-v2 [28]는 이미지, 비디오, 시각 문서를 다루는 78개 데이터셋으로 구성되며, 분류, 질의응답, 검색, 시각적 그라운딩 과제를 포함한다.출처: §4.1 · p. 9, §4.1.1 · p. 9

4.1.1 범용 멀티모달 표현

• WeMM-Embedding-9B는 종합 점수 80.6으로 공식 MMEB-v2 리더보드에서 선두에 올라, 등재된 모든 오픈소스 및 독점 모델을 능가한다.WeMM-Embedding-4B는 79.2를 기록해 비교 대상인 모든 8B–9B 베이스라인을 능가한다.출처: §4.1.1 · p. 9, Table 1 · p. 10
• WeMM-Embedding-2B는 MMEB-v2 종합 점수 77.9로 Qwen3-VL-Embedding-2B 를 4.7점, DME-2B [6]를 3.1점 앞선다.2B 모델은 Qwen3-VL-Embedding-8B도 소폭 능가한다.출처: §4.1.1 · p. 9, Table 1 · p. 10

4.1.2 텍스트 및 에이전트 중심 과제

• 현재 WeMM-Embedding 모델은 오디오 입력을 지원하지 않으므로, 지원하지 않는 오디오 과제 11개는 V3-All에서 0점으로 처리된다.VLM2Vec [19], VLM2Vec-V2 [28], GME, Qwen3-VL-Embedding 의 V3-All은 기존에 보고된 MMEB-v2 결과와 새로 추가된 MMEB-v3 과제의 결과를 합산한다.출처: §4.1.2 · p. 10
• MMEB-v3 [15]는 텍스트 과제 53개와 에이전트 과제 47개를 오디오 평가 및 MCMR 이미지 검색 과제와 함께 추가해 평가 범위를 확장한다.텍스트 과제는 추론 기반 검색, 지시 따르기, 장문 맥락 검색, 다중 조건 검색, 일반 검색을 포함한다. 에이전트 과제는 도구, GUI, 메모리 검색을 포함한다.출처: §4.1.2 · p. 10
• WeMM-Embedding-9B의 V3-All 59.5와 WeMM-Embedding-4B의 58.2는 이미 모든 MMEB-v3 비교 기준 모델을 능가하는 WeMM-Embedding-2B의 56.0보다 높다.WeMM-Embedding-2B는 Text와 Agent에서도 각각 45.3과 45.1을 기록해 모든 비교 기준 모델을 능가한다.출처: §4.1.2 · p. 10

교차 모달 검색 평가

• 텍스트와 이미지·동영상·시각 문서 간 정렬을 평가하며, 비공개 모델의 보고된 결과와 Qwen3-VL-Embedding 및 WeMM-Embedding의 직접 평가 결과를 사용한다.비공개 모델의 결과는 Gemini Embedding 2 기술 보고서 [35]에서 가져왔다. 직접 평가에는 해당 공개 평가 데이터셋과 각 벤치마크에서 지정한 지표를 사용한다.출처: §4.2 · p. 10
• 12개 공개 교차 모달 검색 벤치마크에서 WeMM-Embedding-9B의 종합 점수는 81.7로, WeMM-Embedding-4B의 80.8과 WeMM-Embedding-2B의 79.8을 능가한다.종합 점수는 12개 데이터셋의 결과를 평균한 값이다.출처: Table 3 · p. 11, §4.2 · p. 11
• WeMM-Embedding-2B는 종합 점수 79.8로 비교 대상인 모든 오픈소스 기준 모델을 능가하며, 선도적인 비공개 모델과도 견줄 만한 성능을 보인다.제공된 본문에는 개별 기준 모델의 점수가 제시되지 않았다.출처: Table 3 · p. 11, §4.2 · p. 11

4.3 내부 평가

• 벤치마크의 5개 범주 모두에서 WeMM-Embedding-2B가 대표적인 오픈소스 기준 모델을 능가한다.벤치마크는 분류, 검색, 도메인 간 콘텐츠 매칭, 문서 관련성, 동영상 관련성을 포괄하는 실제 WeChat 과제 26개로 구성된다. AVG는 전체 26개 과제의 평균을 나타낸다.출처: §4.3 · p. 11, Table 4 · p. 12
• 14건의 온라인 A/B 테스트에서 WeMM-Embedding이 추천 시스템의 성능을 일관되게 높였으며, 이후 개선 사항이 실제 서비스에 적용되었다.배포 대상은 WeChat Official Accounts, WeChat Channels, 전자상거래 콘텐츠에 걸쳐 있다. 콘텐츠 매칭, 추천 품질, 사용자 참여도가 개선되었으며, 특히 롱테일 콘텐츠와 신규 게시 콘텐츠에서 두드러진 향상이 보고되었다.출처: §4.3 · pp. 11–12
• 상호 보완적인 텍스트, 표지 이미지, 동영상 프레임 신호는 후보 검색, 랭킹 특징 구성, 사용자 시퀀스 모델링, 도메인 간 콘텐츠 이해를 지원한다.이러한 표현에서 도출한 Semantic ID는 인덱싱과 시퀀스 모델링에 사용할 압축된 이산 특징을 제공한다.출처: §4.3 · p. 12
• WeChat 검색은 단일 모달 및 교차 모달 검색을 지원하며, 텍스트, 이미지, 동영상 콘텐츠 전반의 의미적 관련성과 검색 품질을 개선한다.검색 기능은 WeChat Channels 동영상, WeChat Official Accounts 문서, WeChat Moments에 적용된다.출처: §4.3 · p. 12

4.4.1 MRL 분석

• MMEB-v2에서 WeMM-Embedding-2B는 이미지와 비디오 과제 모두에서 256차원으로 2,048차원 성능의 98.7%를 유지한다.512차원에서는 이미지 과제 성능의 99.2%, 비디오 과제 성능의 98.8%를 유지한다. 시각 문서 과제는 차원 축소에 더 민감하며, 이는 정보 밀도가 높고 텍스트가 밀집되어 있기 때문일 수 있다.출처: §4.4.1 · p. 12, Figure 3 · p. 13
• 256차원 임베딩은 분류, 질의응답, 검색 전반에서 전체 차원 성능을 97% 넘게 유지해, 효율성이 중요한 응용에서 저차원 표현의 유용성을 뒷받침한다.분류는 차원 축소에 가장 덜 민감하고 질의응답은 중간 수준이며, 검색은 특히 64차원과 128차원에서 가장 큰 영향을 받는다. 256차원을 넘어서면 성능 향상 폭이 줄어들며, 효율성이 중요한 경우 256차원 또는 512차원이 실용적인 선택으로 제시된다.출처: §4.4.1 · p. 12, Figure 3 · p. 13

4.4.2 1단계 설계 분석

• 과제별 배치 구성을 혼합 샘플링으로 대체하면 MMEB-v2 점수가 3.4점 하락하며, 이는 검증한 1단계 설계 요소 중 가장 큰 영향이다.동일 과제로 구성한 배치는 더 유익한 배치 내 음성 샘플을 제공한다. 과제별 지시문을 제거하면 0.8점 하락하며, 시각 문서에서 하락 폭이 가장 커 과제별 매칭 목표에 지시문이 유용함을 보여준다. 중복 인식 마스킹을 제거하면 0.5점 하락한다. 이 마스킹은 중복되거나 의미상 동등한 음성 타깃을 제외해 분류처럼 레이블이 반복되는 과제에 대응한다.출처: Table 5 · p. 13, §4.4.2 · p. 13

4.4.3 2단계 누적 적용 분석

• 2B 모델의 1단계 체크포인트에 2단계 전략을 누적 적용하면 MMEB-v2 종합 점수가 2.2점 향상된다.선별 데이터는 균형 재샘플링, 품질 개선, 어려운 음성 샘플 확충을 통해 이미지와 비디오 과제의 성능을 높인다. 리랭커 지도는 추가 향상을 가져오며, 시각 문서에서 효과가 가장 크다. 임베딩 교사 모델 증류는 조밀한 유사도 지도 신호를 통해 세 영역 모두의 성능을 높인다. 더 높은 해상도의 입력과 더 촘촘한 비디오 프레임 샘플링도 특히 비디오에서 추가 향상을 가져온다.출처: §4.4.3 · pp. 13–14, Table 6 · p. 14

결론

• WeMM-Embedding은 공개 벤치마크에서 최고 성능을 달성하고 새로운 성능–효율성 경계를 제시한다.이 범용 멀티모달 임베딩 모델군은 다양한 모델 규모를 포괄한다.출처: §5 · p. 14
• 26개 과제로 구성된 내부 벤치마크 결과와 14회의 온라인 A/B 테스트에서 WeMM-Embedding의 일관된 개선이 확인된다.이 모델들은 WeChat 내 여러 추천 및 검색 시스템에 대규모로 배포되어 있다.출처: §5 · p. 14
• 2단계 학습은 광범위한 멀티모달 정렬에서 시작해, 선별된 데이터와 더 풍부한 관련성 지도, 모델 규모 간 지식 전이를 활용한 세밀한 표현 학습으로 이어진다.출처: §5 · p. 14

향후 연구

• 향후 연구에서는 WeMM-Embedding의 옴니모달 입력 지원을 확장하고, 모델군을 대형화하며, 데이터 선별과 세밀한 관련성 지도를 개선할 예정이다.출처: §5 · p. 14