AI 요약 · 영어에서 AI 번역
UMER: Unifying Embedding and Ranking via Pair-Aware Discriminative Reasoning for Universal Multimodal Retrieval
Libiao Chen, Xiyang Liu, Yanheng Wei, Tao Wang, Zhenyu Tang
TL;DR
기존 항목별 CoT에는 양성 후보가 부합하고 혼동하기 쉬운 hard negative가 부합하지 않는 이유를 설명하는 근거가 부족하다. UMER는 하나의 MLLM에서 쌍을 고려한 추론, 임베딩, 판별적 랭킹을 상호 보완적 상호 증류로 결합한다. MMEB-V2에서 UMER-H는 전체 성능과 모달리티별 평균에서 선두를 차지하며, 비교 가능한 실험 설정에서 RIME보다 전체 점수가 1.4점 높다.
문제
기존 항목별 CoT는 쿼리와 후보를 각각 보강하지만, 양성 후보가 부합하고 의미적으로 혼동하기 쉬운 hard negative가 부합하지 않는 이유를 설명하는 상호작용 근거가 부족하다.
출처: Introduction · p. 2방법
UMER는 쿼리–후보 간 일치 및 불일치 근거와 상호 보완적 상호 증류를 활용해 하나의 MLLM에서 멀티모달 임베딩과 쌍을 고려한 판별적 랭킹을 공동 학습한다.
출처: Conclusion · p. 7결과
UMER-H는 MMEB-V2의 전체 성능과 이미지, 비디오, 시각 문서별 평균에서 선두를 차지하며, 비교 가능한 실험 설정에서 RIME를 전체 점수에서 1.4점 앞선다.
출처: Introduction · p. 2, Qwen2-VL-2B Results · p. 10시사점 및 한계
임베딩 검색과 쌍을 고려한 랭킹은 상호 보완적인 과제별 강점을 지닌다. 전역 매칭에는 임베딩이, 답변 및 범주 검증에는 랭킹이 유리하다.
출처: Main Results on MMEB-V2 · p. 6논의된 명시적 CoT 기반 임베딩 접근법은 각 임베딩을 생성하기 전에 추론 근거를 생성하므로 상당한 디코딩 비용이 발생한다.
출처: Reasoning-Enhanced Multimodal Retrieval · p. 3
Abstract
from arXiv · showhide
Universal multimodal retrieval aims to support diverse instruction-aware retrieval tasks, demanding both efficient corpus-scale matching and fine-grained semantic reasoning. Recent MLLM-based embedding methods typically derive representations from hidden states, while Chain-of-Thought (CoT) reasoning is emerging as a promising strategy for embedding enhancement by encoding intermediate semantic evidence into the representation space. However, existing CoT methods typically use item-wise reasoning over queries and candidates in isolation, providing no explicit evidence to distinguish a positive from a semantically confusable hard negative. Moreover, contrastive embeddings capture global similarity but struggle with meta-tasks requiring answer verification, category judgment or fine-grained reasoning. In this paper, we propose UMER, a Unified Multimodal Embedding and Ranking framework for universal multimodal retrieval. UMER replaces item-wise reflection with Pair-Aware Discriminative Reasoning, which compares query--candidate pairs to identify instruction-relevant matching and discrepancy evidence. UMER jointly learns contrastive embeddings for efficient global matching and discriminative ranking for explicit pairwise relevance judgment within a single MLLM. A complementary mutual distillation strategy further transfers reliable pairwise preferences between the embedding and ranking functions. On the MMEB-V2 benchmark, UMER achieves state-of-the-art performance under comparable experimental settings while supporting budget-adjustable inference.
서론
UMER는 쌍 단위 추론과 상호 보완적 상호 증류를 통해 멀티모달 임베딩과 판별적 랭킹을 통합한다. 효율적인 벡터 검색을 지원하며, 필요에 따라 추론 기반 재순위화를 추가할 수 있다.
서론
- 항목별 CoT는 개별 항목의 의미를 풍부하게 하지만, 양성 후보가 부합하고 의미적으로 유사한 hard negative가 부합하지 않는 이유를 설명할 쿼리–후보 간 상호작용 근거가 부족하다.기존 방법들(Lan et al. 2026; Jiang et al. 2026; He et al. 2026)은 쿼리나 후보를 독립적으로 기술한다. 또한 자기회귀 교차 엔트로피 기반 지도 학습은 추론을 임베딩 토큰에 간접적으로만 주입하므로, 생성 품질과 임베딩의 판별력 사이에 불일치가 발생한다.출처: Figure 1 · p. 1, Introduction · p. 2
- 범용 멀티모달 과제에는 전역 유사도 매칭과 세밀한 관련성 추론이 모두 필요하므로, 임베딩 검색과 상호작용 기반 랭킹은 상호 보완적인 역량을 제공한다.검색 대상은 이미지, 텍스트, 비디오, 문서에 걸쳐 있다. 콘텐츠 매칭 과제는 전역 유사도를 중시하는 반면, 질의응답과 분류에는 단일 대조 학습 목적함수만으로 충분히 포착할 수 없는 답변 근거나 범주별 조건이 필요하다.출처: Introduction · pp. 1–2, Figure 1 · p. 1
- Pair-Aware Discriminative CoT는 양성 및 hard negative 쿼리–후보 쌍을 비교하여 매칭 근거를 식별하고 불일치를 드러내며 결정론적 랭킹 판단을 도출한다.저자들은 이 추론 패러다임을 뒷받침하기 위해 쌍 단위 CoT 및 랭킹 데이터도 구축한다.출처: Introduction · p. 2
- Complementary Mutual Distillation은 판별적 랭킹 지식을 임베딩 공간으로 전달하는 동시에, 임베딩의 전역 구조를 활용해 랭킹을 안정화한다.이러한 양방향 지식 전달은 프레임워크의 임베딩 및 랭킹 역량을 공동으로 최적화한다.출처: Introduction · p. 2
- 연산 예산 조절형 추론은 효율성을 위해 단일 순전파로 임베딩을 추출하고 벡터 인덱싱을 활용하며, 필요에 따라 쌍 단위 CoT와 관련성 점수 산정을 추가해 재순위화한다.추가 추론 단계는 정확도를 중시하는 설정이나 어려운 샘플을 대상으로 한다.출처: Introduction · p. 2
- UMER는 비교 가능한 실험 설정에서 MMEB-V2 최고 성능을 달성하며, 효율적인 벡터 검색에 명시적 추론과 랭킹을 결합해 정확도를 높인다.통합된 MLLM은 코퍼스 규모의 매칭을 위한 대조 임베딩과 쿼리–후보 관련성 판단을 위한 판별적 랭킹을 공동으로 학습한다.출처: Introduction · p. 2
관련 연구
멀티모달 임베딩 모델은 후보를 명시적으로 비교하는 추론 능력이 제한적이고, 추론 강화 접근법은 여전히 개별 항목 단위에 머무르며, 재순위화 모델은 대개 별도의 두 번째 단계 모듈로 구성된다. 반면 UMER는 하나의 MLLM 내에서 임베딩, 쌍을 고려한 추론, 순위화를 공동 최적화한다.
멀티모달 임베딩 모델
- 지시를 따르는 MLLM 임베딩 모델은 멀티모달 검색을 발전시켰지만, 대체로 배치 내 대조 학습 목적함수를 유지하며 미묘하게 다른 후보에 대한 명시적 추론은 제한적이다.VLM2Vec (Jiang et al. 2024b)와 VLM2Vec-V2 (Meng et al. 2025)는 MMEB와 MMEB-V2에서 대조 학습을 수행한다. UniME-V2 (Gu et al. 2026)는 MLLM-as-a-Judge 기반 하드 네거티브 마이닝과 소프트 레이블 정렬을 추가하고, Qwen3-VL-Embedding (Li et al. 2026)은 대규모 대조 학습과 재순위화 모델 증류를 결합한다.출처: Multimodal Embedding Models · p. 2
추론 강화 멀티모달 검색
- UME-R1 (Lan et al. 2026)은 추론 근거를 생성한 뒤 임베딩을 추출하고, Embed-RL (Jiang et al. 2026)은 검색 지향 강화학습으로 추론 근거를 최적화한다.UME-R1은 자기회귀적 추론 후 은닉 상태에서 표현을 추출하고, Embed-RL은 추론 과정을 후속 매칭 신호에 정렬한다.출처: Reasoning-Enhanced Multimodal Retrieval · pp. 2–3
- 추론 강화 검색은 여전히 개별 항목 단위에 머물며, 질의와 후보 간 일치 및 불일치 근거를 명시적으로 식별하기보다 각각을 독립적으로 보강한다.명시적 CoT는 각 임베딩 생성에 앞서 비용이 큰 추론 근거 디코딩을 요구한다. PLUME (He et al. 2026)은 연속 잠재 공간 롤아웃으로 추가 비용을 줄이고, LaME (Wu et al. 2026b)는 학습 가능한 추론 토큰과 정보 병목을 활용한다.출처: Reasoning-Enhanced Multimodal Retrieval · p. 3
멀티모달 재순위화 모델
- MLLM 재순위화 모델은 초기 검색 후 질의–후보 쌍을 함께 인코딩하여 세밀한 관련성을 추정한다.RagVL (Chen et al. 2024)은 검색 증강 생성을 위한 이미지 필터링을 지시 튜닝하고, UniME-V2-Reranker (Gu et al. 2026)는 마이닝한 하드 네거티브를 쌍 단위 및 목록 단위 최적화에 활용한다. Qwen3-VL-Reranker (Li et al. 2026)는 2단계 파이프라인에서 크로스 인코더로 Qwen3-VL-Embedding을 보완한다.출처: Multimodal Reranking Models · p. 3
- UMER는 별도로 학습·배포되는 재순위화 모델과 달리 하나의 MLLM 내에서 임베딩, Pair-Aware Discriminative Reasoning, 순위화를 통합한다.각 분기는 백본을 공유하며 종단 간 공동 최적화된다. 반면 별도의 재순위화 모델은 소프트 레이블이나 마이닝한 의사 네거티브 같은 이산적인 오프라인 학습 목표를 통해 순위화 지식을 전달한다.출처: Multimodal Reranking Models · p. 3
방법론
UMER는 하나의 공유 MLLM에서 독립적으로 계산할 수 있는 임베딩과 쌍 인식 관련성 판단을 공동 학습한다. 검증된 추론 감독, 선택적 상호 증류, 3단계 학습을 활용하며, 임베딩 전용·랭킹·하이브리드 추론 모드를 지원한다.
통합 임베딩·랭킹 아키텍처
- UMER는 임베딩과 랭킹 기능에 하나의 MLLM을 공유하며, 어텐션 마스크와 작업별 토큰으로 서로 다른 정보 흐름을 유지한다.분기별 어텐션은 코퍼스 인덱싱과 근사 최근접 이웃 검색을 위해 쿼리와 후보의 인코딩을 독립적으로 유지한다. 학습 가능한 임베딩 토큰의 상태를 평균 풀링하고 ℓ2 정규화한 뒤, 마이닝한 하드 네거티브를 추가한 배치 내 대조 학습으로 훈련한다.출처: Methodology · p. 3, Unified Embedding and Ranking… · p. 4
- 쌍 인식 추론은 쿼리와 후보를 함께 보며 얻은 근거에 기반해 관련성을 판단하고, 추론 근거를 조건으로 하는 [RANK] 토큰이 관련성 로짓을 출력한다.입력을 독립적으로 인코딩한 뒤, 모델은 쌍 전체에 대한 어텐션으로 추론 과정을 생성하며 토큰 수준 교차 엔트로피로 감독받는다. 이진 교차 엔트로피는 절대적 관련성 레이블을 제공하고, 로지스틱 쌍별 목적함수는 양성 로짓이 하드 네거티브 로짓보다 높아지도록 유도한다.출처: Unified Embedding and Ranking… · p. 4
쌍 인식 판별적 CoT 데이터 구축
- 쿼리마다 유사도가 가장 높은 비관련 후보 세 개를 하드 네거티브로 사용해 구조화된 CoT를 생성하고 근거 충분성 필터링을 수행한다.고정된 멀티모달 임베딩 모델이 후보를 마이닝한다. Qwen3.5-9B 는 명시적인 Yes/No 답변 없이, 필요한 근거와 이를 뒷받침하거나 반박하는 근거를 기술하는 Query Intent와 Target Observations를 생성한다. Qwen3.5-0.8B가 각 추론 근거만으로 올바른 관련성 레이블을 추론해야 하며, 양성과 음성 추론 근거가 모두 검증을 통과해야 삼중항을 유지한다.출처: Pair-Aware Discriminative CoT Data… · pp. 4–5
상호 보완적 상호 증류
- 선택적 양방향 증류는 참조 모델의 선호 중 순서가 올바른 것만 전달하며, Retrieval과 Grounding/MR에는 임베딩 교사를, Classification과 QA에는 랭킹 교사를 사용한다.고정된 참조 모델은 온도로 스케일링한 양성–음성 선호 분포를 생성하며, 지정된 작업군에서 순서가 올바른 삼중항에 대해서만 게이트가 활성화된다. 임베딩에서 랭킹으로의 지식 전달은 내용 매칭을 지원하고, 랭킹에서 임베딩으로의 지식 전달은 추론 집약적 검색을 개선한다.출처: Complementary Mutual Distillation · p. 5
점진적 학습과 유연한 추론
- 3단계 학습은 먼저 임베딩을 학습하고, 검증된 CoT와 랭킹 감독을 추가한 뒤, 마지막으로 상호 보완적 상호 증류를 도입한다.1단계는 전체 MMEB 학습 데이터에서 Lemb만 사용하고, 2단계는 검증된 쌍 인식 삼중항에 Lcot, Lbce, Lmargin을 추가한다. 3단계는 2단계 체크포인트를 고정해 참조 모델로 사용하고 Lcmd를 추가한다.출처: Progressive Training and Flexible… · p. 5
- UMER-E는 임베딩만으로 검색하고, UMER-R은 쌍 인식 로짓으로 검색된 후보를 재정렬하며, UMER-H는 정규화된 임베딩 점수와 랭킹 로짓을 결합한다.미리 계산한 후보 임베딩으로 근사 최근접 이웃 검색을 수행하며, 자기회귀적 쌍 인식 추론은 검색된 상위 K개 후보로 제한한다. 하이브리드 점수는 해당 목록 내에서 두 신호를 모두 정규화하며, α가 랭킹의 기여도를 조절한다.출처: Progressive Training and Flexible… · p. 5
실험 및 결과
UMER-H는 상호 보완적인 임베딩 점수와 랭킹 점수를 결합해 MMEB-V2에서 가장 높은 종합 점수를 달성한다. 쌍 인지형 지도와 선택적 상호 증류는 각 분기의 성능을 높이며, 임베딩만 사용하는 검색과 재랭킹 범위 조절을 통해 정확도–효율성 간 절충을 달리할 수 있다.
실험 설정
- MMEB-V2 (Meng et al. 2025)의 이미지·비디오·시각 문서 과제 78개는 분류, 질의응답, 검색, 그라운딩, 구간 검색을 포괄한다.이미지·비디오 과제는 Hit@1, 시각 문서 검색은 NDCG@5로 평가한다. 메타 과제 점수는 구성 데이터셋 점수의 매크로 평균이며, All은 전체 78개 과제의 매크로 평균이다. 평가에는 수정된 ViDoSeek-page와 MMLongBench-page 버전을 사용하고, 학습 데이터는 VLM2Vec-V2와 동일한 공개 원천 데이터셋에서 가져온다.출처: Experimental Setup · p. 5
MMEB-V2 주요 결과
- UMER-H는 종합 점수 65.5로 UMER-E의 63.1과 UMER-R의 63.9를 넘어 MMEB-V2 최고 성능을 달성하며, 세 모달리티별 결과에서도 모두 앞선다.UMER-H는 Image 70.4, Video 45.0, VisDoc 73.6을 달성한다. UMER-R는 I-QA, V-CLS, V-QA, VisDoc-VR에서, UMER-E는 I-RET, I-GD, VDRv1, VDRv2에서 우세하다.출처: Main Results on MMEB-V2 · pp. 5–6, Table 1 · p. 6
절제 실험
- 쌍 인지형 CoT와 랭킹 지도를 결합하면 하이브리드 모드에서 65.4를 달성하며, 두 요소가 서로 대체하기보다 보완하는 역할임을 뒷받침한다.CoT만 사용하면 UMER-E는 62.9로 향상되지만, UMER-R는 [RANK] 헤드가 보정되지 않아 45.4에 머문다. 랭킹 손실만 사용하면 UMER-E는 60.7에서 62.0으로 향상되고 하이브리드 점수는 65.0에 도달한다. 두 지도 신호를 결합하면 UMER-R는 63.4로 회복된다.출처: Ablation Studies · p. 6, Table 2 · p. 7
- 선택적 양방향 증류를 통해 UMER-E는 63.1, UMER-R는 63.9를 달성해 무조건적 양방향 전이보다 높은 성능을 보인다.r→e는 UMER-R를 유지하면서 UMER-E를 62.4에서 62.7로 높인다. e→r는 UMER-R를 63.4에서 63.9로 높이지만 UMER-E는 62.2로 낮아진다. 무조건적 전이는 교사 모델이 틀린 경우에도 일치를 강제하므로 UMER-E 62.6, UMER-R 63.6에 그친다.출처: Ablation Studies · p. 6, Table 2 · p. 7
심층 분석
- 과제별 매크로 평균 양성–하드 네거티브 코사인 마진은 UMER-E가 6.80점, UME-R1이 5.24점으로, 항목별 지도보다 쌍 인지형 지도가 유리하다.36개 이미지 태스크의 3,600개 쿼리에서 마진은 양성 후보의 최고 유사도에서 비양성 후보의 최고 유사도를 뺀 값이다. 두 방법 모두 독립적으로 인덱싱할 수 있는 임베딩을 생성하며 마진이 양수인 쿼리 비율도 비슷하지만, 임계값 10과 20에서는 UMER-E가 각각 5.0 및 6.8퍼센트포인트 더 많은 쿼리를 유지한다.출처: In-Depth Analysis · p. 6, Figure 3 · p. 7
- 랭킹의 CMD에 따른 향상 폭은 Retrieval에서 1.6점, Grounding/MR에서 0.8점이며, 임베딩은 CLS에서 0.3점, QA에서 0.5점 향상된다.초기에는 임베딩이 내용 일치 중심의 Retrieval과 Grounding/MR에서, 랭킹이 추론 비중이 큰 CLS와 QA에서 우세하다. 모든 과제군에서 나타나는 성능 향상은 CMD가 이러한 특화를 유지하면서도 역량 격차를 줄임을 보여준다.출처: In-Depth Analysis · pp. 6–7, Figure 4 · p. 7
정확도–효율성 절충
- UMER-E는 추론 토큰 없이, 임베딩 추출 전 순차적 추론도 수행하지 않고 임베딩 전용 방식 중 최고 점수인 63.1을 달성한다.쿼리 처리/색인 속도는 UME-R1 대비 118.6×/99.6×, PLUME 대비 3.9×/3.1× 빠르다. NVIDIA A100 GPU 한 대에서 배치 크기 1로 측정한다.출처: Accuracy–Efficiency Tradeoff · p. 7, Table 3 · p. 7
- K = 5에서 달성한 65.5는 K = 20 지연 시간의 24%만으로 UMER-E 대비 UMER-H의 관측된 최대 성능 향상 폭 중 80%를 확보한 결과다.UMER-H는 UMER-E의 색인을 재사용하며, 온라인 상위 K개 재랭킹에만 연산을 추가한다. K를 3에서 20으로 늘리면 점수는 64.8에서 66.1로 오르고, 토큰 수와 지연 시간은 거의 선형으로 증가한다.출처: Accuracy–Efficiency Tradeoff · p. 7
결론
UMER는 멀티모달 임베딩 검색과 추론 기반 랭킹을 통합하여, 비교 가능한 실험 설정에서 MMEB-V2의 새로운 최고 성능을 달성한다.
결론
- UMER는 비교 가능한 실험 설정에서 MMEB-V2의 새로운 최고 성능을 달성하며, 임베딩 검색과 추론 기반 랭킹의 상호 보완적 가치를 입증한다.실험 결과는 범용 멀티모달 검색에서 효율적인 임베딩 검색과 명시적 추론 기반 랭킹을 결합하는 접근을 뒷받침한다.출처: Conclusion · p. 7
- Pair-Aware Discriminative Reasoning은 질의와 후보를 명시적으로 비교해 일치하거나 불일치하는 근거를 식별함으로써, 개별 항목 단위 CoT의 판별 학습 신호가 제한적이라는 한계를 보완한다.출처: Conclusion · p. 7
- 공유 MLLM은 독립적으로 색인 가능한 임베딩, 질의–후보 쌍을 고려한 CoT 생성, 판별적 랭킹을 공동으로 학습한다.출처: Conclusion · p. 7
- 상호 보완적 상호 증류는 전역 메트릭 매칭과 세밀한 관련성 판단을 공동으로 최적화한다.출처: Conclusion · p. 7
보충 자료 · 구현 및 평가 세부 사항
UMER는 검색된 hard negative를 활용해 이미지, 동영상, 시각 문서 데이터로 대조 학습과 쌍별 지도 학습을 수행한다. 쌍을 고려한 CoT 목표 출력은 학습 전에 오프라인으로 생성하고 검수한다.
구현 및 평가 세부 사항
- 모든 학습 샘플에 검색된 hard negative를 짝지어 대조 학습과 쌍별 지도 학습에 사용한다.출처: Implementation and Evaluation Details · p. 9
- 학습 데이터는 이미지, 동영상, 시각 문서 데이터로 구성된다.출처: Implementation and Evaluation Details · p. 9
- 정제된 양성 샘플이 있으면 원본 학습 정답을 대체한다.출처: Implementation and Evaluation Details · p. 9
- 쌍을 고려한 CoT 목표 출력은 학습 전에 오프라인으로 생성된다.출처: Implementation and Evaluation Details · p. 9
- 쌍을 고려한 CoT 목표 출력은 학습 전에 오프라인 검수도 거친다.출처: Implementation and Evaluation Details · p. 9
- Table 1은 UMER의 전체 구현 및 평가 설정을 정리한다.출처: Implementation and Evaluation Details · p. 9, Table 1 · p. 9
쌍을 고려한 CoT 데이터 구축
UMER는 hard negative 마이닝, 구조화된 근거 생성, 텍스트만을 이용한 검증을 통해 쌍을 고려한 추론 근거를 오프라인으로 구축한다. 이렇게 얻은 지도 신호는 쿼리를 단독으로 설명하는 대신, 정답으로 표시된 후보와 그럴듯한 오답 후보를 구별하는 세부 사항에 초점을 맞춘다.
1단계: hard negative 마이닝
- Hard negative 마이닝은 고정된 Qwen3-VL-Embedding-8B의 표현과 동일 출처 내 갤러리의 코사인 유사도를 사용하며, 정답으로 주석된 후보를 마스킹한 뒤 그럴듯한 오답 후보를 선택한다.누락된 정답 후보의 혼입을 줄이기 위해, 유사도가 주석된 정답 후보 유사도의 0.75배 이상인 후보는 제외하고 순위가 매겨진 후보를 최대 3개 남긴다. 별도 검토를 거쳐 비관련으로 판정된 후보가 있으면 임베딩으로 채굴한 대체 후보보다 우선 사용한다.출처: Pair-Aware CoT Data Construction · p. 9
2단계: 구조화된 CoT 생성
- 레이블을 제공받지 않은 Qwen3.5-9B는 정답 쌍과 hard negative 쌍에 대해 쿼리 의도와 대상 관찰 내용을 구조화해 생성하고, 최종 관련성 판단 없이 공통점과 차이점을 기록한다.이미지/검색 프롬프트는 후보에 관한 사실을 세 개에서 여덟 개까지 요구한다. 이미지/검색 쌍당 추론 근거 세 개, 비디오/문서 쌍당 한 개를 샘플링하며, 온도 0.7, top-p 0.9를 사용하고 토큰 수는 각각 384와 192로 제한한다.출처: Pair-Aware CoT Data Construction · p. 9
3단계: 텍스트만을 이용한 근거 검증
- 텍스트만을 이용한 검증에서는 Qwen3.5-0.8B가 원본 입력, 데이터셋 정보, 관련성 레이블 없이 생성된 메모만으로 match, not_match 또는 unknown을 추론한다.엄격한 검수 기준은 쌍 레이블과의 일치, 유효한 스키마, 최종 판단의 유출 부재를 요구한다. 검증 모델은 판단을 뒷받침하거나 반박하는 구체적인 관찰 내용을 요구하며, 근거 없는 판단만으로는 충분하지 않다.출처: Pair-Aware CoT Data Construction · p. 9
학습 레코드 선택
- 표준 형식의 쌍 레코드 6,632,206개를 출처별 사이드카 파일 4개에 저장하며, 학습 시 정규화된 쿼리–대상 쌍 키로 CoT 레코드를 조회한다.공개된 설정은 쌍마다 스키마를 충족하는 첫 번째 이미지/검색 추론 기록과 동영상/문서 추론 기록 1개를 선택한다. 학습에는 쿼리당 오프라인 hard negative 1개를 사용한다. 임베딩 학습에는 첫 번째 후보를, 재순위화에는 CoT가 있는 첫 번째 후보를 사용하며, 정답과 오답 레코드가 모두 있을 때만 재순위화 예제를 구성한다.출처: Pair-Aware CoT Data Construction · p. 9
MMEB-V2 전체 결과
UMER-H는 보고된 Qwen2-VL-2B 비교에서 전체 평균과 모달리티별 평균 모두 최고 성능을 기록하며, 전체 평균에서 RIME을 1.4점 앞선다. Qwen2-VL-7B 하이브리드 구성은 K = 5에서 전체 평균 70.6을 달성한다.
Qwen2-VL-2B 결과
- 전체 평균 65.5, 이미지 평균 70.4, 비디오 평균 45.0, 시각 문서 평균 73.6을 기록한 UMER-H는 Qwen2-VL-2B 비교에서 가장 높은 성능을 보이며, 전체 평균에서 RIME를 1.4점 앞선다.이미지와 비디오 결과는 Hit@1을, 시각 문서 결과는 NDCG@5를 사용한다.출처: Table 2 · p. 10, Qwen2-VL-2B Results · p. 10
Qwen2-VL-2B 결과; Qwen2-VL-7B 결과
- 두 비교 모두 MMEB-V2의 전체 78개 과제를 다루며, 해당 모델 규모에서 과제별 결과가 공개된 베이스라인만 포함한다.E, R, H는 각각 임베딩 검색, 쌍을 고려한 랭킹, 하이브리드 추론을 뜻한다.출처: Table 2 · p. 10, Table 3 · p. 11
Qwen2-VL-7B 결과
- Qwen2-VL-7B UMER-H는 K = 5인 하이브리드 추론으로 전체 70.6, 이미지 74.3, 비디오 50.5, 시각 문서 80.0을 달성한다.이미지와 비디오 결과는 Hit@1로, 시각 문서 결과는 NDCG@5로 평가한다.출처: Table 3 · p. 11, Qwen2-VL-7B Results · p. 11
추가 추론 분석
임베딩 검색과 쌍 인식 랭킹은 서로 보완적인 정답 판단을 제공하며, 하이브리드 추론은 넓은 범위의 랭킹 점수 가중치에서도 안정적인 성능을 유지한다.
융합 설정과 민감도
- K = 5에서 랭킹 점수 가중치가 0.5–5.0일 때, 테스트한 모든 UMER-H 점수는 최고점 65.5와의 차이가 0.8점 이하다.기본 융합 방식은 검색된 후보 집합 내에서 두 점수를 각각 표준화하고 랭킹 점수에 가중치 2.0을 부여한다. 재학습 없이 후보, 정규화, 디코딩을 고정한다. 가중치가 클 때 성능이 소폭 하락한다는 점은 모든 질의에서 어느 한쪽이 지배해서는 안 됨을 시사한다.출처: Fusion Configuration and Sensitivity · p. 12, Table 4 · p. 12
임베딩–랭킹 상호보완성
- 질의의 9.0%는 임베딩 검색만, 10.3%는 쌍 인식 랭킹만 정답을 찾고, 47.2%는 양쪽 모두 정답을 찾아 어느 한쪽도 일관되게 우세하지 않다.동일한 MMEB-V2 질의 83,530개를 대상으로 검색된 후보와 평가 레이블을 바꾸지 않고 비교한다.출처: Table 5 · p. 12, Embedding–Ranking Complementarity · p. 12
- 추론/의미 질의의 12.1%는 랭킹만 정답을 찾는 반면, 9.0%는 임베딩 검색만 정답을 찾는다.내용 매칭 질의에서는 한쪽만 정답을 찾는 비율이 거의 대칭적이다(8.9%와 8.3%). 이 결과는 판단 신호의 상호보완성을 보여주지만, 융합이 한쪽에서만 발생하는 모든 오류를 바로잡는다는 뜻은 아니다.출처: Embedding–Ranking Complementarity · p. 12, Table 5 · p. 12
정성적 결과와 실패 사례
쌍별 비교 기반 재랭킹은 임베딩 유사도가 지시별 제약을 놓친 세 사례를 바로잡지만, 전경의 두드러짐을 요구된 공간 관계보다 우선하면 성능이 저하된다. 각 비교에서는 하나의 질의를 고정하고 정답 후보와 경쟁 후보에 대해 독립적으로 생성한 추론을 살펴본다.
사례 간 비교 분석
- 사례 1–3에서는 쌍별 비교 기반 랭킹이 구성적·시각적·문서 수준의 제약을 적용해, 대분류나 주제만 일치하는 임베딩 검색 결과를 바로잡는다.각 사례는 정답 후보를 순위 교정이나 성능 저하를 유발한 top-1 오답 후보와 대조하고, 독립적으로 생성한 쌍별 비교 기반 CoT와 재랭킹 전후 순위를 보여준다.출처: Cross-Case Analysis · p. 12, Qualitative Results and Failure Cases · p. 12
- 5위에서 1위로: 쌍별 비교 기반 랭킹은 야외에서 달리는 개 이미지보다 머리를 중심으로 촬영한 카발리에 킹 찰스 스패니얼 사진의 순위를 높인다.오답 후보의 CoT는 움직임 때문에 얼굴 특징이 흐릿한 동작 사진으로 판단하는 반면, 정답 후보의 CoT는 중앙에 배치된 머리, 뚜렷한 얼굴 특징, 클로즈업 구도를 서술한다.출처: Cross-Case Analysis · pp. 12–13
- 4위에서 1위로: 쌍별 비교 기반 랭킹은 요구된 구도를 위반하는 검색된 참조 이미지보다, 사람 없이 가오리처럼 생긴 동물 두 마리가 있는 이미지의 순위를 높인다.질의는 다른 종의 동물 두 마리와 사람이 없는 구도를 요구하며, 정답 후보의 CoT는 두 동물과 사람의 부재를 명시적으로 기록한다.출처: Cross-Case Analysis · pp. 12, 14
- 3위에서 1위로: 쌍별 비교 기반 랭킹은 주제상 연관된 데이터 관련 동영상 슬라이드보다 가라앉는 자동차를 은유로 사용한 슬라이드의 순위를 높인다.오답 후보의 CoT는 의도를 YouTube 동영상 중심으로 재해석하는 반면, 정답 후보의 CoT는 가라앉는 작은 자동차 아이콘을 식별하되 텍스트와 은유의 명시적 연결에 대해서는 유보적으로 판단한다.출처: Cross-Case Analysis · pp. 12, 15
- 쌍별 비교 기반 랭킹은 요청된 오른쪽 빨간 바이크 뒤의 오토바이보다 눈에 띄는 전경의 오토바이를 선호해 공간 관계 판단에서 성능이 저하된다.정답 후보는 top-2에 남아 있고 해당 후보의 CoT도 요청된 배경의 위치 관계를 서술하지만, 오답 후보의 추론은 전경의 두드러짐을 우선한다.출처: Cross-Case Analysis · pp. 12, 16
Related papers
This paper cites
- Learning Transferable Visual Models From Natural Language Supervision2021
- Sigmoid Loss for Language Image Pre-Training2023
- Breaking the Modality Barrier: Universal Embedding Learning with Multimodal LLMs2025
- PLUME: Latent Reasoning Based Universal Multimodal Embedding2026
- Beyond Chain-of-Thought: Rewrite as a Universal Interface for Generative Multimodal Embeddings2026