Breaking the Modality Barrier: Universal Embedding Learning with Multimodal LLMs

Tiancheng Gu; Kaicheng Yang; Ziyong Feng; Xingjun Wang; Yanzhao Zhang; Dingkun Long; Yingda Chen; Weidong Cai; Jiankang Deng

AI 요약 · 영어에서 AI 번역

Breaking the Modality Barrier: Universal Embedding Learning with Multimodal LLMs

Tiancheng Gu, Kaicheng Yang, Ziyong Feng, Xingjun Wang, Yanzhao Zhang, Dingkun Long, Yingda Chen, Weidong Cai, Jiankang Deng

arXiv:2504.17432v42025년 4월 24일cs.CV

TL;DR

CLIP의 한계와 전이 가능한 멀티모달 표현 학습을 위한 MLLM의 잠재력이 충분히 탐구되지 않았다는 점에서 UniME의 필요성이 제기된다. UniME는 텍스트 판별 지식 증류와 거짓 음성 필터링 및 하드 네거티브 instruction tuning을 결합해 벤치마크와 검색 과제 전반에서 일관된 성능 향상을 달성한다.

문제
CLIP은 텍스트 절단, 분리된 이미지-텍스트 인코딩, 부족한 조합성으로 제약을 받으며, 전이 가능한 멀티모달 표현 학습을 위한 MLLM의 잠재력은 충분히 탐구되지 않았다.
출처: §1 · p. 2
방법
UniME는 텍스트 판별 지식 증류를 수행한 뒤, 거짓 음성 필터링과 배치당 여러 하드 네거티브를 활용하는 하드 네거티브 강화 instruction tuning을 적용한다.
출처: §1 · p. 2
결과
UniME는 MMEB, 짧은 캡션 및 긴 캡션 검색, 조합적 검색 과제 전반에서 일관된 성능 향상을 달성한다.
출처: §1 · p. 2, §6 · p. 8
핵심 요점 및 한계
UniME는 평가된 다운스트림 과제 전반에서 강력한 판별력과 뛰어난 조합적 이해를 보인다.
출처: §1 · p. 2, §6 · p. 8

Abstract

from arXiv · show

The Contrastive Language-Image Pre-training (CLIP) framework has become a widely used approach for multimodal representation learning, particularly in image-text retrieval and clustering. However, its efficacy is constrained by three key limitations: (1) text token truncation, (2) isolated image-text encoding, and (3) deficient compositionality due to bag-of-words behavior. While recent Multimodal Large Language Models (MLLMs) have demonstrated significant advances in generalized vision-language understanding, their potential for learning transferable multimodal representations remains underexplored.In this work, we present UniME (Universal Multimodal Embedding), a novel two-stage framework that leverages MLLMs to learn discriminative representations for diverse downstream tasks. In the first stage, we perform textual discriminative knowledge distillation from a powerful LLM-based teacher model to enhance the embedding capability of the MLLMś language component. In the second stage, we introduce hard negative enhanced instruction tuning to further advance discriminative representation learning. Specifically, we initially mitigate false negative contamination and then sample multiple hard negatives per instance within each batch, forcing the model to focus on challenging samples. This approach not only improves discriminative power but also enhances instruction-following ability in downstream tasks. We conduct extensive experiments on the MMEB benchmark and multiple retrieval tasks, including short and long caption retrieval and compositional retrieval. Results demonstrate that UniME achieves consistent performance improvement across all tasks, exhibiting superior discriminative and compositional capabilities.

1 서론

UniME는 MLLM을 활용해 전이 가능한 표현을 학습함으로써 CLIP의 한계와 충분히 탐구되지 않은 멀티모달 표현 학습 문제에 대응한다. 2단계 설계는 텍스트 기반 증류와 하드 네거티브 강화 지시 튜닝을 결합해 평가된 과제 전반에서 판별 및 조합 성능을 높인다.

CLIP은 짧은 텍스트 입력, 분리된 이미지-텍스트 인코딩, 취약한 조합 표현이라는 한계가 있다.이러한 제약은 세밀한 문맥 처리, 모달리티 간 상호작용, 조합 검색을 저해한다.출처: §1 · p. 2
MLLM은 범용 시각-언어 이해를 발전시켰지만, 전이 가능한 멀티모달 표현 학습에 활용하는 연구는 충분히 이루어지지 않았다.출처: §1 · p. 2
UniME는 다양한 다운스트림 과제에 필요한 범용 표현을 MLLM이 학습하도록 하는 2단계 프레임워크다.두 단계는 텍스트 기반 판별 지식 증류와 하드 네거티브 강화 지시 튜닝이다.출처: §1 · p. 2
텍스트 기반 판별 지식 증류는 강력한 LLM 기반 교사 모델을 활용해 MLLM 언어 구성 요소의 임베딩 능력을 강화한다.출처: §1 · p. 2
하드 네거티브 강화 지시 튜닝은 거짓 음성을 걸러내고 배치마다 여러 개의 까다로운 네거티브 샘플을 추출해 판별 표현과 다운스트림 지시 수행 능력을 향상한다.출처: §1 · p. 2
UniME는 MMEB, 짧은 캡션 및 긴 캡션 검색, 조합 검색 과제 전반에서 성능 향상을 달성한다.보고된 평가 결과는 견고한 판별력과 우수한 조합 이해 능력을 보여준다.출처: §1 · p. 2

2 관련 연구

관련 연구는 듀얼 타워 방식의 한계를 극복하기 위해 MLLM과 멀티모달 임베딩 방법을 발전시켜 왔다. 이러한 연구는 입력 유연성과 모달리티 간 처리를 확장했지만, 하드 네거티브 판별은 여전히 어렵다.

멀티모달 대규모 언어 모델

MLLM은 비전 인코더, 프로젝션 레이어, LLM 백본을 결합해 모달리티 간 정보를 처리하고 통합한다.출처: §2.1 · p. 2

LLM 기반 표현 학습

디코더 전용 LLM은 프롬프트 기반 방법과 모델 크기 확장을 통해 표현 학습에 활용되어 왔다.출처: §2.2 · p. 3

멀티모달 임베딩 학습

CLIP의 77토큰 제한, 분리된 듀얼 인코더, 단어주머니 방식의 동작은 세밀한 정렬, 모달리티 간 융합, 조합성을 제약한다.출처: §2.3 · p. 3
최근 방법은 경량 듀얼 인코더와 대조 학습으로 다양한 이미지-텍스트 조합, 고해상도 이미지, 긴 텍스트를 처리해 이러한 제약을 완화한다.출처: §2.3 · p. 3
이러한 개선에도 불구하고, 현재 방법은 검색 중 하드 네거티브 샘플을 효과적으로 판별하는 데 여전히 어려움을 겪는다.출처: §2.3 · p. 3

3 방법

UniME는 MLLM을 사용해 통합 멀티모달 임베딩을 추출하고, 텍스트 지식 증류에 이어 하드 네거티브 기반 지시 튜닝을 수행해 학습한다. 이 방법은 거짓 네거티브를 걸러내고 어려운 후보를 강조하며, 다양한 검색 입력과 과제를 지원한다.

3.1 사전 정의 및 특징 추출

UniME는 MLLM이 단일 모달 또는 교차 배치된 멀티모달 입력에서 추출한 쿼리 임베딩과 후보 임베딩 간 유사도로 후보의 순위를 매긴다.출처: §3.1.1 · p. 3
MLLM의 통합 비전 타워, 투영 계층, LLM 백본은 텍스트, 이미지, 교차 배치된 이미지-텍스트 입력을 유연하게 처리한다.출처: §3.1.2 · p. 3

3.2 텍스트 판별 지식 증류

텍스트 판별 지식 증류는 교사와 학생의 샘플 분포 간 KL divergence를 최소화해 NV-Embed V2의 임베딩 지식을 전달한다.출처: §3.2 · p. 4
배치 샘플 간 관계를 증류하면 동일한 데이터와 학습 조건에서 직접 대조 학습을 하는 것보다 효율성이 높아진다.출처: §3.2 · p. 4

3.3 하드 네거티브 기반 지시 튜닝

하드 네거티브 기반 지시 튜닝은 첫 번째 단계 이후의 제한적인 시각 민감도, 이미지-텍스트 불일치, 일반적인 프롬프트 문제를 해결한다.출처: §3.3 · pp. 4–5
이 방법은 쿼리 유사도가 임계값을 초과하는 후보 네거티브를 걸러낸 다음, 양성 후보를 제외하고 유사도 기준으로 어려운 후보 top-k개를 선택한다.출처: §3.3.1 · p. 5, §3.3.2 · p. 5

4 실험

UniME를 MMEB와 여러 검색 설정에서 평가한 결과, 기존 멀티모달 임베딩 기준 모델보다 일관된 성능 향상을 보인다. 향상은 짧은 캡션, 긴 캡션 및 조성 검색까지 이어진다.

평가 설정

UniME를 분포 내 및 분포 외 MMEB 테스트 세트와 짧은 캡션, 긴 캡션 및 조성 검색 과제에서 평가한다.세 가지 멀티모달 대규모 언어 모델 설정을 사용해 평가하며, 검색 벤치마크의 Precision을 보고한다.출처: §4.2.2 · p. 6, §4.1 · p. 6

MMEB 결과

Phi3.5-V는 E5-V보다 평균 4.2% 향상되며, LLaVA-1.6은 평균 4.1% 향상을 보인다.동일한 학습 데이터와 설정을 사용해 비교한다.출처: §4.3.1 · p. 6

기준 모델 비교

Phi3.5-V와 LLaVA-1.6을 사용했을 때 VLM2Vec보다 각각 1.3%와 10.3% 성능이 향상된다.제안 모델의 이 성능 향상은 두 가지 기반 모델 설정에서 보고된다.출처: §4.3.1 · p. 7

긴 캡션 검색

Urban1K의 긴 캡션 검색에서 EVA-CLIP(8B)보다 각각 14.8%와 18.1% 향상된 성능을 보인다.논문은 이러한 이점의 일부가 EVA-CLIP(8B)의 77-token 텍스트 제한에서 비롯된다고 설명한다.출처: §4.3.1 · p. 7

조성 검색

SugarCrepe의 관계 대체, 객체 교체 및 속성 추가 과제에서 VLM2Vec보다 각각 3.9%, 4.2% 및 9.1% 향상된 성능을 보인다.UniME는 동일한 세 과제 유형에서 EVA-CLIP(8B)보다 각각 4.2%, 0.6% 및 6.6% 향상된다.출처: §4.3.3 · p. 7

5 분석

분석 결과, hard negative는 더 강한 학습 신호를 제공하며 두 학습 단계와 임계값 선택 모두 성능에 실질적인 영향을 미친다. 학습 후에는 의미 예측이 더 구체적이고 분산된 형태로 바뀐다.

Hard Negative 분석

Hard negative는 easy negative나 random negative보다 높은 학습 손실과 훨씬 큰 clipping 전 gradient norm을 유지한다.Easy negative의 손실은 빠르게 0에 가까워지는 반면, hard negative의 gradient는 자릿수 차이가 난다.출처: §5.1 · p. 7

학습 단계 제거 실험

MMEB, short-caption retrieval, long-caption retrieval, compositional retrieval에서 textual discriminative knowledge distillation 후 각각 15%, 19.5%, 24.9%, 19.9% 향상된다.Hard negative enhanced instruction tuning만 사용하면 동일한 과제에서 각각 38.5%, 17.3%, 21.3%, 14.0% 향상된다.출처: §5.2 · p. 7
두 학습 단계를 결합하면 평가한 모든 downstream task에서 최적의 성능을 달성한다.두 번째 단계는 복잡한 instruction-following 능력 향상에 일부 힘입어 MMEB 성능도 크게 높인다.출처: §5.2 · pp. 7–8

임계값 제거 실험

β가 -0.1에서 0.1로 증가함에 따라 필터링 비율은 81.7%에서 22.9%로 감소하며, false negative로 제거되는 hard negative가 줄어 성능이 향상된다.β=0.3에서는 샘플의 13.1%만 필터링되고, false negative가 남아 성능이 소폭 하락한다.출처: §5.3 · p. 8

Hard Negative 개수

k=8은 k=4보다 성능이 높지만, k를 더 크게 설정하면 easy negative가 포함되어 성능이 점차 감소한다.각 배치 인스턴스에서 샘플링할 hard sample의 수는 k로 조절한다.출처: §5.4 · p. 8

의미 시각화

증류 후 예측 토큰은 추상적 묘사에서 구체적인 의미로 이동하고, hard-negative tuning 후에는 확률이 이미지와 정렬된 여러 토큰에 분산된다.예를 들어 “Pastoral”, “Peaceful” 같은 예측이 “cow”, “waterfront”, “house”로 대체된다.출처: §5.5 · p. 8

6 결론

UniME는 다양한 다운스트림 과제에서 판별력 있는 멀티모달 표현을 학습하기 위한 2단계 프레임워크다. 실험 결과, 모든 과제에서 일관된 성능 향상을 보였으며 판별력과 조합적 표현 능력도 강화됐다.

결론

UniME는 멀티모달 표현 학습을 위해 텍스트 기반 판별 지식 증류와 hard negative 강화 instruction tuning을 결합한다.두 번째 단계에서는 false negative를 걸러내고 인스턴스마다 여러 hard negative를 샘플링한다.출처: §6 · p. 8
이 프레임워크는 MMEB, 짧은 캡션 및 긴 캡션 검색, 조합적 검색 전반에서 판별력과 지시 따르기 능력을 향상한다.결론에서는 평가한 모든 과제에서 일관된 성능 향상을 보고한다.출처: §6 · p. 8

A.1 학습 세부 사항

오프라인 teacher 임베딩과 8×A100 GPU에서의 QLoRA를 사용해 두 백본 구성의 학습 시간을 줄인다.

1단계: 텍스트 판별 지식 증류

1단계에서는 오프라인 teacher 임베딩, QLoRA, 8×A100 GPU를 사용해 텍스트 전용 데이터로 학습한다.Phi3.5-V는 1시간, LLaVA-1.6은 2시간 만에 학습을 마친다.출처: §A.1 · p. 11

A.2 검색 과제 평가 벤치마크

UniME는 표준 프로토콜에 따라 짧은 캡션, 긴 캡션 및 조합적 이미지-텍스트 검색 벤치마크에서 평가되며, 주요 지표는 Recall@1이다.

평가에는 짧은 캡션, 긴 캡션 및 조합적 이미지-텍스트 검색 과제가 포함된다.출처: §A.2 · p. 11
검색 실험은 각 벤치마크의 표준 평가 프로토콜을 따른다.출처: §A.2 · p. 11
검색 과제에서 주요 보고 지표는 Recall@1이다.출처: §A.2 · p. 11
벤치마크 요약에는 테스트 질의 수와 질의당 테스트 후보 수가 명시된다.출처: Table 7 · p. 11

B 외부 결과

외부 결과 분석에서는 MMEB 벤치마크에서 UniME의 두 훈련 단계별 LoRA 랭크를 비교하고, 도메인 내 평가와 도메인 외 평가를 구분한다.

Table 8은 도메인 내 및 도메인 외 설정에서의 성능을 보고한다.출처: Table 8 · p. 11
Stage 1에서는 LoRA 랭크 32가 최적의 성능을 보이는 반면, Stage 2에서는 랭크 16이 가장 효과적이다.출처: §B.1 · p. 11
이 비교에서는 Phi-3.5V 백본을 사용해 MMEB 벤치마크에서 다양한 LoRA 랭크를 평가한다.출처: §B.1 · p. 11

B.2 MMEB의 구체적 결과

MMEB 분석에서는 UniME와 기준 모델을 비교하고, 학습 단계에 따라 UniME의 다음 토큰 예측 양상이 어떻게 달라지는지 살펴본다.

보고된 UniME, E5-V, VLM2Vec 결과는 LLaVA-1.6 백본을 사용한 각 모델의 최고 성능 변형을 기준으로 한다.출처: §B.2 · p. 11
단계별 비교에서는 텍스트 판별 지식 증류만 적용한 경우와 이를 hard-negative enhanced instruction tuning과 결합한 경우를 구분한다.출처: Figure 7 · p. 12
Figure 8은 학습 중 접하는 네거티브 샘플의 예를 제시한다.출처: Figure 8 · p. 12
Figure 7은 UniME의 학습 단계별 후속 토큰 예측 확률 상위 k개(top-k)를 비교한다.출처: §C.1 · p. 12, Figure 7 · p. 12

C.2 부정 데이터의 도식적 예시

부정 데이터 분석은 학습 예시를 제시하고, 주로 동의어 때문에 시각 데이터보다 텍스트 데이터에서 거짓 음성이 더 자주 발생한다고 보고한다.

거짓 음성은 시각 데이터보다 텍스트 데이터에서 더 자주 발생한다.출처: §C.2 · p. 12
텍스트 데이터에서 거짓 음성이 발생하는 주된 이유는 동의어의 존재로 보고되었다.출처: §C.2 · p. 12
Figure 8은 학습 중 접하는 부정 샘플의 예시를 제시한다.출처: §C.2 · p. 12, Table 9 · p. 13