PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

Gemini Embedding: Generalizable Embeddings from Gemini

Jinhyuk Lee, Feiyang Chen, Sahil Dua, Daniel Cer, Madhuri Shanbhogue, Iftekhar Naim, Gustavo Hernández Ábrego, Zhe Li, Kaifeng Chen, Henrique Schechter Vera, Xiaoqi Ren, Shanfeng Zhang, Daniel Salz, Michael Boratko, Jay Han, Blair Chen, Shuo Huang, Vikram Rao, Paul Suganthan, Feng Han, Andreas Doumanoglou, Nithi Gupta, Fedor Moiseev, Cathy Yip, Aashi Jain, Simon Baumgartner, Shahrokh Shahi, Frank Palma Gomez, Sandeep Mariserla, Min Choi, Parashar Shah, Sonam Goenka, Ke Chen, Ye Xia, Koert Chen, Sai Meher Karthik Duddu, Yichang Chen, Trevor Walker, Wenlei Zhou, Rakesh Ghiya, Zach Gleicher, Karan Gill, Zhe Dong, Mojtaba Seyedhosseini, Yunhsuan Sung, Raphael Hoffmann, Tom Duerig

arXiv:2503.07891v1cs.CLcs.AI

TL;DR

핵심 과제는 의미 정보를 포착하고 다양한 다운스트림 과제에서 성능을 발휘하는 범용 텍스트 임베딩을 구축하는 것이다. Gemini Embedding은 Gemini에서 초기화된 모델을 조정하고, 선별된 임베딩 과제 모음을 대조 학습으로 학습시킨다. MMTEB 평가에서 다국어, 영어, 코드 벤치마크 전반에 걸쳐 최고 성능을 보고했다.

  • 문제

    핵심 과제는 의미 정보를 포착하고 다양한 다운스트림 과제에서 성능을 발휘하는 범용 텍스트 임베딩을 구축하는 것이다.

    출처: §1 · p. 1

  • 방법

    Gemini Embedding은 Gemini에서 초기화된 모델을 조정하고, 선별된 임베딩 과제 모음을 대조 학습으로 학습시킨다.

    출처: §1 · p. 2, §3.1 · p. 4

  • 결과

    MMTEB의 다국어, 영어, 코드 평가 전반에서 Gemini Embedding은 최고 성능을 끌어올렸다. MTEB(Multilingual) Task Mean은 68.32로, multilingual-e5-large-instruct보다 +5.09 높다.

    출처: §1 · p. 3, §5.2 · p. 7, §8 · p. 12

  • 핵심 내용 및 한계

    Gemini Embedding의 표현은 분류, 유사도 검색, 클러스터링, 랭킹, 검색에 두루 활용되며, 사전 계산을 통해 연구자와 개발자가 더 폭넓게 사용할 수 있다.

    출처: §8 · p. 12

    보고된 연구는 텍스트 임베딩에 초점을 두며, 이를 이미지, 동영상, 오디오로 확장하는 일은 향후 과제로 남는다.

    출처: §7 · p. 11

Abstract

from arXiv · show

In this report, we introduce Gemini Embedding, a state-of-the-art embedding model leveraging the power of Gemini, Google's most capable large language model. Capitalizing on Gemini's inherent multilingual and code understanding capabilities, Gemini Embedding produces highly generalizable embeddings for text spanning numerous languages and textual modalities. The representations generated by Gemini Embedding can be precomputed and applied to a variety of downstream tasks including classification, similarity, clustering, ranking, and retrieval. Evaluated on the Massive Multilingual Text Embedding Benchmark (MMTEB), which includes over one hundred tasks across 250+ languages, Gemini Embedding substantially outperforms prior state-of-the-art models, demonstrating considerable improvements in embedding quality. Achieving state-of-the-art performance across MMTEB's multilingual, English, and code benchmarks, our unified model demonstrates strong capabilities across a broad selection of tasks and surpasses specialized domain-specific models.

1. 서론

Gemini Embedding은 다양한 작업과 언어를 위한 범용 임베딩 모델을 학습하는 데 Gemini의 역량을 활용하며, 다국어·영어·코드 벤치마크 전반에서 최고 성능을 보고한다.

1. 서론

  • 텍스트 임베딩은 벡터 간 근접성을 통해 의미적 유사성을 나타내며, 범용 모델은 검색, 군집화, 분류와 같은 작업을 지원하는 것을 목표로 한다.대규모 언어 모델의 사전학습 지식은 범용 임베딩 개발에 해당 모델을 활용하도록 이끌었다 (Anil et al., 2023a,b; Brown et al., 2020).출처: §1 · p. 1
  • 선행 연구에서는 LLM을 사용해 더 나은 학습 예시를 생성하거나 모델 매개변수를 초기화하여 임베딩 모델을 개선한다. 직접 초기화는 성능을 높이는 동시에 계산 부담을 늘릴 수 있다 (Lee et al., 2025; Neelakantan et al., 2022; Wang et al., 2023).예로는 hard-negative mining (Lee et al., 2024)과 합성 데이터 생성 (Dai et al., 2022; Wang et al., 2023)이 있다.출처: §1 · pp. 1–2
  • Gemini Embedding은 Gemini (Anil et al., 2023a; Team, 2024)를 초기화 모델로 사용하고, 대조 학습, 작업 프롬프트, 사전 미세조정, Model Soup 체크포인트 평균화를 적용해 선별된 이질적 데이터셋으로 학습한다.Gemini는 품질이 낮은 예시를 걸러내고, 관련성 높은 검색용 양성 및 음성 문단을 선택하며, 합성 데이터셋을 생성한다.출처: §1 · p. 2

1. Introduction

  • 68.32 on MMTEB multilingual task-mean scores is +5.09 above multilingual-e5-large-instruct, while the task-type mean of 59.64 is +3.64 above gte-Qwen2-7B-instruct; Gemini Embedding ranks first by Borda rank.The report also describes state-of-the-art performance on MTEB(Multilingual).출처: §1 · pp. 2–3, Table 1 · p. 2

1. 서론

  • Gemini Embedding은 XOR-Retrieve에서 최고 성능을 달성하며, 고자원 영어와 마케도니아어 같은 저자원 언어 모두에서 강한 성능을 보인다.XOR-Retrieve는 교차언어 검색을 평가한다. Table 1은 MTEB(English, v2), MTEB(Code), XTREME-UP도 다룬다.출처: Table 1 · p. 2, §1 · p. 3

2. 관련 연구

관련 연구에서는 임베딩 모델의 일반화 한계를 조명하고, 학습 데이터의 원천이자 임베딩 모델의 백본으로서 LLM을 검토한다.

텍스트 임베딩 모델

  • 기존 범용 임베딩 모델은 다양한 과제와 도메인 전반에 걸쳐 일반화하는 데 어려움을 겪어 왔으며, 새로운 과제와 도메인으로의 일반화를 강조하는 벤치마크의 개발을 촉진했다.MTEB (Enevoldsen et al., 2025; Muennighoff et al., 2023)는 이러한 맥락에서 개발되었다.출처: §2 · p. 3

임베딩 데이터 생성에 활용되는 LLM

  • LLM이 생성한 합성 질의와 과제 조건부 트리플릿은 다양한 학습 데이터를 제공하며, LLM 기반 방법은 여러 언어와 과제에 걸쳐 패시지 선택을 개선하고 생성 규모를 확대한다.Prior work explores synthetic query generation (Dai et al., 2022; Jeronymo et al., 2023; Nogueira et al., 2019), better positive and negative passage selection (Lee et al., 2024), and task-conditioned (query, positive, hard negative) triplets across nearly one hundred languages and hundreds of thousands of tasks (Wang et al., 2023).출처: §2 · p. 3

임베딩 모델로서의 LLM

3. Gemini Embedding

Gemini Embedding은 Gemini 파라미터에서 출발해 재사용 가능한 표현을 생성하도록 pooling 및 projection head를 추가한다. 학습에는 contrastive objective와 단계적 적응, checkpoint averaging을 결합한다.

3.1. 모델 아키텍처

  • Gemini Embedding은 Gemini에서 초기화한 양방향 transformer를 사용하고, 토큰 임베딩을 평균 풀링한 뒤 학습된 선형 projection을 적용해 하나의 출력 임베딩을 생성한다.Gemini 초기화는 사전 학습된 지식을 제공하며, projection은 풀링된 표현을 목표 차원에 맞게 조정한다.출처: §3.1 · p. 4

3.2. 학습 목표

  • 학습에는 query–positive-target 예제에 대한 배치 내 negative를 사용하는 noise-contrastive estimation과 지정된 task string이 쓰인다.task string은 질의응답이나 사실 확인과 같이 예제의 과제를 설명한다.출처: §3.2 · p. 4
  • 목표 함수는 동일 tower의 negative를 제외한다. 이런 negative는 false negative를 만들 수 있으며, 저자들은 이로 인해 대부분의 과제에서 성능이 낮아진다고 보고한다.손실에는 특히 목표 레이블 수가 적은 분류에서 중요한 masking term도 포함된다.출처: §3.2 · p. 5
  • Multi-resolution loss는 모델의 3,072차원 출력에서 768차원 및 1,536차원 subembedding을 지원한다.겹치는 임베딩 부분 차원에 별도의 손실을 적용한다.출처: §3.2 · p. 5

3.3. 학습 절차

  • Pre-finetuning은 큰 배치와 fine-tuning보다 훨씬 많은 step을 사용해, 노이즈가 있는 query–target 쌍에서 모델을 자기회귀 생성에서 인코딩으로 적응시킨다.큰 배치는 더 안정적인 gradient를 제공하고 노이즈를 완화하며, 이 단계에서는 hard-negative loss term을 제외한다.출처: §3.3 · p. 5
  • Fine-tuning은 과제 내 판별력을 높이기 위해 과제별 query, target, hard-negative 삼중항을 사용하며, 한 번에 하나의 데이터셋만 포함하는 더 작은 배치로 학습한다.저자들은 후보 checkpoint를 얻기 위해 학습 하이퍼파라미터와 혼합 구성 요소를 탐색한다.출처: §3.3 · p. 5
  • 최종 학습 절차에서는 추가적인 일반화 성능을 얻기 위해 선정된 fine-tuning checkpoint의 파라미터를 평균한다.실험에는 실행 내 및 실행 간 평균, 가중 평균, 의도적인 데이터 변형, 수동 checkpoint 선정이 포함된다.출처: §3.3 · p. 5

4. 데이터셋

Gemini Embedding의 학습 데이터는 다국어 임베딩 과제와 코드 검색 데이터를 결합하며, Gemini를 사용해 합성 데이터를 생성하고 품질이 낮은 예시를 걸러내며 어려운 부정 예시를 발굴한다. 데이터 파이프라인에는 과제, 언어, 코딩의 다양성을 고려해 구성한 십억 규모 웹 사전 파인튜닝 데이터와 파인튜닝 데이터 혼합이 포함된다.

4. 데이터셋

  • 학습 데이터 혼합물은 다양한 다국어 임베딩 과제와 코드 검색을 결합하며, Gemini는 합성 데이터 생성, 데이터 필터링, hard negative mining을 지원한다.출처: §4 · p. 6

4.1. 학습 데이터 구성

  • 사전 파인튜닝에서는 제목과 단락을 입력으로, 양성 타깃 쌍을 정답으로 사용해 모델을 십억 규모 웹 코퍼스에 노출한다.저자들은 임베딩 모델을 LLM으로 초기화한 경우에도 이 단순한 접근법이 일관되게 효과적이라고 보고한다.출처: §4.1 · p. 6

4.1. 학습 데이터 혼합물

  • 미세조정 데이터 혼합물은 과제·언어·코딩의 다양성을 목표로 한다. 저자들은 많은 도메인 내 MTEB 데이터셋을 제외했는데, 데이터 누출이나 데이터셋 편향으로 인해 성능 향상이 대부분 해당 데이터셋의 테스트 분할에만 국한되었기 때문이다.혼합 비율은 세밀한 그리드 탐색으로 정했으며, 각 학습 데이터셋의 최적 수렴 단계에서 초기화했다.출처: §4.1 · p. 6

4.2. Gemini를 활용한 데이터 품질 개선

  • 합성 검색 데이터는 Gemini가 생성한 웹 문단 질의를 auto-rater로 필터링해 만들며, 합성 영어 분류 데이터는 반사실, 감성, 리뷰 과제를 다룬다.다단계 프롬프팅은 합성 사용자·제품·영화 생성을 조건으로 사용하고, 다양성을 높이기 위해 더 긴 생성 목록에서 표본을 추출한다.출처: §4.2 · p. 6
  • Gemini는 사람이 주석한 검색 예제를 평가하고, 양성 또는 음성 타깃이 잘못된 저품질 사례를 제거한다.출처: §4.2 · p. 6
  • 검색 hard negative를 찾기 위해 Gemini는 초기 학습 임베딩 모델의 top-k 이웃을 등급 분류 및 질의 가능도 프롬프트로 채점하고, Reciprocal Rank Fusion으로 점수를 결합한 뒤 점수가 가장 낮은 이웃을 선택한다.출처: §4.2 · p. 6

5. 평가

Gemini Embedding은 다국어, 영어, 코드 벤치마크 전반에서 최고 수준의 성능을 보이며, 교차 언어 검색에서도 강력한 결과를 낸다. 평가는 다양한 MMTEB 과제와 교차 언어 벤치마크를 아우르며, 학습 데이터 혼합 실험에서는 다국어 파인튜닝과 합성 데이터 자기 학습에 따른 성능 향상을 확인한다.

5.1. 벤치마크 및 과제

  • 평가에는 250개 이상의 언어와 10개 과제 유형에 걸친 MMTEB 과제 164개, 7개 언어의 XOR-Retrieve 질의, 그리고 저자원 인도유럽어 20개의 XTREME-UP 질의가 포함된다.출처: §5.1 · p. 7

5.2. 종합 성능

  • Task Mean 68.32, Task Type Mean 59.64, Borda 순위 #1로 MTEB(Multilingual)에서 최첨단 성능을 입증하며, Gemini는 MTEB(Eng, v2)와 MTEB(Code)에서도 1위를 차지한다.보고서는 XOR-Retrieve와 XTREME-UP의 교차 언어 검색 성능도 범용 임베딩의 최첨단을 앞선다고 설명한다.출처: §5.2 · p. 7
  • MTEB(Multilingual)에서는 차순위 모델 대비 분류 +9.6, 군집화 +3.7, 검색 +9.0의 향상을 보이며, MTEB(Eng, v2)에서는 각각 +7.1, +5.3, +4.3의 향상을 보인다.출처: §5.2 · p. 8
  • Gemini는 8개 과제 전반의 평균 성능과 Borda 순위에서 MTEB(Code) 선두를 차지하고, 7개 과제에서 Mean -COIR 최고 성능을 보인다. XTREME-UP 결과에서는 자원 부족 언어 20개 전반에서 검색 성능이 향상된 것으로 나타난다.정성적 XTREME-UP 사례에서는 번역 없이 아삼어 및 힌디어 질의에 관련 영어 문단을 검색하며, 오타가 있는 힌디어 질의도 포함된다.출처: §5.2 · pp. 8–9, Table 5 · p. 9, Figure 2 · p. 9

5.3. 정성적 사례

  • 영어 전용 학습도 MTEB(Multilingual), MTEB(Eng, v2), XOR-Retrieve에서 좋은 성능을 보인다. 다국어 파인튜닝은 XTREME-UP의 롱테일 언어에서 가장 큰 효과를 내며, 합성 데이터 자기 학습은 분류 성능을 +17.6 높인다.출처: Table 6 · p. 10, Table 7 · p. 10

6. 어블레이션 연구

어블레이션 연구에서는 Gemini Embedding의 학습 구성을 체계적으로 분석한다. 이 모델은 언어와 과제 전반에 걸쳐 일반화되며, 합성 데이터 생성, 검색 데이터 필터링, hard-negative mining으로 성능이 향상된다.

6.1. Gemini Embedding은 다국어 과제에 일반화되는가?

  • 영어 데이터만으로 파인튜닝해도 대부분 제로샷으로 평가되는 MTEB(Multilingual)에서 높은 성능을 보이고 XTREME-UP에서는 최상위 임베딩 모델을 능가해 언어 간 일반화 능력을 입증한다.사전 파인튜닝은 여러 벤치마크에서 성능을 높인다. 반면 다국어 검색 데이터만으로 구성한 혼합 데이터의 점수가 더 낮다는 결과는 파인튜닝에서 언어 다양성보다 과제 다양성이 중요함을 시사한다.출처: §6.1 · p. 10

6.2. Gemini는 데이터 품질을 어떻게 개선하는가?

  • Gemini가 필터링한 MIRACL 학습 데이터는 일부 언어에서 소폭의 성능 저하만 나타내며 여러 언어에서 일관되게 결과를 개선한다.영어 데이터 혼합물도 다국어 과제의 품질을 높여 Gemini Embedding이 Table 8에서 최고 성능을 달성한다.출처: Table 8 · p. 11, §6.2 · p. 11
  • Gemini가 선택한 hard negative는 네 가지 데이터셋에서 대체로 검색 성능을 높이지만, hard negative가 지나치게 많으면 과적합을 일으켜 검색 성능을 떨어뜨릴 수 있다.이 연구는 향후 과제로 정규화와 더 나은 hard-negative 샘플링을 제시한다.출처: Figure 3 · p. 11, §6.2 · p. 11
  • 제로샷 합성 분류 데이터셋으로 학습하면 여러 데이터셋에서 성능이 크게 향상되며, Gecko의 AmazonPolarity 사례처럼 도메인 내 데이터와 비슷한 성능을 낼 수 있다.다단계 프롬프팅 전략은 제어 가능한 데이터 생성을 가능하게 하며 실제 데이터에 비해 편향을 줄일 수 있다.출처: §6.2 · p. 11

7. 향후 연구

향후 연구에서는 Gemini Embedding을 텍스트에서 이미지, 동영상, 오디오로 확장해 여러 모달리티의 조합을 하나의 임베딩 공간에 표현하고자 한다. 이를 위해 단일 모달 및 멀티모달 역량의 균형을 맞추는 적절한 멀티모달 학습 데이터와 학습 레시피가 필요하다.

7. 향후 연구

  • 향후 연구에서는 Gemini Embedding을 이미지, 동영상, 오디오로 확장해 여러 모달리티의 조합을 하나의 임베딩 공간에 표현하고자 한다.저자들은 일반화 가능한 표현을 학습하기 위한 멀티모달 데이터 과제를 선별하고, 단일 모달 및 멀티모달 역량의 균형을 맞추는 학습 레시피를 개발할 계획이다.출처: §7 · p. 11

8. 결론

Gemini Embedding은 Gemini의 다국어 및 코드 처리 역량을 재사용 가능한 표현으로 구현해 다양한 언어, 영역, 과제에 적용한다. MMTEB 평가에서 다국어, 영어, 코드 평가 전반에 걸쳐 이전 최고 성능 모델보다 큰 성능 향상을 보였다.

8. 결론

  • Gemini Embedding은 여러 언어와 영역에서 분류, 유사도 검색, 군집화, 순위화, 검색에 활용할 수 있는 다목적 표현으로 입력을 인코딩하는 통합 범용 모델이다.Gemini의 다국어 및 코드 이해 역량을 기반으로 한다.출처: §8 · p. 12
  • 이 모델은 Gemini의 역량을 표현 학습에 적용하며, 학습 데이터셋 다수를 Gemini 자체로 생성한다.표현을 사전 계산하고 캐시해 재사용할 수 있으므로 연산량과 지연 시간에 민감한 환경에서도 활용할 수 있다.출처: §8 · p. 12
  • MMTEB 평가에서 다국어, 영어, 코드 평가 전반에 걸쳐 이전 최고 성능 모델보다 큰 성능 향상을 보였으며, 특히 분류, 군집화, 검색에서 강점을 보였다.사전 계산 가능한 표현을 통해 연구자와 개발자가 더 폭넓게 활용할 수 있다.출처: §8 · p. 12

9. 전체 결과

이 절에서는 다국어, 영어 및 코드 임베딩 벤치마크와 XOR-Retrieve 및 XTREME-UP 전반의 전체 결과를 제시한다.

전체 결과

  • Table 9에는 Gemini Embedding의 MTEB(Multilingual) 전체 결과가 보고되어 있다.출처: Table 9 · p. 16
  • Table 10에는 MTEB(Eng, v2) 및 MTEB(Code)의 전체 결과가 보고되어 있다.출처: Table 10 · p. 17
  • Table 11에는 XOR-Retrieve 및 XTREME-UP의 전체 결과가 보고되어 있다.출처: Table 11 · p. 17

10. 기여 및 감사의 말

이 절에서는 논문의 핵심 기여자를 밝히고 별표로 동등 기여를 표시한다.

10. 기여 및 감사의 말

  • 핵심 기여자는 Jinhyuk Lee*, Iftekhar Naim, Gustavo Hernández Ábrego, Zhe Li, Kaifeng Chen, Henrique Schechter, Vera Xiaoqi Ren, Shanfeng Zhang, Daniel Salz, Michael Boratko, Jay Han, Blair Chen, Shuo Huang 및 Vikram Rao다.별표는 동등한 기여를 나타낸다.출처: §10 · p. 18

Related papers

Loading 2503.07891v1…