Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini

1. 서론

• 후기 융합 모델은 단일 모달 및 교차 모달 기능을 제공하지만, 모달리티 간 상호작용을 활용하지 않아 여러 모달리티가 혼합된 입력을 처리하는 데 한계가 있다.CLIP [1], ALIGN [2], SigLIP 2, CoCa 는 모달리티 간에 짝지어진 데이터로 모달리티별 인코더를 학습한다. 모달리티 내부와 모달리티 사이의 의미적 일관성은 동영상 추천과 문서 검색 같은 응용을 위한 더 풍부한 표현의 필요성을 뒷받침한다.출처: §1 · pp. 1–2
• Gemini Embedding 2는 Gemini [5]와 다양한 다중 과제 학습을 활용해 텍스트, 이미지, 동영상, 오디오와 이들의 임의 조합을 하나의 표현 공간에 임베딩한다.학습 과정에서 모달리티 간 상호작용을 포착하며, 멀티모달 대규모 언어 모델은 교차 모달 상호작용의 심층 융합을 통해 더 풍부한 임베딩을 생성할 수 있게 한다.출처: §1 · p. 2
• 오디오 직접 이해와 멀티모달 이해는 ASR이나 캡션 생성 같은 텍스트 기반 대안보다 성능이 뛰어나다.서론에서는 수치 결과 없이 이 비교를 제시한다.출처: §1 · p. 2
• 서로 섞어 배치한 이미지, 텍스트, 동영상 입력을 통해 시각·텍스트 프롬프트를 결합해 동영상에서 특정 시점의 사건을 검색할 수 있다.선별해 구성한 학습 과제는 문서 검색, 동영상 추천, 오디오 기반 검색, RAG 응용도 대상으로 한다 [6].출처: §1 · p. 2
• Gemini Embedding 2는 다국어 및 코드 임베딩에서 최고 성능을 달성하며, 교차 모달 검색에서도 우수한 성능과 전문 분야로의 일반화 능력을 보인다.평가는 Massive Multilingual Text Embedding Benchmark (MMTEB) [7]와 교차 모달 검색 벤치마크인 MSCOCO [8], Flickr30k [9], MSR-VTT 를 비롯해 학술 및 기업용 벤치마크 전반에 걸쳐 이루어진다.출처: §1 · p. 2, Figure 2 · p. 3

텍스트 임베딩 모델로서의 대규모 언어 모델

• 텍스트 임베딩 연구는 인코더 전용 아키텍처에서 지시 조정된 표현과 LLM 기반 학습으로 이동해 왔으며, BGE [13], E5 [14], Gecko [15], NV-Embed [16]가 이를 보여준다.BGE [13]와 E5 [14]는 작업별 접두사를 통해 다운스트림 작업을 통합하고, Gecko [15]는 초대규모 교사 LLM으로부터 2단계 증류를 수행한다. NV-Embed [16]는 지시 조정 기반 대조 학습과 검색 이외 작업의 합성 데이터를 결합한다. Gemini Embedding [18]은 합성 데이터와 강력한 다국어 일반화 능력을 활용해 MMTEB에서 최고 성능을 달성한다.출처: §2 · p. 3

멀티모달 임베딩 모델의 발전

• 멀티모달 임베딩은 CLIP [1]과 ALIGN [2] 같은 이미지–텍스트 듀얼 타워 모델을 넘어, 다단계 대조 학습을 통한 통합 의미 공간으로 발전하고 있다.SAIL-Embedding [19]은 산업용 추천을 위해 콘텐츠 인식 점진적 학습을 사용한다. Amazon Nova MME 와 SigLIP 2 는 모달리티 간 검색에서 강력한 성능을 보인다.출처: §2 · p. 4

양방향 어텐션을 위한 아키텍처 조정

• MoCa [21]는 모달리티 인식 지속 사전학습과 공동 재구성을 통해 인과적 어텐션의 한계를 해결한다. 교차 배치된 텍스트와 이미지의 잡음을 제거해 문맥을 고려한 양방향 추론을 촉진한다.반면 MM-Embed 는 모달리티 인식 하드 네거티브 마이닝으로 모달리티 편향을 완화해, 텍스트 간 유사도가 모달리티 간 관련성을 압도하지 않도록 한다.출처: §2 · p. 4

기업 활용 사례에 대한 적응

• 기업 문서 임베딩에는 긴 문맥과 복잡한 시각 문서의 효율적 처리가 필요하므로, RAG 품질은 청킹과 같은 처리 파이프라인 설계 선택에 좌우된다.비전 인코더의 타일 기반 혼합을 비롯한 특화된 시각 문서 처리 방식은 PDF, 차트, 표를 지원한다.출처: §2 · p. 4

2. 관련 연구

• Gemini Embedding 2는 다단계 증류, LLM 백본 적응, 기업용 응용의 역량을 통합해 다양한 활용 사례에 별도 조정 없이 쓸 수 있는 단일 모델을 제공한다.이 논문은 이러한 통합을, 해당 역량을 주로 개별적으로 다룬 선행 아키텍처와 대비한다.출처: §2 · p. 4

3.1. 모델 구조

• Gemini로 초기화하여 사전 학습된 지식을 활용하고, 과제별·모달리티별·모달리티 간 미세 조정을 통해 통합적인 표현을 구축한다. 이 과정에서 원시 이미지·비디오·오디오 입력을 위한 Gemini 고유의 변환을 활용한다.이 표현은 검색, 군집화, 분류, 순위화를 지원한다.출처: §3.1 · pp. 4–5
• Gemini로 초기화한 양방향 트랜스포머가 토큰 임베딩을 생성하면 평균 풀링으로 결합하고, 무작위로 초기화한 선형 투영으로 목표 임베딩 차원에 매핑한다.평균 풀링은 시퀀스 축을 따라 토큰 임베딩의 평균을 구한다.출처: §3.1 · p. 5

3.2. 학습 목적 함수

• 배치 내 음성 샘플 [24]을 사용하는 잡음 대조 추정으로 단일 모달리티·다중모달·교차모달 과제를 학습하고, 텍스트 과제 문자열을 무작위로 생략하여 해당 문자열이 없을 때의 강건성을 높인다.정확한 손실 함수는 과제마다 다르며, 텍스트 과제 문자열은 질의응답이나 사실 확인과 같은 목적을 기술한다.출처: §3.2 · p. 5
• 3,072차원 임베딩은 서로 겹치는 임베딩 앞부분에 MRL [25] 손실을 적용하며, 768차원과 1,536차원 지원을 최적화한다.첫 768차원과 첫 1,536차원 등 임베딩의 앞부분에 각각 별도의 손실을 적용하여 하나의 모델에서 여러 출력 차원을 지원한다.출처: §3.2 · p. 5

3.3. 학습 절차

• 사전 미세 조정은 잡음이 섞인 이미지·텍스트·코드 쌍으로 생성 모델을 인코딩에 적응시키고, 미세 조정은 과제별 배치 크기를 사용해 문서·오디오·비디오 과제를 추가한다.사전 미세 조정은 큰 배치로 기울기를 안정화하며, 두 단계 모두 지정된 샘플링 비율에 따라 단일 과제 배치를 구성한다. 미세 조정은 질의–대상–하드 네거티브 삼중항을 자주 사용하고, 단일 모달리티 및 교차모달 배치를 통해 모달리티를 정렬하며, 샘플링 비율과 배치 크기에 민감하다.출처: §3.3 · p. 6
• Model soup은 미세 조정 체크포인트의 매개변수를 평균화하여 모달리티 전반의 일반화 성능을 높이는 방법으로, 동일 실행 내 체크포인트 평균화 [26], 서로 다른 실행 간 평균화 [27], 가중 조합을 탐색한다.제공된 본문은 이러한 조합을 설명하지만, 성능 향상을 정량화하거나 가장 우수한 조합을 명시하지는 않는다.출처: §3.3 · p. 6

4.1. 멀티모달 검색

• Gemini Embedding 2는 가장 높은 전체 평균 점수를 기록하며, 단일 모달 이미지 검색과 텍스트→이미지, 이미지→텍스트, 텍스트→비디오 검색 비교에서 선두를 차지한다.긴 캡션을 사용하는 DOCCI와 TextCaps 벤치마크에서 특히 우수한 결과를 보인다. Vatex, MSR-VTT, YouCook2에서도 각 데이터셋의 도메인 내 학습 분할을 사용하지 않고도 높은 성능을 보인다.출처: Table 1 · p. 7, §4.1 · p. 7
• Gemini Embedding 2는 ViDoRe Benchmark V2 [35]에서 64.9를 기록해 Amazon Nova MME의 60.6을 웃돌고 Voyage-3.5-multimodal의 65.5에 근접한다.이 문서 검색 벤치마크는 페이지 수준의 시각적 구조, 레이아웃, 페이지 내 텍스트에 대한 이해를 요구한다. 비교 대상 중 비디오, 오디오, 이미지, 텍스트를 모두 지원하는 모델은 Gemini Embedding 2와 Amazon Nova MME뿐이다.출처: Table 1 · p. 7, §4.1 · pp. 7–8

4.2. MMTEB

• Gemini Embedding 2의 MMTEB 과제별 평균은 69.9로, 이전 텍스트 전용 Gemini Embedding 모델의 68.32를 넘어선다.Gemini Embedding 2는 이 텍스트 전용 벤치마크에서 다른 멀티모달 모델도 능가한다. MMTEB [7]는 250+개 언어와 10개 과제 유형을 포괄한다.출처: Table 2 · p. 8, §4.2 · p. 8
• Gemini Embedding 2는 MTEB Code v1 [7]과 CoIR [40]에서 기존 텍스트 전용 모델과 voyage-code-3를 능가하며 최고 성능을 경신한다.MTEB Code v1 [7]은 15개 프로그래밍 언어에 걸친 12개 코드 검색 과제로, CoIR [40]은 9개 프로그래밍 언어에 걸친 10개 과제로 구성된다.출처: Table 2 · p. 8, §4.2 · p. 8

4.3. MSEB

• MSEB [41] 평가는 음성 질의로 대규모 코퍼스에서 관련 텍스트 문서를 검색하는 데 초점을 맞춘다.벤치마크의 검색용 분할을 사용해 Gemini Embedding 2의 청각 처리 능력을 평가한다.출처: §4.3 · p. 9

4.3.1. 실험 설정

• 오디오 실험은 통합 아키텍처의 영향을 분리해 살펴보기 위해 ASR 전사 후 텍스트 인코딩과 원시 오디오 직접 인코딩을 비교한다.주요 지표는 mrr@10이며, 동일 언어 검색용 PassageInLang과 언어 간 검색용 PassageCrossLang에서 각각 평가한다.출처: §4.3.1 · p. 9

4.3.2. 결과

• MSEB에서 네이티브 오디오 처리의 평균 검색 mrr@10은 73.99로, ASR 기반 접근법의 70.40을 넘어선다.PassageInLang은 +2.0점(75.58 vs. 73.58), PassageCrossLang은 +5.01점(72.56 vs. 67.55) 향상된다. 직접 인코딩은 잘못된 전사 결정을 전파하는 대신 음향적 모호성, 운율, 억양, 강조를 보존한다.출처: Table 3 · p. 9, §4.3.2 · pp. 9–10

5.2. 합성 데이터의 영향

• Gemini로 생성한 합성 학습 데이터를 추가하면 세 가지 코드 검색 과제에서 Gemini Embedding [18] 대비 평균 +15.81점의 성능 향상을 보인다.이 분석은 model souping을 제외하고 CodeFeedbackMT [47], SyntheticText2SQL, CodeFeedbackST [40]을 평가하며, 특히 CodeFeedbackMT [47]에서 향상 폭이 크다. 멀티모달 모델은 합성 데이터를 추가하기 전에도 이전 텍스트 전용 모델보다 높은 성능을 보인다.출처: Table 5 · p. 11, §5.2 · p. 11

5.1. 전문 분야로의 일반화

• 천문학에서 64.4 R@5, 현미경 영상에서 79.3을 기록하며, 평가한 모든 전문 분야의 제로샷 이미지-텍스트 검색에서 최고 수준의 성능을 달성한다.평가에는 미술 및 요리 검색도 포함된다. 요리 재료와 조리 지침 검색은 각각 90.2와 92.1 R@5에 도달하며, SigLIP2-Giant의 성능은 각각 81.2와 80.4다.출처: §5.1 · pp. 10–11
• Gemini Embedding 2는 전문 분야에 따라 성능이 크게 변하는 기준 모델 계열들과 달리 일관된 도메인 간 정렬을 유지한다.TIPS [46] 계열의 TIPS-G14는 ArtCap에서 65.2 R@5를 기록하지만 MicroVQA에서는 20.0에 그친다. SigLIP2 계열은 Recipe1M에서 81.2에 도달하지만 ArtCap에서는 8.4로 떨어진다.출처: §5.1 · p. 11

5.3. 미세조정과 사전 미세조정의 영향

• 최종 미세조정은 평가한 거의 모든 이미지 및 비디오 벤치마크에서 사전 미세조정보다 성능을 높이며, 가장 큰 향상은 추가 비디오 학습 데이터에 기인한다.이미지 과제의 성능 향상은 일관되지만 상대적으로 작다.출처: Figure 3 · p. 12, §5.3 · p. 12

5.4. 도메인 내 비디오 데이터의 영향

• 특정 과제에 맞춘 미세조정 후 MSR-VTT에서 76.1%, Vatex에서 79.5% NDCG@10을 기록하며, model souping은 과제별 성능 향상과 원래 모델의 강건성 사이의 균형을 맞춘다.O(k)의 추가 데이터로 한 에포크를 학습하는 데는 수천 스텝만 필요하지만, YouCook2 성능은 55.3%로 하락한다. 미세조정한 가중치와 원래 가중치를 보간하면 여러 경우에 걸쳐 각 과제에서 기준 모델 대비 성능이 향상된다.출처: Table 6 · p. 12, §5.4 · pp. 12–13

• 네이티브 멀티모달 기능은 중간 모달리티로 변환하지 않고도 에이전트형 RAG, 동영상 추천, 모달리티 교차 입력 기반 멀티모달 검색을 지원할 수 있다.출처: §6 · p. 13
• 랭킹과 같은 검색 시스템 신호를 통합하면 고성능 LLM 백본을 활용해 임베딩 검색 성능을 높일 수 있다.출처: §6 · p. 13
• 에이전트형 RAG 응용에서 착안한 종단 간 RAG 학습을 통해 기업의 활용 사례에 맞춰 임베딩을 미세 조정할 수 있다.출처: §6 · p. 13
• 저자들은 새롭게 등장하는 모달리티 교차 입력 처리 능력을 벤치마킹할 평가 체계를 학계가 개발할 것을 제안한다.출처: §6 · p. 13

7. 결론

• Gemini Embedding 2는 MSCOCO, Vatex, MMTEB에서 획기적인 성능을 달성하며, 특히 코드 검색에서 큰 성능 향상을 보인다.결론에서는 이 모델을 텍스트 전용 Gemini Embedding의 뒤를 잇는 최첨단 멀티모달 모델로 제시한다.출처: §7 · p. 13
• Gemini Embedding 2는 텍스트, 이미지, 오디오, 비디오가 교차 배치된 입력의 임의 조합을 임베딩하며, 폭넓은 과제에 걸쳐 일반화한다.Gemini의 멀티모달, 다국어, 코드 중심 기반 역량을 활용한다.출처: §7 · p. 13
• 오디오 직접 입력은 검색 과제에서 기존 ASR보다 뛰어난 성능을 보이며, 비용이 많이 드는 과제별 지시문도 제거해 모델의 효율성을 더욱 높인다.출처: §7 · p. 13
• 이 모델은 일반 과제뿐 아니라 현미경 영상, 천문학, 요리 예술 등 전문 분야 전반에서도 뛰어난 성능을 보인다.출처: §7 · p. 13
• 통합 임베딩 접근법은 데이터 간 검색을 가능하게 하며, Gemini와 함께 작동하는 차세대 에이전트 시스템의 기반을 제공한다.출처: §7 · p. 13

8. 전체 결과

• 전체 결과 표는 MTEB (Multilingual)과 MTEB(Code)에서 Gemini Embedding 2의 결과를 다룬다.표 캡션만 제공되어 벤치마크 점수와 비교 성능은 요약할 수 없다.출처: Table 7 · p. 18, Table 8 · p. 19

핵심 기여자

• Madhuri Shanbhogue, Zhe Li, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain은 동등하게 기여한 것으로 명시되어 있다.별표는 동등한 기여를 뜻한다.출처: §9 · p. 20
• 추가 기여자로 Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu가 포함된다.전체 명단에는 Daniel Cer, Georg Heigold, Wenlei Zhou 등의 기여자도 포함된다.출처: §9 · p. 20

총괄진

• 총괄진으로 Raphael Hoffmann, Zach Gleicher, Yunhsuan Sung, Qin Yin, Tom Duerig, Mojtaba Seyedhosseini가 명시되어 있다.출처: §9 · p. 20