PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

Diffusion-Pretrained Dense and Contextual Embeddings

Sedigheh Eslami, Maksim Gaiduk, Markus Krimmel, Louis Milliken, Bo Wang, Denis Bykov

arXiv:2602.11151v2cs.LGcs.CLcs.IR

TL;DR

공개 벤치마크는 실제 서비스의 웹 규모 검색에서 발생하는 어려움을 충분히 반영하지 못한다. 이 논문은 확산 사전학습 백본에서 다단계 대조학습으로 학습한 다국어 검색 임베딩 모델군 pplx-embed를 소개하며, 문서 맥락을 반영하는 모델도 포함한다. 이 모델들은 공개 벤치마크와 내부 웹 규모 벤치마크 전반에서 우수한 성능을 보인다.

  • 문제

    공개 벤치마크는 실제 서비스의 웹 규모 검색에서 나타나는 롱테일 질의, 잡음이 많은 문서, 분포 변화를 충분히 반영하지 못한다.

    출처: §3.2 · p. 10

  • 방법

    pplx-embed는 확산 사전학습 백본에서 다단계 대조학습으로 다국어 검색 임베딩을 학습하며, 문서 수준의 맥락을 반영해 지문을 인코딩하는 맥락화 모델도 제공한다.

    출처: §1 · pp. 1–2

  • 결과

    pplx-embed는 공개 벤치마크와 내부 웹 규모 벤치마크 전반에서 우수한 검색 성능을 보이며, INT8 pplx-embed-v1-4B는 MTEB(Multilingual, v2)에서 평균 nDCG@10 69.66%를 달성한다.

    출처: §1 · p. 2, §6 · p. 14

  • 시사점 및 한계

    기본 학습 과정에 통합된 양자화 인지 학습은 INT8 및 이진 임베딩을 직접 생성하여 실제 배포에 이점을 제공한다.

    출처: §6 · p. 14

Abstract

from arXiv · show

In this report, we introduce pplx-embed, a family of multilingual embedding models that employ multi-stage contrastive learning on a diffusion-pretrained language model backbone for web-scale retrieval. By leveraging bidirectional attention through diffusion-based pretraining, our models capture comprehensive bidirectional context within passages, enabling the use of mean pooling and a late chunking strategy to better preserve global context across long documents. We release two model types: pplx-embed-v1 for standard retrieval, and pplx-embed-context-v1 for contextualized embeddings that incorporate global document context into passage representations. pplx-embed-v1 achieves competitive performance on the MTEB(Multilingual, v2), MTEB(Code), MIRACL, BERGEN, and ToolRet retrieval benchmarks, while pplx-embed-context-v1 sets new records on the ConTEB benchmark. Beyond public benchmarks, pplx-embed-v1 demonstrates strong performance on our internal evaluation suite, focusing on real-world, large-scale search scenarios constructed from 1B production web pages. These results validate the models' effectiveness in production environments where retrieval quality and efficiency are critical at scale.

1. 서론

pplx-embed는 확산 기반 양방향 사전학습과 다단계 대조 학습으로 다국어 일반 검색과 문맥 기반 검색을 수행한다. INT8 임베딩으로 경쟁력 있는 검색 성능을 제공하며, 일반 검색용 모델과 문서 문맥을 반영한 구절 임베딩용 모델을 별도로 제공한다.

1. 서론

  • 확산 기반 추가 사전학습으로 인과적 LLM을 양방향 인코더로 전환한 뒤, 대규모 질문-문서 쌍과 삼중항으로 다단계 대조 학습을 수행한다.대조 학습은 임베딩 공간의 기하 구조가 의미적 유사성을 반영하도록 한다. 양방향 어텐션은 인과적 마스킹보다 문서의 전역 문맥을 더 포괄적으로 모델링할 수 있다.출처: §1 · pp. 1–2
  • 매개변수 수가 0.6B 및 4B인 모델로 일반 검색용 pplx-embed-v1과 문서 문맥을 반영한 구절용 pplx-embed-context-v1을 제공하며, 지시문 접두사를 사용하지 않는다.두 모델 모두 지시문 튜닝을 거치지 않았다. 모델 자체의 양자화 인지 학습으로 INT8 임베딩을 기본 출력하여, 효율성을 높이면서 경쟁력 있는 성능을 제공한다.출처: §1 · p. 2
  • INT8 pplx-embed-v1-4B는 MTEB(Multilingual, v2)에서 평균 nDCG@10 69.66%를 기록해 Qwen3-Embedding-4B (69.60%)와 gemini-embedding-001 (67.71%)을 앞선다.MTEB(Code)와 MIRACL 에서도 경쟁력 있는 성능을 보인다.출처: §1 · p. 2
  • pplx-embed-context-v1-4B는 ConTEB (Conti et al., 2025)에서 평균 nDCG@10 81.96%를 기록해 voyage-context-32 (79.45%)와 Anthropic Contextual3 (72.4%)를 능가한다.이 비교는 문맥 기반 검색을 평가한다.출처: §1 · p. 2
  • pplx-embed-v1-4B는 ToolRet (Shi et al., 2025)에서 평균 nDCG@10 44.45%를 기록해 더 큰 7B 모델들을 앞선다.NV-Embed-v1 (Lee et al., 2025a)은 42.71%, GritLM-7B (Muennighoff et al., 2025)는 41.13%를 기록한다. 검색으로 대규모 API 말뭉치에서 관련 도구를 미리 선별해 문맥 사용량을 줄일 수 있다.출처: §1 · p. 2
  • BERGEN (Rau et al., 2024)의 질의응답 과제 다섯 개 중 세 개에서 pplx-embed-v1-0.6B가 더 큰 Qwen3-Embedding-4B를 앞선다.BERGEN 전반에서 pplx-embed-v1은 BGE-M3 (Chen et al., 2024)와 Qwen3-Embedding을 일관되게 능가한다. 웹 규모의 일차 검색을 평가하는 내부 벤치마크에서도 이들 모델 계열보다 우수한 성능을 보인다.출처: §1 · p. 2

2. PPLX 임베딩

pplx-embed는 확산 사전학습, 쌍 학습, 문맥 학습, 하드 네거티브 삼중항 학습을 결합한 분기형 학습 과정을 거친 뒤 병합과 선택을 수행한다. 문맥 학습으로 pplx-embed-context-v1을 만들고, 문맥 학습과 삼중항 학습 체크포인트를 병합해 pplx-embed-v1을 만든다.

2. PPLX 임베딩

  • pplx-embed-context-v1은 문맥 학습으로 얻으며, pplx-embed-v1은 구면 선형 보간 으로 문맥 모델과 삼중항 학습 체크포인트를 병합해 만든다.이 학습 과정은 네 가지 학습 방식을 분기별로 결합한 뒤 병합과 선택을 수행한다. 삼중항 학습은 쌍 학습과 문맥 학습 후 얻은 체크포인트에서 시작한다.출처: §2 · pp. 2–3

2.1. 추가 확산 사전학습

  • 추가 확산 사전학습은 인과 마스킹을 제거하고 마스킹된 토큰 복원을 학습해 Qwen3-0.6B와 4B 백본 (Yang et al., 2025)을 양방향 인코더로 전환한다.약 250 십억 개의 사전학습 토큰을 영어로 작성된 교육용 페이지와 그 외 29개 언어에 절반씩 배분하며, 마스킹된 위치의 교차 엔트로피에 1/t의 가중치를 적용한다. 각 시퀀스에서 t를 0.001부터 1까지 균등하게 샘플링하고, 각 토큰을 확률 t로 독립적으로 마스킹한다. 자기회귀 학습의 왼쪽 시프트는 유지하며, 인과 마스크 어닐링은 뚜렷한 개선을 보이지 않았다.출처: §2.1 · p. 3

2.2. 풀링과 양자화

  • 추론과 대조 학습에서 평균 풀링과 INT8 양자화를 함께 사용하며, 학습 없이 적용하는 사후 이진화는 성능 저하가 미미하다.반올림은 straight-through 기울기 추정 (Bengio et al., 2013)으로 처리한다. 정수 임베딩의 원소는 −127부터 127까지이며 코사인 유사도로 비교한다. 이진 양자화는 평균 풀링한 원소를 −1 또는 1로 매핑한다.출처: §2.2 · p. 4

2.3. 쌍 학습

  • 쌍 학습은 배치 내 문서와 질의를 네거티브로 사용하는 InfoNCE를 적용하며, 영어 전용 데이터에서 영어와 교차언어 데이터로, 마지막에는 전체 다국어 쌍 데이터셋으로 확장한다.Zhang et al. (2025b)에서 착안한 설계에 따라, 코사인 유사도가 양성 쌍보다 0.1 넘게 높은 네거티브는 위음성일 가능성이 높다고 보고 마스킹한다.출처: §2.3 · pp. 4–5

2.4. 문맥 학습

  • 문맥 학습은 국소적인 청크 구별과 전역적인 질의-문서 정렬을 공동 최적화해 청크 임베딩에 문서 전체 정보를 보존한다.국소 손실은 정답 청크를 동일 문서 및 배치의 청크와 대조한다. 전역 InfoNCE는 해시로 식별한 중복 문서와 유사도 임계값으로 판별한 위음성을 마스킹하며, 질의-질의 네거티브도 포함한다. 코사인 스케줄에 따라 beta를 0.2에서 0.5로 높여 문서 수준 학습을 점차 강화함으로써 문서의 개괄적 의미를 잊는 현상을 완화한다.출처: §2.4 · pp. 5–6

2.5. 삼중항 학습

  • 삼중항 학습은 양성 문서와 함께 명시적인 하드 네거티브를 추가해 세밀한 관련성 차이를 구별하며 변별력이 더 높은 임베딩을 학습한다.쌍 학습과 문맥 학습 이후에 적용하며, 서로 유사하지만 관련성은 없는 문서 사이의 경계를 정교화한다.출처: §2 · p. 3, §2.5 · p. 6

2.6. 대조 학습용 데이터셋

  • 대조 학습 데이터는 60개 언어를 포함하며, 영어 65.6%, 교차언어 6.7%, 코드 1%, 다국어 26.7%의 표본으로 구성된다.문맥 학습에는 ConTEB와 합성 MLDR 데이터를 사용한다. 삼중항 학습에는 12개 데이터셋에서 가져온 양은 적지만 품질이 더 높은 데이터를 사용하며, 15개 언어에 걸쳐 영어 92%, 코드 1%, 다국어 텍스트 7%로 구성된다. 합성 데이터는 Qwen3-30B-A3B-Instruct-2507과 Zhang et al. (2025b)에서 착안한 2단계 상위 5개 페르소나 파이프라인으로 생성하며, 이 파이프라인은 문맥 학습용 지문 질의를 생성하도록 조정했다.출처: §2.6 · p. 6

3. 평가

모델들은 공개 검색 벤치마크와 웹 규모 내부 평가 전반에서 우수한 성능을 보이며, pplx-embed-context-v1-4B는 ConTEB에서 선두를 차지한다. 이진 양자화에 따른 성능 손실은 0.6B 모델보다 4B 모델에서 작다.

3.1. 공개 벤치마크

  • MTEB Multilingual과 Code에서 pplx-embed-v1-4B는 gemini-embedding-001을, pplx-embed-v1-0.6B는 같은 규모의 Qwen3 모델을 앞선다.18개 다국어 검색 과제에서 4B 모델은 Qwen3-Embedding-4B에 근접한 성능을 보이면서 저장 공간 효율은 훨씬 높다. 15개 프로그래밍 언어를 포괄하는 12개 코드 검색 과제에서는 Qwen3-Embedding-4B에 약간 뒤처지지만 text-embedding-3-large보다 우수하다.출처: Table 1 · p. 7, §3.1 · pp. 7–8
  • MIRACL의 18개 언어별 하위 집합 모두에서 pplx-embed-v1-0.6B가 Qwen3-Embedding-0.6B를 앞서며, 평균 점수는 pplx 4B 모델보다도 높다.이진화한 0.6B 모델도 평균 점수에서 Qwen3-Embedding-0.6B를 앞선다. 모든 pplx-embed-v1 모델은 평균 점수에서 text-embedding-3-large보다 높지만 Qwen3-Embedding-4B와 gemini-embedding-001에는 뒤처진다.출처: Table 2 · p. 7, §3.1 · p. 7
  • pplx-embed-context-v1-4B는 ConTEB에서 선두를 차지하며, 0.6B 모델은 ModernBERT-Large와 Anthropic Contextual보다 높고 voyage-context-3보다 낮은 세 번째 순위를 기록한다.평가에서는 late chunking(Günther et al., 2024), 풀링된 청크 임베딩의 양자화, 코사인 유사도 기반 순위화를 사용해 여덟 데이터셋의 nDCG@10을 측정한다.출처: Table 3 · p. 8, §3.1 · p. 8
  • pplx-embed-v1-4B는 BERGEN 과제 5개 중 3개에서 match 지표 최고값을 기록하며, 4개 과제에서 Qwen3-Embedding-4B를 앞선다.pplx-embed-v1-0.6B도 세 과제에서 Qwen3-Embedding-4B를 앞선다. 평가에서는 Wikipedia 구절 24.8백만 개에서 검색하고, 재순위화 없이 상위 다섯 구절을 Qwen2.5-32B-Instruct에 제공해 답변을 생성한다.출처: §3.1 · pp. 8–9, Table 4 · p. 9
  • INT8 pplx-embed-v1-4B는 평균 nDCG@10 44.45%로 ToolRet에서 전체 두 번째 순위를 기록하며, INT8 pplx-embed-v1-0.6B는 43.05%를 달성한다.4B 모델은 Web 범주에서 nDCG@10 42.07%를 기록한다. ToolRet은 Web, Code, Custom 범주의 API 문서 검색 과제 35개를 포함하며, 양자화 모델들은 더 큰 전체 정밀도 기준 모델과 비교해도 경쟁력을 유지한다.출처: Table 5 · p. 9, §3.1 · p. 9

3.2. 내부 벤치마크

  • INT8 pplx-embed-v1-4B는 PPLXQ2Q의 대상 질의 2.4M개 코퍼스에서 73.46% R@10과 86.17% R@100을 기록해 Qwen3-Embedding-4B를 앞선다.Qwen3-Embedding-4B는 67.90% R@10과 81.96% R@100을 기록한다. 이진화한 pplx-embed-v1-4B는 각각 72.41%와 85.21%를 유지하며, pplx-embed-v1-0.6B는 71.05%와 83.86%로 BGE-M3와 Qwen3-Embedding-0.6B를 앞선다. 이 벤치마크는 개인정보(PII)를 필터링한 5일간의 실제 서비스 로그로 구축되었으며, 같은 도착 URL을 공유하는 질의를 관련 질의로 간주하고 점차 커지는 코퍼스를 대상으로 질의 100K개를 평가한다.출처: Table 6 · p. 10, §3.2 · pp. 10–11
  • pplx-embed-v1-4B는 PPLXQuery2Doc의 30M개 문서 코퍼스에서 영어 88.23%, 다국어 91.66%의 Recall@1000을 기록해 Qwen3-Embedding-4B를 앞선다.Qwen3-Embedding-4B의 점수는 각각 83.13%, 88.58%다. INT8 pplx-embed-v1-0.6B는 84.43%, 89.05%로 1B 미만의 모든 경쟁 모델을 앞서며 첫 단계 검색에 적합함을 보여준다. 이 벤치마크는 층화 추출한 질의 15,000개를 포함하며, 웹 페이지 1 billion개에서 검색한 후보에 대한 여러 시스템의 순위 합의로 도출한 관련성 레이블을 사용한다. 평가 대상 코퍼스의 문서 수는 7.5M, 15M, 30M이다.출처: Table 7 · p. 11, §3.2 · pp. 11–12, Table 8 · p. 12

3.3. 이진 양자화의 영향

  • 이진 양자화에 따른 성능 손실은 pplx-embed-v1-0.6B에서 2–4.4퍼센트포인트인 반면, pplx-embed-v1-4B에서는 최대 1.6퍼센트포인트다.문맥화 0.6B 모델의 성능 손실은 최대 5퍼센트포인트인 반면, 문맥화 4B 모델은 약 1퍼센트포인트다. 저자들은 pplx-embed-v1-0.6B의 1024차원 출력과 달리 4B 모델은 2560차원 출력을 사용하므로 이진화 과정에서 정보를 보존하는 데 유리할 수 있다고 설명한다.출처: §3.3 · p. 12

4. 확산 사전학습과 자기회귀 사전학습 비교

확산 사전학습과 평균 풀링을 함께 사용하면 영어 검색 성능이 향상되며, 양방향 확산 백본은 인과 마스킹을 적용한 Qwen3보다 대조 학습 손실이 낮다. 평균 풀링은 문맥 임베딩 학습을 위해 문서 하나에서 여러 청크 표현을 계산할 수 있게 한다.

4. 확산 사전학습과 자기회귀 사전학습 비교

  • 양방향 확산 백본은 인과 마스킹을 적용한 Qwen3 백본보다 훨씬 낮은 대조 학습 손실을 보인다.두 백본에 평균 풀링 또는 마지막 토큰 풀링을 조합한 네 가지 구성을 영어 쌍 데이터로 1에포크 미만 학습한다. 학습 내내 Qwen3는 인과 마스킹을, 확산 모델은 양방향 어텐션을 유지한다.출처: §4 · p. 12
  • mean pooling과 확산 사전학습을 결합했을 때 검색 과제 전반에서 평균 ∼1 퍼센트포인트의 성능 향상이 보고된다.평가는 MTEB(En, v2)와 MIRACLRetrievalHardNegatives의 영어 하위 집합을 대상으로 한다.출처: §4 · pp. 12–13, Table 9 · p. 13
  • 평균 풀링은 문서 하나에서 다수의 청크 단위 표현을 계산할 수 있게 하므로 문맥 임베딩 학습에 핵심적이다.따라서 평균 풀링의 역할은 벤치마크 성능을 소폭 개선하는 데 그치지 않는다.출처: §4 · p. 13

5. 관련 연구

이 연구는 검색을 위한 확산 추가 사전학습을 대조 학습 및 문맥화 임베딩 연구의 흐름 속에 위치시킨다. 웹 규모 검색을 위한 임베딩의 양자화 인지 학습과 특화된 이중 손실 목적함수를 사용하는 다단계 문맥화 학습을 강조한다.

확산 언어 모델

텍스트 임베딩의 대조 학습

문맥화 임베딩

  • 기존 문맥화 방법은 배치 내 이웃 문서를 활용하거나 (Morris and Rush, 2025), 별도 학습 없이 문서를 한 번 처리한 뒤 청크 수준 풀링을 수행한다 (Günther et al., 2024).후자는 문서의 청크들을 함께 처리한 뒤 각 청크의 표현을 풀링한다.출처: §5 · p. 14
  • 이 문맥화 접근법은 ConTEB와 시퀀스 내 청크 수준 대조 (Conti et al., 2025)를 기반으로 다단계 이중 손실 학습을 사용하면서도 MTEB 및 ConTEB와의 호환성을 유지한다.ConTEB는 임베딩 모델이 전역 문맥을 활용하는지를 평가하는 데 초점을 맞춘다 (Conti et al., 2025).출처: §5 · p. 14

6. 결론 · 부록

pplx-embed 계열은 확산 기반 양방향 어텐션과 다단계 학습을 결합해 문서 전체의 맥락을 포착한다. 네 가지 변형 모델은 우수한 검색 성능을 보이며, 양자화된 임베딩을 직접 출력해 실제 배포에 유리하다.

6. 결론

  • pplx-embed 계열은 공개 및 내부 웹 규모 벤치마크에서 수행한 광범위한 평가에서 우수한 검색 성능을 보인다.결론에는 벤치마크의 수치 결과가 제시되지 않는다.출처: §6 · p. 14
  • 양자화 인지 학습을 기본으로 적용해 INT8 및 이진 임베딩을 직접 출력하므로 실제 배포에 유리하다.출처: §6 · p. 14
  • 확산 기반 언어 모델은 양방향 어텐션을 제공해 임베딩 모델이 문서 전체의 맥락을 더 잘 포착하도록 돕는다.출처: §6 · p. 14
  • 학습 파이프라인은 전체 문서를 바탕으로 맥락화된 청크 인코딩을 학습한다.출처: §6 · p. 14
  • 다단계 학습은 의미적 정렬과 세밀한 관련성 구분을 위해 텍스트 표현을 점진적으로 형성한다.출처: §6 · p. 14
  • pplx-embed-v1과 pplx-embed-context-v1 모두 0.6B와 4B 파라미터 규모로 제공되어 총 네 가지 변형 모델을 이룬다.출처: §6 · p. 14

A. 추가 사전학습 세부 사항

추가 사전학습은 토큰을 독립적으로 마스킹하고 양방향 역방향 모델을 사용하는 확산 ELBO 목적함수로 수행한다. 이 절에서는 예측 제약, 최적화 설정, 영어 외 언어 데이터의 혼합 비율을 명시한다.

손실

  • 확산 사전학습은 ELBO 목적함수를 사용하며, 선형 노이즈 스케줄에 따라 확률 t로 각 토큰을 독립적으로 마스킹하고 양방향 트랜스포머로 역과정을 학습한다.손실은 마스킹된 위치에만 적용한다. [BOS]를 앞에 추가하지 않고 트랜스포머의 왼쪽 시프트를 유지하면 첫 토큰을 예측할 수 없어, 손실 합산 범위가 마지막 L−1개 위치로 제한된다.출처: A. Details on Continued Pretraining · p. 19

하이퍼파라미터

  • 사전학습에는 bfloat16 기반 자동 혼합 정밀도, FlashAttention-2 (Dao, 2024), AdamW를 사용하며, 가중치 감쇠는 0.01, β1 = 0.9, β2 = 0.98로 설정한다.기울기는 ℓ2 노름을 기준으로 클리핑한다. 임곗값은 손실 스케일링 등 구현 세부 사항에 따라 달라지므로 명시하지 않는다.출처: A. Details on Continued Pretraining · p. 19

하이퍼파라미터와 데이터

B. 대조 학습 세부 사항

대조 학습은 쌍 학습, 문맥 학습, 삼중항 학습으로 구성된다. INT8 tanh 양자화는 쌍 학습에서 도입되며 문맥 학습과 추론에서도 유지된다. 문맥 학습은 문서 수준 목적함수와 국소 목적함수를 결합하고, 삼중항 학습은 마이닝한 하드 네거티브를 추가한다.

쌍 학습

  • 쌍 학습은 처음부터 INT8 tanh 양자화를 적용하며, 배치 내 문서와 다른 질의를 음성 예제로 사용하는 InfoNCE를 통해 저정밀도 표현을 학습한다.온도는 0.02다. 배치 내 음성 예제의 품질을 높이기 위해 각 배치는 하나의 데이터셋으로 구성하며, 데이터셋 크기에 비례하는 확률로 이를 선택한다.출처: B. Details on Contrastive Training · pp. 19, 21
  • 0.6B 모델과 4B 모델 모두 전역 배치 크기 16,384, 시퀀스 길이 256 토큰으로 50,000 스텝 동안 학습한다.학습률은 0.6B 모델이 2×10^-4, 4B 모델이 5×10^-5로, 학습 안정성과 수렴 속도의 균형을 맞춘다.출처: B. Details on Contrastive Training · p. 21

문맥 학습

  • 문맥 학습은 쌍 학습을 마친 체크포인트로 초기화하고, 청크 주석이 달린 합성 MLDR, MLDR, NarrativeQA, SQuAD를 사용하며, 학습과 추론에서 양자화를 적용한다.문서는 각각 256 토큰인 청크 16개로 구성된다. 질의가 없는 MLDR 청크용 합성 질의에는 주변 정보를 반영해 여러 청크와 동시에 관련되는 일을 방지한다.출처: B. Details on Contrastive Training · p. 21
  • 문맥 학습은 동일한 가중치를 부여한 여섯 가지 임베딩 차원에 걸쳐 하이브리드 Matryoshka (Kusupati et al., 2022) 학습을 수행해 전역 문서 수준 InfoNCE와 국소 손실을 결합한다.차원은 [128, 256, 512, 1024, 2048, 2560]이다. 두 목적함수 간 가중치 β는 0.2에서 0.5까지 코사인 어닐링 일정에 따라 변한다.출처: B. Details on Contrastive Training · p. 21
  • 문맥 학습은 상대 유사도 임계값 적용, 중복 문서 마스킹, 질의 간 위음성 마스킹으로 위음성 문제를 완화한다.양성 예제와의 유사도에서 0.1 이내인 음성 예제는 임계값을 적용해 마스킹한다. 추가적인 질의 간 유사도는 전역 손실의 하드 네거티브로 사용한다. AdamW로 7,000 스텝 학습하며, 학습률은 10^-5, 가중치 감쇠는 0.1, 기울기 클리핑 임계값은 1.0, 온도는 0.02다. 배치 크기는 0.6B 모델과 4B 모델에서 각각 128과 16이다.출처: B. Details on Contrastive Training · p. 21

삼중항 학습

  • InfoNCE를 사용하는 삼중항 학습에서는 질의마다 배치 내 음성 문서에 마이닝한 하드 네거티브 3개를 추가한다.두 모델 모두 시퀀스 길이 512 토큰, 전역 배치 크기 512, 기울기 누적 횟수 4, 온도 0.03으로 2,000 스텝 동안 학습한다. 학습률은 0.6B 모델이 5×10^-5, 4B 모델이 10^-5다.출처: B. Details on Contrastive Training · p. 21

C. MTEB 평가 세부 사항

MTEB 평가에서는 다국어 및 코드 검색의 과제별 nDCG@10을 보고하며, LEMBPasskeyRetrieval에는 더 긴 시퀀스 길이를 사용한다. SyntheticText2SQL의 중복 문서와 ArguAna의 반박 문서 검색을 고려해 과제별로 조정한다.

C. MTEB 평가 세부 사항

  • pplx-embed-v1 평가에 사용하는 시퀀스 길이는 LEMBPasskeyRetrieval을 제외한 모든 과제에서 1024이며, LEMBPasskeyRetrieval에서는 16,384다.출처: C. Details on MTEB Evaluation · p. 21
  • ArguAna는 프롬프트를 사용하는 유일한 데이터셋이다. 주장을 지지하는 문서가 아니라 반박하는 문서를 검색할 때 쿼리 접두어를 추가하면 성능이 크게 향상된다.접두어는 "주장이 주어지면, 그 주장을 반박하는 문서를 찾아라. 주장: "다.출처: C. Details on MTEB Evaluation · p. 21
  • SyntheticText2SQL에는 중복된 코퍼스 문서가 있어, 중복 문서 간 대칭성을 깨기 위해 임베딩에 미세한 무작위 잡음을 주입한다.출처: C. Details on MTEB Evaluation · p. 21
  • 과제별 nDCG@10 점수는 MTEB(Multilingual, v2) 검색의 경우 Table 11에, MTEB(Code) 검색의 경우 Table 12에 보고한다.제공된 표 설명에는 벤치마크와 평가 지표가 명시되어 있지만 수치 결과는 없다.출처: C. Details on MTEB Evaluation · p. 21, Table 11 · p. 22, Table 12 · p. 23

D. ConTEB 평가 세부 사항

ConTEB 평가에서는 일반적인 길이의 문서에 주변 청크의 문맥을 활용하고, 매우 긴 문서에는 고정 길이의 중첩 분할을 적용한다.

D. ConTEB 평가 세부 사항

E. BERGEN 평가 세부 사항

BERGEN 평가에서는 맞춤형 검색기를 통해 공식 sentence-transformers 구현을 사용한다. 종단 간 RAG는 KILT 덤프에서 패시지 100개를 검색하지만 생성기에는 상위 5개만 제공한다.

임베딩 모델

  • 맞춤형 BERGEN 검색기는 공정한 평가를 위해 pplx-embed-v1, Qwen3-Embedding, BGE-M3의 공식 sentence-transformers 구현을 사용한다.Qwen3-Embedding의 질의 인코딩에는 prompt_name="query"를 설정한다.출처: E. Details on BERGEN Evaluation · p. 24

RAG 설정

Related papers

Loading 2602.11151v2…