AI 요약 · 영어에서 AI 번역
Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models
Yanzhao Zhang, Mingxin Li, Dingkun Long, Xin Zhang, Huan Lin, Baosong Yang, Pengjun Xie, An Yang, Dayiheng Liu, Junyang Lin, Fei Huang, Jingren Zhou
TL;DR
Text embedding and reranking require models that capture relevance across varied languages, tasks, and retrieval settings. Qwen3 Embedding addresses this with Qwen3 backbones, synthetic multilingual data, staged training, and model merging. Across broad evaluations, the series achieves strong embedding and reranking results, while reranker training omits the first-stage weakly supervised phase.
문제
텍스트 임베딩과 재순위화는 더 풍부한 학습 데이터와 모델 역량이 필요한 다국어·다중 과업 검색 설정에서 관련성을 추정해야 한다.
출처: §1 · p. 1방법
이 시리즈는 Qwen3 백본, 기반 모델이 합성한 다국어 데이터, 다단계 학습, 지도 미세 조정, 모델 병합을 활용한다.
출처: §1 · p. 2, §3.2 · p. 5결과
핵심 내용 및 한계
Takeaways & Limitations
Reranking models do not include a first-stage weakly supervised training phase.
출처: §3.2 · p. 5
Abstract
from arXiv · showhide
In this work, we introduce the Qwen3 Embedding series, a significant advancement over its predecessor, the GTE-Qwen series, in text embedding and reranking capabilities, built upon the Qwen3 foundation models. Leveraging the Qwen3 LLMs' robust capabilities in multilingual text understanding and generation, our innovative multi-stage training pipeline combines large-scale unsupervised pre-training with supervised fine-tuning on high-quality datasets. Effective model merging strategies further ensure the robustness and adaptability of the Qwen3 Embedding series. During the training process, the Qwen3 LLMs serve not only as backbone models but also play a crucial role in synthesizing high-quality, rich, and diverse training data across multiple domains and languages, thus enhancing the training pipeline. The Qwen3 Embedding series offers a spectrum of model sizes (0.6B, 4B, 8B) for both embedding and reranking tasks, addressing diverse deployment scenarios where users can optimize for either efficiency or effectiveness. Empirical evaluations demonstrate that the Qwen3 Embedding series achieves state-of-the-art results across diverse benchmarks. Notably, it excels on the multilingual evaluation benchmark MTEB for text embedding, as well as in various retrieval tasks, including code retrieval, cross-lingual retrieval and multilingual retrieval. To facilitate reproducibility and promote community-driven research and development, the Qwen3 Embedding models are publicly available under the Apache 2.0 license.
1 서론
Qwen3 Embedding은 Qwen3 파운데이션 모델의 다국어 역량과 다단계 학습 파이프라인을 활용해 임베딩 및 리랭킹 모델을 구축한다. 평가에서 다국어, 코드, 검색 벤치마크 전반에 걸쳐 우수한 성능을 보인다.
- Qwen3 Embedding 모델은 다국어 텍스트 이해와 생성, 학습 데이터 합성에 Qwen3 파운데이션 모델을 활용한다.파이프라인에서 Qwen3 모델은 백본이자 다국어·다중 과제 관련성 데이터 생성기 역할을 한다.출처: §1 · p. 2
- 임베딩 파이프라인은 대규모 비지도 사전학습, 고품질 데이터에 대한 지도 파인튜닝, 모델 병합을 결합한다.반면 리랭커는 지도 파인튜닝 후 모델 병합을 거친다.출처: §1 · p. 2
- Qwen3-8B-Embedding은 MTEB Multilingual에서 70.58, MTEB Code에서 80.68을 기록해 Gemini-Embedding을 능가한다.출처: §1 · p. 2
- Qwen3-Reranker-8B는 여러 과제에서 Qwen3-Reranker-0.6B보다 순위화 성능이 3.0점 향상된다.0.6B 리랭커도 여러 검색 과제에서 기존 최고 성능 모델을 능가한다.출처: §1 · p. 2
- 이 보고서는 모델 아키텍처, 학습 절차, 실험 및 향후 연구 방향을 설명한다.출처: §1 · p. 2
2 모델 아키텍처
모델은 지시문 조건화 입력을 사용해 작업에 맞는 질의-문서 관련도를 추정한다. 임베딩 모델은 마지막 EOS 은닉 상태를 사용하고, 재순위화 모델은 각 문서가 관련 있는지 여부를 분류한다.
- 임베딩 및 재순위화 모델은 지시문 I로 정의되는 유사도 기준을 사용해 질의-문서 관련도를 평가한다.학습 예시에는 지시문, 질의, 긍정 문서, 부정 문서가 포함된다.출처: §2 · pp. 2–3
- Qwen3 임베딩 및 재순위화 모델은 0.6B, 4B, 8B 매개변수 크기로 제공된다.밀집형 Qwen3 기반 모델을 초기화에 사용한다.출처: §2 · p. 3
임베딩 모델
- 임베딩 벡터는 덧붙인 [EOS] 토큰의 마지막 계층 은닉 상태에서 얻는다.지시문과 질의는 이어 붙이고, 문서는 처리 전에 변경하지 않는다.출처: §2 · p. 3
재순위화 모델
- 재순위화 모델은 지시문 조건화 유사도 평가를 이진 예·아니요 분류로 구성해 한 번에 문서 하나씩 평가한다.LLM 채팅 템플릿은 답변을 “yes” 또는 “no”로 제한한다.출처: §2 · p. 3
- Table 1은 MRL Support를 사용자 지정 가능한 최종 임베딩 차원으로, Instruction Aware를 사용자 지정 가능한 작업 지시문으로 정의한다.출처: Table 1 · p. 4
재순위화 모델
- 관련도 점수는 다음 토큰이 “yes” 또는 “no”일 가능도를 사용한다.표시된 식은 두 토큰의 확률을 결합한다.출처: §2 · p. 4
3 모델 학습
Qwen3 Embedding 시리즈는 합성 약지도, 지도 미세조정, 모델 병합을 결합한 다단계 학습 파이프라인에서 작업별 목적 함수를 사용한다.
3.1 학습 목적 함수
- 임베딩 목적 함수는 양성 및 음성 쌍에 대해 코사인 유사도, 온도 스케일링, 정규화를 적용하는 개선된 InfoNCE 기반 대조 손실을 사용한다.손실 함수에는 배치 내 쿼리와 문서도 포함되며, 마스크 계수는 거짓 음성을 완화한다.출처: §3.1 · pp. 4–5
- 리랭킹 목적 함수는 양성 문서에 “yes”, 음성 문서에 “no”를 부여하는 지도 미세조정이다.손실 함수는 올바른 레이블에 더 높은 확률을 부여하도록 한다.출처: §3.1 · p. 5
3.2 다단계 학습
- 임베딩 학습은 대규모 약지도 데이터에서 더 작은 고품질 지도 데이터셋으로 진행되는 반면, 리랭킹은 첫 단계의 약지도 단계를 생략한다.임베딩 단계에는 임베딩 목적 함수를, 리랭킹에는 지도 미세조정 손실을 사용한다.출처: §3.2 · p. 5
- 파운데이션 모델은 작업, 언어, 길이, 난이도 전반에 걸쳐 조절 가능한 쌍 데이터를 합성하여, 특히 자원이 부족한 환경에서 데이터의 품질과 다양성을 높인다.합성 코퍼스는 검색, bitext mining, 분류, 의미적 텍스트 유사도 작업을 아우른다.출처: §3.2 · p. 5, §3.3 · p. 6
- 지도 미세조정 후 구면 선형 보간으로 여러 체크포인트를 병합하여, 데이터 분포 전반에서 강건성과 일반화 성능을 높인다.이 모델 병합 단계는 미세조정 후 적용된다.출처: §3.2 · p. 5
3.2 Multi-stage Training
- Approximately 150 million synthetic weak-supervision pairs are generated, followed by selection of approximately 12 million high-quality supervised pairs.The filtering stage selects data for second-stage supervised training.출처: §3.3 · p. 6
4 평가
Qwen3 Embedding 시리즈는 다국어, 코드, 검색 및 재순위화 벤치마크에서 여러 모델 크기와 학습 설정에 걸쳐 우수한 성능을 보인다. 절제 연구 결과, 약지도 사전학습과 모델 병합이 임베딩 학습 프레임워크의 중요한 구성 요소임을 확인했다.
평가 설정
- 평가에는 250개가 넘는 언어의 MMTEB 과제 500개 이상이 포함되며, 검색, 분류, 의미적 텍스트 유사도, 지시 따르기, 장문 문서 검색, 코드 검색을 다룬다.출처: §4.1 · pp. 6–7
임베딩
- Qwen3-Embedding-4B/8B는 MMTEB에서 최고 성능을 달성하며, Qwen3-Embedding-0.6B는 더 작은 크기에도 가장 강력한 기준 모델에 근접한 성능을 보인다.0.6B 모델은 Gemini-Embedding 바로 다음 순위이며, 추가 벤치마크에서도 gte-Qwen2-7B-instruct와 경쟁력 있는 성능을 보인다.출처: §4.2 · pp. 7–8
- Qwen3-Embedding-4B/8B는 MTEB English, CMTEB, MTEB Code 평가 전반에서 다른 모델을 일관되게 능가한다.출처: §4.2 · pp. 7–8
재순위화
- 세 Qwen3-Reranker 모델 모두 임베딩 모델보다 성능이 향상되고 기준 재순위화 방법을 능가하며, 대부분의 과제에서 Qwen3-Reranker-8B가 가장 높은 성능을 보인다.재순위화에 앞서 Qwen3-Embedding-0.6B로 검색한 상위 100개 후보를 평가에 사용한다.출처: §4.2 · p. 8, Table 4 · p. 8
학습 분석
- 약지도 학습을 제거하면 성능이 뚜렷하게 하락해, 우수한 임베딩 성능에 대규모 합성 데이터 학습이 핵심임을 보여준다.출처: §4.3 · p. 8
- 모델 병합 없이 학습하면 최종 Qwen3-Embedding-0.6B 모델보다 성능이 상당히 낮아, 모델 병합 또한 중요함을 보여준다.출처: §4.3 · p. 8, Table 5 · p. 8
5 결론
이 보고서는 합성 약지도, 지도 미세 조정, 모델 병합을 포함하는 다단계 파이프라인으로 학습한 Qwen3 기반 임베딩 및 리랭킹 모델을 소개한다. 공개된 0.6B, 4B, 8B 모델은 다양한 벤치마크에서 최고 수준의 성능을 달성하며, 커뮤니티 활용을 위해 공개 소스로 제공된다.
- Qwen3-Embedding 모델은 다단계 학습 파이프라인을 통해 다국어 검색, 코드 검색, 복잡한 지시 이행 작업을 지원한다.파이프라인은 약지도 합성 데이터 사전 학습, 지도 미세 조정, 모델 병합을 결합한다.출처: §5 · p. 9
- Qwen3 LLM은 임베딩 및 리랭킹 모델의 성능 향상을 위해 여러 언어와 작업에 걸친 다양한 학습 데이터를 합성한다.출처: §5 · p. 9
- Qwen3-Embedding 및 Qwen3-Reranker 모델은 커뮤니티 활용과 후속 개발을 위해 0.6B, 4B, 8B 크기로 공개된다.출처: §5 · p. 9
- 종합 평가 결과, MTEB, CMTEB, MMTEB 및 여러 검색 벤치마크에서 최고 수준의 성능을 보인다.출처: §5 · p. 9
A.1 합성 데이터
논문은 단계적 문서-쿼리 생성 과정을 통해 유사도 과제용의 다양한 합성 학습 데이터를 구축한다. LLM이 선택한 설정에 따라 여러 언어와 난이도 수준의 쿼리를 생성한다.
합성 데이터 유형
- 검색, bitext mining, 의미적 텍스트 유사도, 분류의 네 가지 합성 데이터 유형은 사전 학습 중 다양한 유사도 과제에 적응하도록 돕는다.출처: §A.1 · p. 12
검색 데이터 생성
- 문서-쿼리 파이프라인은 지문에서 쿼리를 생성하기 전에 인물, 질문 유형, 난이도를 선택한다.출처: §A.1 · p. 12
언어 다양성
- Qwen3 32B로 데이터를 생성하고 Qwen3 기본 모델의 다국어 사전 학습 말뭉치에서 문서를 수집해 다국어 및 교차 언어 다양성을 확보한다.출처: §A.1 · p. 12
쿼리 생성
- 쿼리 생성 단계에서는 원하는 쿼리 길이와 언어를 지정하고, 앞서 설정한 구성을 생성 지침으로 활용한다.출처: §A.1 · p. 12
데이터 통계
- 각 학습 단계의 학습 데이터 통계를 Table 6에 보고한다.출처: Table 6 · p. 13
A.2 세부 결과
세부 결과 절에서는 영어, 중국어 및 코드 검색 설정에 대한 벤치마크 평가를 보고한다. 제공된 구절은 해당 결과 표를 제시하지만 수치 결과는 명시하지 않는다.
영어 벤치마크
- Table 7은 영어 MTEB 벤치마크인 MTEB(eng, v2)의 결과를 보고한다.출처: Table 7 · p. 13
중국어 벤치마크
- Table 8은 MTEB(cmn, v1)로 표기된 중국어 C-MTEB 벤치마크의 결과를 보고한다.출처: Table 8 · p. 14
코드 벤치마크
- Table 9는 nDCG@10 점수를 사용한 MTEB(Code, v1) 코드 검색 성능을 보고한다.출처: Table 9 · p. 14