PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

Beyond Chain-of-Thought: Rewrite as a Universal Interface for Generative Multimodal Embeddings

Peixi Wu, Ke Mei, Feipeng Ma, Bosong Chai, Zhibin Lan, Chenxi Zhao, Shannan Yan, Jie Chen, Zhangchi Hu, Yansong Peng, Bo Lin, Junjie Zhou, Dacheng Yin, Tianyi Wang, Fengyun Rao, Jing Lyu, Hebei Li, Xiaoyan Sun

arXiv:2604.22280v3cs.CV

TL;DR

정답 중심의 사고 과정 추론은 질의에 유일한 정답이나 요약이 없는 경우가 많은 일반적인 검색에 적합성이 제한적이다. RIME은 교차 모드 정렬과 판별형 임베딩을 기준점으로 삼는 강화학습을 통해 검색 친화적 재작성과 멀티모달 임베딩을 공동 학습한다. MMEB-V2 [17], UVRB [13], MRMR [49]에서 기존 생성형 임베딩 모델을 능가하면서도 기존 방법 [21] [30] 대비 추론 길이를 약 50% 줄인다.

  • 문제

    정답 중심의 사고 과정 추론은 질의에 유일한 정답이 없는 경우가 많고 검색 대상을 요약할 필요도 없으므로 일반적인 검색에 적합성이 제한적이다.

    출처: §3.2 · p. 4

  • 방법

    RIME은 재작성과 멀티모달 임베딩을 공동 학습하고, 생성형 공간과 판별형 공간을 정렬하며, 판별형 임베딩을 강화학습의 기준점으로 삼아 재작성을 개선한다.

    출처: §1 · p. 2, §3.2 · p. 5

  • 결과

    RIME은 MMEB-V2 [17], UVRB [13], MRMR [49]에서 기존 생성형 임베딩 모델을 능가하면서도 기존 방법 [21] [30] 대비 추론 길이를 약 50% 줄인다.

    출처: §1 · p. 2

  • 시사점 및 한계

    하이브리드 검색은 오프라인 생성형 코퍼스 인코딩과 질의 토큰 생성이 필요 없는 판별형 질의 인코딩을 결합하는 배포 방식을 제공한다.

    출처: §4.4.3 · p. 8

    이 연구는 외부 추론 모델을 사용하는 대신 추론 모델과 임베딩 모델이 매개변수를 공유하는 베이스라인을 채택한다.

    출처: §3.1 · p. 4

Abstract

from arXiv · show

Multimodal Large Language Models (MLLMs) have emerged as a promising foundation for universal multimodal embeddings. Recent studies have shown that reasoning-driven generative multimodal embeddings can outperform discriminative embeddings on several embedding tasks. However, Chain-of-Thought (CoT) reasoning tends to generate redundant thinking steps and introduce semantic ambiguity in the summarized answers in broader retrieval scenarios. To address this limitation, we propose Rewrite-driven Multimodal Embedding (RIME), a unified framework that jointly optimizes generation and embedding through a retrieval-friendly rewrite. Meanwhile, we present the Cross-Mode Alignment (CMA) to bridge the generative and discriminative embedding spaces, enabling flexible mutual retrieval to trade off efficiency and accuracy. Based on this, we also introduce Refine Reinforcement Learning (Refine-RL) that treats discriminative embeddings as stable semantic anchors to guide the rewrite optimization. Extensive experiments on MMEB-V2, MRMR and UVRB demonstrate that RIME substantially outperforms prior generative embedding models while significantly reducing the length of thinking. Code is available at https://github.com/PeppaWu/RIME.

1 서론

RIME는 CoT 추론을 검색 친화적 재작성으로 대체하고, 판별형 임베딩과 생성형 임베딩을 정렬하며, 강화학습으로 재작성을 개선한다. 실험에서는 기존 방법 [21] [30]보다 사고량을 약 50% 줄이면서 더 높은 벤치마크 성능을 보였다.

1 서론

  • CoT 기반 임베딩은 중복 추론, 검색 대상의 모호성, 높은 추론 비용으로 인해 범용 멀티모달 검색에 활용하는 데 한계가 있다.연구 [5] [7] [45]는 대조 학습과 자기회귀 학습을 결합하면 판별력이 약해질 수 있다고 보고한다. Think-then-Embed [6] [7] [15]는 외부 추론 모델로 인한 매개변수 중복을 더하며, 결합형 강화학습 접근법 [21] [30] [53]도 비용이 큰 긴 CoT를 유지한다.출처: §1 · p. 2
  • Rewrite-Driven Joint SFT는 CoT를 검색 친화적 재작성으로 대체해, 하나의 모델이 요약 답변 없이 판별형 임베딩과 재작성 기반 생성형 임베딩을 모두 생성하도록 한다.이미지, 비디오, 문서의 캡션을 다시 작성하고 텍스트 설명을 확장해, 다양한 세분성의 검색, 복잡한 논리 기반 검색, 혼합 모달리티 검색을 지원한다.출처: §1 · p. 2
  • 교차 모드 정렬은 상호 대조 학습으로 동일한 질의의 판별형 임베딩과 생성형 임베딩을 정렬하고 음성 샘플을 분리해 교차 검색을 가능하게 한다.두 임베딩 공간 간 교차 검색은 재작성에 따른 추론 오버헤드를 완화할 수 있는 유연성을 제공한다.출처: §1 · p. 2
  • Refine-RL은 판별형 임베딩을 안정적인 의미 기준점으로 삼아, 생성형 임베딩의 유사도 격차가 판별형 임베딩의 유사도 격차보다 클 때 재작성에 보상을 부여한다.정렬된 공간을 바탕으로, 이 과정 보상은 재작성이 더 풍부한 의미와 더 높은 판별력을 갖추도록 유도한다.출처: §1 · p. 2
  • RIME는 기존 방법 [21] [30]보다 사고량을 약 50% 줄이면서도 MMEB-V2 [17], UVRB [13], MRMR [49]에서 기존 생성형 임베딩보다 우수한 성능을 보인다.사고량 감소와 함께 MMEB-V2에서 큰 폭의 성능 향상이 보고되며, 기여 요약에서는 UVRB와 MRMR의 성능 향상도 제시한다.출처: §1 · p. 2

2 관련 연구

기존 멀티모달 임베딩 접근법은 복잡한 입력 모델링, 생성과 정렬의 양립, 추론 오버헤드 측면에서 한계가 있다. 반면 RIME은 재작성을 통해 여러 모달리티의 정보를 해석하고 확장한다.

2.1 멀티모달 표현 학습

  • 초기 대조 학습 기반 이중 인코더 [36] [37] [47]는 모달리티를 정렬하지만, 고정 구조 모델은 비디오, 다중 페이지 문서, 여러 모달리티가 혼합된 콘텐츠를 표현하는 데 어려움이 있다.CLIP [37]은 모달리티 간 검색을 위해 대규모 웹 데이터에서 이미지와 텍스트의 공통 표현을 학습한다. BLIP [25]과 ALIGN [14]는 시각 인코더와 언어 모델을 결합해 의미 정렬을 강화한다.출처: §2.1 · pp. 2–3
  • MLLM 기반 임베딩은 지시 튜닝과 대조 학습으로 이질적인 입력을 정렬하며, 지시 수행 능력을 바탕으로 복잡한 멀티모달 질의를 지원한다.통합 LLM 백본을 사용하는 VLM2Vec [17] [35], GME [50], MM-Embed [27], LLaVE [20]가 대표적이다. 후속 연구 [11] [15] [19] [33] [43]는 확장성과 성능을 개선한다.출처: §2.1 · p. 3

2.2 멀티모달 생성형 임베딩

  • 생성형 임베딩 모델 [15] [21] [29] [32]은 일반적으로 임베딩을 산출하기 전에 단계별 추론 근거를 생성하며, 입력의 의미를 명시적으로 모델링해 표현을 강화한다.Chain-of-Thought (CoT) [12] [18] [41] [42]는 중간 추론을 통해 복잡한 질의에 대한 이해를 높이는 데 널리 사용된다.출처: §2.2 · p. 3
  • 생성과 정렬을 공동 학습하면 임베딩의 판별력보다 언어 모델링에 치우칠 수 있으며 [8] [26] [45], CoT 기법은 계산 오버헤드와 불필요한 사고 과정을 늘린다.Think-then-Embed (TTE) [6] [7]는 추론 생성과 임베딩 인코딩을 분리한다. 다른 연구 [21]는 강화 학습과 보상으로 단일 프레임워크 내에서 두 목표의 균형을 맞춘다.출처: §2.2 · p. 3

2.3 검색 지향 질의 재작성

  • RIME은 여러 모달리티의 정보를 해석하고 확장하는 데 재작성을 활용한다. 이는 단계별 도출과 요약 과정에서 과제 편향을 유발하는 CoT 의존형 생성형 임베딩 [7] [15] [21]과 다르다.이러한 편향은 범용 검색을 제약한다.출처: §2.3 · p. 3
  • 기존 질의 재작성은 LLM 기반 확장과 MLLM의 의미 추론을 활용하는 방향으로 발전했지만, 복잡한 검색을 위한 접근법은 여전히 외부 LLM에 의존하거나 [6] [49] [51] 특정 모달리티에 국한되는 경우가 많다 [28] [38].초기 기법에는 의사 관련성 피드백 과 키워드 가중치 재조정 이 있다. 최근 접근법은 추론 근거, 의사 문서, 질의 분해 결과, 추론된 제약 조건, 다양한 질의를 생성한다. 특정 모달리티에 국한된 기법은 이미지에 집중하면서 텍스트 등의 모달리티를 간과한다.출처: §2.3 · p. 3

3 방법

RIME은 CoT 중심의 임베딩 생성 대신 검색 지향적 재작성과 대조 학습을 공동으로 최적화한다. 모드 간 정렬은 생성형 임베딩과 판별형 임베딩 간 상호 검색을 지원하며, Refine-RL은 판별형 임베딩을 안정적인 기준점으로 삼아 재작성을 최적화한다.

3.1 사전 개념

  • RIME은 추론 모델과 임베딩 모델의 매개변수를 공유하는 생성형 임베딩 기준 모델을 채택해, 외부 추론 모델로 인한 매개변수 중복과 최적화 문제를 피한다.판별형 모델은 마지막 입력 토큰의 표현을 추출해 정규화한다. 생성형 모델은 먼저 추론과 요약을 생성한 뒤 지정된 토큰의 은닉 상태를 추출한다.출처: §3.1 · pp. 3–4

3.2 재작성 기반 공동 SFT

  • CoT는 요약 세분성의 불일치로 검색 의미를 왜곡할 수 있으며, 정해진 답을 생성하려는 목적이 검색 요구와 달라 불필요하거나 잘못된 추론을 유발할 수 있다.검색 질의의 답은 유일할 필요가 없으며, 검색 대상은 요약이 필요 없는 경우가 많다. 많은 추론이 필요한 검색에서는 여전히 CoT를 활용할 수 있지만, 이러한 상황은 과제별 특성이 강하다.출처: §3.2 · p. 4
  • 재작성 기반 공동 SFT는 구조화된 서술로 이미지, 비디오, 텍스트를 재구성하고, 질의와 검색 대상을 모두 재작성하면서 생성과 대조 학습을 공동으로 최적화한다.학습은 자기회귀 재작성 손실과 모드 간 InfoNCE 손실을 결합한다. 하이퍼파라미터로 재작성 품질과 검색 성능 간 균형을 조절한다.출처: §3.2 · pp. 4–5

3.3 모드 간 정렬

  • CMA는 생성형 임베딩과 판별형 임베딩을 정렬해 상호 검색을 지원하며, 지연 시간이 짧은 직접 인코딩이나 더 깊은 의미 추론이 필요할 때의 생성형 재작성을 선택할 수 있게 한다.이는 자기회귀 재작성으로 발생하는 질의 처리 지연에 대응한다. 모드 간 InfoNCE는 두 공간을 정렬하고, 모드 내 정렬은 생성 과정의 의미 이탈을 억제한다.출처: §3.3 · p. 5

3.4 정제 강화 학습

  • Refine-RL은 양성·음성 대상에 대한 유사도 차이가 판별형 기준 모델보다 큰 재작성에 보상을 부여하며, 형식 준수와 더 큰 생성형 유사도 차이에도 보상을 부여한다.GRPO는 질의마다 K개의 재작성을 표본 추출하고 그룹 내에서 정규화한 보상으로 최적화한다. 목적 함수에는 클리핑과 고정된 참조 정책에 대한 KL 정규화가 포함된다.출처: §3.4 · p. 5

4 실험

RIME-7B는 MMEB-V2, MRMR, UVRB에서 종합 성능 선두를 달성한다. 절제 실험에서는 학습 구성 요소의 기여도, 재작성과 사고 사슬 추론의 차이, 생성형·판별형 임베딩 간 정렬을 분석한다.

4.1 구현

  • 약 1.5백만 개의 샘플을 Rewrite SFT에 사용하고, 이어서 균일하게 샘플링한 약 15K개의 세 모달리티 예제를 Refine-RL에 사용한다.실험에서는 32개의 A800 GPU에서 Qwen2-VL-2B-Instruct와 Qwen2-VL-7B-Instruct를 사용하며, 각 학습 단계는 한 에포크 동안 진행한다. 별도 명시가 없으면 구성 요소별 분석 실험은 생성형 임베딩을 사용하는 2B 백본으로 수행한다.출처: §4.1 · p. 5, §4.4 · p. 7

4.3.1 MMEB-V2 벤치마크.

  • RIME-7B는 MMEB-V2에서 68.6을 기록해 UME-R1-7B보다 4.1점, VLM2Vec-7B보다 16.3점 앞선다.이미지, 비디오, 시각 문서 점수는 각각 73.4, 49.4, 75.6으로, UME-R1보다 각각 2.1점, 1.9점, 8.5점 높다. RIME-7B는 추가 Reasoner 모듈 없이 Think-Then-Embed와 동일한 68.6을 달성하며, CAFe보다 8.0점 높다.출처: Table 1 · p. 6, §4.3.1 · p. 6

4.2 데이터셋과 평가 지표.

  • MMEB-V2, MRMR, UVRB는 각각 일반 멀티모달 검색, 전문가 수준의 추론 집약적 검색, 도메인 간 비디오 검색을 평가한다.MMEB-V2는 이미지 하위 데이터셋 36개와 비디오 하위 데이터셋 18개에 Hit@1을, 시각 문서에 NDCG@5를 사용한다. MRMR은 Hit@1을 사용하는 Negation을 제외하고 nDCG@10을 사용한다. UVRB는 16개 하위 과제에서 주로 Recall@1을 사용하며, 기본적으로 생성형 임베딩을 평가한다.출처: §4.2 · p. 6, Table 2 · p. 7

4.3.2 MRMR 벤치마크.

  • RIME-7B는 MRMR 종합 점수 최고치인 50.2를 기록하며, UME-R1-7B, Ops-MM-Embed-7B, GME-7B보다 각각 2.2점, 2.1점, 14.0점 높다.전문가 수준의 11개 하위 과제에서 RIME-7B는 정리 추론에서 모든 기준 모델을 능가하고, 의학·과학·인문학 지식 과제에서도 강점을 보인다. 저자들은 이러한 향상이 CoT 추론으로 답을 도출하기보다 내부 지식을 활성화한 데서 비롯된다고 설명한다.출처: §4.3.2 · pp. 6–7, Table 2 · p. 7

4.4.1 핵심 구성 요소 절제 실험.

  • 재작성만으로 1.9점 향상되며, CMA와 Refine-RL을 차례로 추가한 구성이 핵심 구성 요소 실험에서 가장 높은 MMEB-V2 점수인 64.1을 기록한다.생성과 임베딩의 공동 학습은 판별형 학습만 수행할 때보다 성능이 높다. CMA는 임베딩 공간을 정렬해 상호 검색을 가능하게 하며 성능을 소폭 높인다. Refine-RL은 재작성의 일관성과 효과를 더욱 개선한다.출처: Table 3 · p. 7, §4.4.1 · p. 7

4.4.2 재작성과 사고 사슬 비교 절제 실험.

  • Rewrite는 MMEB-V2에서 CoT보다 4.4점 높아 RL을 사용하지 않는 변형 중 성능이 가장 높으며, 평균 토큰 수는 212개에 불과하다.요약 답변을 강제하지 않으면 CoT 점수가 60.5로 상승한다(+1.4점). Rewrite는 Rewrite (w/ ans.)보다 2.3점 높아, 요약 답변이 검색 잡음을 유발한다는 결과를 뒷받침한다. Refine-RL 적용 후 평균 토큰 사용량은 UME-R1 대비 약 52% 감소한다.출처: Table 4 · p. 7, §4.4.2 · p. 8

4.3.3 UVRB 벤치마크.

  • RIME-7B는 UVRB 종합 점수 최고치인 55.6을 기록하며, 학습 데이터 조건이 유사할 때 Unite-7B보다 1.8점, GME-7B보다 2.6점 높다.대략적 수준의 검색은 56.2로 Unite-7B보다 2.1점 높으며, 시간 정보에 민감한 검색은 기준 모델 중 가장 높은 42.7을 기록한다. 긴 문맥 성능은 추가 학습 데이터를 사용한 GVE를 포함한 모든 기준 모델을 능가한다.출처: §4.3.3 · p. 7, Table 5 · p. 8

4.4.3 두 임베딩 모드 절제 실험.

  • Gen.-Gen.은 벤치마크 간 평균 최고치인 58.1을 기록하며, Disc.-Gen.은 질의 토큰을 생성하지 않고 57.0을 달성한다.CMA 적용 시 순수 판별형 성능은 55.8에서 56.3으로 상승한다. Gen.-Disc.는 질의 토큰 232개로 57.1을 기록한다. Disc.-Gen.은 오프라인 생성형 코퍼스 인코딩과 판별형 질의를 결합해 질의 토큰 생성을 피한다.출처: Table 6 · p. 8, §4.4.3 · p. 8

5 결론 · 부록 · A 데이터 구축 세부 사항

RIME은 사고 사슬 추론을 검색 친화적 재작성으로 대체해 MMEB-V2, MRMR, UVRB에서 최고 수준의 성능을 달성하면서 추론 오버헤드를 줄인다. 여전히 상당한 지연 시간이 남아 있어, 향후 암묵적 잠재 추론에 관한 연구가 필요하다.

5 결론

  • RIME은 MMEB-V2, MRMR, UVRB 전반에서 최고 수준의 성능을 달성한다.결론에서는 벤치마크 수치 없이 이러한 비교 결과를 제시한다.출처: §5 · p. 8
  • RIME은 기존 사고 사슬 추론을 검색 친화적 재작성으로 대체해 효율적이고 일반화 가능한 생성형 멀티모달 임베딩을 만든다.재작성은 중복된 추론과 불필요한 요약 답변을 일부 줄인다.출처: §5 · p. 8
  • RIME은 벤치마크 성능 향상과 함께 추론 오버헤드도 크게 줄인다.결론에서는 감소 폭을 수치로 제시하지 않는다.출처: §5 · p. 8
  • 재작성에도 상당한 추론 지연 시간이 남아 있어 대규모 검색에서 프레임워크의 실용성이 제한된다.저자들은 이러한 지연을 생성형 임베딩 모델의 내재적 한계로 설명한다.출처: §5 · p. 8
  • 향후 연구는 명시적 추론 단계를 암묵적 잠재 형태로 전환해 지연 시간을 줄이고 실제 검색 환경에 배포할 수 있도록 하는 것을 목표로 한다.잠재 사고는 유망한 방향으로 제안되었을 뿐, 이 연구에서 해결책으로 입증되지는 않았다.출처: §5 · p. 8

A 데이터 구축 세부 사항

  • 질의와 검색 대상 모두에 대한 고품질 재작성 주석이 검색 성능을 직접 결정하므로, 데이터 구축은 RIME 학습의 핵심이다.부록에서는 학습 데이터 구축 파이프라인의 개요를 소개한다.출처: A Data Construction Details · p. 11

A.1 학습 데이터 구성 · A.2 모달리티 인지형 재작성 주석

Rewrite SFT는 약 1.5백만 개의 멀티모달 샘플을 사용하며, Refine-RL은 이와 겹치지 않는 별도의 샘플 약 15K개를 사용한다. 모달리티와 과제를 고려한 프롬프트로 검색에 적합한 재서술을 유도하며, 교사 모델이 생성한 주석은 후처리로 표준화한다.

A.1 학습 데이터 구성

  • VLM2VEC-v2 [35]의 샘플 약 1.5백만 개로 이미지, 비디오, 시각 문서 전반에 걸쳐 Rewrite SFT를 학습한다.이미지 데이터셋은 이미지-텍스트 매칭, 시각 질의응답, 이미지 분류, 조합형 이미지 검색을 포함한다.출처: §A.1 · p. 11
  • LLaVA-Hound [48]는 비디오 QA, 비디오 검색, 캡션 검색 데이터를 제공하며, ViDoRe [9]와 VisRAG [46]는 문서를 이미지로 다루는 검색을 지원한다.시각 문서에는 세밀한 텍스트 인식과 레이아웃 이해가 필요한 복잡한 차트, 표, 논문 그림이 포함된다.출처: §A.1 · p. 11
  • Refine-RL에는 이미지, 비디오, 시각 문서에서 균등하게 추출한 약 15K개 샘플을 사용하며, SFT 학습 데이터와 겹치지 않는다.이 별도 데이터셋은 일반화 평가를 지원하고, 과정 보상을 기준으로 재작성을 최적화하는 GRPO의 탐색 공간을 제공한다.출처: §A.1 · p. 11

A.2 모달리티 인지형 재작성 주석

  • 모달리티별·과제별 프롬프트 [34]로 검색에 적합한 재작성을 유도하며, Qwen2-VL-72B-Instruct [39]가 비동기 배치 처리로 주석을 생성한다.텍스트 재작성은 텍스트 유형을 식별하고, 모호성을 해소하며, 논리적 관계를 추출하고 간결하게 요약한다. 후처리에서는 생성에 실패한 결과를 걸러내고 주석을 <think>{rewrite}</think>All can be embedded into <gen_emb>. 형식으로 표준화한다.출처: §A.2 · p. 11
  • 이미지 재작성은 주요 대상, 배경, 색상, 객체 간 관계를 객관적으로 기술하며, 함께 제시된 텍스트가 시각 내용을 어떻게 보완하는지도 설명한다.이미지 VQA는 구조화된 추론으로 정보 밀도를 평가하고, 필요시 OCR을 수행하며, 신뢰도와 함께 직접적인 답변을 제공한다.출처: §A.2 · p. 11
  • 비디오 재작성은 핵심 프레임과 주요 사건을 시간순으로 우선 다루며, 주요 대상, 배경, 행동, 장면 전환, 시간에 따른 전개를 기술한다.비디오 VQA는 이미지 접근법을 확장해 시간에 따른 변화, 여러 사건, 프레임에 걸친 대화나 텍스트 인식을 다룬다.출처: §A.2 · p. 11

B 추가 실험 결과

추가 실험에서는 MR2-Bench 평가와 MMEB-V2에서의 Rewrite SFT 결합 손실 하이퍼파라미터 λ에 대한 분석을 다룬다.

MR2-Bench 평가

  • MR2-Bench 평가는 모든 하위 과제에 대해 nDCG@10을 보고하며, “All”은 12개 데이터셋의 평균을 뜻한다.제공된 캡션에는 수치 점수나 모델 간 비교가 없다.출처: Table 8 · p. 12
  • MR2-Bench는 생물학, 요리, 원예, 물리학, 화학, 지구과학, 경제학, 수학, 자연, 공간, 퍼즐, 유추 하위 과제를 포함한다.과학, 일상, 추론 중심의 과제를 폭넓게 아우른다.출처: Table 8 · p. 12

Rewrite SFT 분석

  • Rewrite SFT 분석에서는 MMEB-V2의 평균 점수를 기준으로 결합 손실 하이퍼파라미터 λ를 살펴본다.제공된 캡션에는 권장 λ 값이나 λ가 성능에 미치는 영향이 제시되어 있지 않다.출처: Table 9 · p. 12

B.1 하이퍼파라미터 𝜆 분석

MMEB-V2에서 λ는 재작성문 생성과 검색 성능 사이의 균형을 조절하며, 재작성과 대조 학습 목적함수에 동일한 가중치를 부여할 때 종합 점수가 가장 높다.

B.1 하이퍼파라미터 𝜆 분석

  • MMEB-V2 최고 종합 점수는 64.1로, 재작성과 대조 학습 목적함수에 동일한 가중치를 부여하는 λ = 1.0에서 달성된다.결합 손실은 LJoint = λ·LRewrite + LCM_InfoNCE이며, λ는 재작성문 생성 품질과 검색 성능 사이의 균형을 조절한다.출처: §B.1 · p. 12
  • λ = 0.1에서 59.7이던 점수가 λ = 0.5에서 61.1로 향상되며, 이는 재작성문 생성에 충분한 비중을 두지 않으면 의미 이해가 제한됨을 보여준다.두 값은 모두 MMEB-V2 종합 점수다.출처: §B.1 · p. 12
  • λ = 1.5에서 MMEB-V2 종합 점수는 62.3으로 최고 점수보다 낮으며, 이는 생성을 지나치게 강조하면 임베딩의 판별력이 약화될 수 있음을 시사한다.출처: §B.1 · p. 12

B.2 MR2-Bench 결과

RIME-7B는 MR2-Bench [51]에서 전반적으로 UME-R1을 능가하며, 경제학, 공간 추론, 유추에서 성능이 향상된다. 퍼즐 점수는 모든 모델에서 0에 가깝다.

B.2 MR2-Bench 결과

  • MR2-Bench [51]는 멀티모달 지식 검색, 시각적 예시, 시각적 관계의 12개 하위 과제로 구성되며, 고도의 멀티모달 추론이 필요한 검색을 평가한다.지식 검색은 생물학, 요리, 원예, 물리학, 화학, 지구과학을, 시각적 예시는 경제학, 수학, 자연을 다룬다. 시각적 관계는 공간, 퍼즐, 유추를 다룬다.출처: §B.2 · p. 12
  • RIME-7B의 종합 점수는 28.6으로, UME-R1(27.5)을 능가하고 비공개 모델인 Seed-1.6-embed(30.7)에 근접한다.저자들은 명시적인 CoT 추론 없이 재작성을 통해 내부 지식을 활성화한 덕분에 이러한 결과를 얻었다고 설명한다 [21] [30] [53].출처: §B.2 · p. 12
  • 경제학, 공간 추론, 유추에서 UME-R1 대비 각각 8.5, 2.7, 2.9포인트 향상된다.RIME과 UME-R1의 점수는 각각 경제학에서 64.2 대 55.7, 공간 추론에서 40.4 대 37.7, 유추에서 15.1 대 12.2다.출처: §B.2 · p. 12
  • 모든 모델의 0에 가까운 퍼즐 점수는 복잡한 논리적 연역이 필요한 추상적 시각 추론이 여전히 어렵다는 점을 보여준다.출처: §B.2 · p. 12

B.3 MMEB-V2/UVRB 세부 결과

RIME-7B는 UVRB [13]에서 가장 높은 종합 성능을 달성한다. MMEB-v2 [17] [35]와 UVRB의 과제별 상세 결과는 공정한 비교와 재현 가능한 연구를 뒷받침한다.

B.3 MMEB-V2/UVRB 상세 결과

  • RIME-7B의 UVRB [13] 평균 점수는 55.6으로, 종합 성능이 가장 높다.과제별 상세 결과는 Tables 12 and 13에 제시되어 있다.출처: §B.3 · p. 12

B.3 MMEB-V2/UVRB 세부 결과

  • MMEB-v2 [17] [35]의 78개 하위 과제는 이미지, 비디오, 시각 문서 과제를 포괄하며, 세부 결과는 Tables 10 and 11에 제시한다.이러한 세분화된 결과는 후속 연구의 추가 분석과 직접 비교를 뒷받침한다.출처: §B.3 · p. 12
  • UVRB [13]의 16개 하위 과제는 과제, 도메인, 하위 도메인의 세 차원에서 비디오 검색을 체계적으로 평가한다.출처: §B.3 · p. 12

C 데이터 구축 예시

이 예시들은 모달리티를 고려한 재작성이 멀티모달 입력을 검색에 적합한 표현으로 변환하는 과정을 보여준다. 텍스트 분석과 시각 질의응답은 구조화된 재작성을 거친 뒤 공통 임베딩 요약을 생성한다.

C 데이터 구축 예시

  • 모달리티를 고려한 데이터 구축은 공통 재작성·임베딩 템플릿을 통해 멀티모달 입력을 검색에 적합한 표현으로 변환한다.템플릿은 재작성 과정을 <think> 태그 안에 배치하고, <gen_emb>를 사용해 해당 과정과 원본 입력을 함께 요약한다.출처: C Examples of Data Construction · pp. 12, 18
  • 텍스트 재작성은 단어나 구절의 모호성을 분석하고, 의미를 보존하는 문장 재작성안을 최대 세 가지 제시하며, 전문 텍스트에서 전문 용어를 추출한다.문장 재작성안에는 짧은 설명을 덧붙이며, 전문 텍스트 분석에서는 해당 학문 분야를 추정하고 심층적 함의도 파악한다.출처: C Examples of Data Construction · p. 15
  • 시각 질의응답은 이미지의 복잡도를 평가해 내용 분석 방식을 조정하고, 직접적인 답변을 제시하되 불확실할 때는 신뢰도를 표시한 대안 답변도 제공한다.정보량이 적은 이미지는 시각적 내용을 간결하게 기술하고, 정보량이 많은 이미지는 핵심 요소, 관계나 공간 구조, 정확한 문자 인식을 요구한다.출처: C Examples of Data Construction · p. 16
  • 구체적인 예시에서는 캡션 바꿔쓰기를 이미지 설명과 연결하고, 이미지 속 컴퓨터 수 세기를 정답 “Three”의 의미 분석과 연결한다.캡션 예시는 고양이와 당근이 등장하는 밈의 문구를 재작성하며, 이미지 설명은 장면과 이미지 위에 삽입된 텍스트를 기록한다. 수 세기 예시는 높은 신뢰도로 컴퓨터 세 대를 식별하며, 정답 재작성에서는 기수·서수·집합적 해석을 논의한다.출처: C Examples of Data Construction · pp. 18–19

Related papers

Loading 2604.22280v3…