PaperlayerView exact revision on arXiv

Source-linked AI summary

Think Before You Link: Rarity, Reasoning, and Retrieval in Multilingual Entity Linking

Parinthapat Pengpun, Simran Khanuja, Graham Neubig

arXiv:2609.10745v1cs.CL

TL;DR

멀티모달 entity-linking 시스템은 희귀 entity에서 성능이 저하되며, popularity 기반 rarity 척도는 구조적으로 문서화가 부족하거나 문화적으로 특수한 사례를 놓친다. 이 논문은 rarity를 구조적으로 정의하고, Wikipedia를 반복적으로 검색하고 추론하는 training-free VLM framework를 제안해 MERLIN 정확도를 전체적으로 6.9%, 희귀 entity slice에서 최대 23.3% 향상한다.

  • 문제

    Entity-linking 모델은 희귀하고 문화적으로 특수한 entity에서 성능이 저하되지만, popularity 기반 rarity proxy는 문화적 특수성을 반영하지 못하거나 서로 다른 failure mode를 구분하지 못할 수 있다.

  • 방법

    이 논문은 Wikidata structural metric으로 rarity를 정의하고, reasoning-capable VLM을 반복적인 Wikipedia retrieval 및 reasoning과 결합한다.

  • 결과

    MERLIN에서 state of the art 대비 전체적으로 +6.9%, 가장 어려운 희귀 entity slice에서 최대 +23.3%를 달성했으며, reasoning과 retrieval을 결합한 방식이 가장 우수하다.

  • 시사점 및 한계

    서로 다른 rarity 정의는 서로 구별되는 entity-linking failure mode를 드러내며, retrieval과 reasoning을 결합할 때 보고된 시스템 중 가장 강력한 성능을 보인다.

  • 시사점 및 한계

    Retrieval이 pipeline error의 72%를 차지하며, source-language mention이 English Wikipedia title과 다를 경우 transliteration 차이로 인해 recall이 저하될 수 있다.

Abstract

from arXiv · show

Multimodal entity linking grounds entity mentions in text and images to knowledge-base entries. These systems degrade on rare entities, but prior work measures rarity primarily through popularity-based metrics such as pageviews. We broaden this view using knowledge-graph structural metrics that capture how well an entity is documented and connected. These metrics identify many rare entities that popularity metrics miss. Across the resulting rare-entity slices, state-of-the-art accuracy drops by 15.4-39.9%, showing that different rarity definitions expose different failure modes. To address these failures, we introduce a simple, training-free framework in which a reasoning-capable vision-language model iteratively searches and reasons over Wikipedia, gathering evidence dynamically. Controlled experiments show that reasoning and retrieval are complementary. Reasoning alone does not significantly improve accuracy on rare entities. Retrieval without reasoning improves rare-entity accuracy but can hurt overall accuracy. Their combination performs best. On MERLIN, a multilingual multimodal entity linking benchmark over five languages (Hindi, Indonesian, Japanese, Tamil, Vietnamese), our best system improves over the state of the art by 6.9% overall and by up to 23.3% on rare-entity slices. We release MERLIN-Rare, rare-entity test slices for targeted evaluation, with our framework.

1 서론

이 논문은 knowledge graph 구조를 활용해 popularity를 넘어 rare entity 평가를 확장한 뒤, 반복적 Wikipedia retrieval과 reasoning-capable vision-language model을 결합해 그로 인해 드러난 실패를 해결한다. MERLIN에서 이 framework는 전체 state-of-the-art 정확도를 6.9%, rare-entity slice에서는 최대 23.3% 향상한다.

  • 1 서론: MERLIN의 5개 언어 전체에서 SOTA 대비 평균 정확도 +6.9%를 달성하며, bottom-5% rare-entity slice에서는 +23.3%까지 상승한다.Figure 2는 언어별 edition의 bottom-5% rare entity에서 제안 system이 63.9%, Pangea가 47.6%의 정확도를 보인다고 보고한다.
  • 1 서론: 이 연구는 Wikidata structural metric을 사용해 rarity를 다차원적으로 정의하고, 단순한 비인기성과 cultural specificity 및 structural sparsity를 구분한다.Hindi, Indonesian, Japanese, Tamil, Vietnamese를 포괄하는 MERLIN에서 targeted evaluation을 수행할 수 있도록 MERLIN-RARE rare-entity test slice를 공개한다.
  • 1 서론: bottom-5% rarity slice 전반에서 정확도가 15.4–39.9% 하락하며, structural metric은 popularity metric과 대체로 다른 entity에서 실패를 드러낸다.Structural metric은 최대 37.0%의 하락을 보이며 pageview의 37.7%와 비슷하지만, 서로 다른 rare entity를 식별한다.
  • 1 서론: Reasoning과 retrieval은 상호보완적이다. reasoning만으로는 rare-entity 정확도가 유의하게 향상되지 않고, retrieval은 rare entity에 도움을 주지만 전체 집합 정확도를 해칠 수 있으며, 둘의 결합이 가장 좋은 성능을 보인다.이 framework는 reasoning-capable vision-language model을 사용해 Wikipedia에서 반복적으로 retrieval을 수행하며, reasoning은 model이 retrieved evidence를 더 효과적으로 활용하도록 돕는다.
  • 1 서론: Retrieval은 common entity에서 non-reasoning model의 성능을 떨어뜨리지만 rare entity에는 도움을 주며, retrieval failure가 잔여 오류의 72%를 차지하고 reasoning model은 더 적고 표적화된 call을 수행한다.이러한 분석은 retrieval에만 의존하기보다 retrieval과 contextual reasoning을 결합해야 함을 뒷받침한다.

2 관련 연구

기존 연구는 생성 기반, 멀티모달, 다국어, 검색 증강 entity linking을 발전시켜 왔지만, 대체로 희소성을 인기도로 다루며 entity linking에 interleaved reasoning-retrieval을 적용하지 않았다. 본 연구는 다차원 희소성 특성화와 검색 증강 추론으로 이러한 공백을 해소한다.

  • 대규모 언어 모델을 활용한 Entity Linking: Entity linking은 후보 집합 분류에서 직접 생성으로 전환되었으며, GENRE (Cao et al., 2021a)를 시작으로 문맥 강화, adaptive routing, retrieval-reasoning 방법으로 확장되었다.
  • 멀티모달 및 다국어 Entity Linking: MERLIN은 멀티모달 및 다국어 entity linking이 교차하는 지점의 초기 benchmark 중 하나로, 시각적 disambiguation과 autoregressive 또는 end-to-end 다국어 방법의 발전과 함께 등장했다.
  • Entity 희소성과 문화적 표현: Entity-linking 시스템은 희소 entity에서 성능이 저하되지만, 기존 연구는 문화적·언어적·서구 중심적 표현 편향의 증거에도 불구하고 대체로 희소성을 낮은 인기도와 동일시한다.
  • Entity 희소성과 문화적 표현: 본 논문은 다차원 희소성 특성화를 통해 구조적 희소성과 인기도를 구분한다.
  • 검색 증강 추론: Reasoning-retrieval 접근법은 사고와 검색을 교차 수행하지만, 이 패러다임은 entity linking에 적용된 적이 없었으며 본 논문은 이를 다룬다.

3 과업 정의

이 논문은 다국어·멀티모달 엔터티 링킹을 다룬다. 텍스트와 함께 제공된 이미지를 사용해 표시된 텍스트 멘션을 해당 knowledge base 엔터티에 매핑한다. MERLIN을 따라 엔터티의 English Wikipedia title을 예측하고, gold annotation과 비교한 exact-match accuracy로 평가한다.

  • 3 과업 정의: 엔터티 링킹은 텍스트 엔터티 멘션을 knowledge base의 항목에 매핑한다.
  • 3 과업 정의: 이 과업은 source-language 텍스트 문단 T, 함께 제공된 이미지 I, 그리고 T 안에 표시된 멘션 m ∈ T를 입력으로 받는다.
  • 3 과업 정의: 시스템은 참조된 엔터티의 English Wikipedia title을 예측하며, MERLIN에서 gold annotation과 비교한 exact-match accuracy로 평가된다 (Ramamoorthy et al., 2025).

4 엔터티 희소성 분석

엔터티 희소성은 다차원적이다. popularity, documentation, structural connectivity, cross-lingual coverage에 따라 식별되는 rare-entity 집합은 상당히 다르다. 이러한 slice에서 Cultural Pangea의 정확도는 급격히 하락하며, popularity만으로 평가할 때 놓칠 수 있는 structurally sparse entity에서도 하락이 나타난다.

  • 희소성 metric: 이 분석은 Wikipedia documentation metric과 Wikidata structural 및 cross-lingual metric을 결합해 서로 다른 희소성 차원을 드러낸다.metric에는 pageviews, backlinks, article size, revisions, editors, categories, links, references, images, language editions, statements, qualifiers, entity age가 포함된다.
  • 정의: metric이 test-set distribution의 하위 5%에 속하면 해당 entity를 rare로 정의하며, “rare”는 metric별 tail을 포괄하는 상위 개념으로 사용된다.이 tail에는 unpopular, under-documented, structurally sparse entity가 포함되며, 1%, 5%, 10% threshold에서도 결과는 안정적이다.
  • 희소성 metric: 평균 중첩 37%: 서로 다른 metric으로 정의한 하위 5% rare-entity 집합은 상당히 다른 entity를 식별하며, 일부 쌍의 중첩률은 10%에 불과하다.따라서 어떤 entity는 popular하지만 structurally rare일 수 있고, Wikipedia coverage는 빈약하지만 knowledge-graph connectivity는 조밀할 수 있다.
  • 문화적 재현: cross-lingual knowledge-base signal에서의 structural sparsity는 coverage 차이가 multilingual model bias를 증폭할 수 있으므로 문화적으로 의미 있는 것으로 다룬다.이 논문은 이러한 동기를 language-specific Wikipedia coverage, English-centric model output, 그리고 digitally underrepresented culture에 대한 빈약한 description과 연결한다.
  • Rare-entity 평가: 15.4%-39.9%: Cultural Pangea의 정확도는 81.1%인 전체 MERLIN 정확도에 비해 하위 5% 희소성 slice 전반에서 하락한다.pageview slice에서는 하락폭이 37.7%에 이르며, Wikidata statement-count slice에서는 37.0%에 이른다.

5 방법론

방법론은 짝지어진 reasoning 및 instruct VLM과 반복적 Wikipedia retrieval을 결합해 reasoning, retrieval, model scale을 통제 비교할 수 있게 한다. 최적 구성은 전체 MERLIN test set에서 Cultural Pangea 대비 평균 6.9% 향상을 달성한다.

  • Model Selection: 이 연구는 2B, 4B, 8B scale에서 짝지어진 Qwen3-VL Thinking 및 Instruct variant를 사용해 reasoning, retrieval, model-size 효과를 분리한다.짝지어진 architecture는 reasoning 및 non-reasoning variant 간 통제 비교를 지원한다.
  • Implementation: pipeline은 image와 text context를 반복적으로 분석하고, retrieval query를 발행하며, Wikipedia snippet을 통합한 뒤, 확신이 생길 때까지 이를 반복하고 최종 title을 추출한다.두 번째 pass에서는 모델에 전체 reasoning을 다시 제시해 최종 answer를 추출한다.
  • Retrieval System: retrieval에는 English Wikipedia와 BM25 lexical search 또는 FAISS에 색인된 title-description pair에 대한 multilingual embedding search를 사용한다.embedding strategy는 non-Latin entity mention에 대한 BM25의 cross-lingual 한계를 해결하며, 가장 가까운 top-k pair를 snippet으로 반환한다.
  • Implementation: 모든 retrieval-augmented configuration은 initial search를 수행하도록 강제되며, 이후 모델이 최대 20 iterations 동안 계속할지와 어떻게 계속할지를 자율적으로 선택한다.이를 통해 특히 해당 제어가 없으면 tool use를 자주 건너뛰는 2B model에서 nominal RAG setting이 No RAG처럼 동작하는 것을 방지한다.
  • Results: 6.9%: 8B-Think+Embed system은 전체 MERLIN test set에서 평균적으로 Cultural Pangea를 능가한다.reasoning model은 일관되게 instruct model을 능가하고, embedding retrieval은 BM25를 능가하며, BM25는 reasoning model에는 도움이 되지만 instruct model에는 해가 된다.

6 실험 설정

실험에서는 factorial design에 따라 Qwen3-VL의 reasoning mode, parameter scale, retrieval strategy를 변화시키고, 18개 configuration을 published 및 retrieval-aware MERLIN baseline과 비교한다.

  • Model variant: Qwen3-VL을 2B, 4B, 8B parameter size의 Thinking 및 Instruct variant에서 평가한다.Thinking은 확장된 reasoning trace를 생성하고, Instruct는 표준 instruction-tuned variant다. 두 variant는 동일한 base architecture를 공유한다.
  • Retrieval method: Factorial design에서는 각 model variant와 size를 No RAG, BM25 retrieval, multilingual embedding retrieval과 조합해 18개 configuration을 구성한다.이 조건들은 model scale, reasoning, retrieval이 overall 및 rare-entity accuracy에 기여하는 정도를 분리해 측정한다.
  • Baseline: Published MERLIN baseline은 GEMEL (58.7%), mGENRE (72.9%), Cultural Pangea (81.1%)이며, 현재 state of the art다.GEMEL은 generative multimodal entity linking이고, mGENRE는 Wikipedia title에 대해 constrained beam search를 사용한다. Cultural Pangea는 제시된 published baseline 중 가장 강력하다.
  • Baseline: CulturalPangea-RAG는 CulturalPangea가 tool calling을 지원하지 않기 때문에 embedding retrieval로 검색한 상위-5 title–description pair를 앞에 덧붙인다.이는 이 논문의 embedding retrieval을 사용하는 추가 retrieval-aware baseline을 제공한다.

7 결과

MERLIN에서 8B-Think+Embed은 state of the art를 크게 능가하며, rare-entity slice에서 더 큰 향상을 보인다. 결과는 retrieval과 reasoning이 상호보완적임을 보여주지만, 특히 rare 및 non-Latin mention에서 retrieval failure가 여전히 가장 큰 error bottleneck으로 남는다.

  • 전체 MERLIN 결과: 평균 정확도 87.9%: 8B-Think+Embed은 전체 MERLIN에서 Cultural Pangea보다 +6.9% 높은 성능을 보이며, Hindi와 Indonesian에서는 +10.0% 높다.redirect-aware scoring에서도 우위는 +4.9%로 유지된다.
  • RQ1: Entity Rarity에 따라 우위는 어떻게 확장되는가?: 15개 rare-entity slice 전체에서 +5.5% to +23.3% 향상을 보여, 14개 slice에서 +6.9% 전체 데이터셋 향상을 넘어선다.가장 큰 향상은 qualifiers(+23.3%), statements(+22.1%), Wikidata outgoing links(+21.7%)에서 나타난다.
  • RQ2: 향상의 원인은 Reasoning, Retrieval, 또는 이들의 결합인가?: language-edition rare entity에서 +18.8% RAG 향상, 전체 데이터셋에서 +3.8% 향상이라는 결과는 parametric knowledge가 실패할 때 retrieval이 필수적이 됨을 보여준다.Reasoning alone은 rare entity에 유의미한 효과가 없지만(모든 slice에서 p > 0.5), reasoning은 retrieved evidence를 더 효과적으로 활용하게 한다.
  • RQ2: 향상의 원인은 Reasoning, Retrieval, 또는 이들의 결합인가?: 전체 데이터셋에서 −4.9%, structural rare slice에서 +8.1% to +12.6%라는 결과는 retrieval 상황에서 BM25가 instruct model에 대해 역전되는 현상을 포착한다.Instruct model은 deliberation 없이 3.2–3.7회 검색을 수행해 context를 과도하게 채우는 반면, thinking model은 1.0–2.2회의 deliberate search를 수행하며 transition의 56–58%에서 이전 query를 refine한다. instruct model에서는 그 비율이 35–40%다.
  • RQ3: 더 작은 Reasoning Model이 더 큰 Model과 대등한 성능을 낼 수 있는가?: rare entity에서 +5 to +7%: 4B-Think+Embed은 전체적으로 거의 동일한 성능을 보임에도(+0.3%) 8B-Instr을 능가한다.2B에서는 2B-Think이 예시의 97%에서 강제 검색을 한 번만 수행하므로 no-RAG baseline이 retrieval configuration보다 높은 성능을 보인다. 이는 효과적인 tool use에 충분한 model capability가 필요함을 나타낸다.
  • Error 분석: Error의 72%는 검색 결과에 정답 entity가 나타나지 않아서 발생하며, 23.5%는 정답을 찾았지만 거부하는 reasoning을 포함한다.Rare entity의 error rate는 31.1%로 head entity의 8.4%보다 높고, completely-wrong, concept-granularity, name-format error가 더 많이 나타난다. 또한 non-Latin input에서는 retrieval failure가 차지하는 비중도 더 크다.

8 결론

결론은 구조적 희소성이 pageview 기반 rarity 지표보다 더 큰 문화적 long-tail 난이도를 드러낸다는 점을 보여준다. 반복적인 Wikipedia retrieval과 reasoning을 결합한 reasoning-capable VLM이 가장 우수한 결과를 달성하지만, retrieval failure는 여전히 주요 한계로 남는다.

  • 8 결론: Unpopularity는 rarity와 동의어가 아니다: 희소한 Wikidata 구조와 적은 Wikipedia 언어판 수는 pageview 기반 분석이 시사하는 것보다 더 큰 성능 하락을 초래한다.이는 기존 연구가 문화적 long tail의 난이도를 과소평가했음을 보여준다.
  • 8 결론: 제안된 framework는 MERLIN에서 state of the art 대비 +6.9%, 가장 어려운 rare-entity slice에서 최대 +23.3%의 성능 향상을 달성한다.이 framework는 Wikipedia를 반복적으로 검색하고 reasoning하는 reasoning-capable VLM을 사용한다.
  • 8 결론: Reasoning과 retrieval을 결합하면 전체적으로 가장 강력한 system이 되지만, retrieval 없는 reasoning은 rare entity에 유의미한 효과가 없다.Retrieval만으로도 rare entity에는 도움이 될 수 있지만 결합 방식의 성능에는 미치지 못할 수 있다.
  • 8 결론: 구조적으로 희소한 entity에서 +18.8%의 retrieval gain, 전체 dataset에서 +3.8%의 gain은 8B reasoning model에서 5.0× 증가에 해당한다.retrieval을 적용한 4B reasoning model은 전체적으로 8B instruct model과 동등하며, rare entities에서는 이를 +5에서 +7% 앞선다.
  • 8 결론: Retrieval failure가 잔여 오류의 72%를 차지하며, retrieval을 사용하더라도 long-tail disambiguation은 여전히 미해결 문제로 남는다.결론은 향후 연구의 유용한 방향으로 cross-lingual retrieval을 제시한다.

한계

이 연구의 근거는 모델군 범위, English Wikipedia 범위, retrieval 신뢰성에 의해 제한되며, exact-match 평가는 유효한 비표준 제목에 불이익을 준다. Retrieval이 파이프라인의 지배적인 병목이며, 평가된 설정을 넘어선 일반화 가능성은 여전히 불확실하다.

  • 모델군 근거: 통제된 요인 실험은 주로 Qwen3-VL (Team, 2025)을 사용하며, GLM 검증은 rare-entity retrieval의 이점을 뒷받침하지만 전체 reasoning-by-retrieval 상호작용이 모델군 전반에 일반화된다는 점을 입증하지는 않는다.GLM의 non-thinking mode에서는 retrieval loop를 유지할 수 없었지만, thinking mode에서 retrieval을 추가하면 15개 rare-entity slice 모두의 성능이 향상되었다.
  • 범위와 일반화: 평가는 5개 MERLIN 언어와 English Wikipedia를 다루므로 English coverage가 없는 entity에 대한 적용 가능성이 제한되며, Wikipedia 표현이 더 희소한 언어에서의 성능은 알려져 있지 않다.아프리카 언어는 문화적 long tail을 대상으로 retrieval-augmented 접근법의 한계를 시험할 수 있는 설정의 예로 제시된다.
  • Retrieval의 한계: Retrieval이 파이프라인 오류의 72%를 차지하며, 상당한 transliteration 차이로 인해 어느 retrieval method도 올바른 English Wikipedia 제목을 recall하지 못할 수 있다.Embedding retrieval은 라틴 문자가 아닌 script에서 언어 간 불일치를 부분적으로 완화하며, LLM tool use를 위한 cross-lingual retrieval 개선이 가장 영향력 있는 향후 방향으로 제시된다.
  • 평가 protocol: MERLIN의 표준 exact-match protocol은 redirect나 일반적인 약어처럼 유효하지만 비표준인 title string을 실제로 잘못된 prediction과 동일하게 취급한다.이 protocol은 기존 MERLIN 연구와의 일관성 및 시스템 간 비교 가능성을 위해 유지된다.

윤리적 고려사항

이 연구는 공개적으로 이용 가능한 자원에 의존하며 개인정보나 인간 피험자를 포함하지 않지만, Wikipedia의 편향된 커버리지를 물려받는다. 이러한 편향은 소외된 공동체에 대한 신뢰성을 낮출 수 있으며, 시스템은 이를 교정할 수 없다.

  • 윤리적 고려사항: 이 연구는 공개적으로 이용 가능한 MERLIN, Wikipedia, Wikidata 데이터를 사용하며 개인정보나 인간 피험자를 포함하지 않는다.
  • 윤리적 고려사항: 이 시스템은 Wikipedia에 비서구권 entity와 관점이 과소대표되는 현상을 물려받으며, rarity analysis를 통해 이를 드러낼 수는 있지만 교정할 수는 없다.
  • 윤리적 고려사항: entity linking은 Wikipedia에서 체계적으로 과소대표되는 소외된 공동체의 entity에 대해 신뢰성이 낮을 수 있다.

A 부록 … A.17 사용 및 공개한 아티팩트의 라이선스

부록 분석 전반에서 이 논문은 rarity metric이 서로 상당히 다른 entity를 식별하며, retrieval-enhanced reasoning이 rare-entity 정의와 model 설정 전반에서 robustness를 높이고, 공개된 artifact가 명시된 licensing terms를 따른다는 점을 보인다. 또한 분석을 통해 search behavior, computational tradeoff, error source, cross-model limitation을 규명한다.

  • A.6 Robustness Analysis; A.7 Threshold Robustness: 최종 system은 15개 rare-entity slice 중 14개에서 Pangea보다 성능 저하가 작고, robustness gap은 최대 16.4%이며, 1%에서 10%까지의 rarity threshold 전반에서도 우위가 유지된다(+8.0% to +41.1%).양의 robustness gap은 제안 system의 accuracy drop이 더 작다는 뜻이며, entity age가 유일한 예외다.
  • A.1 Rarity Metric Independence: 15개 rarity metric은 대체로 서로 다른 entity를 식별한다. 하위 5% 간 평균 Jaccard overlap은 37%이며, Wikipedia metric 내에서는 48%, Wikidata metric 내에서는 38%, 두 family 사이에서는 30%다.정성적 사례로는 Wikipedia에 상당한 documentation이 있음에도 Wikidata에서 structural rarity가 높은 entity와 그 반대 양상을 보이는 entity가 있다.
  • A.8 Accuracy by Rarity Decile: System의 accuracy는 baseline보다 rare entity를 향해 대략 절반의 속도로 감소한다. decile-1과 decile-10의 gap은 약 26% 대 45–47%이며, common entity에서 2–3%의 deficit이 있음에도 전체에서는 +6.9%를 얻는다.Baseline은 Wikidata-structural rarity decile 전반에서 급격하고 거의 단조롭게 감소하며 Spearman ρ ≥0.92를 보인다. Entity가 rare해질수록 두 curve가 교차한다.
  • A.11 Reasoning Compensates for Size; A.13 Search Behavior Analysis; A.15 Search Query Analysis: Retrieval을 활용한 reasoning은 model size의 차이를 보완한다. 4B-Think+Embed는 전체 set에서 8B-Instruct와 거의 동률(83.7% vs. 83.5%)이지만, rare language edition, statement, Wikidata outgoing link에서는 각각 +5.9%, +6.9%, +7.1% 앞선다.Thinking model은 더 일찍 중단하는 반면, Instruct query는 점점 반복되거나 저하된다. Query length 자체는 configuration 간 유사하며, transition에서는 refinement와 variation이 지배적이다.
  • A.10 Pipeline Decomposition; A.13 Search Behavior Analysis: Embedding retrieval은 첫 search에서 25–40%의 확률로 target을 찾는 반면 BM25는 6–15%에 그친다. 그러나 retrieval failure가 여전히 지배적이며, 8B-Think+Embed의 failure rate가 72.1%로 가장 낮다.Search 2의 생산성이 가장 높고, 이후 search에서는 diminishing return이 나타난다. Reasoning model은 Instruct model보다 search 횟수는 적지만 search 사이에서 더 긴 deliberation을 수행한다.
  • A.14 Computational Cost Analysis: Accuracy–cost frontier는 4B-Instruct의 76.2%와 2.8k token부터 8B-Think+Embed의 87.9%와 11.1k token까지 이어진다. 최적 configuration은 +11.7% accuracy를 위해 비용이 3.9× 더 든다.No-RAG 8B-Think baseline은 5.0k token으로 84.2%에 도달하며, 이는 최적 system accuracy의 96%를 token cost의 45%로 달성한 것이다.
  • A.16 Second Model Family: GLM-4.6V-Flash: Embedding retrieval을 추가하면 GLM-4.6V-Flash thinking mode는 15개 rare-entity slice 모두에서 향상되며, 11개에서는 유의한 gain을 보인다. 그러나 GLM retrieval은 전체 set에서 2.7% 하락하고, non-thinking mode는 retrieval loop를 지속하지 못한다.Retrieval이 없으면 GLM thinking과 Qwen3-VL-8B-Thinking은 각각 84.5와 84.2로 거의 동률이다. Qwen은 약 4.5× 더 많은 completion token을 생성하며, 이것이 전체 set에서 서로 다른 효과를 보이는 이유일 수 있다.
Loading 2609.10745v1…