PaperlayerView exact revision on arXiv

Source-linked AI summary

VibeSearchBench: Benchmarking Long-horizon Proactive Search in the Wild

Xiaohongshu Inc

arXiv:2605.27882v2cs.CLcs.AI

TL;DR

기존 검색 벤치마크는 사용자가 다회차 상호작용을 통해 모호한 정보 요구를 협력적으로 구체화하는 방식을 반영하지 못한다. VibeSearchBench는 페르소나 기반 schema-free knowledge graph와 graph matching을 활용해 이 설정을 평가하며, 7개 frontier model 모두 여전히 상당히 부족하고 최고 평균 F1도 30.30에 그친다는 결과를 보인다.

  • 문제

    기존 벤치마크는 모호한 사용자 요구를 반복적으로 구체화하기보다 과도하게 구체화된 질의, 단일 턴 상호작용, 고정 schema에 의존한다.

  • 방법

    VibeSearchBench는 20개 도메인에 걸친 200개 이중언어 과제를 사용하며, 사용자 페르소나와 schema-free knowledge graph를 짝지어 graph matching을 통해 7개 model을 평가한다.

  • 결과

    최고 성능은 30.30 평균 F1이며, 모든 model의 점수가 33 미만으로 VibeSearch에 상당한 부족함이 있음을 보여준다.

  • 시사점 및 한계

    에이전트가 context overflow, 비효율적인 의도 도출, 구조적으로 평면적인 knowledge-graph 출력을 처리하는 데 어려움을 겪기 때문에 VibeSearch는 여전히 어렵다.

  • 시사점 및 한계

    Model은 사실 관계를 효과적으로 추출하지만 정보를 계층적으로 구성하지 못해, 주로 평면적인 instance-level triple을 생성한다.

Abstract

from arXiv · show

LLM-based agents score well on search benchmarks, yet real users consistently find results unsatisfying, revealing a persistent evaluation-experience gap. We attribute this gap to existing benchmarks' reliance on over-specified queries, single-turn interactions, and fixed-schema evaluation, none of which reflect real search behavior where users and agents collaboratively refine vague intent through multi-turn dialogue. We term this paradigm VibeSearch and introduce VibeSearchBench, a benchmark comprising 200 manually curated bilingual (Chinese and English) tasks across 20 domains, split into VibeSearch-Pro (professional) and VibeSearch-Daily (daily-life) subsets. Each task pairs a user persona with a schema-free ground-truth knowledge graph, and is evaluated through a progressive-disclosure user simulator and a graph-matching evaluation framework. We benchmark seven frontier models under both the ReAct framework and the OpenClaw agent harness. Results show that all models remain substantially inadequate for VibeSearch (best F1: 30.30), highlighting the need for fundamental advances in long-context reasoning, proactive intent elicitation, and structured knowledge construction.

1 서론

VibeSearchBench는 search를 agent가 사용자의 모호한 정보 요구를 능동적으로 elicitation하고 refinement하는 long-horizon, multi-turn process로 모델링해 evaluation–experience gap을 다룬다. 이 paradigm을 평가하기 위해 20개 domain에 걸친 200개의 bilingual task와 두 scenario subset을 도입한다.

  • 동기: 기존 benchmark는 query를 과도하게 구체화하고 interaction을 single turn으로 제한해 agent가 user intent를 능동적으로 elicitation하고 refinement하는 것을 막는다.사용자는 대개 자신의 요구를 처음부터 완전히 표현하지 못하며, 현실적인 search는 모호한 query, 부분적 결과, clarification, 새롭게 형성되는 preference를 반복적으로 결합한다.
  • VibeSearch paradigm: VibeSearch는 bidirectional convergence를 요구한다. 즉 agent는 먼저 clarification한 뒤 나중에 search하기보다 부분적 결과와 follow-up question을 교차해 제시해야 한다.이 process는 지속적인 user-agent interaction을 통해 모호한 user need와 구체적인 solution을 함께 진화시킨다.
  • Benchmark: VibeSearchBench는 20개 domain에 걸친 200개의 manually curated task로 long-horizon proactive search를 평가하며, task를 VibeSearch-Pro와 VibeSearch-Daily 사이에, 그리고 Chinese와 English 사이에 균등하게 나눈다.이 benchmark는 professional 및 daily-life setting 전반의 서로 다른 task와 scenario diversity를 중심으로 설계됐다.
  • Benchmark design: 각 benchmark task는 trigger-conditioned progressive disclosure를 적용한 persona를 사용한다. agent는 자율적으로 search하고 부분적 결과를 반환하며 user와 interaction해 이후 정보를 해제한다.benchmark overview는 schema-free knowledge-graph output과 이를 ground-truth graph에 대해 평가하는 과정을 포함해 이 multi-turn process를 보여준다.

2 관련 연구

기존 search benchmark는 주로 완전히 구체화된 single-turn task를 깊이 또는 폭을 따라 평가하는 반면, agent-harness benchmark는 일반적인 agentic capability를 점점 더 평가하지만 search와 research 시나리오에는 task의 일부만 할당한다.

  • Search benchmark: 기존 search benchmark는 대체로 상호보완적인 깊이와 폭의 축을 중심으로 구성된 완전히 구체화된 single-turn task를 사용한다.BrowseComp [3]와 DeepSearchQA 는 찾기 어려운 사실을 위한 지속적인 multi-hop browsing을 강조하는 반면, WideSearch [4]는 병렬 source를 사전 지정된 table로 집계하는 능력을 평가한다.
  • Search benchmark: 깊이 중심 benchmark는 BrowseComp [3]와 DeepSearchQA 에서 보이듯이, 찾기 어려운 사실을 검색하기 위해 지속적인 multi-hop browsing을 요구한다.
  • 실세계의 Agent Harness benchmark: Agent-harness benchmark는 일반적인 agentic capability를 다루지만, 대부분은 task의 일부만 search 및 research 중심 시나리오에 할당한다.Claw-Eval [16], ClawBench [17], WildClawBench, QwenClawBench, PinchBench, Claw-Mark [21] 등이 그 예다.

3 VibeSearchBench

VibeSearchBench는 모호하고 단계적으로 구체화되는 요구를 지닌 사용자 페르소나와 에이전트 간의 다중 턴 상호작용으로 검색을 모델링하며, 예측된 지식 그래프를 schema-free ground truth와 매칭해 평가한다. 이 벤치마크는 20개 도메인에 걸친 200개의 이중언어 태스크로 구성되며, 그래프 기반 정보 요구가 상당히 크다.

  • 태스크 형식화: 각 태스크는 사용자 페르소나와 모호한 초기 질의를 단계적으로 구체화되는 정보 요구와 결합하며, schema-free directed graph는 임의의 목표 정보를 엔터티-관계 트리플로 표현한다.페르소나는 사용자 배경과 선호를 포함하고, 각 공개 단계는 트리거 조건과 새롭게 드러나는 요구 사항을 지정한다.
  • 상호작용 프로토콜: 검색 과정은 multi-turn으로 진행된다. 에이전트는 대화 기록과 도구를 사용해 검색하고, simulator는 에이전트가 명시적 트리거 조건을 충족할 때만 연속적인 요구 사항을 공개한다.모든 단계가 처리되거나 가용 budget이 소진될 때까지 상호작용이 계속된다.
  • 데이터 구축 및 품질 관리: 전문가들은 서로 다른 도메인의 시나리오를 만들고, 요구의 점진적 구체화를 시뮬레이션하며, 일관된 ground-truth graph를 구축하고, 시나리오·상호작용·공개·사실성·페르소나-그래프 품질에 대해 independent dual review를 수행한다.검토 과정에서는 multi-turn 검색 과정의 현실성과 일관성, 그리고 구조화된 지식의 정확성을 모두 점검한다.
  • 평가 프레임워크: 상호작용 후에는 information-entailment matching을 사용해 트리플 수준의 precision, recall, F1로 예측 그래프와 ground-truth graph를 비교한다.LLM judge는 exact match에만 의존하지 않고 alias, 관계 동의어, 함의 관계, 집합적 커버리지, 조합적 추론을 수용한다.
  • 벤치마크 통계: 200개 태스크는 20개 도메인에 걸쳐 있으며, VibeSearch-Pro와 VibeSearch-Daily 사이에서, 그리고 중국어와 영어 사이에서 균등하게 나뉜다. ground-truth graph는 평균 212.43 nodes와 298.32 triples로 구성된다.VibeSearch-Pro graph는 평균 373.56 triples, VibeSearch-Daily graph는 223.07 triples를 갖는다.

4 실험

실험에서는 VibeSearchBench에서 ReAct와 OpenClaw를 사용해 7개 frontier LLM을 평가했으며, framework, 상호작용 행동, resource use의 차이에도 불구하고 현재 모델이 여전히 상당히 부족함을 확인했다. Claude Opus 4.6은 보고된 OpenClaw 평균 F1에서 30.30으로 가장 높은 성능을 보였고, proactiveness와 context management가 성능 차이를 설명하는 데 기여했다.

  • 종합: 30.30 average F1은 Claude Opus 4.6의 최고 OpenClaw 결과이며, 모든 모델이 33 미만의 점수를 기록해 VibeSearch에서 상당한 부족함을 보였다.Claude Opus 4.6과 DeepSeek-V4-Pro가 최상위권(F1 ≥27)을 이루고 Kimi K2.6이 그 뒤를 이었으며, GPT-5.4와 Qwen3.5-397B-A17B는 20–23점을 기록했다. OpenClaw는 대체로 ReAct보다 소폭 우수했다.
  • Precision과 Recall: 대부분의 모델은 Precision보다 Recall이 높아, 관련 없는 triple을 감수하고 폭넓은 coverage를 선호했다. Gemini-3.1 Pro는 P=34.61 and R=20.63으로 예외였다.Claude는 P=24.88과 R=36.34를 기록했으며, Daily Recall은 39.20, Precision은 21.60이었다. Gemini는 Pro ground-truth triple의 거의 84%를 복원하지 못했다.
  • Pro와 Daily: 대부분의 모델에서 Pro F1 consistently exceeds Daily F1했다. professional 정보가 더 집중적이고 구조화된 반면, Daily 정보는 더 분산되어 있고 필요를 예측하기 어렵기 때문이다.Claude는 29.79 vs. 25.95, DeepSeek은 28.70 vs. 25.37을 기록했다. Gemini-3.1 Pro는 Daily 24.66 vs. Pro 22.41로 이러한 패턴을 뒤집었다.
  • Proactiveness: Claude의 ReAct #Asst/#User ratio of 8.26과 최고 F1은 더 강한 proactiveness가 더 나은 VibeSearch 성능과 연결됨을 보여준다.Claude는 평균적으로 user reply마다 7–8회의 tool call을 수행한 반면, Gemini-3.1 Pro는 2.84로 가장 낮은 ratio를 보이며 user 주도의 탐색을 수동적으로 기다렸다.
  • Interaction Efficiency: GPT-5.4의 높은 resource consumption은 성능을 향상시키지 못했다. context compression count가 다른 모델의 <0.7에 비해 1.27로 높아 information loss와 성능 저하를 일으켰다.99.6회의 assistant turn과 OpenClaw #Asst/#User ratio 4.34에도 불구하고, GPT-5.4의 장황한 출력은 잦은 context overflow와 이후의 중복 검색을 유발했다.
  • Interaction Pattern에 대한 Framework 효과: Framework 변화는 efficiency에 서로 다른 영향을 미쳤다. Claude는 assistant turn이 감소하면서 27.87 to 30.30 F1로 향상된 반면, Seed2.0 Pro는 assistant turn이 증가하면서 23.22 to 25.23으로 향상됐다.OpenClaw에서 Claude의 assistant turn은 109.8에서 93.6으로 감소했지만, Seed2.0 Pro는 73.0에서 84.8로 증가하며 exploration space를 확장했다.

5 분석

실패 분석에 따르면 ReAct trajectory에서 context management, intent elicitation, knowledge-graph organization은 여전히 주요 병목이다. OpenClaw ablation에서도 sub-agent와 memory mechanism이 VibeSearch 성능을 유의미하게 향상시키지 못하는 것으로 나타났으며, evaluation framework는 human expert와 98.5%를 초과하는 일치도를 보인다.

  • Information Retrieval 및 Context Management 실패: Compressed trajectory는 평균 8–12 F1 points를 잃으며, context overflow로 인해 agent가 공개된 요구사항을 잊고 이후 출력을 잘못 정렬한다.F1은 평균 0.26에서 0.16으로 하락하며, GPT-5.4는 compression이 없을 때 0.25에서 최소 두 번 compression을 적용하면 0.12로 떨어진다.
  • Multi-Turn Interaction 및 Intent Elicitation 실패: Model은 [DONE]에 도달하는 경우가 드물며, user turn이 15회를 초과하는 trajectory의 평균 F1은 0.18로, 최대 10회인 trajectory의 0.23보다 낮다.더 긴 trajectory는 정보가 분산된 더 어려운 task와, 잘못 정렬된 질문으로 인한 낭비된 turn을 모두 반영한다.
  • Knowledge Graph Construction 및 Output 실패: 최고 성능 model조차 factual relation에서는 100% coverage를 달성하지만 organizational 및 hierarchical relation에서는 0%에 그쳐, 평면적인 knowledge-graph output을 생성한다.이는 model이 fact는 효과적으로 추출하지만 이를 계층적으로 조직하지 못함을 의미한다.
  • OpenClaw Mechanism Ablation: Sub-agent와 memory mechanism은 workload나 context pressure를 증가시키고 task 간 효과적인 transfer도 거의 제공하지 못하면서, F1을 유의미하게 향상시키지 못한다.Sub-agent delegation은 assistant turn을 64%–129%, tool을 82%–129% 증가시키는 반면, local-memory F1은 ±0.5 범위에 머물고 life-long-memory 차이는 1.0 미만이다.
  • Evaluation Reliability: Evaluation framework는 세 LLM judge에서 human expert와 전체적으로 98.5%를 초과하는 일치도를 달성하여, human annotation의 대체 수단으로 사용할 수 있음을 뒷받침한다.Kimi가 98.92%로 가장 높은 일치도를 달성한다.

6 결론

VibeSearchBench는 다중 턴의 협력적 의도 구체화와 schema-free 정보 그래프 구축을 통해 장기 선제적 검색을 평가한다. ReAct와 OpenClaw으로 테스트한 7개 frontier 모델 가운데 최고 모델도 30.30 F1에 그쳤으며, 컨텍스트 오버플로, 비효율적인 의도 도출, 구조적으로 평면적인 출력이 핵심 병목으로 확인됐다.

  • 결론: ReAct와 OpenClaw에서 평가한 7개 frontier 모델 가운데 30.30 F1이 최고 성능이다.
  • 결론: VibeSearchBench는 모호한 사용자 의도를 다중 턴으로 협력적으로 구체화하고 schema-free 정보 그래프를 구축해야 하는 장기 선제적 검색에서 에이전트를 평가한다.
  • 결론: 컨텍스트 오버플로, 비효율적인 의도 도출, 구조적으로 평면적인 지식 그래프 출력이 핵심 병목으로 확인됐다.

기여

기여 섹션은 논문의 기여자, 소속 기관, 지정된 핵심 기여자와 프로젝트 리드를 나열한다.

  • 기여: 저자 목록은 여러 기여자를 핵심 기여자로, Xiang Cheng을 프로젝트 리드로 지정한다.기호 †는 핵심 기여자, ‡는 프로젝트 리드를 나타낸다.
  • 기여: 논문은 Xiaohongshu Dots Studio의 General Post-training Team과 UniPat AI 소속 기여자를 나열한다.소속 정보는 Xiaohongshu Dots Studio를 소속 1로, UniPat AI를 소속 2로 식별한다.

A 평가 세부사항 … A.4 구현

이 framework는 ground-truth triple coverage, evidence-supported precision, 그리고 이들의 harmonic-mean F1을 판정해 predicted knowledge graph를 평가한다. 세부적인 prompt, 경고, 예시를 활용한 batched parallel judging으로 효율성을 높인다.

  • A 평가 세부사항: 부록에서는 Section 3.4에서 소개한 graph-based evaluation framework를 형식화하고 구현한다.
  • A.1 Triplet Recall: Triplet recall은 prediction이 ground-truth triple의 정보를 직접 표현하거나, 포괄하거나, 집합적으로 포괄하거나, compositionally 도출할 때 해당 triple을 covered로 센다.
  • A.1 Triplet Recall: Triplet recall은 predicted graph가 covered한 ground-truth triples의 비율이다.
  • A.2 Triplet Precision: Triplet precision은 적어도 하나의 ground-truth triple coverage를 뒷받침하는 predicted triples의 비율이다.Recall 평가 중 LLM judge는 각 covered ground-truth triple에 supporting evidence를 제공하는 predicted triples를 기록한다.
  • A.3 Triplet F1: Triplet-level F1은 triplet precision과 triplet recall의 harmonic mean으로 계산한다.
  • A.4 구현: 평가 효율성은 ground-truth triples를 parallel batches로 분할하고, criteria, error warnings, worked examples를 포함한 prompt를 사용해 향상한다.구체적인 LLM-judge prompt는 부록에 제시한다.

B 도구 사양

에이전트는 웹 검색, 웹페이지 접근, 학술 문헌 검색, 코드 실행을 위해 네 가지 function-calling 도구를 사용한다. Search는 출처를 발견하고, Visit는 정보 커버리지를 높이며, Scholar Search는 전문 과제를 지원하고, Python은 계산을 처리한다.

  • 도구 사양: 네 가지 function-calling 도구가 웹 검색, 웹페이지 콘텐츠 접근, 학술 문헌 검색, sandboxed 코드 실행을 담당하며, 각 추론 단계에서 자유롭게 호출할 수 있다.도구는 Search, Visit, Scholar Search, Python이다.
  • 도구 사양: Search는 제목, URL, snippet이 포함된 상위 N개 결과를 반환하며, 출처와 초기 단서를 발견하는 데 가장 자주 사용되는 도구다.에이전트가 query string을 입력하면 순위가 매겨진 검색 결과를 받는다.
  • 도구 사양: Visit는 URL과 목표 설명을 입력받아 맞춤형 웹페이지 요약을 반환하며, search snippet보다 완전한 정보를 제공하고 information coverage와 강한 상관을 보인다.이 도구는 에이전트가 지정한 목표에 초점을 맞춰 상세 콘텐츠를 추출한다.
  • 도구 사양: Scholar Search는 Google Scholar에서 학술 논문을 검색하며, 주로 VibeSearch-Pro subset의 domain-specific 정보를 얻는 데 사용된다.결과에는 제목, 링크, 출판일, 출처, snippet이 포함된다.
  • 도구 사양: Python은 sandbox에서 코드를 실행하고 데이터 처리, 수치 계산, structured-data parsing, 출력 포맷팅을 위해 표준 출력과 오류를 반환한다.주로 계산 및 데이터 처리 과제에 사용된다.

C 태스크 예시 … D.1 전체 성능 결과

태스크 예시는 VibeSearch가 점진적으로 공개되는 사용자 의도와 도메인별로 구조가 다른 schema-free knowledge graph를 어떻게 결합하는지 보여준다. 전체 평가 결과는 추가로 실행 간 무작위성이 보고된 성능에 실질적인 영향을 미친다는 점을 보여주며, 이는 능력 상한을 추정하기 위해 다중 실행 평가가 중요함을 의미한다.

  • C 태스크 예시: 모든 예시에서 각 태스크는 페르소나 기반 상호작용 시퀀스와 대표적인 knowledge graph 부분구조를 결합하며, VibeSearch 태스크의 복잡성이 도메인에 따라 어떻게 달라지는지 보여준다.Pro graph는 깊고 계층적인 반면, Daily graph는 연속적인 필터를 중심으로 평탄하고 층화되어 있다.
  • C.1 VibeSearch-Pro 예시 (수학 / 해석학의 역사): Pro 예시는 실수해석학의 역사적 발전, 귀속, 증명 공백, 그리고 실재하는 복잡한 분석학의 제도적 관계를 탐구하는 독학자를 중심으로 구성된다.페르소나의 질문은 Newton–Leibniz와 초기 미적분에서 엄밀화, 정리 귀속, 수학자 네트워크로 이어진다.
  • C.1.1 사용자 페르소나: Pro 수학사 예시는 미적분의 발전에서 수학자 관계로 질문을 점진적으로 확장하는 11개의 엄격한 순서의 공개 단계를 가진 페르소나를 사용한다.시뮬레이터는 한 번에 한 단계씩 공개하고, 충족되지 않은 트리거가 있으면 해당 단계에 머무르며, 어시스턴트가 적절히 질문할 때까지 능동적으로 트리거된 정보를 보류한다.
  • C.1.2 Ground-Truth Knowledge Graph: Pro ground-truth knowledge graph는 5개의 주제 차원과 23개의 하위 주제에 걸쳐 260개의 노드, 349개의 triple, 112개의 관계 유형을 포함한다.schema-free이며 의미적으로 풍부한 관계는 추상적 차원과 하위 주제를 구체적인 역사적 개체와 연결해 탐색적 정보 요구에 부합한다.
  • C.2 VibeSearch-Daily 예시 (엔터테인먼트 / 게임 선택): Daily 예시는 최근 출시작, 수상 경력이 있는 buy-to-play 게임 중 특정 기술 및 아트 팀 속성을 갖춘 게임으로 기준을 점진적으로 좁혀 가는 선택적 게임 구매자를 중심으로 구성된다.태스크는 공개된 모든 요구사항을 충족하는 모든 게임에 대한 완전한 비교를 요구하며 끝난다.
  • C.2.1 사용자 페르소나: Daily 게임 선택 예시는 어시스턴트가 추가 선호를 이끌어 내거나 이전 단계를 충족하지 않는 한 이를 보류하는 10단계 점진적 필터링 파이프라인을 사용한다.후속 단계에서는 최종 비교를 요청하기 전에 출시 연도, 수상, 가격, 하드웨어, 규모, 비즈니스 모델, 엔진, 아트 부서, 인지도를 기준으로 필터링한다.
  • C.2.2 Ground-Truth Knowledge Graph: Daily ground-truth knowledge graph는 필터링 파이프라인에 대응하는 8개 층에 배치된 108개의 노드, 229개의 triple, 14개의 관계 유형을 포함한다.구조화되고 균일한 관계는 각 요구사항을 통과한 개체와 기준 기반 의사결정에 필요한 속성을 모두 포착한다.
  • D.1 전체 성능 결과: 모든 모델에서 best-run F1은 average F1보다 약 4–6포인트 높으며, 이는 두 framework와 두 subset 모두에서 단일 실행의 무작위성이 성능에 실질적인 영향을 미친다는 점을 보여준다.Table 12는 두 framework의 두 subset에서 모든 모델에 대한 average 및 best-run Precision, Recall, F1을 보고하며, best-run 보고가 각 모델의 능력 상한을 더 잘 반영한다.

D.2 도구 사용 및 토큰 소비 … E.4 지식 그래프 구조 정렬

분석 결과, 검색 깊이, 컨텍스트 관리, 상호작용 품질, 구조적 지식 구축이 함께 에이전트 성능을 제한하는 것으로 나타난다. 모델은 명시적 사실을 검색하는 경우가 많지만, 효율적이고 표적화된 대화를 지속하고 복잡한 조직 관계를 재구성하는 데 실패한다.

  • D.2 도구 사용 및 토큰 소비: Scholar-search 호출은 도메인 의존성이 크다. Claude Opus 4.6은 Pro에서 평균 23.13회, Daily에서 0.41회인 반면, GPT-5.4는 각각 27.23회와 0.60회다.Pro subset의 학술 도메인에서는 Daily task보다 scholar-search 사용량이 훨씬 많다.
  • D.2 도구 사용 및 토큰 소비: 도구 사용량은 모델마다 다르다. Gemini-3.1 Pro는 Pro에서 0.05회, Daily에서 0.46회 방문하는 반면, Claude Opus 4.6과 GPT-5.4는 task당 30–56회 방문한다.Python 사용도 드물고 모델 의존적이며, Claude의 Daily 호출 11.67회부터 Seed2.0 Pro와 Kimi K2.6의 0.5회 미만까지 분포한다.
  • E.1 컨텍스트 압축 및 검색 깊이: 각 컨텍스트 압축은 F1을 approximately 6 points 낮추며, 압축을 두 번 이상 적용하면 비압축 trajectory보다 3.2× the tokens를 사용하면서도 F1은 절반 미만에 그친다.ReAct에서의 이러한 성능 저하는 인용된 분석에서 GPT-5.4가 가장 많은 리소스를 사용하면서도 전체 F1은 가장 낮은 역설적 위치에 놓이는 이유를 설명한다.
  • E.1 컨텍스트 압축 및 검색 깊이: VibeSearch-Daily에서 적어도 한 페이지를 방문한 Gemini-3.1 Pro trajectory는 Recall 0.34에 도달하는 반면, snippet만 사용한 trajectory는 0.22에 그쳐 55% relative improvement를 보인다.Gemini는 Pro에서 평균 1.1회, Daily에서 1.9회만 방문하며, 압축은 피하지만 검색 깊이는 충분하지 않음을 보여준다.
  • E.2 점진적 공개 단계 완료: ReAct에서는 사실상 어떤 trajectory도 [DONE]에 도달하지 않는다. 실행은 에이전트 답변 또는 max_rounds 소진으로 종료되며, 일부 잠재적 사용자 요구는 충족되지 않은 채 남는다.부록은 논문의 오류 분석을 뒷받침하는 정량적 근거를 제공한다.
  • E.2 점진적 공개 단계 완료: 모델 전반에서 대화 turn 수가 많을수록 Triplet F1은 음의 상관을 보이며, turn 수가 적은 trajectory와 많은 trajectory의 차이는 1–9 F1 points다.이 패턴은 본질적으로 더 어렵고 분산된 task와 trigger condition을 비효율적으로 충족하는 에이전트의 행동을 모두 반영한다.
  • E.3 상호작용 전략 및 의도 도출: Dismissive rate는 Pro의 0.6–1.8%에서 Daily의 2.1–7.9%로 상승하는 반면, redirect rate는 모델 전반에서 Pro 5–6%, Daily 3–6%로 유지된다.수동적 상호작용은 에이전트가 표적화된 후속 질문을 구성하지 못하게 하며, 과도한 proactiveness는 무관한 질문을 생성한다. 두 현상 모두 얕은 coverage와 낮은 상호작용 품질을 반영한다.
  • E.4 지식 그래프 구조 정렬: 모델은 조직적 또는 계층적 관계에서 0% coverage를 달성하지만 factual relation에서는 100%를 달성한다. 즉, 명시적 주장은 추출하지만 조직적 scaffolding은 재구성하지 못한다.이 대비는 최초 100개 VibeSearch-Pro task에 대한 Kimi K2.6의 결과로 보고되며, 더 광범위한 구조 정렬 실패를 반영한다.

E.5 잘못된 예측 유형 분석 · F 주석 세부사항 · G 프롬프트 세부사항

잘못된 예측은 주로 무관한 메타데이터, 주관적 판단, 잘못 형성된 최종 knowledge graph 출력에서 발생하며, 주석에는 60명 이상의 전문가가 참여했고 부록에는 simulator와 extraction prompt가 명시되어 있다.

  • E.5 잘못된 예측 유형 분석: 서지 메타데이터 예측의 잘못된 예측률은 ≥98%이며, 이는 Claude Opus 4.6의 낮은 Pro Precision 0.137을 주로 초래한다.모델은 사용자의 필요와 무관하게 페이지, 권, DOI, 인용 정보를 기계적으로 추출한다.
  • E.5 잘못된 예측 유형 분석: 주관적 평가 예측의 잘못된 예측률은 ≥95%인데, 모델이 사실 정보를 추출하는 대신 평가적 판단을 삽입하기 때문이다.영향을 받는 relation에는 significance, structural innovation, core_contribution이 포함된다.
  • E.5 잘못된 예측 유형 분석: Seed2.0 Pro에서는 F1이 0인 trajectory가 28개 발생했으며, 잘못 형성된 JSON, 빈 출력, schema 불일치가 치명적 실패를 일으켰다.한 사례에서는 단일 task에 대해 237개의 triple을 생성했지만 F1 = 0을 받았다.
  • E.5 잘못된 예측 유형 분석: Table 18은 처음 100개의 VibeSearch-Pro task에서 가장 빈번하게 잘못된 것으로 판정된 prediction relation type을 보고한다.잘못된 예측률은 ground-truth triple을 하나도 뒷받침하지 않는 것으로 판정된 비율이다.
  • E.5 잘못된 예측 유형 분석: 이러한 실패는 긴 interaction history의 압박 아래에서 최종 knowledge graph construction이 여전히 취약함을 보여준다.잘못 형성된 JSON에는 콜론 누락과 비표준 key name이 포함된다.
  • F 주석 작성 세부 사항: 60명 이상의 전문가가 과제에 주석을 달았으며, 품질 검사를 통과한 과제당 약 $300가 지급되었고 전체 데이터셋의 주석 작성 비용은 약 $60,000였다.지급액은 완료한 과제 수와 품질 검사 통과 여부에 따라 산정되었다.
  • G 프롬프트 세부사항: 부록에는 user simulator와 triple extraction module에 대한 complete prompt가 제공된다.Table 19에는 task별 persona와 query placeholder가 포함된 simulator system prompt가, Table 20에는 structured knowledge graph를 위한 interaction 후 extraction prompt가 제시된다.
Loading 2605.27882v2…