Source-linked AI summary

Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction

Zhuofeng Li, Haoxiang Zhang, Cong Wei, Pan Lu, Ping Nie, Yi Lu, Yuyang Bai, Shangbin Feng, Hangxiao Zhu, Ming Zhong, Yuyu Zhang, Jianwen Xie, Yejin Choi, James Zou, Jiawei Han, Wenhu Chen, Jimmy Lin, Dongfu Jiang, Yu Zhang

arXiv:2605.05242v1cs.IRcs.AI

TL;DR

기존 top-k retrieval interface는 멀티스텝 검색 중 에이전트의 corpus 증거 접근을 제한한다. 이 논문은 에이전트가 terminal tool로 raw corpus를 검색하는 direct corpus interaction을 연구하며, 기존 retriever 없이 agentic search, 멀티홉 QA, ranking benchmark 전반에서 높은 성능을 확인한다.

  • 문제

    고정된 top-k retrieval interface는 희소 단서를 결합하고, 정확한 lexical constraint를 적용하며, local context를 검사하고, 멀티스텝 검색 계획을 수정하는 에이전트의 능력을 제약한다.

  • 방법

    Direct corpus interaction을 통해 에이전트는 embedding model, vector index, retrieval API 없이 범용 terminal tool로 raw corpus를 검색하고 검증할 수 있다.

  • 결과

    BrowseComp-Plus에서 80.0%의 정확도를 달성했으며, 이는 대응하는 기존 retriever의 69.0%에서 향상된 수치다. 동시에 비용을 29.4% 줄였고, DCI는 멀티홉 QA와 ranking에서도 baseline을 앞섰다.

  • 시사점 및 한계

    Trajectory 분석은 DCI의 이점이 표면화된 증거에 대한 higher-resolution local inspection, 검증, 조합적 검색에서 비롯됨을 보여준다.

  • 시사점 및 한계

    Corpus 범위가 넓어질수록 DCI의 accuracy drops가 나타나며, tool 사용량, latency, 비용이 증가하고 400K documents에서 심각하게 성능이 저하된다.

Abstract

from arXiv · show

Modern retrieval systems, whether lexical or semantic, expose a corpus through a fixed similarity interface that compresses access into a single top-k retrieval step before reasoning. This abstraction is efficient, but for agentic search, it becomes a bottleneck: exact lexical constraints, sparse clue conjunctions, local context checks, and multi-step hypothesis refinement are difficult to implement by calling a conventional off-the-shelf retriever, and evidence filtered out early cannot be recovered by stronger downstream reasoning. Agentic tasks further exacerbate this limitation because they require agents to orchestrate multiple steps, including discovering intermediate entities, combining weak clues, and revising the plan after observing partial evidence. To tackle the limitation, we study direct corpus interaction (DCI), where an agent searches the raw corpus directly with general-purpose terminal tools (e.g., grep, file reads, shell commands, lightweight scripts), without any embedding model, vector index, or retrieval API. This approach requires no offline indexing and adapts naturally to evolving local corpora. Across IR benchmarks and end-to-end agentic search tasks, this simple setup substantially outperforms strong sparse, dense, and reranking baselines on several BRIGHT and BEIR datasets, and attains strong accuracy on BrowseComp-Plus and multi-hop QA without relying on any conventional semantic retriever. Our results indicate that as language agents become stronger, retrieval quality depends not only on reasoning ability but also on the resolution of the interface through which the model interacts with the corpus, with which DCI opens a broader interface-design space for agentic search.

1 서론

서론은 고정된 top-k retrieval interface가 reasoning 전에 evidence를 필터링함으로써 agentic search를 제약한다고 주장하고, 더 높은 해상도의 대안으로 direct corpus interaction (DCI)을 제안한다. DCI는 범용 terminal tools로 raw corpora를 검색하며, agentic search, multi-hop QA, ranking-oriented IR settings 전반에서 강력한 결과를 달성한다.

  • 서론: 기존 retrieval은 top-k corpus slice만 노출하는 고정된 interface로 iterative retrieval agents를 제약하므로, exact constraints, sparse clue combinations, multi-step evidence refinement를 수행하기 어렵다.이 한계는 새롭게 등장한 agentic-search benchmarks에서 특히 두드러진다.
  • 서론: DCI는 embedding models, vector indexes, retrieval APIs, top-k mediation 없이 grep, file reads, shell commands, lightweight scripts를 통해 agents가 raw corpus에 직접 접근하도록 한다.이를 통해 전체 corpus가 agent-directed search와 local evidence inspection에 활용 가능해진다.
  • 서론: 동일한 Claude Sonnet 4.6 backbone에서 Qwen3-Embedding-8B retrieval을 DCI로 대체하면 BrowseComp-Plus accuracy가 69.0%에서 80.0% (+11.0 points)로 상승하는 동시에 cost는 $1,440에서 $1,016 (−29.4%)로 감소한다.평가는 BrowseComp-Plus, multi-hop QA, ranking-oriented IR benchmarks를 포괄한다.
  • 서론: Trajectory 및 ablation analyses는 DCI의 gains가 더 많은 gold documents를 주로 surfacing하는 데서 비롯되지 않으며, highly restricted tool profile에서도 그 advantage가 유지됨을 보여준다.이 연구들은 DCI의 operating envelope를 규명하기 위해 evidence use, corpus scale, context management, tool usage도 분석한다.
  • 서론: 이 논문은 DCI를 retrieval paradigm으로 formalize하고, 다양한 agentic settings에서 평가하며, 그 효과를 설명하는 관점으로 retrieval interface resolution을 도입한다.이 관점은 전체 documents나 passages보다 작고 정밀한 units에 대한 access를 강조한다.

2 관련 연구

관련 연구는 고전적인 retrieve-then-generate RAG에서 반복적으로 검색하고 증거를 축적하며 계획을 정 refined하는 multi-step retrieval agent로 발전해 왔다. Coding-agent 연구는 command-line tool을 통한 raw corpus 직접 상호작용의 가능성을 뒷받침하며, 본 연구는 이를 agentic search를 위한 더 넓은 retrieval interface로 정식화한다.

  • RAG: 고전적인 RAG는 LLM이 반환된 증거를 조건으로 답변을 생성하기 전에 corpus에서 잠재적으로 관련된 문서를 검색한다 (Lewis et al., 2020; Borgeaud et al., 2022; Ram et al., 2023; Gao et al., 2023; Shi et al., 2024).
  • Agentic Search의 부상: 최근의 agentic-search system은 single-shot retrieval을, 반복적으로 검색하고 증거를 축적하며 중간 관찰에 따라 계획을 정 refined하는 multi-step investigation으로 대체한다 (Jin et al., 2025; Jiang et al., 2025; Li et al., 2025).
  • Coding Agent: Command-line coding agent는 bash, file search, code editing, grep, reading tool이 복잡한 software-engineering 및 code-localization task를 크게 향상할 수 있음을 보여준다 (Liu et al., 2023; Jimenez et al., 2024; Deng et al., 2025; Anthropic, 2025; Merrill et al., 2026; Li et al., 2026a; Yang et al., 2024; Sutawika et al., 2026).
  • Direct Corpus Interaction: Direct corpus interaction은 offline preprocessing과 별도의 retriever를 우회하여, agent가 반환된 top-k candidate에 대해서만 추론하는 대신 terminal tool과 lightweight script로 raw corpus를 검색할 수 있게 한다.
  • Coding Agent: 기존 document-QA 연구는 raw PDF에서 tool-augmented keyword-search agent를 사용하면 vector-database RAG에 근접할 수 있음을 보였으며, 본 논문은 direct corpus interaction을 agentic search를 위한 더 넓은 retrieval interface로 연구한다 (Subramanian et al., 2025).

3 Direct Corpus Interaction

Direct corpus interaction (DCI)는 기존 retrieval interface를 우회해 agent가 terminal tool과 file read를 통해 raw corpus를 직접 검색하게 한다. 이 section은 evidence access와 localization을 평가하기 위한 runtime scaffold와 trajectory metric도 정의한다.

  • Direct Corpus Interaction: DCI는 embedding model, vector index, retrieval API를 우회하고, grep, rg, find, glob, file read, lightweight script를 통해 raw corpus를 노출한다.이를 통해 exact match 또는 regular-expression match와 match 주변의 local context를 포함한 tool output이 직접 생성된다.
  • Agent Scaffolds: DCI-Agent-Lite와 DCI-Agent-CC는 minimal 및 stronger runtime scaffold에서 동일한 raw-corpus interface를 구현해 interface effect와 harness engineering을 분리한다.Stronger scaffold는 prompting, tool orchestration, context handling을 추가하는 반면, minimal scaffold에는 retrieval-specific module, offline index, dense retriever, reranker가 없다.
  • Runtime Context Management: Runtime context management는 context pressure가 증가할 때 truncation, zero-LLM compaction, model-generated summarization을 통해 장기 search structure를 보존한다.이러한 policy는 working context에 남는 tool-mediated evidence의 양을 바꾸지만 retrieval interface 자체는 바꾸지 않는다.
  • Evaluation Metrics: Coverage는 trajectory가 gold evidence를 surface하는지를 측정하며, 하나의 gold document에 도달하는 경우부터 complete gold set을 surface하는 경우까지를 포괄한다.coverageany는 최소 하나의 gold document가 surface되는지를 테스트하고, coveragemean은 surface된 gold document를 평균내며, coverageall은 모든 gold document가 surface되는지를 테스트한다.
  • Evaluation Metrics: Localization은 유용한 gold document에 도달한 뒤 agent가 그 안의 작고 집중된 evidence span으로 좁혀가는지를 측정한다.이는 surface된 각 gold document에 대한 최상의 segment-level score를 사용하는 within-document metric이며, score가 높을수록 evidence extraction이 더 집중되어 있음을 뜻한다.

4 실험

Agentic search, 지식 집약적 QA, IR ranking 전반에서 direct corpus interaction은 BrowseComp-Plus에서 비용 효율성을 유지하면서 기존 retrieval interface를 크게 능가한다. 실험 결과 이러한 향상은 세밀한 evidence discovery와 활용에서 비롯되며, corpus가 확장될수록 비용이 증가하고 agent 설계에 민감해짐을 확인했다.

  • RQ1: DCI-Agent-CC는 BrowseComp-Plus에서 80.0%, 평균 QA에서 83.0%, 평균 NDCG@10에서 68.5%를 기록해 모든 task에서 retrieval baseline을 능가한다.QA에서 ASearcher-Local-14B보다 30.7포인트, IR ranking에서 ReasonRank-32B보다 21.5포인트 높으며, 이러한 비교는 Table 2와 Table 3에 보고되어 있다.
  • RQ1: 동일한 Claude Sonnet 4.6 backbone을 사용할 때 DCI는 BrowseComp-Plus 정확도를 69.0%에서 80.0%로 높이는 동시에 비용을 $1,440에서 $1,016으로 줄인다.DCI-Agent-CC는 71.7%를 기록한 GPT-5 + Qwen3-Embedding-8B도 능가한다.
  • RQ2: DCI의 강점은 주로 더 높은 gold-document recall이 아니라 세밀한 discovery, composition, evidence 활용에서 비롯된다.DCI-Agent-CC는 matched retrieval agent가 놓친 질문 176개에 정확히 답한 반면, 반대의 경우는 76개다. 놓친 사례 142개에서는 이미 최소 하나의 gold document가 표면화되어 있다.
  • RQ3: DCI-Agent-Lite는 평균 gold-document coverage를 낮추는 대신 localization을 크게 높이며, 점수는 각각 28.0 대 56.7, 48.4 대 21.7이다.coverageany 점수는 Qwen3-Embedding-8B의 점수와 비슷한 수준으로, 70.0 대 74.0이다.
  • RQ4: Corpus를 100K에서 200K document로 확장하면 DCI-Agent-CC의 tool call은 38.5에서 86.9로 증가하고, latency와 cost는 두 배 이상 늘어나며 accuracy는 낮아진다.이 결과는 DCI가 search breadth보다 search depth에 따라 더 잘 확장되는 operating envelope를 규정한다.
  • RQ5–RQ6: Runtime context management는 non-monotonic하게 작동하는 반면, 제약된 read-plus-grep interface만으로도 BrowseComp-Plus 정확도 61%를 달성한다.더 공격적인 context management가 결과를 단순히 향상시키지는 않으며, 이는 policy와 tool expressivity가 모두 DCI-Agent-Lite에 실질적인 영향을 미침을 보여준다.

5 결론 … Sparse & Dense Retrieval

이 논문은 에이전트가 conventional retriever 대신 terminal tools로 raw corpus를 검색하고 검증하는 retrieval paradigm으로 direct corpus interaction (DCI)을 제시한다. 제공된 appendix 문단은 평가에 사용된 benchmark, baseline, proprietary backbone, retrieval agent, sparse·dense·reranking system을 정의한다.

  • 5 결론: DCI는 conventional retriever나 offline index 없이 general-purpose terminal tools로 raw corpus를 대상으로 agentic search를 수행하게 하며, ranking, multi-hop QA, end-to-end agentic search 전반에서 경쟁력 있는 성능을 보인다.통제된 ablation과 trajectory 분석은 DCI의 이점이 retri…에서 비롯됨을 보여준다.
  • Appendix; A Experimental Details; A.1 Benchmarks: 평가에서는 BRIGHT와 Bamboogle에 full test sets를 사용하고, 효율성을 위해 다른 dataset에서는 dataset당 50개의 example을 random sample로 사용한다.
  • Agentic Search: BrowseComp-Plus는 통제된 deep-research-agent 평가를 위한 closed-corpus benchmark로, 사람이 검증한 supporting document, mined hard negative, multi-document evidence synthesis를 포함한다.
  • Knowledge-Intensive QA: NQ와 TriviaQA는 single-hop factual retrieval을 평가하고, Bamboogle은 수작업으로 구성된 multi-hop dataset이다. 모호하거나 시간에 민감한 질문은 제외한다.
  • IR Ranking: BRIGHT는 Biology, Earth Science, Economics, Robotics에서 reasoning-intensive retrieval을 평가하고, BEIR는 ArguAna를 포함한 heterogeneous information-retrieval task를 제공한다.
  • A.2 Compared Baselines; Proprietary Models: BrowseComp-Plus baseline 평가에서는 proprietary OpenAI, Claude, GLM, Kimi model을 retrieval-agent backbone으로 사용하며, baseline agent 중에서는 o3가 가장 강력하고 GPT-5.4 nano가 DCI-Agent-Lite를 구동한다.
  • Retrieval Agents: 비교 대상 retrieval agent에는 R1-Searcher-7B, Search-R1-32B, ZeroSearch-7B, Verl-Tool-Search-7B-DAPO, ASearcher-Local-14B가 포함되며, external search, interleaved reasoning, simulated retrieval, tool-use RL, asynchronous RL을 아우른다.

A.3 Metrics · B 실험 결과에 대한 추가 논의

평가에서는 QA와 IR의 accuracy measure를 정의하며, resolution metric은 retriever output과 DCI tool trace가 observation-level candidate와 snippet으로 변환되는 방식을 표준화한다. DCI-specific reconstruction은 document coverage를 보존하지만 local evidence를 거의 드러내지 않는 observation에는 불이익을 주며, trajectory는 주로 compositional search command에 의존한다.

  • A.3 Metrics: Browsecomp-Plus와 knowledge-intensive QA에서는 GPT-4.1을 사용해 accuracy를 평가하며, semantic correctness와 numerical correctness 측면에서 predicted answer와 reference answer를 비교한다.짧고 잘 정의된 reference 덕분에 이 비교는 대체로 모호하지 않다.
  • A.3 Metrics: Resolution metric은 각 observation을 document–snippet candidate로 표현하며, snippet length는 interface가 노출하는 evidence에 따라 결정된다.이 candidate는 retriever-mediated access와 DCI trace 전반에서 evidence resolution을 평가하는 기반이 된다.
  • A.3 Metrics: Retriever-mediated access에서는 반환된 각 result를 하나의 candidate에 직접 대응시키므로, top-k call은 preview-length measurement가 적용된 n_t = k개의 candidate를 산출한다.Retriever API는 candidate set과 preview snippet을 모두 표준화한다.
  • A.3 Metrics: DCI evaluation에서는 raw tool observation을 explicit path 또는 matched local text를 통해 surfaced gold document에 정렬하여 candidate를 reconstructs candidates.Retriever output과 달리 DCI trace에는 candidate set이 명시적으로 제공되지 않으므로 evaluator-side reconstruction이 필요하다.
  • A.3 Metrics: grep-style search에서는 정렬된 각 matched line이 candidate가 되며, read-style inspection에서는 노출된 span이 annotated gold evidence와 겹칠 때 해당 span을 사용한다.한 document에서 나온 여러 matched line은 별도의 candidate로 유지되며, 이후 scoring에서는 가장 높은 segment score를 보존한다.
  • A.3 Metrics: Path-only 또는 unmatched observation은 gold document가 surfaced되었음을 표시하지만 snippet으로 full document를 사용하므로, document coverage가 확보되어도 low localization scores를 낳는다.이 fallback은 유용한 evidence localization 없이 도달했음을 반영한다.
  • A.3 Metrics: 100개의 DCI-Agent-Lite case에서 3,168 commands는 주로 rg | head와 rg | rg 같은 compositional operator에 의존하며, full-document read는 드물다.이 분포는 correct run과 incorrect run 모두에서 command usage를 집계한 것이다.

B.1 DCI-Agent-Lite 검색 패턴 심층 분석 · C 지침 템플릿 · D 사례 연구

DCI-Agent-Lite는 주로 단순한 단계적 shell 검색 패턴을 사용하며, 지침 템플릿은 corpus-only, 반복적이고 recall과 precision을 모두 고려하는 workflow와 구조화된 답변 평가를 강제한다. 사례 연구에서는 DCI-Agent-Lite와 DCI-Agent-CC를 우아하고 효율적이며 견고한 심층 연구 시스템으로 제시한다.

  • B.1 DCI-Agent-Lite 검색 패턴 심층 분석: 검색과 제한을 결합한 명령이 DCI-Agent-Lite 도구 사용의 56.2%로 가장 많고, chained search가 20.6%로 뒤따르며, counting, keyword search, listing, scripting, localization은 더 드물게 사용된다.Figure 6은 대표적인 명령 패턴을 통해 agent의 Bash 상호작용을 특성화한다.
  • B.1 DCI-Agent-Lite 검색 패턴 심층 분석: 관찰된 검색 행동은 여섯 단계로 진행된다. corpus exploration, broad keyword search, iterative narrowing에 이어 tool trace에서 설명되는 추가적인 후반 단계 연산이 수행된다.이 그룹화는 대략적인 시간 순서로 정렬되며, directory scan과 ripgrep search를 대표 연산으로 사용한다.
  • C.2 IR 지침: IR template 역시 Grep/Bash-only retrieval, 병렬적이고 다양한 search, 누락된 부분을 보완하기 위한 후속 search, 그리고 몇 개의 document를 확인한 뒤 멈추지 않는 철저한 exploration을 요구한다.NDCG 평가에서 recall과 precision을 동등하게 중요하게 취급한다.
  • C.2 IR 지침: IR 지침은 실제로 관련된 모든 document를 포함하고, 관련 없거나 주변적인 document를 신중하게 제외하며, ranking quality가 NDCG에 영향을 미치므로 최종 목록을 relevance 순으로 정렬하도록 요구한다.template은 relevance를 질문에 직접 답하거나 필수적인 뒷받침 근거를 제공하는 것으로 정의한다.
  • C.3 LLM as Judge: LLM-as-judge template은 최종 답변을 추출하고, 이를 제공된 정답과만 비교하며, 정답과 일치하거나 작은 수치적 오차 범위 안에 들어올 때만 정답으로 판정한다.의미 있는 차이에 대해 집중적으로 추론하고 confidence score를 추출하도록 하며, 사용할 수 없을 때는 100%를 기본값으로 설정한다.
  • D 사례 연구: 사례 연구에서는 DCI-Agent-Lite와 DCI-Agent-CC가 더 우아하고 효율적이며 견고하게 심층 연구를 수행하는 시스템으로 제시된다.이 부분은 사례 연구를 이 세 가지 정성적 특성을 중심으로 구성한다.

D.1 사례 1: 시연 예시

이 시연은 agent가 폐쇄형 corpus와 Grep 및 Bash를 직접 상호작용하며 Natural Questions 질의에 답하는 과정을 보여준다. scaling 한계가 발생하면 검색을 반복적으로 정교화하고, 상호 검증 문서를 바탕으로 Don Quixote의 말을 Rocinante로 식별한다.

  • Agentic reasoning: agent는 사실 질의를 검색 가능한 용어로 분해하고, 초기 검색에서 scaling 한계에 부딪히면 검색 전략을 반복적으로 정교화한다.corpus 전체에 대해 광범위한 Grep 검색을 수행한 뒤 대상이 명확한 Bash 명령으로 전환한다.
  • Direct corpus interaction: agent는 폐쇄형 wiki corpus를 Grep과 Bash로 직접 검색하여, conventional retrieval agent 없이 구조화된 문서에서 정밀한 lexical matching을 가능하게 한다.검색은 corpus 파일을 직접 사용하고 terminal commands를 통해 일치하는 내용을 가져온다.
  • Answer verification: Rocinante는 Don Quixote의 말로 식별되며, 문서 135082와 339679가 직접 증거와 상호 검증 증거를 제공한다.문서 135082는 Rocinante를 Don Quixote의 말이라고 명시적으로 설명하고, 문서 339679는 해당 연관성을 독립적으로 확인한다.

D.2 사례 2a: Agentic Search에서의 DCI-Agent-CC

DCI-Agent-CC trace는 corpus 파일을 직접 확인하고 경기 제약을 검증하며 관련 문서 전반에서 가설을 정교화해 12개 단서로 구성된 BrowseComp-Plus 축구 질의를 해결한다. 1990년 England–Belgium 경기를 식별하고, 인터뷰와 선수 전기 증거를 통해 목표 entity를 AJ Auxerre까지 추적한다.

  • 사례 2a: Agentic Search에서의 DCI-Agent-CC: agent는 파일 목록 조회 및 읽기 명령으로 raw corpus를 검색하며, 후보 경기 파일에서 관련 Guardian 및 Wikipedia 문서로 이동한다.80-turn trace는 가설 수립, 제약 검증, corpus 문서의 표적 검사를 결합한다.
  • 사례 2a: Agentic Search에서의 DCI-Agent-CC: agent는 1990 World Cup Round of 16에서 Belgium을 상대로 한 England의 1-0 승리가 핵심 경기 제약과 일치함을 식별한다.해당 경기에는 관중 34,520명, yellow card 1장, 팀별 교체 2회, 서로 다른 국적의 심판진 3명이 있었다.
  • 사례 2a: Agentic Search에서의 DCI-Agent-CC: Guardian 인터뷰는 David Platt의 골을 “technique”와 연결하고, Enzo Scifo가 Auxerre에서 이를 수행했다는 사실을 연결한다.이 인터뷰 단서들은 경기 자체에서 목표 club 식별로 검색 방향을 전환한다.
  • 사례 2a: Agentic Search에서의 DCI-Agent-CC: 최종 답은 AJ Auxerre이며, 1966년생 Belgium 선수 두 명 중 Enzo Scifo가 더 나이가 많음을 식별하고 그의 club 이력을 확인해 뒷받침한다.Scifo는 1966년 19 February, Demol은 1966년 11 March에 태어났으며 두 날짜의 차이는 정확히 20일이다.

D.3 사례 2b: Agentic Search에서의 DCI-Agent-Lite

DCI-Agent-Lite는 Bash와 Read 도구만 사용해 다중 제약 BrowseComp-Plus 질의를 해결한다. 대상 검색으로 corpus를 점진적으로 좁히고, source document를 읽어 최종 후보를 검증한다.

  • 검색 과정: Bash와 Read 도구만 사용하면서 DCI-Agent-Lite는 제한된 도구 세트에도 불구하고 targeted rg commands를 통해 검색 공간을 점진적으로 좁힌다.trace에는 “scoreboard”, “principal”, “tank”처럼 식별력이 높은 단서에 대한 검색이 포함된다.
  • 결과: agent는 Francesca Zappia의 Made You Up을 해당 책으로 식별한다.이 답은 2015년 오월 출간, 줄거리, 작가의 배경에 관한 단서를 충족한다.
  • 검증: 에이전트는 바닷가재 수조가 등장하는 줄거리 세부 사항, 오월 19일, 2015년 출간일, 작가의 초기 글쓰기와 그림 작업을 확인하는 문서를 읽어 후보를 검증한다.최종 답변을 제시하기 전에 Francesca Zappia의 인터뷰와 책의 Amazon 문서를 읽는다.

D.4 사례 3a: Knowledge-Intensive QA에서의 DCI-Agent-CC

이 사례는 DCI-Agent-CC가 corpus 문서를 검색하고 교차 참조해 Natural Questions에서 single-hop factual retrieval을 수행하는 과정을 보여준다. 영화 배역 질문에서 Conan the Destroyer의 virgin 역이 Jehnna임을, 해당 배우가 Olivia d’Abo임을 식별한다.

  • 과제 범위: 이 사례는 표준 knowledge-intensive QA benchmark인 Natural Questions에서 single-hop factual retrieval을 수행하는 과정을 보여준다.질의는 특정 영화 배역에 관한 것이며 관련 Wikipedia article을 통해 답한다.
  • 증거 종합: 영화 article과 배우의 biography를 교차 참조하면 확신도 높은 인용 답변을 도출할 수 있다.두 문서는 Jehnna, Olivia d’Abo, Conan the Destroyer를 독립적으로 연결한다.
  • 검색 과정: 에이전트는 먼저 Conan the Destroyer article을 찾은 뒤, 불완전한 맥락을 발견하고 Jehnna와 Olivia d’Abo에 대한 검색을 정교화한다.이는 하나의 잘린 결과에 의존하지 않고 targeted lexical search를 사용하는 반복적 corpus interaction을 보여준다.
  • 사례 결과: DCI-Agent-CC는 Olivia d’Abo가 연기한 Jehnna가 Conan the Destroyer의 virgin임을 식별한다.최종 답변은 인용된 증거로 Conan the Destroyer article과 Olivia d’Abo의 biography를 결합한다.

D.5 사례 3b: Knowledge-Intensive QA에서의 DCI-Agent-Lite · D.6 사례 4a: Information Retrieval에서의 DCI-Agent-CC

사례 연구는 DCI agent가 local corpus를 직접 검색하고 lexical discovery와 targeted context reading을 결합해 knowledge-intensive QA와 reasoning-intensive retrieval을 해결하는 과정을 보여준다. DCI-Lite는 정확한 개수를 추출하고, DCI-Agent-CC는 분산된 evidence를 연결해 proximate mechanism과 ultimate explanation을 구분한다.

  • D.5 사례 3b: Knowledge-Intensive QA에서의 DCI-Agent-Lite: DCI-Agent-Lite는 corpus 구조를 조사하고 football context를 활용해 St. Louis Cardinals를 disambiguate한 뒤 관련 문장을 추출함으로써 count query를 해결한다.corpus가 하나의 대규모 dump이므로 agent는 city 및 sports reference에서 시작해 가능성이 높은 city article로 점진적으로 범위를 좁힌다.
  • D.5 사례 3b: Knowledge-Intensive QA에서의 DCI-Agent-Lite: St. Louis에는 4개의 NFL 팀이 있었다: St. Louis All-Stars, St. Louis Gunners, St. Louis Cardinals, St. Louis Rams다.agent는 city와 football reference를 검색한 다음 인접한 corpus line을 읽어 전체 열거를 복원했다.
  • D.6 사례 4a: Information Retrieval에서의 DCI-Agent-CC: BRIGHT-Biology 사례는 두 source-article group에 걸쳐 phototaxis evidence와 proximate-versus-ultimate causation evidence를 결합해야 한다.식별된 gold document에는 Phototaxis file 3개와 Proximate_and_ultimate_causation file 2개가 포함된다.
  • D.6 사례 4a: Information Retrieval에서의 DCI-Agent-CC: DCI-Agent-CC는 phototaxis, light stimulus, proximate, ultimate causation을 포함한 targeted term으로 biology directory를 검색한 뒤 일치한 핵심 document를 읽는다.이 workflow는 먼저 candidate file을 찾고, 이어서 phototaxis document와 causation document를 별도로 조사해 multi-part question에 답한다.
  • D.6 사례 4a: Information Retrieval에서의 DCI-Agent-CC: 검색된 phototaxis evidence는 증가하는 빛을 향한 directed movement를 정의하고, moth, grasshopper, fly를 포함한 flying insect에서 positive phototaxis를 기록한다.해당 passage는 attractant가 chemical이 아니라 light임을 특징짓고, artificial lighting을 supernormal stimulus로 설명한다.
  • D.6 사례 4a: Information Retrieval에서의 DCI-Agent-CC: causation document는 proximate cause를 immediate mechanism으로, ultimate cause를 evolutionary explanation으로 정의하므로 agent는 heat-versus-LED argument를 올바르게 해석할 수 있다.따라서 answer는 LED observation을 behavior의 evolutionary origin이 아니라 immediate cue에 관한 evidence로 취급한다.
  • D.6 사례 4a: Information Retrieval에서의 DCI-Agent-CC: 최종 answer는 관련 있는 gold document 5개를 식별하고, low-heat LED attraction이 insects의 immediate cue로서 heat를 반박하며 light-driven phototaxis를 뒷받침한다고 결론짓는다.이는 evolution이 무관하다고 주장하는 대신 proximate immediate mechanism과 별개의 ultimate evolutionary explanation을 구분한다.

D.7 사례 4b: Information Retrieval에서의 DCI-Agent-Lite

DCI-Agent-Lite는 radioiodine 주장을 뒷받침하는 직접 관련 SciFact 논문으로 9745001.txt를 정확히 식별했다. targeted local-corpus search와 검증을 활용해 관련 갑상선 및 dosimetry 논문과 정확한 일치 항목을 구분했다.

  • D.7 사례 4b: Information Retrieval에서의 DCI-Agent-Lite: 에이전트는 후보를 순위화하기 전에 radioiodine, 정확한 질병 문구, 갑상선 용적 감소를 대상으로 한 targeted searches를 수행해 recall을 극대화했다.관련 갑상선 논문을 여러 편 찾은 뒤 query를 정교화했으며, SciFact local corpus만 검색했다.
  • D.7 사례 4b: Information Retrieval에서의 DCI-Agent-Lite: 가장 유력한 후보를 읽어 treatment, population, and outcome을 검증하는 한편, 주변적인 multinodular-goitre 문서는 제외했다.최종 ranking에서는 9745001.txt가 가장 관련성 높은 문서로 포함됐다.
  • D.7 사례 4b: Information Retrieval에서의 DCI-Agent-Lite: 9745001.txt는 해당 주장을 직접 뒷받침한다. 24개월 시점의 median thyroid volume은 73 ml에서 29 ml로 감소했으며, 이는 60% reduction이다.이 논문은 non-toxic multinodular goitre 환자를 대상으로 radioactive iodine을 연구하고 thyroid volume을 측정했다.

D.8 사례 5a: Agentic Search에서 DCI-Agent-CC의 실패 사례

이 사례는 multi-hop BrowseComp-Plus football 질의에서 발생한 DCI-Agent-CC의 실패를 보여준다. 에이전트는 Denis Suarez와 FC Barcelona를 식별했지만, 최종적으로 정답인 FC Krasnodar 대신 Inter Milan이라고 답했다.

  • 정확한 중간 식별: 에이전트는 water-bottle incident를 Denis Suarez 및 그가 FC Barcelona에서 Arsenal로 임대한 사실과 정확히 연결했다.corpus에서 Denis Suarez가 Barcelona 소속임을 보여 주는 증거를 찾고, 2019년 일월 Arsenal로의 임대를 확인했지만 최종적인 문서 간 검증은 완료하지 못했다.
  • 실패 결과: 에이전트의 최종 답은 Inter Milan이었지만, 정확한 팀은 FC Krasnodar였다.제공된 answer record는 FC Krasnodar를 정답으로 식별하는 반면, 에이전트는 해당 벤치 출전이 Inter Milan을 상대로 이루어졌다고 결론 내렸다.
  • 검색 과정: 이 실패는 match report, player profile, club archive, exact match-statistic clue를 대상으로 extensive iterative searches를 수행했음에도 발생했다.에이전트는 incident, match statistic, loan record, Barcelona의 season document를 찾기 위해 Grep와 Bash 검색을 사용했지만, multi-hop chain은 해결되지 않은 채 남았다.
  • 추론의 한계: 에이전트는 Denis Suarez가 Barcelona 벤치에 포함된 유럽 경기가 무엇인지 could not establish했고, corpus evidence가 불충분하다고 인정했다.검색을 통해 Barcelona의 Champions League 상대 팀들은 확인했지만, 특정 벤치 출전을 pinpoint하지 못해 근거 없는 최종 선택에 이르렀다.

D.9 사례 5b: Agentic Search에서 DCI-Agent-Lite의 실패 사례

이 사례는 여러 단서가 서로 맞물린 BrowseComp-Plus 영화 식별 과제를 DCI-Agent-Lite가 해결하지 못한 과정을 보여준다. 검색을 점진적으로 정교화했음에도, 광범위한 질의가 무관한 결과를 내고 올바른 corpus 파일을 식별하지 못하면서 에이전트는 오답을 반환했다.

  • 실패 결과: 에이전트는 2000s 개봉작, 대조적인 배경, 1960s 출생 배우들, November 2023 분쟁에 걸친 단서에 대해 정밀한 질의를 구성하는 데 어려움을 겪었다.이처럼 서로 얽힌 단서들을 결합하려면 줄거리, 배우, 날짜, 그리고 감독–배우 형제 관계 정보를 함께 활용해야 했다.
Loading 2605.05242v1…