PaperlayerView exact revision on arXiv

Source-linked AI summary

DeepSearch-World: Self-Distillation for Deep Search Agents in a Verifiable Environment

Xinyu Geng, Xuanhua He, Sixiang Chen, Yanjing Xiao, Fan Zhang, Shijue Huang, Haitao Mi, Zhenwen Liang, Tianqing Fang, Yi R. Fung

arXiv:2607.07820v1cs.CL

TL;DR

Self-evolving tool-use agent는 기존 supervision이 정적이거나 희소하며, 장기 상호작용에 신뢰하기 어려워 학습이 여전히 어렵다. 이 논문은 검증된 tool-use 경험을 바탕으로 agent를 반복 학습하는 deterministic·verifiable environment와 self-distillation framework를 제안하며, Qwen3.5-9B backbone 대비 성능을 높이고 강력한 open-source agent와 경쟁력 있는 성능을 달성한다.

  • 문제

    Self-evolving tool-use agent는 장기 상호작용에서 자체 경험을 통해 개선하기 위한 신뢰할 수 있는 process-level supervision이 부족하다.

  • 방법

    DeepSearch-Evolve는 verifiable한 DeepSearch-World environment, scaffold teacher trajectory, iterative self-evolving training loop를 결합한다.

  • 결과

    DeepSearch-World-9B는 Qwen3.5-9B backbone 대비 성능을 크게 향상시키며, deep-search 및 reasoning benchmark 전반에서 강력한 open-source agent와 경쟁력을 유지한다.

  • 시사점 및 한계

    Deterministic verification과 grounded process supervision은 self-generated experience를 통한 web agent의 scalable improvement를 뒷받침한다.

  • 시사점 및 한계

    Wikipedia 기반 environment는 coverage와 domain diversity를 제한하며, evolving-SFT update rule은 generalization과 flexibility를 제약할 수 있다.

Abstract

from arXiv · show

Training tool-use agents to improve from their own experience remains challenging, as supervised fine-tuning relies on fixed teacher-distilled trajectories, while sparse-reward reinforcement learning provides weak supervision for long-horizon interactions. We present DeepSearch-Evolve, a self-distillation framework for web agents built on DeepSearch-World, a deterministic and verifiable environment with reproducible search and page-reading tools. DeepSearch-World contains 420K multi-hop QA tasks constructed from entity-level random walks and supports key agentic cognitive behaviors useful for self-evolving, including progress verification, grounded reflection, and failure recovery. DeepSearch-Evolve iteratively performs trajectory generation, filtering, data mixing, and fine-tuning to train stronger agents. Without distillation from more capable models, DeepSearch-World-9B achieves competitive performance compared with open-source agents, reaching 31.2% on BrowseComp, 61.5% on GAIA, and 93.4% on HotpotQA, showing that verifiable environments enable scalable self-evolution for long-horizon web agents. We will release the environment, 420K training pool, validation set, model, and code to facilitate future research on self-improving deep search agents.

1 서론

기존 self-evolving tool-use agent는 정적인 모방, 희소 보상, 불안정한 dense supervision에 제약되므로, 과정 수준 피드백을 제공하는 deterministic하고 verifiable한 환경이 필요하다. DeepSearch-World와 DeepSearch-Evolve는 검증된 tool-use 경험으로부터 반복적 self-distillation을 수행하는 환경을 제공하며, proprietary model distillation 없이도 경쟁력 있는 open-source agent 성능을 달성한다.

  • 동기: 자율적 개선은 여전히 어렵다. supervised fine-tuning은 backbone capability와 trajectory diversity 수준에서 포화되고, rollout optimization은 sparse verifiable rewards에 의존하기 때문이다.Agentic supervision은 tool selection, evidence verification, query reformulation, progress tracking을 포괄해야 하므로, deterministic하고 verifiable한 환경이 필요하다.
  • 기여: DeepSearch-Evolve는 long-horizon interaction을 위한 scaffold process supervision을 통해 agent가 자신의 검증된 tool-use 경험으로부터 반복적으로 개선되도록 한다.Teacher는 tool use 중 progress, evidence, failed attempt, recovery 관련 정보를 추적한다.
  • 기여: DeepSearch-World는 Wikipedia를 대상으로 search 및 browse tool과 420K개의 정렬된 multi-hop QA task를 제공하는 deterministic하고 verifiable한 offline environment다.Live web environment와 달리, 재현 가능한 observation과 intermediate tool-use progress에 대한 entity-level verification을 제공한다.
  • 결과: DeepSearch-World-9B는 강력한 proprietary model의 distillation 없이 open-source agent 가운데 경쟁력 있는 성능을 달성하며, 더 긴 tool-use interaction을 유지하고 tool을 더 효과적으로 사용한다.성능은 verified trajectory filtering과 scaffold-to-ReAct conversion의 이점도 얻는다.

2 관련 연구

기존 연구는 tool-use agent, web navigation, trajectory tuning, self-improvement를 다뤄 왔지만, 희소 보상과 불충분하거나 불안정한 검증으로 인해 최적화에 한계가 있다. DeepSearch-Evolve는 결정론적이고 검증 가능한 Wikipedia 기반 환경과 안정적인 self-distillation을 위한 evolving SFT로 이러한 한계를 해결한다.

  • Tool-Use Agents와 Environments: 이 논문은 기존의 tool-use training, web navigation, trajectory-level tuning을 확장 가능하고 재현 가능한 agent trajectory 생성을 지원하는 결정론적 오프라인 Wikipedia 환경과 대조한다.Tool-augmented agent는 search, API invocation, environment interaction을 통해 역량을 확장하며(Yao et al., 2023; Schick et al., 2024; Chen et al., 2026b), 관련 training 연구는 large-scale tool use와 web navigation을 탐구한다(Li et al., 2025a; Geng et al., 2026; Chen et al… ).
  • Self-evolving Agents: Self-improvement 방법은 model-generated trajectory와 verification signal을 통해 agent behavior를 개선하며, GRPO-style group RL은 주요 tool-use post-training paradigm으로 자리 잡았다.이러한 접근에는 Zelikman et al. (2022), Singh et al. (2024), Yuan et al. (2023)이 포함되며, GRPO-style method도 이에 해당한다(Team et al., 2025c; Geng et al., 2025; Huang et al., 2026).
  • Self-evolving Agents: 희소 보상과 불충분한 검증 가능성은 GRPO-style optimization을 불안정하게 만들며, OPSD method는 신뢰할 수 없거나 비정상적인 target distribution을 제공할 수 있는 teacher policy에 의존한다.최근 OPSD 연구는 on-policy generation에서 distill하는 방법을 모색하지만(Hübotter et al., 2026; Zhao et al., 2026; Ye et al., 2026), teacher target이 항상 신뢰할 수 있거나 stationary한 것은 아니다.
  • Self-evolving Agents: DeepSearch-Evolve는 안정적인 self-distillation을 가능하게 하는 검증 가능한 tool environment와 evolving SFT를 도입한다.이 self-evolving loop는 trajectory generation, rejection sampling, importance-sampling-based data mixing, SFT training으로 구성된다.

3 방법론

DeepSearch-Evolve는 결정론적이고 검증 가능한 오프라인 검색 환경 및 scaffold teacher와 반복적 self-distillation을 결합해 배포 가능한 ReAct agent를 구축한다. 설계상 객관적 진행 검증, 근거 기반 reflection, 실패 복구, 검증된 tool-use 경험을 통한 학습을 지원한다.

  • 3.1 개요: DeepSearch-Evolve는 DeepSearch-World, scaffold teacher, self-distilling search agent를 위한 비동기 반복 생성-학습 루프를 통합한다.프레임워크는 검증 가능한 도구와 multi-hop QA 구축, scaffold 기반 trajectory 생성, 반복적 self-evolving training이라는 세 구성요소로 이루어진다.
  • 3.1 DeepSearch-World: 420K multi-hop QA instances는 entity-level random walk로 구축되며, 약 10 million개의 검색 가능한 항목으로 구성된 오프라인 Wikipedia corpus에 근거한다.entity alignment를 통해 각 질문에 필요한 evidence를 DeepSearch-World 안에서 검색하고 검증할 수 있다.
  • 3.1 DeepSearch-World: DeepSearch-World는 deterministic search and visit tools를 제공하며, 순서에 무관한 entity matching을 통해 각 호출 후 값비싼 LLM judgment 없이 객관적 진행을 검증한다.search는 순위가 매겨진 snippet과 URL을 반환하고, visit은 해당 전체 문서를 가져오며, 실패한 호출은 단계적 rule-based reflection을 유발한다.
  • 3.2 Scaffold Teacher: scaffold teacher는 각 subgoal, evidence, 실패한 전략, reflection, 근거 기반 최종 답변을 추적하기 위해 PLAN, ACT, END를 순환한다.trajectory는 성공적인 tool use와 복구 가능한 실패를 결합하며, 최종 답변은 검증된 working memory로부터 생성된다.
  • 3.3 Self-Evolving Training: 각 라운드에서 현재 model은 scaffold trajectory를 생성하고, 검증된 성공 사례를 보존하며, 이를 ReAct supervision으로 변환한 뒤, 자체 경험으로부터 다음 model을 학습한다.trajectory-level filtering은 중복 evidence, 약한 goal alignment, 일관성 없는 reasoning을 제거하며, scaffold 특유의 planning과 reflection은 배포 가능한 ReAct policy로 distill된다.

4 실험

DeepSearch-World-9B는 평가한 벤치마크 전반에서 Qwen3.5-9B-Instruct를 일관되게 능가하며, 이러한 향상은 query reformulation, evidence grounding, multi-step synthesis와 같은 전이 가능한 tool-use 행동에 기인한다. 추가 실험에서는 더 큰 검증 데이터 풀, 더 긴 evidence-gathering 상호작용, reflection rewriting, answer-correctness filtering이 self-distillation을 강화하는 것으로 나타났다.

  • 실험 설정: 평가는 두 가지 평가 설정에서 proprietary 및 open-source agent를 대상으로 7개의 deep-search 및 reasoning benchmark를 다룬다.벤치마크는 BrowseComp, BrowseComp-ZH, HLE, GAIA, xbench, HotPotQA, Search-QA다.
  • 주요 결과: Qwen3.5-9B-Instruct 대비 +23.8 BrowseComp, +22.9 BrowseComp-ZH, +9.0 HLE, +37.6 GAIA, +29.0 xbench, +48.1 HotpotQA는 벤치마크 전반의 일관된 향상을 보여준다.향상은 전이 가능한 query reformulation, evidence grounding, multi-step synthesis에 기인한다. 더 낮은 BrowseComp-ZH 점수는 영어만으로 학습했기 때문이지만, 부분적인 cross-lingual transfer는 여전히 나타난다.
  • 데이터 규모: 420K training pool은 100K보다 더 높은 validation plateau, 더 낮은 residual format error, 더 안정적인 tool-success 및 entity-hit-ratio 향상을 보인다.더 큰 풀은 각 라운드에서 충분한 unseen instance를 유지하는 반면, 더 작은 풀은 더 일찍 소진되어 약한 supervision을 제공한다.
  • Tool-Use 행동: Qwen3.5-9B-Instruct의 19%에 비해 70%가 advanced capability를 보인다는 점은 더 강한 long-horizon tool-use strategy를 보여준다.DeepSearch-World는 평균 18.0 interaction round와 5.4 visit call을 유지하며, baseline은 4.7 round와 0.9 visit call에 그친다.
  • Trajectory 변환: DeepSearch-Val에서 31.9 versus 25.0이라는 결과는 10K converted trajectory에 대해 전체 trajectory-conversion pipeline이 vanilla SFT보다 향상됨을 보여준다.reflection rewriting을 제거하면 성능이 16.7 및 15.7로 감소하며, state internalization은 더 작지만 일관된 향상을 제공한다.
  • Trajectory 필터링: rejection sampling과 quality filtering을 적용한 58.2 SearchQA는 rejection sampling만 적용한 54.9와 dominant safeguard 없이 얻은 46.4를 모두 능가한다.rejection sampling은 answer correctness를 검증해 가장 큰 향상을 제공하며, quality filtering은 중복되거나 정렬이 약하거나 일관되지 않은 correct trace를 제거한다.

5 결론

이 논문은 결정론적이고 검증 가능한 offline-Wikipedia tool environment인 DeepSearch-World와 이를 기반으로 구축한 self-distillation framework인 DeepSearch-Evolve를 소개한다. DeepSearch-World-9B는 Qwen3.5-9B보다 크게 향상되면서도 강력한 open-source agents와 경쟁력 있는 성능을 유지한다.

  • 환경: DeepSearch-World는 재현 가능한 관찰, entity-level progress verification, 그리고 안정적이고 검증 가능한 tool-use trajectory를 위한 grounded reflection signal을 제공한다.
  • 방법: DeepSearch-Evolve는 검증된 trajectory를 생성하고 scaffold supervision을 표준 ReAct-format training으로 변환해 self-distillation을 수행한다.
  • 결과: DeepSearch-World-9B는 deep-search 및 reasoning benchmark 전반에서 Qwen3.5-9B보다 크게 향상되면서도 강력한 open-source agents와 경쟁력 있는 성능을 유지한다.

한계

환경의 Wikipedia 기반은 커버리지와 도메인 다양성을 제한하며, evolving-SFT 업데이트 규칙은 RL 방식의 self-evolution과 더 높은 수준의 tool-use 역량을 충분히 탐구하지 못한다. 더 폭넓은 지식 소스와 개선된 RL 학습을 통해 일반화와 검증 가능한 self-evolution의 범위를 확장할 수 있다.

  • 한계: Wikipedia 기반 환경은 커버리지와 도메인 다양성을 제한하므로, 일반화 성능 향상을 위해 더 폭넓은 지식 소스로 확장할 필요가 있다.
  • 한계: 현재 업데이트 규칙은 evolving SFT에 의존하며, RL 방식 또는 OPSD 기반 업데이트를 통해 일반화 성능과 유연성을 높일 수 있다.
  • 한계: 계획 수립, 오류 복구, tool-use 전략을 RL 학습에 주입하는 연구는 아직 충분히 이루어지지 않았으며, 이로 인해 tool-use 에이전트를 위한 더 폭넓은 검증 가능한 self-evolution이 제한된다.

윤리적 고려사항 · A 데이터 및 환경 구축 세부사항.

DeepSearch-World는 비공개 또는 새로 생성된 개인 식별 정보 없이, 공개적으로 이용 가능하고 라이선스가 부여된 Wikipedia 콘텐츠를 완전 오프라인의 결정론적 환경에서 사용한다. 420K개 인스턴스로 구성된 multi-hop QA 데이터셋은 실제 다단계 tool use를 위해 설계되었으며, 기존 사회적 편향과 더 폭넓은 데이터 및 더 강력한 안전 정렬의 필요성을 인정한다.

  • 윤리적 고려사항: 이 연구는 CC-BY-SA에 따라 라이선스가 부여된 공개 Wikipedia 콘텐츠를 사용하며, Wikipedia 기여자에 대한 출처 표시와 함께 환경과 데이터셋을 연구용으로 공개한다.
  • 윤리적 고려사항: 데이터셋은 비공개 개인 식별 정보를 수집하지 않으며 새로 생성하지도 않지만, Wikipedia에서 가져온 공개 이름과 전기적 사실을 포함할 수 있다.
  • 윤리적 고려사항: 환경은 완전 오프라인의 결정론적 환경이므로, 학습 중 통제되지 않은 웹 접근으로 인한 위험을 줄인다.
  • 윤리적 고려사항: Wikipedia에는 사회적 편향이 포함될 수 있으며, 이를 바탕으로 학습한 모델이 이러한 편향을 물려받을 수 있다.향후 연구에서는 더 다양한 데이터 소스와 tool-use agent를 위한 더 강력한 안전 정렬을 탐구해야 한다.
  • A 데이터 및 환경 구축 세부사항.: 420K개 인스턴스는 실제 다단계 tool use를 요구하도록 설계된 대규모 multi-hop QA 데이터셋을 구성한다.데이터셋 구축 파이프라인은 두 단계로 이루어진다.
  • A 데이터 및 환경 구축 세부사항.: 420K개 인스턴스 데이터셋의 구축 파이프라인은 두 단계로 구성된다.

A.1 데이터 및 환경 구축 … B 실험 세부사항

이 논문은 multi-hop knowledge tree로부터 결정론적 Wikipedia 기반 환경을 구축하고, 재현 가능한 agent 상호작용을 위해 효율적인 검색, 페이지 읽기, rollout 메커니즘을 구현한다. 실험 설정은 indexed offline retrieval, context management, backend-agnostic text-based tool calling을 결합한다.

  • A.1 데이터 및 환경 구축: 환경은 breadth-first exploration으로 knowledge tree를 구축하며, 각 level에서 관련 hyperlink를 최대 3개까지 선택해 네 개 level 또는 방문한 여섯 개 페이지에 도달할 때까지 확장한다.각 tree edge에는 부모 article과 자식 article 사이의 semantic relationship이 기록된다.
  • A.1 데이터 및 환경 구축: 질문은 무작위로 샘플링한 2–4개의 subtree로부터 생성되며, 여러 Wikipedia article에 걸친 모든 entity를 cross-reference해야 한다.Feature fuzzification은 특정 값을 근사적 서술로 대체해 암기가 아니라 factual search와 verification을 수행하도록 만든다.
  • A.1 데이터 및 환경 구축: offline corpus에는 approximately 10 million개의 영어 Wikipedia entry가 포함되며, SQLite offset을 포함한 JSONL로 저장되고 keyword retrieval을 위해 Pyserini BM25로 색인된다.누락된 article은 rate-limited online scraping으로 보완할 수 있다.
  • A.2 도구 구현 세부사항: web_search_wiki는 공유 Pyserini BM25 index에서 상위 다섯 개 ranked article을 title, caption, deterministic URL과 함께 반환한다.이 interface는 전체 document가 아닌 search-style result를 노출해 worker 간 재현 가능한 retrieval을 지원한다.
  • A.2 도구 구현 세부사항: visit_wiki는 normalized-title URL lookup과 two-level offset indexing을 통해 전체 article을 가져오며, 병렬 worker를 위해 shared-memory caching을 사용할 수 있다.긴 page에는 경량 summary 또는 deterministic character-level truncation을 적용해 browser와 유사한 schema를 유지하면서 retrieval을 효율적이고 결정론적으로 수행한다.
  • A.3 Teacher Rollout 구현 세부사항: Teacher rollout은 가장 최근의 interaction step을 전체 형태로 유지하고, 더 이전 step은 progress state로 요약해 context length를 제어한다.이 sliding-window 전략은 interaction budget 안에서 최근 observation과 tool-use rationale을 보존한다.
  • A.3 Teacher Rollout 구현 세부사항: 도구 사용은 function name, argument, result, observation을 위한 delimiter token을 사용하는 backend-agnostic text-based function-calling protocol을 따른다.Regular-expression parsing이 call을 dispatch하며, context에 필요할 경우 긴 observation은 축약되거나 결정론적으로 잘린다.

B.1 벤치마크 세부사항 · B.2 베이스라인 세부사항

평가는 다국어 브라우징, 전문가 수준 추론, 검색 기반 QA를 아우르는 6개 검색 집약적 벤치마크로 구성된다. 직접 추론 모델과 비슷한 규모의 오픈소스 검색 에이전트를 비교하되, 후자의 비교는 엄밀한 파라미터 일치가 아닌 실용적 비교임을 명시한다.

  • B.1 벤치마크 세부사항: 평가는 영어 브라우징, 중국어 브라우징, 전문가 수준 추론, 검색 기반 QA를 아우르는 6개 검색 집약적 벤치마크를 사용한다.
  • B.1 벤치마크 세부사항: BrowseComp는 1,266개의 영어 브라우징 질문을 통해 찾기 어렵고 서로 얽힌 웹 정보의 지속적 탐색 능력을 평가한다.
  • B.1 벤치마크 세부사항: BrowseComp-ZH는 11개 도메인에 걸친 289개의 중국어 원어민 다단계 질문으로 중국어 웹 브라우징을 평가한다.
  • B.1 벤치마크 세부사항: GAIA-Text는 실제 세계의 다단계 웹 검색과 추론이 필요한 텍스트 전용 개발 질문 103개를 포함하며, xBench-DeepSearch는 중국어 심층 검색 질문 100개를 포함한다.
  • B.1 벤치마크 세부사항: Search-QA는 NQ, TriviaQA, PopQA와 같은 단일 단계 데이터셋과 HotpotQA, 2Wiki, MuSiQue, Bamboogle을 포함한 다단계 데이터셋을 결합한다.
  • B.2 베이스라인 세부사항: Direct Reasoning은 검색이나 도구 없이 단일 패스로 답하는 방식을 GPT-5, Claude-4-Sonnet, Claude-3.7-Sonnet, OpenAI Deep Research, OpenAI-o3, Qwen3.5-9B-Instruct와 비교한다.
  • B.2 베이스라인 세부사항: Open Source Agents는 R1-Searcher-7B, Search-R1-7B, ZeroSearch-7B, ASearcher-7B, DeepResearcher-7B, PokeeResearch-7B, WebSailor-7B, WebExplorer-8B, Marco-DR-8B, MiroThinker-v1.0-8B, DeepDive-9B를 포함해 비슷한 규모의 최신 검색 및 심층 연구 시스템을 비교한다.
  • B.2 베이스라인 세부사항: 정확히 9B인 공개 심층 검색 에이전트는 제한적이므로, 이 연구는 유사한 배포 예산 내에서 실용적 비교를 위해 7B–8B 시스템도 포함하며, 이는 엄격한 파라미터 일치 경쟁이 아니다.

B.3 Training Hyperparameter

self-evolving loop는 15라운드 동안 실행되며, thresholded trajectory collection, importance-sampling mixing, exponential decay, 고정된 fine-tuning 설정을 사용한다.

  • B.3 Training Hyperparameter: 15라운드로 self-evolving loop를 구성하며, 각 라운드는 제시된 generation 및 training configuration에 따라 진행된다.loop는 R=15라운드 동안 실행된다.
  • B.3 Training Hyperparameter: 10,000개 질문 generation batch는 4,000개의 정답 trajectory가 수집되면 training을 시작하고, 이후 importance-sampling mixing을 통해 4,000개 trajectory로 구성한다.threshold는 B=10,000, Cmin=4,000, Ntarget=4,000이다.
  • B.3 Training Hyperparameter: γ=0.5는 라운드 전반에 exponential decay를 적용하며, training은 라운드당 한 epoch, 5 × 10−6 learning rate, cosine scheduling, 10% warmup을 사용한다.Training에는 DeepSpeed ZeRO-2, BFloat16 precision, 최대 sequence length 32,768도 사용된다.
  • B.3 Training Hyperparameter: qwen3_5_nothink template는 training 중 <think> token을 제거해 trajectory structure에 학습이 집중되도록 한다.이 template는 제시된 training configuration의 일부다.

B.4 비동기 학습 효율성 · B.5 고급 능력 점수 · C 프롬프트

시스템은 비동기 생성과 백그라운드 학습으로 학습 효율성을 높이고, 5개 차원에서 고급 능력을 평가한다. 프롬프트는 reject-sampling 판정, trajectory 품질 검사, 진행 상황 추적, tool-use 형식, 최종 답변 제약, 에이전트 상호작용 프로토콜을 지정한다.

  • B.4 비동기 학습 효율성: 단일 2-node H20 클러스터에서 완전한 5-round self-evolving loop를 수행하는 데 약 2–3일이 필요하다.각 batch에서 약 10,000개의 질문을 생성하며, 4,000개 trajectory에 대한 전체 SFT는 다음 generation batch가 진행되는 동안 완료된다.
  • B.4 비동기 학습 효율성: Generation은 training 때문에 중단되지 않는다: trajectory는 백그라운드에서 생성되고 model swap은 round 경계에서만 발생한다.이 비동기 오케스트레이션을 통해 generation과 training이 동시에 진행된다.
  • B.5 고급 능력 점수.: 고급 능력 점수는 planning, memory, reasoning, self-correction, evidence gathering의 pass rate를 평균 내어 계산한다.LLM judge는 에이전트가 질문을 분해하고, 중간 evidence를 유지하며, 여러 hop에 걸쳐 evidence를 연결하고, 실패를 수정하며, 충분한 근거를 검색하는지를 평가한다.
  • C.1 Trajectory Generation: Reject sampling은 model answer를 correct, incorrect, or not attempted로 분류하는 evaluator를 사용하며, 수치상 근접한 답, 요청된 세부 정보, 추론 가능한 누락에 대한 규칙을 적용한다.Evaluator는 question, standard answer, prediction을 입력받고 A, B, C 중 하나만 반환해야 한다.
  • C.2 Quality Filter: Quality filter는 tool call과 reasoning이 비중복성, goal alignment, 논리적이고 정확하며 evidence-based인 reasoning을 충족하는지 판단한다.호출은 필요하고, query-driven이며, 효율적이고, 정확하며, 비중복적이고, specification을 준수할 때 합리적이다.
  • C.3 ReAct Trajectories: ReAct trajectories는 간결한 thinking, 하나의 tool call, tool response, 추가 reasoning, 최종 answer를 번갈아 수행한다.Trajectory 형식은 answer generation 전에 반복되는 think–tool_call–tool_response cycle을 명시적으로 표현한다.
  • C.4 Planning User Prompt; C.5 Action User Prompt: Planning prompt는 완료된 항목을 이동하고, 남은 task를 수정하며, 새로운 information과 experience를 기록하는 방식으로 JSON progress state를 갱신한다.Action prompt는 information이 부족할 때는 tool call을 수행하고, confirmation 이후에만 직접 answer를 제시하도록 별도로 요구하며, 정확한 response format을 강제한다.
  • C.6 Ending User Prompt; C.7 System Prompt: Ending prompt와 system prompt는 간결한 최종 출력, 방문한 페이지에서 확인된 사실, 한 번에 하나의 tool call, 그리고 필수적인 search-then-visit workflow를 요구한다.System prompt는 또한 주입된 tool result, reflection, state update와 action module의 output을 구분한다.

D 사례 연구 · E Large Language Model 사용

사례 연구는 기관 및 제작 이력 단서의 연결을 통해 Franco Leoni의 L’Oracolo를 식별하는 검증된 단계별 검색을 보여준다. 또한 논문은 Large Language Models를 문법 교정과 LaTeX 서식 지정에만 사용했다고 밝힌다.

  • D 사례 연구: 해당 조직은 Glasgow Grand Opera Society로 식별되었으며, 1906년 Moody-Manners Opera Company의 수익을 바탕으로 순회 공연단의 합창단을 지원하기 위해 설립되었다.이 설립 방식이 질문의 첫 단서를 해결했다.
  • D 사례 연구: 이 trajectory는 진행 목록, grounded reflection, 표적 검색, independent verification을 활용해 최종 답을 제시하기 전에 남은 각 단서를 해결한다.에이전트는 이후 제작 이력 단서와 후보 증거를 대조하면서 완료된 하위 목표와 대기 중인 하위 목표를 명시적으로 추적한다.
  • D 사례 연구: 이 협회의 첫 독립 제작은 1911년 Gounod’s Faust였으며, 1859년 파리 초연은 Théâtre Lyrique에서 열렸다.두 제작 이력 단서를 모두 검증함으로써 기관 일치 가능성이 높아졌다.
  • D 사례 연구: Active Society for the Propagation of Contemporary Music을 설립한 작곡가이자 오르간 연주자인 Erik Chisholm은 1930년대 협회의 Mozart’s Idomeneo 영국 초연을 이끌었다.초연은 1934년에 열렸다.
  • D 사례 연구: 검색 결과, Glasgow Grand Opera Society의 1994년 재공연 작품은 Franco Leoni가 작곡한 L’Oracolo였음이 밝혀졌다.이 작품은 1905년 오페라이며 80년 만의 첫 영국 제작이었다.
  • D 사례 연구: 1993년부터 연례 제작은 Royal Conservatoire of Scotland의 New Athenaeum Theatre로 이전했으며, 이는 1994년 L’Oracolo 공연에 앞섰다.공연장 이전이 연결 고리를 완성하는 데 필요한 후속 기관 단서를 제공했다.
  • E Large Language Model 사용: 논문은 Large Language Models가 문법 교정과 LaTeX 서식 지정에만 도움을 주었으며, 긍정적 리뷰를 요청하는 프롬프트는 없었다고 밝힌다.저자들은 보고된 언어 모델 지원을 편집 작업으로 명시적으로 제한한다.
Loading 2607.07820v1…