PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

Towards Retrieving Interaction Spaces for Agentic Search

Shengyao Zhuang, Yuansheng Ni, Hengxin Fun, Jimmy Lin, Xueguang Ma

arXiv:2606.06880v1cs.IR

TL;DR

에이전트 기반 검색은 컨텍스트 윈도에 넣을 문서를 고르는 것을 넘어, 검색이 확장 가능한 코퍼스 탐색을 어떻게 지원할 수 있는지 묻는다. RISE는 BM25로 범위를 한정한 상호작용 공간을 구성하고, 그 안의 문서를 셸 기반 탐색에 맞게 가공한다. BrowseComp-Plus에서 gpt-5.4-mini를 사용해 순수 셸 기반 DCI와 같은 정확도 78%를 달성하면서 질의당 비용은 사분의 일에 그친다.

  • 문제

    에이전트 기반 검색은 컨텍스트 윈도에 들어갈 문서를 고르는 것을 넘어, 검색이 확장 가능한 코퍼스 탐색을 어떻게 지원할 수 있는지 묻는다.

    출처: §1 · p. 2

  • 방법

    RISE는 BM25로 범위를 한정한 상호작용 공간을 구성하고, 셸 기반 탐색을 위해 오프라인에서 문서에 구조 메타데이터를 추가한다.

    출처: §3.2 · p. 4, §7 · p. 9

  • 결과

    BrowseComp-Plus에서 정확도 78%: RISE는 gpt-5.4-mini를 사용해 순수 셸 기반 DCI와 같은 성능을 내면서 질의당 비용은 사분의 일에 그친다.

    출처: §1 · p. 2

  • 시사점 및 한계

    에이전트의 코퍼스 상호작용은 검색기 품질이나 에이전트 프롬프팅뿐 아니라 검색 결과물과 문서 구조까지 아우르는 설계 문제다.

    출처: §7 · p. 9

    문서 가공은 문서 100k개에서만 평가했으므로, 문서 1M개 규모의 확장성 결과는 주로 검색으로 탐색 범위를 한정하는 설계를 뒷받침한다.

    출처: §8 · p. 9

Abstract

from arXiv · show

Retrieval for search agents is still inherited from non-agentic information retrieval: a retriever ranks the corpus and the agent reads a small set of returned documents. Recent direct corpus interaction (DCI) work shows that agents can instead interact with the raw corpus through shell tools such as grep and file reads. But unbounded interaction does not scale: every broad shell command is a scan over the whole corpus, and latency degrades sharply as the corpus grows. We argue that the role of retrieval for agentic search is not just to select documents that fit in the LLM context window, but to construct an interaction space: a bounded subset of the corpus the agent can explore with associated tools. Two design consequences follow. The space needs a boundary supplied by retrieval, and the objects within it should be processed for interaction. As a proof of concept, we propose RISE (Retrieving Interaction SpacE): we use BM25 to construct the interaction space; meanwhile, its documents are processed during indexing for shell-style navigation. On BrowseComp-Plus, RISE matches the pure-shell DCI baseline at 78% accuracy with gpt-5.4-mini at roughly one quarter of the per-query cost. At 1M documents, RISE-BM25 reaches 81% on gpt-5.4-mini, whereas DCI on gpt-5.4-nano degrades to 60% with 33 of 100 wall-clock failures.

1 서론

RISE는 검색을 에이전트가 도구로 탐색할 수 있는 한정된 코퍼스 부분집합을 구성하는 일로 재정의하고, 문서를 셸 방식 탐색에 맞게 가공한다. BrowseComp-Plus에서 gpt-5.4-mini를 사용해 순수 셸 기반 DCI와 동일한 78%의 정확도를 달성하면서 질의당 비용은 사분의 일로 줄인다.

1 서론

  • DCI [Li et al., 2026b], 파일 기반 처리 [Cao et al., 2026], 반복적 어휘 검색 [Sen et al., 2026]은 고정된 컨텍스트 읽기를 코퍼스 탐색으로 대체한다.반면 전통적인 검색은 코퍼스의 순위를 매기고 에이전트의 현재 프롬프트에 제공할 소수의 문서나 발췌문을 반환한다.출처: §1 · p. 2
  • 400k 문서에서 정확도가 37.5%에 그치고 쿼리 100개 중 20개가 도구 사용 한도를 소진한다는 결과는 DCI의 확장성 한계를 드러낸다 [Li et al., 2026b].문서 수를 100k개에서 200k개로 늘리면 평균 도구 호출 수가 38.5회에서 86.9회로 증가하고, 지연 시간과 비용은 두 배를 넘어서며, 정확도는 13.6포인트 하락한다. 광범위한 grep 명령은 전체 코퍼스를 스캔하므로 출력 결과를 선별하는 데 예산을 소모한다.출처: §1 · p. 2
  • RISE는 BM25로 경계가 명시적이고 지속적으로 유지되는 상호작용 공간을 구성하며, 에이전트는 컨텍스트 윈도 밖에서 도구로 이 공간을 탐색한다.이 경계는 코퍼스 전체에 대한 무제한 접근이나 프롬프트에 들어갈 분량의 근거와 다르며, 셸 도구로 재탐색할 수 없는 단순한 순위 목록도 아니다.출처: §1 · p. 2
  • RISE는 인덱싱 중 문서에 구조 메타데이터를 직접 추가해, 셸 도구가 문서 전체를 읽지 않고도 원문 그대로의 근거를 유지하며 관련 구간으로 바로 이동하게 한다.검색 시점에 만드는 청크나 요약과 달리, 이 가공은 에이전트가 볼 근거를 미리 결정하거나 원래 표현을 버리지 않는다. 100k 문서에서 이 가공을 제거하면 모델 등급에 따라 정확도가 1–4포인트 낮아진다.출처: §1 · p. 2
  • RISE는 gpt-5.4-mini를 사용한 BrowseComp-Plus 평가에서 순수 셸 기반 DCI와 동일한 정확도 78%를 달성하면서 질의당 비용은 사분의 일에 그친다.이 비교에서는 검색으로 정한 경계와 문서 가공을 모두 적용한 RISE를 평가한다.출처: §1 · p. 2
  • 1M 문서에서도 RISE-BM25는 안정적인 성능을 유지하지만, DCI는 정확도가 60%로 떨어지고 쿼리 100개 중 33개가 실행 시간 제한으로 실패한다.이는 코퍼스를 10×로 확대한 결과다. 이 확장성 결과는 전체 RISE가 아니라 경계만 적용한 RISE-BM25 변형에 해당한다.출처: §1 · p. 2

2 관련 연구

관련 연구는 에이전트 검색 루프, 에이전트를 고려한 순위화, 코퍼스 인터페이스를 발전시켜 왔다. RISE는 컨텍스트 창에 넣을 스니펫이나 원시 코퍼스에 대한 무제한 접근 대신, 범위가 제한되고 셸로 탐색 가능한 작업 공간을 반환하는 데 초점을 둔다.

검색 증강 및 심층 조사 에이전트

  • RAG는 모델과 검색을 결합했고 [Lewis et al., 2020], WebGPT와 ReAct는 명시적인 행동–관찰 루프를 정립했다 [Nakano et al., 2021, Yao et al., 2023].심층 조사 시스템은 이 루프를 반복 검색, 근거 검토, 종합으로 확장한다. Search-R1은 추론 중 여러 턴에 걸친 검색 질의를 학습하고 [Jin et al., 2025], WebThinker는 추론, 웹 탐색, 보고서 작성을 번갈아 수행한다 [Li et al., 2026a].출처: §2 · p. 2
  • BrowseComp와 BrowseComp-Plus는 고난도 브라우징 과제를 평가하며, BrowseComp-Plus는 고정 코퍼스를 사용해 검색 방식 간 비교가 가능하도록 한다 [Wei et al., 2025, Chen et al., 2025].RISE는 이 에이전트 검색 설정을 사용하되, 검색으로 초기 근거 집합을 선택한 뒤 에이전트에 어떤 코퍼스 인터페이스를 제공해야 하는지 묻는다.출처: §2 · pp. 2–3

에이전트 검색을 위한 검색과 순위화

  • 에이전트를 고려한 검색 연구는 순위화를 개선하거나 진단한다. 반면 RISE는 단순한 BM25를 유지하되 검색의 출력을 바꿔 외부 도구로 탐색 가능한 후보 공간을 제공한다.AgentIR은 추론 궤적을 질의와 함께 임베딩하고 [Chen et al., 2026], Agentic-R은 문단 관련성과 답변 정확성을 활용해 학습한다 [Liu et al., 2026]. Meng et al. [2026]은 순위화 구성을 비교하며, SAGE는 키워드 중심의 에이전트 질의를 사용하면 어휘 기반 베이스라인도 밀집 검색에 견줄 수 있음을 보인다 [Hu et al., 2026].출처: §2 · p. 3

에이전트 검색을 위한 코퍼스 인터페이스

  • RISE는 PI-SERINI의 [Hsu et al., 2026] 캐시된 BM25 순위 목록과 달리, 셸 탐색용 구조 메타데이터를 갖춘 범위가 제한된 파일시스템 작업 공간을 반환한다.다른 유형의 인터페이스는 순위가 매겨진 스니펫을 컨텍스트에 전달하거나, DCI [Li et al., 2026b]와 Cao et al. [2026]처럼 전체 코퍼스를 셸 도구에 노출한다. Sen et al. [2026]은 에이전트 루프 내 검색의 성공 여부가 하네스와 정보 전달 방식에 크게 좌우됨을 보인다.출처: §2 · p. 3

3 방법

RISE는 모델의 컨텍스트 윈도 밖에 지속적으로 유지되는 상호작용 공간을 검색으로 구성하고, 셸 기반 탐색에 맞게 문서를 가공한다. BM25가 작업 공간의 경계를 정하고, 오프라인 목차 가공은 원문을 버리지 않으면서 필요한 부분을 골라 읽게 한다.

3 방법

  • RISE는 검색으로 범위를 한정하고 지속적으로 유지하는 작업 공간에 셸 탐색용으로 가공한 문서를 결합한다. RISE-BM25는 작업 공간의 경계만 구현한다.후보 문서는 모델의 컨텍스트 윈도 밖에 유지되며, 셸 도구로 반복해서 탐색할 수 있다.출처: §3 · p. 3

3.1 상호작용 공간의 범위 한정

  • 작업 공간의 경계는 명시적으로 정해진 재탐색 가능한 후보 집합이다. 전체 코퍼스에 대한 셸 접근이나 컨텍스트 윈도의 한계, 한 번 읽고 끝나는 순위 목록이 아니다.RISE-BM25는 이를 질의별 파일시스템 디렉터리로 구현한다. 밀집 검색기, late-interaction 검색기, 하이브리드 검색기도 경계를 정할 수 있다. BM25를 사용하면 검색기 구현과 인터페이스를 분리해 살펴볼 수 있다.출처: §3.1 · pp. 3–4
  • 다중 질의 BM25는 각 하위 질의의 top-K 문서를 지속적으로 유지되는 작업 디렉터리로 가져오며, 에이전트는 그 안에서 셸로 내용을 살펴보고 필요한 부분을 읽는 과정을 번갈아 수행한다.문서는 검색 도구로만 가져올 수 있다. 검색 도구는 결과의 합집합을 하드 링크로 연결하고, 코퍼스 기준 상대 경로를 보존하며, 작업 공간을 단조롭게 확장한다. 각 하위 질의는 top-10 미리보기를 반환하지만, top-K 검색 결과 전체는 bash와 줄 번호 기반 읽기 호출로 계속 접근할 수 있다.출처: §3.1 · p. 4, Figure 2 · p. 4

3.2 상호작용을 위한 객체 가공

  • 원문 내 구조 메타데이터는 원시 파일, 검색 시점에 나눈 청크, 발췌문, 요약과 달리 원문을 그대로 보존하면서 문서 내부의 근거에 직접 접근하게 한다.원시 파일은 처음부터 끝까지 훑어야 한다. 청크와 발췌문은 재탐색 범위를 선택된 근거로 제한하고, 요약은 검증에 필요한 원문을 잃는다.출처: §3.2 · p. 4
  • 오프라인 LLM이 절 구성과 원문에서 그대로 가져온 앵커를 제안하고, 결정론적 검증을 거쳐 제목과 1부터 시작하는 줄 번호 범위가 담긴 목차를 추가한다.gpt-5.4-nano가 구조를 제안하고, 앵커는 정확한 부분 문자열 일치로 검증하되 실패하면 짧은 구간의 공백을 정규화해 다시 확인한다. 100k 규모에서 가공 비용은 문서당 약 $0.0014다. 원래 본문은 바뀌지 않으며, 에이전트는 답변에 확정적으로 제시할 사실을 TOC에 의존하지 않고 본문과 대조해 검증해야 한다.출처: §3.2 · pp. 4–5
  • TOC는 폭넓은 탐색과 정확한 줄 범위 읽기를 지원한다. 절 그래프, 문단 앵커, 학습된 탐색 단서도 같은 상호작용 요건을 충족할 수 있다.저자들은 두 탐색 방식을 모두 지원하는 원문 내 메타데이터 중 비용이 가장 낮은 TOC를 선택한다. 대안 역시 문서 전체를 읽지 않고 문서 내부의 근거에 접근할 수 있게 해야 한다.출처: §3.2 · p. 5

4 실험 설정

100k 및 1M 코퍼스에서 BrowseComp-Plus [Chen et al., 2025]의 질문 100개로 RISE, 범위 제한만 적용한 절제 실험 변형, 두 기준선을 비교한다. 전체 RISE는 100k에서만 평가하며, DCI에는 더 큰 모델 호출 및 실제 실행 시간 예산을 부여한다.

데이터셋과 코퍼스

  • 고정된 BrowseComp-Plus [Chen et al., 2025] 질의 100개를 두 코퍼스 규모에서 모두 평가하며, 동일한 질문과 정답 문서를 유지한다.100k 설정은 공개된 코퍼스를 사용하고, 1M 설정은 고정 시드로 선정한 FineWeb-Edu 방해 문서 900,000개를 추가한다 [Penedo et al., 2024]. 표본 크기는 전체 상호작용 과정과 후속 LLM 판정에 드는 API 비용 및 실제 실행 시간을 고려해 정했다.출처: §4 · p. 5

에이전트 모델과 판정

  • mimo-v2.5-pro, 추론 강도를 중간으로 설정한 gpt-5.4-mini, 높음으로 설정한 gpt-5.4-nano의 세 에이전트를 gpt-5.1의 판정으로 평가한다.판정에는 공식 BrowseComp-Plus Appendix F 프롬프트를 사용한다.출처: §4 · p. 5
  • 평가에서는 판정 기반 정확도, 무응답 수, 평균 도구 호출 수, 질의당 평균 비용(USD), 정답 문서 포괄률 진단 지표 두 가지를 보고한다.gold_R은 정답 문서가 BM25 후보 집합의 합집합에 포함되는지를, cov_mean은 문서 읽기나 셸 출력으로 정답 문서가 에이전트에 노출되는지를 측정한다. 시스템마다 인터페이스가 근거를 노출하는 방식이 달라 cov_mean을 모든 시스템 간에 직접 비교할 수는 없다.출처: §4 · p. 5

비교 시스템

  • RISE는 BM25 기반 범위 제한과 오프라인 TOC 처리를 결합하며, RISE-BM25는 원본 문서를 유지해 범위 제한만의 효과를 분리한다.두 방식 모두 bm25s [Lù, 2024]의 기본 설정(k1=1.5, b=0.75)을 사용하고, 하위 질의마다 K=1000개 문서를 검색하며, 상위 10개 미리보기를 제공하고, 누적된 작업 공간을 bash와 행 범위 읽기로 탐색하게 한다. 작업 집합은 대개 중복을 제외한 파일 약 10,000개 이하로 구성된다. 전체 RISE를 100k로 제한한 이유는 인터페이스의 한계가 아니라 추가 방해 문서의 전처리 예산을 책정하지 않았기 때문이다.출처: §4 · p. 5
  • retrieval-agent는 BM25 문서 검색을 사용하고, DCI는 검색기 없이 bash와 read로 전체 코퍼스를 탐색한다.retrieval-agent는 k=5, 512토큰 발췌문, 문서 전문을 반환하는 get_document를 사용해 BrowseComp-Plus Appendix E를 재구현한다. DCI는 원래 프롬프트와 잘라내기 및 압축을 수행하는 DCI-Agent-Lite level3 문맥 관리를 사용한다. DCI의 bash 및 read 출력에는 DCI 방식의 제한이 적용되는 반면, RISE 변형들은 bash 출력 4000자 잘라내기, 하위 프로세스 실행 시간 60초 제한, 기본 2000행의 행 범위 읽기를 사용한다.출처: §4 · pp. 5–6

예산과 중단 조건

  • DCI에는 질의당 모델 호출 300회와 1.5시간을 허용하고, RISE, RISE-BM25, retrieval-agent에는 100회와 1시간을 허용한다.DCI에 의도적으로 유리하게 설정한 이 제한은 원래 설정을 따라 모델 호출 수는 3×, 실제 실행 시간 예산은 1.5×로 부여한다. 주요 결과를 산출하는 실행에서는 최종 답변 강제 생성을 비활성화한다. 답변을 확정하지 못한 채 어느 한쪽 예산이라도 소진하면 중단 조건을 표기한 무응답 사례로 처리한다.출처: §4 · p. 5

5 결과

RISE는 mimo-v2.5-pro와 gpt-5.4-mini에서 두 비교 방법보다 낮은 비용으로 정확도 78%를 달성하며, 경계 설정만 적용한 RISE-BM25도 1M 문서 규모에서 견고한 성능을 유지한다. 상호작용 공간이 커진다고 정확도가 단조롭게 높아지지는 않는다.

5.1 주요 결과

  • RISE는 mimo-v2.5-pro와 gpt-5.4-mini에서 정확도 78%로 각 모델군에서 단독 또는 공동 최고 성능을 보이며, 비용은 두 비교 방법보다 낮다.gpt-5.4-mini에서 DCI는 RISE와 정확도가 같지만, 모델 호출 예산을 3×, 실행 시간 상한을 1.5× 부여받고도 비용이 4× 더 든다. DCI는 nano 모델군에서는 선두지만, mimo-v2.5-pro에서는 정확도가 60%에 그치고 100건 중 18건이 실행 시간 초과로 실패한다.출처: §5.1 · p. 6
  • RISE-BM25의 성능이 RISE에 근접한다는 점은 상호작용 공간의 경계 설정이 성능 향상의 대부분을 설명하며, 색인 시 문서 처리는 추가로 더 작은 개선을 제공함을 시사한다.검색 에이전트는 BM25 정답 문서 재현율이 비슷한데도 대형 모델에서 RISE보다 정확도가 낮다. 이는 후보 검색보다는 문서를 충분히 접하지 못하는 것이 주된 한계임을 시사한다.출처: §5.1 · p. 6
  • 추론 강도를 중간으로 설정한 gpt-5.4 정규 모델 기반 RISE는 정확도 82%로 가장 정확한 구성이지만, 비용은 gpt-5.4-mini 기반 RISE보다 4.4× 더 든다.문맥 내 정답 문서 포함률은 cov_mean=92.4%로, 소형 모델군의 최상위 구성에서 얻은 82.4%보다 높다. 정확도는 4퍼센트포인트 높아지지만 질의당 비용은 $0.28 대비 $1.25이며, 턴 수 상한으로 인한 무응답도 여덟 건 발생해 정확도–비용 효율 경계에서는 여전히 소형 모델군이 유리하다.출처: §5.1 · pp. 6–7

5.2 코퍼스 규모 확장

  • 문서 수가 100k에서 1M으로 늘 때 RISE-BM25의 정확도는 mimo-v2.5-pro에서 75%에서 83%로, gpt-5.4-mini에서 77%에서 81%로, gpt-5.4-nano에서 64%에서 65%로 변한다.셸 탐색은 검색으로 확보한 작업 집합 안으로 제한된다. 저자들은 성능 향상보다 견고성에 주목한다. BM25 idf 통계의 변화나 관련성이 있지만 정답으로 주석되지 않은 추가 문서가 향상을 설명할 수 있기 때문이다.출처: Table 2 · p. 7, §5.2 · p. 7
  • 문서 수가 100k에서 1M으로 늘 때 nano 기반 DCI의 정확도는 71%에서 60%로 떨어지고 실행 시간 초과 실패는 7건에서 33건으로 늘어난다.스니펫 기반 검색 에이전트는 mimo와 nano에서 성능이 하락하며, 1M 규모의 모든 비교에서 RISE-BM25보다 낮은 성능을 보인다. DCI의 보고된 API 비용이 낮은 것은 효율 향상이 아니다. 전체 코퍼스를 대상으로 하는 셸 작업의 대기 시간이 실행 시간 예산을 소진해, 과금되는 모델 상호작용 횟수가 적어진 결과다.출처: Table 2 · p. 7, §5.2 · p. 7
  • 추가된 FineWeb-Edu 방해 문서 900k개까지 전처리를 확장하지 않았으므로, 1M 문서 실험은 문서 처리 없이 경계 설정만 적용한 RISE-BM25만 평가한다.이는 인터페이스가 아니라 전처리 비용의 제약이다. 대형 모델은 이미 100k 규모에서 실행 시간 부담이 상당했으므로, 1M 규모의 DCI 평가는 nano에서만 수행했다. nano 실행조차 약 이틀이 걸렸다.출처: §5.2 · p. 7, §5.1 · p. 7

5.3 BM25 Top-K 절제 실험

  • 하위 질의당 K=1000이 gpt-5.4-mini에서 가장 좋으며, 다른 모델군에서도 최적 설정과의 정확도 차이가 1퍼센트포인트 이내다.이 설정은 약 7.6k–10.4k개 파일로 구성된 작업 공간을 만든다. K=100은 경쟁력 있는 성능을 유지하면서 더 작지만, K=10000은 뚜렷한 정확도 향상 없이 42k–50k개 파일을 만든다. 검색 결과가 문맥이 아니라 로컬 파일이 되므로, K는 주로 재현율과 탐색 부담 사이의 절충을 조절하며 API 비용에 미치는 직접적인 영향은 작다.출처: §5.3 · pp. 7–8, Table 3 · p. 8

6 사례 연구

정답을 도출한 두 에이전트 수행 경로는 RISE가 의도한 작업 흐름을 보여준다. 검색은 검증을 위한 작업 공간을 구성하고, 색인 시점의 처리는 긴 문서를 쉽게 탐색할 수 있게 한다.

6 사례 연구

  • 100k 코퍼스에서 gpt-5.4-mini가 정답을 도출한 두 수행 경로는 정답 개체의 이름을 전혀 밝히지 않고 여러 단서를 우회적으로 제시하는 BrowseComp-Plus 질문에 답한다.두 사례는 검색이 작업 공간 내 검증을 위한 공간을 구성하고, 색인 시점의 처리가 탐색 가능한 문서 구조를 제공함을 보여준다.출처: §6 · pp. 8–9
  • 다섯 번의 검색 호출에 걸쳐 바꿔 쓴 하위 질의 15개로 얻은 BM25 검색 결과의 합집합이 RISE-BM25 작업 공간을 구성하며, 이후 에이전트는 rg와 read를 이용한 검증으로 전환한다.에이전트는 목표 개체를 모르므로, 각 검색은 개체를 직접 검색하는 대신 서로 다른 단서 묶음을 겨냥한다.출처: §6 · pp. 8–9
  • RISE 수행 경로의 네 번의 read 호출 중 두 번은 문서 전체를 읽는 대신 LLM이 생성한 줄 번호가 표시된 목차에서 선택한 0이 아닌 오프셋을 사용한다.에이전트는 단서를 감사의 글 항목에 연결하고, 해당 범위를 읽어 찾는 논문인지 확인한 뒤, 제목 머리말을 읽어 학술지명을 확인한다.출처: §6 · p. 9

7 결론

에이전트 검색에서 검색은 단순히 맥락을 추출하는 대신, 범위가 한정되고 상호작용에 적합하게 준비된 공간을 반환해야 한다. RISE는 이 설계를 구현하며, BrowseComp-Plus에서 더 낮은 쿼리당 비용으로 순수 셸 기반 DCI와 동등한 정확도를 달성한다.

7 결론

  • 검색은 단순히 맥락을 추출하는 대신, 탐색에 적합하도록 객체를 가공한 한정된 상호작용 공간을 구성해야 한다.RISE는 이 개념의 실증 사례다. BM25로 공간의 범위를 한정하고, 셸 탐색을 위해 오프라인에서 문서에 줄 번호가 포함된 목차를 추가한다.출처: §7 · p. 9
  • RISE는 순수 셸 기반 DCI의 쿼리당 비용 중 일부만으로 BrowseComp-Plus에서 동등한 정확도를 달성한다.더 큰 모델군에서도 스니펫 검색 에이전트의 성능은 여전히 더 낮다.출처: §7 · p. 9
  • 문서 100k개에서 1M개로: 코퍼스가 확장되어도 RISE-BM25는 안정적인 성능을 유지하지만, 순수 셸 기반 DCI는 실행 시간 초과로 인한 실패와 함께 성능이 급격히 저하된다.출처: §7 · p. 9
  • 상호작용 공간은 순위가 매겨진 스니펫과 제한 없는 파일시스템 사이를 연결해, 에이전트가 셸 도구로 후보를 다시 탐색하고 적은 비용으로 문서 내 세부 근거에 도달하게 한다.코퍼스와의 상호작용은 검색기 품질이나 에이전트 프롬프트만의 문제가 아니라, 검색 결과와 객체 구조를 함께 고려하는 설계 문제가 된다. 기존 검색 벤치마크는 상호작용 공간의 품질을 평가하도록 설계되지 않았다.출처: §7 · p. 9

8 한계

실험에서는 BM25를 통한 경계 설정과 줄 번호가 표시된 목차만 검증했으며, 평가도 한 벤치마크 계열, 100개 질의, 가중치 비공개 에이전트, 단일 평가 모델로 제한된다. 1M 규모 확장 결과는 색인 시점의 문서 처리보다 경계 설정 메커니즘을 주로 검증한다.

8 한계

  • 색인 시점의 문서 처리는 100k 코퍼스에서만 평가했으므로, 1M 규모 확장 결과는 주로 경계 설정의 필요성을 뒷받침한다.1M 실험에 사용한 900k FineWeb-Edu 방해 문서에 오프라인 목차 생성 파이프라인을 다시 실행하는 데 드는 비용이 예산을 초과했다.출처: §8 · p. 9
  • 각 설계 원칙에서 검증한 구현은 하나뿐이다. 경계 설정에는 BM25를, 색인 시점의 문서 처리에는 줄 번호가 표시된 목차를 사용했다.이 관점의 폭넓은 적용 가능성을 검증하려면 밀집·late-interaction·하이브리드 검색기와 절 그래프, 문단 단위 앵커를 후속 연구에서 시험해야 한다.출처: §8 · p. 9
  • 누락된 네 번째 구성인 목차 보강 코퍼스에서의 스니펫 검색을 추가하면, 파일시스템 작업 공간 인터페이스의 기여를 BM25 사전 필터링의 기여와 더 명확히 분리할 수 있다.저자들은 이러한 완전 교차 설계를 유용한 다음 단계로 제시한다.출처: §8 · p. 9
  • BrowseComp-Plus의 100개 질의, 가중치 비공개 에이전트, 단일 gpt-5.1 평가 모델로 평가 범위가 제한되므로, 등급별 수 퍼센트포인트의 정확도 차이는 정밀한 수치라기보다 경향을 나타낸다.평가 모델은 에이전트 세 개 중 두 개 및 구조화된 코퍼스 생성 모델과 같은 모델 계열에 속한다.출처: §8 · p. 9

A RISE-BM25 시스템 프롬프트

RISE-BM25의 시스템 프롬프트는 bag-of-words 검색과 검색 결과가 누적되는 작업 디렉터리를 결합하며, bash와 read로 이를 살펴보게 한다. 에이전트는 반복적으로 근거를 수집한 뒤 설명, 정확한 답, 확신도를 반환한다.

A RISE-BM25 시스템 프롬프트

  • 에이전트는 직접 볼 수 없는 코퍼스를 바탕으로 연구 질문에 답하며, 확신이 설 때까지 검색과 내용 확인을 번갈아 수행한 뒤 도구 호출을 중단한다.최종 출력에는 설명, 정확한 답, 확신도가 포함되어야 하며, 확신도는 0–100%로 표현한다.출처: A RISE-BM25 System Prompt · p. 12
  • 검색 질의는 변별력 있는 용어를 담은 자연어 설명으로 작성해야 한다. 검색 시 각 질의를 bag-of-words로 취급하므로, 상호 보완적인 질의를 묶어 보내 검색 범위를 넓힌다.검색 도구는 한 번의 호출로 하나 이상의 질의를 받는다.출처: A RISE-BM25 System Prompt · p. 12
  • 질의당 수백~수천 개의 일치 문서가 여러 턴에 걸쳐 작업 디렉터리에 누적되지만, 검색 미리보기에는 상위 10개만 표시된다.미리보기에는 파일 경로와 짧은 발췌문이 포함된다. 에이전트는 bash나 read로 미리보기에 나온 내용 너머까지 탐색해야 한다.출처: A RISE-BM25 System Prompt · p. 12
  • bash는 상대 경로를 사용해 작업 디렉터리 안의 검색된 일반 텍스트 파일을 살펴보고, read는 전체 경로로 파일을 연다.프롬프트는 먼저 ls를 실행하고 rg나 grep으로 여러 문서에서 구절을 찾도록 권한다. bash는 작업 디렉터리 밖에 접근할 수 없으며, 절대 경로는 사용할 수 없다.출처: A RISE-BM25 System Prompt · p. 12

B 구조화 문서: 프롬프트와 예시

RISE는 RISE-BM25의 검색 및 셸 인터페이스를 유지하면서 문서에 TOC를 추가하고, TOC 요약이 아닌 문서 본문에서 사실을 검증하도록 프롬프트에 지시를 추가한다.

B 구조화 문서: 프롬프트와 예시

  • 100k 코퍼스 처리에서 문서의 94.5%에 검증된 TOC 항목이 생성됐으며, 제안된 절 앵커의 99.3%가 문서 내에서 확인됐다.100,195개 문서 모두 API나 후처리 실패 없이 처리됐다. 앵커 808,062개 중 802,177개가 정확히 일치하거나 공백 정규화 후 일치했다. 절 제안에는 추론 수준을 낮음으로 설정한 gpt-5.4-nano를 사용했다. 앵커가 모두 유효하지 않은 문서 22개와 출력을 파싱할 수 없는 문서 4개는 원문을 유지하고 TOC를 비워 두었다.출처: B Structured Documents: Prompt and… · p. 12

B.1 RISE 시스템 프롬프트(문서 처리 포함)

  • 검색은 서로 보완하는 bag-of-words 쿼리를 받아 쿼리별 상위 10개 결과의 미리보기를 반환하고, 턴이 지나도 내용이 누적되는 작업 디렉터리에 전체 검색 결과 집합을 추가한다.쿼리에는 식별력 있는 용어를 포함한 자연어 설명을 사용해야 한다. 전체 검색 결과 집합에는 수백~수천 개의 문서가 포함돼 미리보기 범위를 넘어 탐색할 수 있다.출처: §B.1 · p. 12
  • 에이전트는 작업 디렉터리로 범위가 제한된 셸 명령과 줄 단위 구간 읽기를 지원하는 읽기 도구로 검색된 파일을 살펴본다.셸 경로는 상대 경로여야 하며, 절대 경로로도 작업 디렉터리 밖의 파일에는 접근할 수 없다. 읽기 도구는 0부터 시작하는 오프셋과 줄 수 제한을 사용하며, 기본 읽기 범위는 0..2000줄이다.출처: §B.1 · pp. 12–13

B.2 구조화 문서 예시

  • Bath Spa 예시는 YAML 메타데이터, 1부터 시작하는 절 범위와 설명이 담긴 TOC, 본문 시작 표식, 제목이 붙은 본문 절로 구성된 구조화 파일을 보여 준다.축약된 예시는 구조화된 100k 코퍼스에서 가져왔으며, 생략된 본문을 명시적으로 표시한다.출처: §B.1 · p. 13, §B.2 · p. 13

B.1 RISE 시스템 프롬프트(문서 처리 포함)

  • 문서 헤더부터 읽기 시작해 본문 시작 표식이 나타날 때까지 읽기 범위를 늘리고, 예상한 근거가 없으면 다른 절로 탐색 범위를 넓힌다.처음에는 60줄을 읽고 필요하면 200줄로 늘리도록 권장한다. 에이전트는 관련성이 있을 법한 여러 절을 살펴보며, 절 구분이 없는 문서는 일반적인 방식으로 읽는다.출처: §B.1 · p. 13
  • 프롬프트는 TOC 요약을 탐색 보조 수단으로 취급하며, 에이전트가 관련 절을 끝까지 읽고 본문에서 구체적인 사실을 검증하도록 요구한다.TOC 요약은 세부 사항이나 뉘앙스를 놓치거나 다소 부정확할 수 있으므로, 구체적인 수치·이름·날짜·인용문의 근거로 사용해서는 안 된다.출처: B Structured Documents: Prompt and… · p. 12, §B.1 · p. 13

C 구조화된 코퍼스 생성 프롬프트

코퍼스 생성 프롬프트는 원문을 다시 쓰지 않고도 탐색 가능한 문서 섹션을 제안한다. 원문과 정확히 일치하는 앵커를 바탕으로 후속 단계에서 제목을 삽입하고 줄 번호가 있는 목차를 구성하며, 섹션 분할 규칙은 서술문, 카탈로그, 절차를 구분한다.

C 구조화된 코퍼스 생성 프롬프트

  • 오프라인 프롬프트는 문서를 다시 쓰지 않고 섹션 경계, 제목, 설명을 제안한다. 후속 스크립트는 제목을 삽입하고 줄 번호가 있는 목차를 구성한다.스크립트는 원문을 보존하고 목차에 섹션 설명을 포함한다. 프롬프트는 부연 설명이나 Markdown 코드 블록 구분자 없이 JSON만 출력하도록 요구한다.출처: C Structured Corpus Generation Prompt · p. 14
  • 2-7단어 길이의 제목은 구체적인 내용을 나타내고, 10-25단어 길이의 설명은 섹션의 초점을 구체적으로 밝혀야 한다.섹션의 핵심인 경우 설명에 주요 이름, 날짜, 장소, 수치를 명시해야 한다. YAML 머리말이나 말미의 상투 문구는 섹션으로 나누지 않되, 후자에 실질적인 내용이 있으면 예외로 한다.출처: C Structured Corpus Generation Prompt · pp. 14–15
  • 6-12단어 길이의 앵커는 각 섹션의 시작 부분을 정확히 재현하고, 문서 내에서 고유하며, 문서 순서를 따라야 한다. 유효한 앵커가 없는 섹션은 제외해야 한다.문장 부호, 대소문자, 내부 공백을 정규화하지 않고 보존한다. 첫 앵커는 YAML 머리말을 건너뛰고 문서 본문에서 시작한다. 목록으로 시작하면 첫 항목의 첫 단어들만 사용하되, 앞에 붙은 목록 표지도 포함한다.출처: C Structured Corpus Generation Prompt · p. 15
  • 서술문은 섹션당 ~500-2000단어를 기본 분할 단위로 삼고, 지나치게 잘게 나누기보다 주제가 자연스럽게 바뀌는 지점에 경계를 둔다.3000단어 분량의 서술문은 2-6개 섹션으로 나누어야 하며, 약 1500자를 넘는 문서는 거의 반드시 최소 두 섹션으로 나누어야 한다. 빈 섹션 목록은 본문이 약 1000자 미만인 매우 짧은 단일 문단 문서나 메타데이터 또는 상투 문구로만 이루어진 문서에만 허용한다.출처: C Structured Corpus Generation Prompt · p. 15
  • 카탈로그는 적극적으로 세분화하여 대개 독립적인 항목마다 섹션을 하나씩 두는 반면, 순차적인 절차 단계는 하나의 상위 섹션 아래 묶는다.이 구분은 카탈로그 항목은 서로 독립적이고 절차 단계는 서로 의존하며 순서가 있다는 점에 근거한다.출처: C Structured Corpus Generation Prompt · p. 15

Related papers

Loading 2606.06880v1…