PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research

Sohyeon Kim, Yoonho Lee, Bo Liu, Dayoon Ko, Rulin Shao, Seungone Kim, Graham Neubig, Pang Wei Koh, Aakanksha Chowdhery, Akari Asai, Omar Khattab, Yejin Choi, Gunhee Kim, Chelsea Finn

arXiv:2610.02202v1cs.AIcs.CLcs.IR

TL;DR

새 연구 문제를 진전시킬 수 있는 선행 아이디어를 찾는 일은 여전히 인간 연구자의 핵심 역량이다. SCHOLARCATALYST는 프로젝트 저자에게 직접 판단을 받아 수집하고, 프로젝트 시작 전 문헌에서 관련 논문을 검색하는 과제를 평가한다. 가장 성능이 좋은 시스템도 상위 20개에서 저자가 가치 있다고 꼽은 논문의 48%만 찾아낸다.

  • 문제

    새 문제의 토대가 될 기존 아이디어를 고르는 일은 여전히 대부분 인간 연구자의 몫이다. 다만 통찰력 있는 선행 논문은 막연한 연구 질문을 구체화하는 데 도움이 될 수 있다.

    출처: §1 · p. 2

  • 방법

    SCHOLARCATALYST는 최근 컴퓨터과학 프로젝트 207건의 저자에게 연구를 진전시킬 수 있었던 선행 논문을 찾아 설명하도록 요청한 뒤, 시간 기준으로 필터링한 문헌 집합에서 검색 성능을 평가한다.

    출처: §1 · p. 2

  • 결과

    저자가 기여를 인정한 논문 중 48%를 최강 시스템이 상위 20개에서 회수했으며, 에이전트의 반복 질의는 성능을 높이지 못한다(검색기 단독 48% 대비 42%).

    출처: §1 · p. 2

  • 시사점 및 한계

    후보 논문의 포괄성이 한계라면, 영감을 주는 논문을 찾아내는 임베딩 검색기와 그 결과를 바탕으로 탐색을 이끄는 에이전트의 발전이 필요하다.

    출처: §4.2 · p. 7

    벤치마크에는 2025–2026년 컴퓨터과학 논문이 포함되며 연구 분야별로 대표성이 고르지 않다. 또한 저자의 회고적 평가는 사후 판단의 영향을 받을 수 있다.

    출처: §5 · p. 9

Abstract

from arXiv · show

What makes great scientists great? Even as AI systems start to make progress on open problems, scientists remain far ahead of them at sensing which prior idea, buried in an ever-growing archive of research, a new problem needs. To study this skill, we draw on researchers who know firsthand which earlier work advanced their completed projects, with papers serving as pointers to the ideas within. Using our automated pipeline that makes author annotation scalable, we build ScholarCatalyst by having 184 lead authors of 207 recent computer science papers label which candidates did or could have advanced their project, each with a detailed rationale. We introduce a retrieval task with author-provided judgments: given an initial research question, retrieve these papers from only the literature available when the project began. Agentic search does no better than embedding retrieval (0.42 vs. 0.48 Recall@20) despite calling that same retriever as a tool. Even an agent built on Claude Fable 5.1, which may have seen the completed papers during training, reaches only 0.51 R@20. These results highlight the need for new training recipes that equip models with expert intuition for searching broad corpora. We envision ScholarCatalyst as a step toward scientific agents that can take a half-formed idea and point to the prior research it needs.

학자

제공된 자료는 논문 저자와 소속을 제시하고, 주제상 유사한 논문과 연구 진전을 촉진하는 논문의 차이를 보여준다.

저자 및 소속

  • 저자로 등재된 사람은 Sohyeon Kim, Yoonho Lee, Bo Liu, Dayoon Ko, Rulin Shao, Seungone Kim, Graham Neubig, Pang Wei Koh, Aakanksha Chowdhery, Akari Asai, Omar Khattab, Yejin Choi, Gunhee Kim, Chelsea Finn이다.명시된 소속에는 Stanford University, Seoul National University, the University of Washington, Carnegie Mellon University, the Allen Institute for AI, MIT가 포함된다.출처: SCHOLAR · p. 1

Figure 1

  • Figure 1은 주제는 관련되지만 연구 진전을 촉진하지 않을 수 있는 논문과, 의미상 유사성은 낮지만 유용한 통찰을 줄 수 있는 논문을 대비한다.출처: Figure 1 · p. 1

저자 및 소속

  • 논문은 Sohyeon Kim과 Yoonho Lee를 동등 기여자로 표시한다.출처: SCHOLAR · p. 1

1 서론

서론은 유용한 선행 아이디어를 찾아내는 일을 핵심 연구 역량으로 제시하고, 이를 연구하기 위한 저자 판단 기반 벤치마크인 SCHOLARCATALYST를 소개한다. 현재 시스템은 저자가 가치 있다고 판단한 논문 중 일부만 찾아내며, 에이전트 검색은 임베딩 검색보다 성능이 높지 않다.

1 서론

  • 연구 감각에는 선행 아이디어가 한계를 드러내거나 적용 가능한 접근법을 제안해 막연한 질문을 구체화할 수 있는 때를 알아보는 능력이 포함된다.출처: §1 · p. 2
  • 기존 검색 벤치마크와 인용 기록만으로는 특히 최종 논문에서 인용되지 않은 경우, 어떤 논문이 초기 단계 프로젝트에 영감을 줄 수 있었는지 확인하기 어렵다.출처: §1 · p. 2
  • 이 벤치마크는 207개 프로젝트에 참여한 연구자 184명의 직접 판단을 수집하고, 초기 단계 연구 질문 894개를 검증하며 연구를 진전시킬 수 있었던 선행 논문에 라벨을 부여한다.191K편 논문 검색 코퍼스는 각 프로젝트가 시작되기 전에 출판된 논문으로 제한된다.출처: §1 · p. 2
  • 가장 성능이 좋은 시스템도 희소, 밀집, 다중 벡터 및 에이전트 검색 방식 전반에서 상위 20개 결과로 저자가 가치 있다고 판단한 논문의 48%만 찾아낸다.에이전트 검색은 42%를 찾는 반면 임베딩 검색기는 48%를 찾는다.출처: §1 · p. 2

2 관련 연구

관련 연구에서는 SCHOLARCATALYST를 과학적 발견 시스템 및 기존 문헌 검색 벤치마크와 구별한다. 초점은 초기 단계 연구 질문과의 잠재적 영감 관련성에 있다.

LLM을 활용한 과학적 발견

  • 과학적 발견 시스템은 인용 그래프, 메타데이터 또는 사전 구축된 후보 문헌군을 통해 선행 논문을 활용하는 반면, SCHOLARCATALYST는 초기 단계 연구 질문에 유용한 통찰을 주는 선행 아이디어의 검색을 평가한다.출처: §2 · p. 3

과학 문헌 검색

  • 기존 과학 문헌 검색 벤치마크는 명시적인 근거, 측면 또는 정보 요구를 사용하지만, SCHOLARCATALYST는 연구 과정과의 관련성에 대해 저자가 직접 내린 판단을 수집한다.인용 의도에서 도출한 라벨과 달리, 이 판단에는 완성된 논문에 기록되지 않은 관련성도 포함된다.출처: §2 · p. 3

정보 검색 시스템

  • 임베딩 및 어휘 기반 검색기는 학습된 의미 유사도나 용어 중복도에 따라 순위를 매기는 반면, 검색 에이전트는 이 검색기들에 반복적으로 질의하면서도 여전히 상위 k개 후보에 의존한다.영감의 단서가 어휘적으로 명시되지 않은 연구를 이러한 접근법이 검색할 수 있는지는 여전히 불분명하다.출처: §2 · p. 3

3 SCHOLARCATALYST: 저자의 직접 경험을 통해 과학 문헌 검색 평가하기

SCHOLARCATALYST는 저자 판단을 활용해 초기 연구를 진전시킬 수 있었던 선행 논문 검색을 평가한다. 과제 정의, 자동화 파이프라인, 저자 검토 과정을 통해 시점이 제한된 질의와 후보 논문, 관련성 근거를 구축한다.

3 SCHOLARCATALYST: 저자의 직접 경험을 통해 과학 문헌 검색 평가하기

  • SCHOLARCATALYST는 프로젝트 저자에게 어떤 선행 논문이 연구를 진전시키는 데 도움이 되었거나 도움이 될 수 있었는지, 그리고 그 이유가 무엇인지 묻는다. 이는 공개 기록에 거의 남아 있지 않은 지식을 다룬다.출처: §3 · p. 3

3.1 과제 정의

  • 질의는 최종 해법을 드러내지 않으면서 프로젝트 초기의 연구 환경을 재구성하며, 핵심 CoreQ 또는 하위 분야별 SubQ 질문을 사용한다.출처: §3.1 · p. 4
  • 긍정 논문은 저자가 영감을 준 것으로 판단한 자료이며, hard negative는 질의와 주제가 관련되어 있지만 검토 후 제외된 자료다.출처: §3.1 · p. 4
  • 검색 코퍼스에는 이용 가능했던 문헌을 근사하기 위해 원 논문보다 먼저 출판된 논문을 포함하며, 성능은 Recall@N과 nDCG@N으로 측정한다.출처: §3.1 · p. 4

3.2 효율적인 데이터 수집을 위한 자동화 파이프라인

  • 자동화 파이프라인은 저자 주석 자료를 준비하는 데 원 논문의 arXiv ID만 필요하며, 오래된 인스턴스가 모델 학습 데이터 누출 위험에 놓이면 벤치마크를 갱신할 수 있도록 한다.출처: §3.2 · p. 5
  • 검색 코퍼스는 식별된 원 논문의 참고 문헌과 2020–2024년 주요 컴퓨터 과학 분야의 arXiv 논문 181K편을 결합한다.최종 코퍼스에는 논문 190,896편이 포함된다.출처: §3.2 · p. 5
  • 사전 주석은 CoreQ, SubQ 및 근거를 제안하고, BM25와 Qwen3-Embedding-8B가 인용되지 않은 후보를 추가한다. 그런 다음 Gemini 3.6 Flash가 순위를 다시 매기고 쿼리당 후보 10편을 남긴다.출처: §3.2 · p. 5

3.3 저자로부터 관련성 감독 신호 수집

  • 저자는 질의를 수정하고 각 후보를 평가하며 판단 근거를 설명할 수 있다. 수동 검토에서는 질의 894개 중 764개가 변경되지 않았고, 나머지는 해법을 드러내는 표현을 제거하도록 다시 표현했다.출처: §3.3 · p. 6

4 평가 및 분석

시간 기준으로 필터링한 검색 평가에서 시스템은 저자가 식별한 촉매 논문 중 일부만 찾아낸다. 분석 결과, 후보 논문 범위가 제한적이고 질의와의 유사도가 낮다는 문제가 에이전트 기반 검색, 재순위화, 질의 재작성 전반에서 지속된다.

4.1 실험 설정

  • 평가에서는 시간 기준으로 필터링한 로컬 코퍼스에서 어휘 기반, 다중 벡터, dense, 에이전트 기반 검색을 테스트하며, 주요 설정에서는 웹 검색을 사용하지 않고 모델 cutoff를 원천 논문 공개 이전으로 설정한다.The corpus contains 191K papers, smaller than the three million papers on arXiv.출처: §4.1 · pp. 6–7, §4 · p. 6

4.2 MAIN RESULTS

  • General-purpose dense retrievers place 39% of author-identified inspiration papers in the top 20 for CoreQ and 51% for SubQ; scientific-document retrievers trail by at least 16 and 27 points, respectively.BM25 and LateOn trail by 15–16 points on CoreQ and 18–25 points on SubQ.출처: §4.2 · p. 7, Table 3 · p. 7

4.2 주요 결과

  • Grep은 검색 중 정답 질의–논문 쌍의 8%만 찾는 반면, 도구 호출 에이전트는 46%를 찾으며, 에이전트 기반 검색은 임베딩 검색보다 성능을 높이지 못한다.Figure 4는 각 GPT-4.1 에이전트가 검색 중 접하고 최종 상위 20개에 반환하는 비율을 보고한다.출처: §4.2 · p. 7, Figure 4 · p. 8

4.3 저자 주석 촉매 논문 분석

  • 근거 설명의 55.8%에는 영감 유형이 둘 이상 해당하며, 어휘 및 의미 유사도 측정에서 어려운 음성 예제는 양성 예제만큼이나 질의와 유사하다.저자는 방법의 변형, 뒷받침하는 근거, 일반화 또는 한계를 영감으로 자주 꼽는다.출처: §4.3 · p. 8
  • SubQ 양성 예제의 43.6%는 인용되지 않았으며, 인용 의도 라벨은 CoreQ 양성 예제의 46.2%, SubQ 양성 예제의 34.0%만을 사용 또는 확장 사례로 식별한다.완성된 원천 논문과 참고문헌을 제공해도 Gemini 3.1 Pro는 평균적으로 CoreQ 양성 예제의 32.2%만 찾으며, 사례의 28.0%에서는 핵심 영감 논문을 하나도 찾지 못한다.출처: §4.3 · p. 8

4.4 검색 성능 요인 분석

  • gold injection은 후보 풀 크기를 고정한 채 음성 후보를 누락된 양성 논문으로 대체하며, 재순위화 모델이 강할수록 Recall@5가 더 크게 향상된다.이 비교는 유용한 논문이 후보 풀에 들어와야 재순위화 모델 선택의 이점을 얻을 수 있음을 시사한다.출처: Figure 6 · p. 8, §4.4 · p. 9
  • 원천 논문의 제목과 초록을 제공하면 Recall@20이 CoreQ에서 0.11, SubQ에서 0.02 높아지고, 참고문헌은 CoreQ를 0.35 높이는 반면, 더 충분히 읽어도 재현율 변화는 최대 0.04다.SubQ에서 가장 성능이 좋은 읽기 정책도 검색기를 넘지 못해 0.50 대 0.55를 기록한다.출처: Table 4 · p. 8, §4.4 · p. 9
  • 단일 질의 확장과 다중 질의 생성은 의미 있는 향상을 보이지 않으며, 가상 초록을 사용한 두 변형은 재현율을 크게 낮춘다.저자는 이를 바탕으로 표현을 바꾸어도 임베딩 공간에서 질의와 가깝게 배치되지 않은 영감 논문은 찾아내지 못한다고 해석한다.출처: Table 5 · p. 8, §4.4 · p. 9

5 결론

SCHOLARCATALYST는 연구자들이 자신의 프로젝트를 직접 돌아본 기록을 바탕으로, 연구를 진전시킬 아이디어를 담은 선행 논문을 검색하는 능력을 평가한다. 현재 시스템은 인정된 논문 중 일부만 찾아내며, 저자들은 여러 분야를 아우르는 전문가의 직관을 갖추는 것을 향후 주요 과제로 제시한다.

5 결론

  • 현재 시스템은 저자가 인정한 논문 중 일부만 찾아내며, 에이전트 기반 검색은 임베딩 검색보다 나은 성능을 보이지 않는다. 이는 주로 후보 범위가 제한되어 유용한 논문에 접근할 수 없기 때문이다.저자들은 전문가 수준의 검색 능력을 기르는 일을 주요 과제로 제시하며, 한 명의 연구자가 모두 따라가기 어려운 여러 분야를 넘나드는 검색도 포함한다.출처: §5 · pp. 9–10
  • SCHOLARCATALYST는 2025–2026년 컴퓨터 과학 논문을 다루지만, 연구 분야별 비중이 고르지 않고 저자의 회고적 라벨에는 회고 편향의 영향이 있다.저자들은 과제의 성능 상한도 여전히 열린 질문이라고 지적한다. 한 논문에서 저자 3명을 대상으로 예비 비교를 한 결과, 제1저자 라벨의 43–60%를 재현했으며 precision은 84–88%였다.출처: §5 · p. 9
  • 인정된 논문의 거의 절반(49.5%)은 프로젝트의 주제 분야 밖에서 나왔으며, 세부 분야별 양성 사례의 43.6%는 원 논문에서 인용되지 않았다.저자들은 말뭉치에 논문 190k편이 포함된다고 보고했으며, Semantic Scholar에서 색인한 225M편 이상과 비교한다.출처: §5 · p. 10

A 벤치마크 기여자

부록에서는 연구자 기여자에게 감사를 표하고 벤치마크 인스턴스와 데이터셋 구성을 설명한다. 벤치마크는 연구 질문과 저자가 검증한 영감 논문을 짝짓고, 시간 범위를 제한한 코퍼스를 사용한다.

A 벤치마크 기여자

  • 저자들은 연구 재구성을 검토하고, 질문과 영감 논문을 수정하며, 어떤 선행 연구가 자신의 연구에 영향을 주었는지 설명한 연구자들에게 감사를 표한다.감사 표기에 동의한 기여자들을 알파벳순으로 나열한다.출처: A BENCHMARK CONTRIBUTORS · p. 17

B.1 벤치마크 인스턴스

  • 각 SCHOLARCATALYST 인스턴스는 완성된 원천 논문의 핵심 질문과 서로 구별되는 연구 방향을 저자가 검증한 positive, hard negative 및 시간 범위가 제한된 코퍼스에 연결한다.벤치마크는 207개 인스턴스와 894개 질의로 구성되며, 여기에는 핵심 연구 질의 207개와 하위 분야별 질의 687개가 포함된다.출처: §B.1 · p. 18
  • 핵심 질의는 프로젝트 전체를 이끄는 아이디어를 드러낼 수 있고, 하위 분야별 질의는 특정 방법론적 또는 경험적 방향을 겨냥한다.두 유형의 중첩과 차이는 한 프로젝트 안에서 상호보완적인 영감의 형태를 나타낸다.출처: §B.1 · p. 18

B.2 데이터셋 통계

  • 저자가 검증한 데이터셋은 원천 논문 207편과 질의 894개로 구성되며, 머신러닝 및 인접한 AI 분야에 집중되어 있다.질의는 핵심 질문 207개와 방향별 질문 687개로 이루어진다.출처: §B.2 · p. 18
  • 코퍼스는 원천 논문에서 확인된 참고문헌과 2020년부터 2024년 사이에 발표된 5개 주요 컴퓨터 과학 분야의 추가 arXiv 논문을 포함해 총 190,896편의 논문으로 이루어진다.확인된 참고문헌 중 일부는 해당 수집 기간 밖에 있지만, 각 질의는 원천 논문 발표일까지 출판된 논문만 검색한다.출처: §B.2 · pp. 18–19

B.3 영감 관계의 정성적 분석

정성적 분석에 따르면 영감 관계는 다양하며, 주제 유사성이나 인용 여부만으로는 제대로 포착되지 않는다. 저자들의 근거 설명은 논문의 역할이 대상 프로젝트에 따라 달라진다는 점도 보여준다.

영감 관계의 다양성

  • 저자들은 주로 변형해 적용한 기법, 경험적 결과를 뒷받침하는 발견, 새로운 맥락으로 일반화한 아이디어, 또는 새로운 접근법을 촉발한 한계를 설명했다.분류 체계는 핵심 영감 근거를 유형별로 구분하며, 근거의 55.8%에는 여러 유형이 부여됐다.출처: §B.3 · p. 19
  • 어려운 부정 예시는 어휘적 유사도와 의미적 유사도 모두에서 긍정 예시와 최소한 동등하게 질의와 유사했다.분석에서는 제목과 초록에 질의 단어가 공통으로 나타나는 정도로 어휘적 유사도를, 임베딩 코사인 유사도로 의미적 유사도를 측정한다.출처: §B.3 · p. 19

인용 여부는 영감을 불완전하게 대변한다

  • 인용 여부와 저자가 식별한 영감은 일치하지 않는다. SubQ 긍정 예시의 43.6%는 인용되지 않았고, 그중 67.8%는 원 논문과 참고문헌을 하나도 공유하지 않았다.인용된 긍정 예시 중 uses-or-extends 레이블이 부여된 비율은 CoreQ에서 46.2%, SubQ에서 34.0%에 불과했다.출처: §B.3 · p. 19

영감 관계의 다양성

  • 근거 설명에는 평균 1.69개의 분류 레이블이 부여됐으며, 55.8%에는 두 개 이상이 부여돼 영감이 여러 메커니즘을 통해 작동하는 경우가 많음을 보여준다.아홉 유형으로 구성된 분류 체계는 근거 설명 하나에 여러 레이블을 부여할 수 있다.출처: §B.3 · p. 19

같은 출처 논문의 역할은 맥락에 따라 달라진다

  • 같은 선행 논문도 프로젝트마다 서로 다른 역할을 할 수 있으며, 한 프로젝트에서는 다른 맥락으로 옮겨 쓸 수 있는 방법론이, 다른 프로젝트에서는 연구 동기가 될 수 있다.그 유용성은 프로젝트가 답하려는 질문에 따라 달라진다.출처: §B.3 · p. 20

C 실험 설정

실험은 시간 기준으로 필터링한 문헌에서 검색을 평가하고 embedding 시스템, 에이전트, LLM reranker를 비교한다. 추론 최적화 retriever는 가장 강력한 범용 embedding을 능가하지 못하며, reranking 결과는 backbone 성능에 따라 달라진다.

C.2 사전 발견 검색을 위한 평가 설정

  • 평가에서는 각 질의의 검색 대상을 해당 출처 논문보다 늦게 출판되지 않은 논문으로 제한하고, 웹 검색을 허용하지 않으며, 검색 가능한 말뭉치의 중앙값은 190,574편이다.에이전트는 시간 기준으로 필터링된 제목과 초록을 검색하며, 공용 말뭉치 검색 도구는 retriever의 상위 10편을 반환한다.출처: §C.2 · p. 20, §C.3 · p. 20

C.3 에이전트 검색 기준선

  • 에이전트 순위는 최대 25편의 확인했지만 순위를 매기지 않은 논문을 추가한 depth-100 목록으로 평가한 뒤, retriever 결과로 빈자리를 채운다.R@5와 R@20은 에이전트가 k편 미만으로 반환한 경우를 제외하면 대체로 에이전트 자체 순위를 반영한다. 궤적 재현율은 확인한 논문 가운데 정답 논문이 포함된 비율을 측정한다.출처: §C.3 · p. 20
  • 도구 호출 에이전트는 질의를 검색하고, 다섯 차례에 걸쳐 최대 60편의 논문을 모은 뒤, 해당 논문의 아이디어가 질의의 연구를 얼마나 진전시키는 데 도움이 될 수 있는지에 따라 순위를 매긴다.심층 연구 에이전트는 질의를 최대 여섯 개의 하위 질문으로 나누고, 논문을 검색해 읽은 뒤, 최대 150편의 논문 풀에서 순위를 종합한다.출처: §C.3 · pp. 20–21
  • Claude Fable 5.1의 2026년 6월 cutoff는 출처 논문 중 단 여섯 편을 제외한 나머지 모두보다 늦으므로, 이 모델의 결과 행은 주요 지식 cutoff 규칙을 벗어난다.안전성 분류기가 때때로 호출을 거부하며, 거부는 도구 호출 에이전트 질의 47건, 심층 연구 에이전트 질의 95건, grep-agent 질의 33건에서 발생한다.출처: §C.3 · p. 21

D 추가 분석

  • 부록의 추가 분석에서는 embedding 검색, reranking, 지식 cutoff, 질의 생성, 전문 읽기, 에이전트 검색 실패를 다룬다.확장 embedding 비교에서는 범용 시스템과 함께 과학 및 추론 집약적 검색기를 평가한다.출처: D ADDITIONAL ANALYSES · p. 22, §D.1 · p. 22

D.1 embedding retriever의 확장 결과

  • 평가한 추론 최적화 embedding 모델 중 어느 것도 가장 강력한 범용 embedding보다 나은 성능을 보이지 않는다.저자들은 현재의 추론 집약적 검색 목표가 프로젝트를 진전시키는 데 선행 논문을 유용하게 만드는 관계를 포착하지 못할 수 있다고 제안한다.출처: §D.1 · p. 22

D.2 LLM reranking

  • reranking 연구에서는 후보 20편의 listwise ranking과 20편씩 묶어 토너먼트 방식으로 순위를 매기는 방법을 시험하며, 각 묶음에서 상위 네 편을 올린다.후보 풀 20, 40, 80, 160편을 평가한다. Figure 10은 CoreQ 질의 46건에서 검색 및 메모리 변형을 비교하며, Gemini-Emb-2의 값은 0.38이다.출처: §D.2 · p. 22, Figure 10 · p. 23
  • reranking 성능은 대체로 backbone의 추론 능력이 높을수록 향상된다. Claude Fable 5.1이 가장 강한 결과를 보이는 반면, 성능이 낮은 모델은 SubQ 질의에서 retriever보다 낮은 성능을 낼 수 있다.Figure 8은 후보 풀 크기별 Recall@5를 보고하며, 표준 및 oracle reranking 곡선과 retriever만 사용한 성능을 표시한다.출처: §D.2 · p. 22, Figure 8 · p. 22

D.3 컷오프 이후 백본과 벤치마크 누출

컷오프 분할 분석에서는 더 강력한 백본이 원천 논문을 미리 접한 덕을 본다는 징후가 없다. 원천 논문 초록은 도움이 되지만, 웹 검색의 추가 효과는 미미하고 참고문헌만으로도 정답 논문을 거의 모두 찾아낼 수 있다.

D.3 컷오프 이후 백본과 벤치마크 누출

  • 컷오프 이전 구간은 모든 시스템에 더 어렵다. 핵심 연구 질의 retriever의 R@100은 컷오프 이전 구간에서 0.49, 이후 구간에서 0.63이다.분석에서는 각 구간 내에서 시스템을 retriever와 비교한다. 설정에 따라 Gemini 3.7 Flash에 제공하는 원천 논문, 웹, 참고문헌 접근 여부를 달리한다.출처: §D.3 · pp. 23–24
  • 컷오프 분할 결과, 더 강력한 백본이 원천 논문을 미리 접한 덕을 본다는 징후는 없다.GPT-5.6 Sol의 retriever 대비 우위는 컷오프 이전 구간에서 0.07, 이후 구간에서 0.06이다. Claude Fable 5.1은 컷오프가 컷오프 이후 구간에 걸쳐 있어 이 방식으로 검증할 수 없다.출처: §D.3 · p. 24
  • GPT-5.6 Sol과 Claude Fable 5.1에서는 도구 호출 에이전트가 두 구간 모두에서 핵심 연구 질의 R@20 기준으로 retriever를 앞선다. 다른 백본의 성능은 retriever와 비슷하다.세부 분야별 질의 수준에서는 어느 구간에서도 에이전트나 closed-book 결과가 retriever를 앞서지 못한다.출처: §D.3 · p. 24
  • 동일한 원천 맥락을 제공했을 때, 에이전트가 메모리보다 앞서는 정도는 추론을 하지 않는 Luna에서 0.25였지만, 더 강력한 실행에서는 오차 범위 내로 줄어든다.Luna의 추론 강도를 높이면 메모리 성능은 향상되고 질의만 사용하는 에이전트 성능은 낮아진다. 더 높은 등급의 모델은 두 방식 모두에 도움이 된다.출처: §D.3 · p. 24
  • Gemini 3.7 Flash에서는 원천 논문 제목과 초록을 제공하면 두 구간 모두에서 핵심 연구 질의 R@20이 0.11 상승한다.웹 검색을 추가해도 재현율은 거의 변하지 않는다. 반면 참고문헌만으로 정답 논문을 거의 모두 찾을 수 있으며, R@100은 0.9를 넘는다.출처: §D.3 · p. 24

D.4 쿼리 생성 방법

이 절에서는 쿼리 재구성과 초록을 넘어선 논문 읽기가 에이전트 기반 검색을 개선하는지 살펴본다. 여러 쿼리 생성 전략을 설명하고, 평가한 설정에서는 전문을 읽어도 개선 효과가 거의 없음을 보인다.

D.4 쿼리 생성 방법

  • 단일 쿼리 확장은 연구 질문 뒤에 모델이 생성한 짧은 이어쓰기 문장을 붙여, 그 결과를 검색 쿼리로 사용한다.LLM 재작성이 질문과 다른 어휘를 사용할 수 있는 정답 논문에 검색 결과를 더 가깝게 하는지 평가한다.출처: §D.4 · p. 24
  • 다중 쿼리 생성은 최대 다섯 개의 보강된 질문을 만들고, 각각으로 별도 검색한 뒤 reciprocal rank fusion으로 상위 1,000개 순위를 결합한다.결합에는 k=60을 사용한다.출처: §D.4 · p. 24
  • HyDE는 이전 논문의 가상 초록 다섯 개를 생성하고, 각 초록을 검색 쿼리로 사용한 다음 결과 순위들을 결합한다.사용자 메시지는 질문 앞에 “Research question:”을 붙인다.출처: §D.4 · p. 24
  • CoreQ 사례 하나에서는 원래 질문으로 수행한 dense retrieval이 생성 쿼리로는 상위 100개에 들지 못한 정답 논문을 찾아낸다.Tables 23 and 24에는 해당 질문과 단일·다중 쿼리 생성 결과, HyDE 초록 세 개가 나와 있다.출처: §D.4 · p. 24

D.5 전문과 초록 읽기의 비교

  • 초록을 넘어 논문을 읽어도 여섯 가지 읽기 정책과 초록만 읽는 설정에서 GPT-4.1 도구 호출 에이전트의 Recall@20은 거의 개선되지 않는다.비교에는 전문 하위 집합에서 유형별로 쿼리 50개를 사용한다. 맨 위 막대는 검색기 단독 결과이고 두 번째 막대는 읽기 도구가 없는 에이전트 결과다.출처: Figure 11 · p. 25
  • 검색기는 긴 문서를 잘 처리하지 못하고 논문 본문은 학습 입력 길이를 초과하므로, 실험에서는 전문을 색인하는 대신 에이전트가 검색된 논문을 읽도록 했다.읽기는 검색과 함께 다섯 라운드 예산을 공유한다. 읽기당 최대 12,000자이며, 포함된 참고문헌에는 별도로 6,000자 제한을 둔다.출처: §D.5 · p. 25

D.6 에이전트 검색 실패 및 근거 설명 분석

에이전트 검색은 검색기가 반환한 후보군 밖의 정답 논문을 거의 찾지 못하고, 찾아낸 논문도 자주 누락한다. 다만 논문을 찾아낸 경우, 저자 근거와 일치하는 방식으로 설명할 수는 있다. 이 절에서는 원 논문 처리부터 후보 검색까지 벤치마크 구축 파이프라인도 설명한다.

D.6 에이전트 검색 실패 및 근거 설명 분석

  • 검색기가 반환한 상위 100개에는 정답 논문의 70%가 포함되며, 에이전트는 나머지를 거의 찾아내지 못한다. 후속 검색으로 추가되는 논문은 적고, 정답 논문에서 벗어날 수도 있다.About half of gold papers are returned by no search during an agent run, and the first search accounts for about two-thirds of the gold papers an agent sees; a case shows query drift to generic transfer learning.출처: §D.6 · p. 25, Table 29 · p. 27
  • 검색기가 반환한 상위 100개에 속하는 정답 논문 중, 도구 호출 에이전트와 심층 연구 에이전트는 각각 57%와 48%를 상위 20개에 유지한다.추적한 한 사례에서 심층 연구 에이전트는 정답 논문 두 편을 검색했지만 최종 순위에는 둘 다 포함하지 않았다.출처: §D.6 · p. 25, Table 27 · p. 27
  • 도구 호출 에이전트가 높은 순위에 둔 정답 논문에 대해, 비교 가능한 모델 설명 219개 중 76%가 저자 근거와 같은 관계를 설명한다.거의 모든 나머지 설명은 다른 방식이지만 타당한 관계를 설명한다. 같은 모델이 설명을 쓰고 평가하므로, 일치율은 상한 추정치이며 논문이 순위에 오른 이유를 보여주지는 않는다.출처: §D.6 · p. 26

D.7 COST AND SEARCH EFFORT OF THE AGENTS

  • With GPT-4.1 and o3, grep and deep research agents make 14 to 20 tool calls per query and cost about eight times as much as the tool-calling agent.With Claude Fable 5.1, the tool-calling agent makes more than twice as many searches within five rounds, and every agent costs more than a dollar per query.출처: §D.7 · p. 26

E 자동 데이터 구축 파이프라인

  • 구축 파이프라인은 원본 arXiv 논문을 원 논문 수집, 주석 재구성, 시점 기준 말뭉치 구성, 후보 검색 및 검증을 거쳐 벤치마크 사례로 변환한다.파이프라인은 최신 컴퓨터 과학 논문에서 시작하며, 구조화된 논문 표현에 인용 링크를 포함한다.출처: E AUTOMATED DATA CONSTRUCTION PIPELINE · p. 26

E.1 원 논문 처리

  • 원 논문 처리 과정에서는 최신 학회 논문을 arXiv 사전 공개본과 연결하고, 논문을 구조화된 전문으로 변환한 뒤 불완전한 변환 결과를 걸러낸다. 참고문헌의 70% 이상이 연결된 원 논문만 남긴다.연결된 참고문헌은 arXiv, Semantic Scholar, OpenAlex를 사용해 정식 학술 레코드와 대응시킨다.출처: §E.1 · pp. 26, 28

E.2 사전 주석 생성

  • Gemini 3.1 Pro는 각 구조화 원 논문과 참고문헌을 읽고 CoreQ, SubQs, 영감 논문 및 근거를 재구성한다.이렇게 재구성한 주석이 평가에 사용되는 벤치마크 사례를 이룬다.출처: §E.2 · p. 28

E.3 후보 검색

  • 후보 검색은 희소 검색과 밀집 검색 결과를 모으고, 과학적 관련성에 따라 후보의 순위를 다시 매긴 뒤 상위 10개를 저자 검토용으로 전달해 양성 예시 또는 어려운 음성 예시로 분류한다.190,896편 논문 말뭉치는 연결된 참고문헌과 2020–2024년의 추가 arXiv 논문 181K편을 결합하며, 질의별 출판 날짜 기준을 적용한다.출처: §E.3 · p. 28

E.4 자동화 파이프라인의 저자 검증

저자들은 재구성된 연구 질문이 높은 정확도를 보인다고 검증했으며, 인용되지 않은 후보 풀 중 다수가 실제 영감의 원천이라고 판단했다. 또한 파이프라인을 추가 논문에 적용해 모델 재구성 세트를 만들었다.

E.4 자동화 파이프라인의 저자 검증

  • 저자들은 재구성된 CoreQ가 207개 사례 중 98.1%에서 정확하거나 대체로 정확하다고 평가했고, 재구성된 SubQ는 687개 세부 분야 중 95.9%에서 정확하거나 대체로 정확하다고 평가했다.완전히 정확하다는 평가는 CoreQ에서 60.9%, SubQ에서 64.9%였다.출처: §E.4 · p. 28
  • 저자들은 처음 인용된 후보의 85.1%를 긍정 사례로 유지했으며, 인용되지 않은 후보 풀 중 35.1%를 실제 영감의 원천이라고 판단했다.인용되지 않은 논문은 원 논문의 참고문헌에 없었다.출처: §E.4 · p. 29
  • 파이프라인을 추가 논문 250편에 적용한 결과, 핵심 질의 250개와 방향성 질의 863개가 생성됐다.CoreQ의 경우, 파이프라인은 저자가 라벨링한 긍정 사례와 비교할 수 있도록 인용 논문을 유력한 핵심 영감의 원천으로 제안한다.출처: §E.4 · p. 29

F 저자 데이터 수집

이 절에서는 저자가 직접 작성한 연구 질문, 영감 판단, 근거를 수집한 과정과 검색 에이전트 및 사전 주석에 사용한 프롬프트를 설명한다. 이 프롬프트는 영감의 흐름을 과학적 방향으로 정리하고, 핵심 인용 연구를 식별하며, 검색된 후보를 주제 유사성이 아니라 과학적 기여도에 따라 순위화한다.

F.1 저자 모집

  • 184명의 저자가 207개 사례에 참여해 자신의 프로젝트에 대해 해법 도출 전 연구 질문, 영감 레이블, 어려운 음성 예시, 근거를 주석으로 달았다.최근 주요 AI 학회에서 주목받은 논문의 저자와 공개 모집에 응한 적격 저자를 대상으로 참여자를 모집했다.출처: §F.2 · p. 29, §F.1 · p. 29

G.1 에이전트 프롬프트

  • tool-calling, deep-research, grep-agent 프롬프트는 단순히 주제만 관련된 논문이 아니라, 아이디어가 질문을 탐구하는 데 도움이 될 수 있는 논문을 찾도록 검색을 유도한다.프롬프트마다 검색 예산과 작업 흐름이 다르며, 최대 5회의 도구 호출 라운드, 최대 20회의 검색과 초록 10개 열람, 또는 초록 검토를 포함한 최대 20회의 셸 명령이 포함된다.출처: §G.1 · pp. 29–31

G.2 재순위화 및 질의 생성 프롬프트

  • 재순위화 및 질의 생성 프롬프트는 모델에 논문의 과학적 유용성을 기준으로 순위를 매기고, 구체적이고 다양한 검색 관점으로 질문을 확장하도록 요청한다.HyDE 프롬프트는 인접 분야를 포함해 서로 다른 관점에서 가상의 초록 5개를 작성하도록 요청하며, 실제 논문을 지칭하거나 연구 질문을 풀지 않도록 한다.출처: §G.2 · pp. 31–32

G.3 사전 주석 구성 프롬프트

  • 사전 주석 프롬프트는 저자가 해법을 찾기 전에 가졌던 연구 질문을 재구성하고, 대상 논문의 핵심 기여에 가장 직접적으로 영감을 준 인용 논문을 선택한다.질문에는 최종 해법이 드러나지 않아야 하며, 근거에는 과학적 연관성과 선택한 연구가 주요 영감인 이유를 설명해야 한다.출처: §G.3 · pp. 32–33
  • 저자 인터페이스는 네 단계로 구성된다. 연구 질문 수정, 핵심 선행 논문 선택, 연구 방향 수정, 그리고 근거를 제시하며 뒷받침 논문을 긍정 또는 부정으로 판단하는 단계다.저자는 재구성된 질문에 평점을 매기고, 다른 인용 논문을 동등한 영향, 더 작은 영향 또는 무관한 영향으로 표시할 수도 있다.출처: Figure 14 · p. 50, Figure 15 · p. 51, Figure 16 · p. 52
  • 프롬프트는 서로 구별되는 영감의 흐름 3–5개를 식별하며, 각 흐름은 비슷한 추상화 수준에서 정의된 일관된 선행 연구의 계보다.한 계보를 방법의 변형별로 나누거나, 더 넓은 연구 분야를 공유한다는 이유만으로 서로 다른 계보를 합치지 말라고 주의를 준다.출처: §G.3 · p. 54
  • 각 흐름에 대한 설명은 공유하는 과학적 통찰과 논문에서의 역할을 밝히며, 자연어 검색 질의는 해법 도출 전의 구체적인 연구 질문 하나를 제시한다.질의는 해법에만 해당하는 개념을 피하고, 해당 관점에서 상당한 기여를 한 선행 연구를 겨냥해야 한다.출처: §G.3 · pp. 54–55
  • 각 흐름에 대해 프롬프트는 기여가 핵심적이었던 인용 논문을 최대 5편까지 선택하고, 배경 설명, 비교, 데이터셋, 벤치마크 또는 구현 목적으로만 인용된 논문은 제외한다.근거는 선택한 연구의 공통 기여가 대상 논문에 어떤 영향을 주었는지, 그리고 관련 인용 연구보다 왜 더 중요했는지를 설명한다.출처: §G.3 · p. 56
  • 후보 재순위화는 단순히 주제나 방법론이 비슷한 논문이 아니라, 추론된 기준을 충족하는 핵심 과학적 기여를 가진 논문에 우선순위를 둔다.이 기준은 참조 과학적 기여에서 도출한다.출처: §G.3 · p. 57

Related papers

Loading 2610.02202v1…