Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction

1 서론

• DCI는 조합 가능한 터미널 도구를 통한 원시 코퍼스 검색을 정식화하며, 임베딩 모델·벡터 인덱스·top-k API를 에이전트 주도의 탐색, 정확 일치 검색, 국소 확인, 탐색 과정의 개선으로 대체한다.코퍼스 전체에 계속 접근할 수 있으며, 의미 해석은 에이전트가 수행한다. 전략적 역량을 갖춘 에이전트는 grep, 파일 읽기, 스크립트 등의 도구를 조합해 단서를 결합하고 어휘적 제약을 충족할 수 있다.출처: §1 · pp. 2–3
• 동일한 Claude Sonnet 4.6 백본을 사용하는 BrowseComp-Plus에서 Qwen3-Embedding-8B를 DCI로 대체하면 정확도는 기존 69.0% 대비 80.0%를 기록하고, 비용은 $1,440에서 $1,016로 감소한다.BrowseComp-Plus (Chen et al., 2025b)에서 이는 정확도 11.0포인트 향상과 비용 29.4% 절감에 해당한다.출처: §1 · p. 2
• 다중 홉 QA의 평균 정확도 83.0과 IR 순위화의 평균 NDCG@10 68.5는 각각 해당 검색 기준선보다 30.7포인트와 21.5포인트 높다.두 결과 모두 Claude Code와 DCI를 사용한다. 비교 대상은 각각 가장 강력한 검색 에이전트 기준선(Gao et al., 2025)과 최고 성능의 검색 기준선(Liu et al., 2025)이다.출처: §1 · p. 2
• bash와 read만 사용하는 최소 구성의 Pi/GPT-5.4 nano 하네스도 QA와 IR 기준선을 능가하며, BrowseComp-Plus 성능을 높이고 비용을 줄인다.이 하네스는 문맥 관리를 위해 실행 중 잘라내기와 압축을 사용한다. DCI는 오프라인 임베딩이나 인덱싱이 필요 없으며, 이질적인 로컬 코퍼스에서 파일이 바뀌어도 적응한다.출처: §1 · pp. 2–3
• DCI의 성능 향상은 단순히 더 많은 정답 문서를 찾는 데서보다, 발견한 근거에 대한 더 세밀한 국소 검색과 검증에서 주로 비롯된다.검색 인터페이스 해상도는 문서나 구절보다 작고 정밀한 단위에 접근하는 정도를 뜻하며, 실행 경로 수준의 포괄 범위 및 근거 위치 특정 분석이 이를 뒷받침한다. 도구를 크게 제한해도 이점은 유지된다.출처: §1 · pp. 2–3
• 고정된 top-k 인터페이스는 에이전트의 탐색을 제약하므로, 검색을 검색기 설계만의 문제가 아니라 인터페이스 설계 문제로 바라볼 필요가 있다(Zhang et al., 2024; Singh et al., 2025).근거에 대한 접근이 제한되면 중간 개체 발견, 드문드문 흩어진 단서의 결합, 정확한 어휘적 제약 충족, 국소 확인 후 계획 수정이 어려워진다. 그럼에도 밀집 검색과 희소 검색은 대규모 정적 코퍼스에서 여전히 확장성이 높고 효과적이다.출처: §1 · pp. 2–3

검색 증강 생성(RAG)

• 전통적인 RAG는 생성에 앞서 미리 구축된 희소 또는 밀집 인덱스로 근거를 검색하며, 이후의 개선 방법도 이 기본 검색 구조를 유지한다.예로는 LLM 기반 재순위화(Sun et al., 2023; Zhuang et al., 2025; Weller et al., 2025)와 적응형 RAG(Jeong et al., 2024)가 있다.출처: §2 · p. 3

에이전트 검색의 부상

• 코퍼스와의 직접 상호작용은 의미 이해를 LLM에 맡겨 다단계 에이전트 검색에서 고정된 검색기 인터페이스가 일으키는 병목을 해소한다.기존 에이전트는 검색을 반복하고 근거를 축적하며 계획을 다듬지만, 여전히 고정된 검색기를 통해 코퍼스에 접근한다(Team et al., 2025b,a; Li et al., 2026b).출처: §2 · p. 3

코딩 에이전트

• SWE-agent (Yang et al., 2024)는 터미널 도구를 활용해 직접 프롬프팅보다 높은 성능을 보이며, Agentless 는 grep 검색과 파일 읽기만으로 완전한 에이전트 프레임워크에 필적하는 성능을 낼 수 있다.CLI 기본 기능은 정확한 코드 위치 탐색도 지원하며(Sutawika et al., 2026), 코딩 과제 수행을 넘어서는 유용성을 보여준다.출처: §2 · pp. 3–4
• DCI는 원본 PDF에 대한 키워드 검색 기반 문서 질의응답(Subramanian et al., 2025)을 넘어, 터미널 도구를 에이전트 검색을 위한 더 폭넓은 검색 인터페이스로 제시한다.해당 문서 질의응답 에이전트는 벡터 데이터베이스 기반 RAG에 근접한 성능을 낼 수 있다. 터미널 도구는 파이프라인을 통해 정밀성, 유연성, 조합 가능성을 제공한다(GNU Project, 2025).출처: §2 · p. 4

3 직접 코퍼스 상호작용

• DCI는 검색기가 순위를 매긴 top-k 결과 대신 명령줄로 원시 코퍼스에 직접 접근하여 임베딩 모델, 벡터 인덱스, 검색 API를 우회한다.검색기를 통한 접근은 관찰 가능한 근거를 점수화와 순위화를 거쳐 노출된 근거로 제한한다. 반면 DCI는 grep, rg, find, glob, 파일 읽기, 경량 스크립트로 일치 항목, 주변 문맥, 경로, 개수, 메타데이터를 노출한다.출처: §3 · p. 4

3.1 DCI 에이전트 구현

• DCI-Agent-Lite는 터미널만을 통한 코퍼스 접근을 분리해 검증하고, DCI-Agent-CC는 검색 패러다임을 바꾸지 않으면서 프롬프팅, 도구 조율, 컨텍스트 처리를 강화한다.Lite는 오프라인 인덱싱, 밀집 검색기, 재순위화기를 사용하지 않는다. CC는 Claude Code (Anthropic, 2025)를 사용하며, 강화된 실행 환경 지원을 통해 장기 탐색과 이질적인 코퍼스에서 안정성을 높인다.출처: §3.1 · pp. 4–5

3.2 DCI의 실행 중 컨텍스트 관리

• 잘라내기는 개별 도구 출력의 길이를 제한하고, LLM을 사용하지 않는 압축은 오래된 출력을 자리표시자로 대체하며, 요약은 최근 컨텍스트를 보존하면서 압축된 이력을 대체한다.압축은 누적 도구 출력이 설정된 임계값을 넘으면 메모리 내에서 수행되며, 도구 호출 구조는 보존한다. 이후 컨텍스트 용량이 추가로 부족해지면 모델이 생성한 요약을 사용한다.출처: §3.2 · p. 5, Figure 3 · p. 5
• L0–L4는 검색 인터페이스를 바꾸지 않고 작업 컨텍스트에 남는 도구 제공 근거의 양을 달리한다.L0는 관리를 비활성화한다. L1은 도구 결과를 50,000자로 제한하고, L2–L4는 20,000자로 제한한다. L3는 누적 출력이 240,000자를 넘으면 최근 12턴을 유지하면서 추가로 압축한다. L4는 압축 후에도 추정 컨텍스트 토큰 수가 임계값을 넘으면 최근 20,000토큰을 유지하면서 추가로 요약하며, 한 세션에서 요약이 세 번 연속 실패하면 더 이상 시도하지 않는다.출처: §3.2 · p. 6

3.3 DCI 평가: 커버리지와 위치 특정

• coverageany, coveragemean, coverageall은 각각 검색 궤적에서 정답 문서를 하나라도 노출했는지, 정답 문서를 평균적으로 어느 비율만큼 노출했는지, 정답 문서를 모두 노출했는지를 측정한다.이 지표들은 문서 내부의 근거 활용이 아니라 폭넓은 근거 접근을 측정하여 답변 정확도를 보완한다. 문서는 검색된 발췌문이나 도구 호출이 반환한 파일로 명시적으로 기록되었을 때 노출된 것으로 간주한다.출처: §3.3 · p. 6
• Localization은 노출된 각 정답 문서의 구간 단위 최고 점수를 평균하며, 전체 문서에 비해 작은 발췌문을 노출할수록 높은 점수를 부여한다.웹과 PDF에서 내보낸 텍스트는 원래 배치가 사라져 긴 줄로 합쳐질 수 있으므로, 줄 대신 고정된 문자 수의 구간을 사용한다. 정답 문서에 도달했다는 조건하에, 위치 특정은 검색 궤적이 작고 활용 가능한 근거 구간을 분리해 냈는지 측정한다.출처: §3.3 · pp. 6–7

4.1 실험 설정

• 두 가지 DCI 실행 프레임워크로 경량 구성과 고성능 구성에서 에이전트 검색, 지식 집약적 QA, IR 순위화를 평가한다.Lite는 bash와 read를 제공하고 GPT-5.4 nano (OpenAI, 2026)를 사용하며, 기본 설정은 L3다. ClaudeCode는 Claude Sonnet 4.6 (Anthropic, 2026)을 사용하고 웹 도구와 하위 에이전트를 비활성화하며, 정보 유출을 막기 위해 데이터 디렉터리 접근을 차단한다. 평가는 BrowseComp Plus (Chen et al., 2025b), 2018년 Wikipedia를 사용하는 QA 데이터셋 6개 (Karpukhin et al., 2020), BRIGHT 데이터셋 4개 (Su et al., 2025), BEIR 데이터셋 2개 를 대상으로 한다.출처: §4.1 · p. 7

4.2 주요 결과

• DCI-Agent-CC의 평균 QA 정확도는 83.0%로 ASearcher-Local-14B(52.3%)보다 30.7점 높으며, DCI-Agent-Lite는 68.0%를 달성한다.두 DCI 에이전트는 6개 데이터셋 모두에서 상위 두 자리를 차지한다. DCI-Agent-CC는 ASearcher-Local-14B보다 HotpotQA에서 30점, 2Wiki에서 26점, MuSiQue에서 50점 높은 정확도를 보인다.출처: Table 2 · p. 8, §4.2 · p. 9
• DCI-Agent-CC의 평균 NDCG@10은 68.5%로 ReasonRank-32B(47.0%)보다 21.5점 높으며, 6개 IR 데이터셋 모두에서 최고 점수를 기록한다.DCI-Agent-Lite는 평균 NDCG@10 56.7로 전체에서 두 번째로 높은 성능을 보이며, ReasonRank-32B를 9.7점 앞선다.출처: Table 3 · p. 8, §4.2 · p. 9
• 동일한 Sonnet 4.6 기반 모델을 사용할 때 BrowseComp-Plus 정확도는 DCI-Agent-CC가 80.0%, Qwen3-Embedding-8B 검색 방식이 69.0%로 DCI-Agent-CC가 앞서며, 비용은 29.4% 감소한다.비용은 $1,440에서 $1,016으로 줄고, DCI-Agent-CC는 가장 강력한 검색 기준선인 GPT-5 + Qwen3-Embedding-8B(71.7%)보다 8.3점 높은 정확도를 보인다. DCI-Agent-Lite는 $93으로 62.9%의 정확도를 달성하며, 정확도 66.0%인 o3 + Qwen3-Embedding-8B보다 $647을 절약한다.출처: Figure 4 · p. 9, §4.2 · p. 9

4.3 통제된 절제 실험과 작동 원리 분석

• 근거 위치 식별 점수는 DCI-Agent-Lite가 48.4, Qwen3-Embedding-8B가 21.7로 DCI-Agent-Lite가 앞서지만, 평균 정답 문서 포함률은 각각 28.0과 56.7로 더 낮다.DCI-Agent-CC는 동일 문항 비교에서 176승 76패를 기록한다. 승리한 142개 문항에서는 검색 단계에서 이미 정답 근거를 찾았으므로, 근거 사슬 일부 누락이나 검색 이후 단계의 실패를 시사한다. Bash 상호작용은 어휘 제약을 조합하고 주변 문맥을 살피며 정확한 텍스트 구간을 검증한다. Lite는 정답 문서를 하나라도 찾은 비율이 비슷한데도(70.0 대 74.0) 정확도가 28점 높지만, 도구 호출은 약 두 배다.출처: §4.3 · pp. 9–10, Figure 4 · p. 9, Table 4 · p. 10
• read + grep만 사용해도 정확도 61%로 Qwen3-Embedding-8B 검색 에이전트 기준선(45%)보다 16점 높으며, 도구 호출 빈도는 거의 같다.bash를 활성화하면 정확도가 추가로 12점 오르지만 도구 사용량, 지연 시간, 연산량도 크게 늘어난다. 이 절제 실험은 제한적인 직접 코퍼스 접근만으로도 도움이 되며, 도구의 표현력이 높아지면 효율성을 희생하는 대신 성능을 더 높일 수 있음을 보여준다.출처: Table 5 · p. 10, §4.3 · p. 11
• DCI-Agent-CC의 코퍼스가 문서 100K개에서 200K개로 커지면 정확도는 13.6점 하락하고, 지연 시간과 비용은 두 배 넘게 늘어난다.방해 문서가 추가되어 탐색 공간이 넓어지면서 문항당 도구 호출이 38.5회에서 86.9회로 증가한다. 문서 400K개에서는 정확도가 37.5%로 떨어지고 평균 도구 호출은 122.4회에 이르며, 20개 사례에서 최대 도구 사용 한도를 소진한다.출처: Figure 5 · p. 10, §4.3 · p. 10
• L3는 답변 정확도 77로 가장 우수한 문맥 관리 정책이지만, 보존된 정답 근거 포함률은 27.0으로 가장 빠른 정책인 L1의 31.3보다 낮다.L2는 비용이 가장 낮지만 정확도도 가장 낮고(69), L4에서는 L3에서 정점에 이른 성능이 하락한다. 선택적 망각은 지속적인 가설 수정을 돕는 반면, 압축이 부족하면 탐색 방향이 흐트러지고 지나치게 거친 압축은 유용한 중간 구조를 잃게 한다.출처: Table 6 · p. 11, §4.3 · p. 11

5 결론

• DCI는 오프라인 인덱스 없이 순위화 중심 IR, 멀티홉 QA, 종단 간 에이전트 기반 검색 전반에서 경쟁력 있는 성능을 보인다.에이전트는 기존 검색기 대신 범용 터미널 도구로 원시 코퍼스를 검색하고 검증한다. 통제 분석에 따르면 이러한 이점은 반드시 정답 근거 사슬을 더 많이 복원해서라기보다, 더 유용한 검토와 검증, 조합적 검색을 가능하게 하는 검색 인터페이스의 해상도에서 비롯된다.출처: §5 · p. 11

A.1 벤치마크

• 데이터셋마다 50개 예제를 무작위로 추출하되, BRIGHT Biology, Earth Science, Economics, Robotics와 Bamboogle은 전체 테스트 세트를 사용한다.평가 효율을 위해 표본을 추출한다.출처: §A.1 · p. 18

에이전트 기반 검색

• BrowseComp-Plus (Chen et al., 2025b)는 여러 문서를 조사해야 하는 질문을 대상으로, 동일하게 선별·고정된 코퍼스에서 인덱스 기반 검색과 인덱스 없는 DCI를 비교한다.코퍼스에는 사람이 검증한 뒷받침 문서와 마이닝으로 확보한 하드 네거티브가 포함된다. 임베딩 기반 베이스라인은 BM25/Qwen3-Embedding-8B FAISS 인덱스를 갖춘 오프라인 검색 엔진을 사용하며, DCI는 터미널 도구로 동일한 코퍼스에 접근한다.출처: Agentic Search · p. 18

지식 집약적 QA

• 지식 집약적 QA는 단일 홉 검색부터 멀티홉 추론까지 포괄하며, 모호한 질문과 코퍼스 수집 이후 정답이 바뀌었을 수 있는 사례는 제외한다.NQ 와 TriviaQA (Joshi et al., 2017)는 단일 홉 검색을 평가한다. Bamboogle (Press et al., 2023)은 여러 문서에 걸쳐 정확히 두 단계의 추론을 요구한다. HotpotQA (Yang et al., 2018)는 연결형·비교형 질문을 포함하고, 2WikiMultiHopQA (Ho et al., 2020)는 주석이 달린 추론 사슬을 제공한다. MuSiQue (Trivedi et al., 2022)는 지름길 풀이를 최소화하도록 설계된, 단계 간 의존성이 있는 추론 사슬을 평가한다.출처: Knowledge-Intensive QA · p. 18

IR 순위화

• BRIGHT (Su et al., 2025)의 네 데이터셋은 추론 집약적 검색을 평가하며, BEIR 는 반론 검색과 과학적 사실 검증 과제를 제공한다.BRIGHT에는 Biology(질의 103개), Earth Science(116개), Economics(103개), Robotics(101개)가 포함된다. BEIR에는 ArguAna (Wachsmuth et al., 2018; 질의 1,406개 중 50개 추출)와 SciFact (Wadden et al., 2020; 질의 300개 중 50개 추출)가 포함된다.출처: IR Ranking · p. 18

비공개 모델

• DCI-Agent-Lite는 GPT-5.4 nano (OpenAI, 2026)를, DCI-Agent-CC는 Claude Sonnet 4.6 (Anthropic, 2026)을 기반으로 한다.BrowseComp-Plus의 베이스라인 에이전트 중 o3 는 검색 증강 환경에서 가장 높은 성능을 보이며, GPT-5.2 는 표준 검색용 기반 모델로 쓰인다. 이 밖에 Claude Sonnet 4.5 (Anthropic, 2025), Claude Haiku 4.5, GLM-4.7 (Z.AI, 2025), Kimi K2도 기반 모델로 평가한다.출처: Proprietary Models · p. 19

검색 에이전트

• 가중치 공개 검색 에이전트 베이스라인은 검색 호출 강화학습, 모의 검색 학습, 상태 유지형 도구 사용, 비동기 심층 조사를 포괄한다.R1-Searcher-7B (Song et al., 2025)는 과정 보상이나 증류 없이 결과 감독 기반의 2단계 RL을 사용한다. Search-R1-32B (Jin et al., 2025)는 RL로 추론과 검색을 번갈아 수행하며, ZeroSearch-7B (Sun et al., 2025)는 SFT와 품질을 점진적으로 낮춘 문서로 검색을 모사한다. Verl-Tool-Search-7B-DAPO (Jiang et al., 2025)는 DAPO (Yu et al., 2025)를 사용하며, 비동기 롤아웃과 표준화된 API로 상태를 유지하는 상호작용을 지원한다. ASearcher-Local-14B (Gao et al., 2025)는 비동기 RL로 궤적 수집과 학습을 분리하며 최대 128턴을 지원한다.출처: Retrieval Agents · p. 19

희소 검색과 밀집 검색

• 검색 베이스라인은 어휘 매칭, 인덱스 기반 밀집 임베딩, 후보 문서에 대한 명시적 추론을 포괄한다.BM25 는 IR 순위화와 BrowseComp-Plus에서 희소 검색을 제공하며, text-embedding-3-large 는 BRIGHT와 BEIR에서 인덱스 기반 밀집 검색을 제공한다. E5 (Wang et al., 2022)는 QA의 주 검색기이고, Qwen3-Embedding-8B (Zhang et al., 2025)는 BrowseComp-Plus의 주 밀집 검색기다. Rank-R1-14B (Zhuang et al., 2025)는 추론 감독 없이 제한된 관련성 레이블로 RL을 통해 학습한 명시적 추론으로 재순위화한다.출처: Sparse & Dense Retrieval · pp. 19–20

A.3 평가 지표

• GPT-4.1 은 예측 답변과 참조 답변만 비교해 BrowseComp-Plus와 지식 집약적 QA 답변을 평가한다.참조 답변이 짧고 명확히 정의되어 있어 비교가 대체로 모호하지 않으며, 의미적·수치적 동등성도 인정할 수 있다.출처: §A.3 · p. 20
• NDCG@10은 IR 순위 벤치마크의 주 평가 지표다.이는 BrowseComp-Plus와 지식 집약적 QA에서 사용하는 최종 답변 정확성 평가와 다르다.출처: §A.3 · p. 20
• 검색기 매개 해상도 측정에서는 반환된 각 문서와 그 미리보기를 하나의 관측 단위 후보로 취급하며, top-k 검색은 k개의 후보를 생성한다.스니펫 길이는 반환된 미리보기의 길이다.출처: §A.3 · p. 20
• DCI 후보 집합은 명시적 파일 경로나 일치하는 국소 텍스트를 통해 원시 도구 관측 결과를 정답 문서에 대응시켜 재구성한다.경로만 노출되거나 텍스트가 대응되지 않아도 문서 포괄 범위에는 포함되지만, 스니펫 길이는 문서 전체 길이로 부여한다. 따라서 정확한 근거 노출로 인정하는 대신 낮은 국소화 점수를 부여한다.출처: §A.3 · p. 20
• grep 방식 DCI 검색에서는 정답 문서에 대응된 각 일치 행을 별도 후보로 취급하며, 해당 행 자체가 스니펫이 된다.한 정답 문서에 대응된 행이 여러 개면 가장 높은 seg-score를 사용한다. 정답·오답 실행을 합산한 100개 사례, 3,168개 명령에서는 rg | head와 rg | rg가 주를 이루며, 문서 전체 읽기는 드물다.출처: §A.3 · p. 20, Figure 6 · p. 21
• 읽기 방식 DCI 탐색에서는 정답 문서에서 읽은 구간이 주석으로 표시된 정답 근거와 충분히 겹칠 때만 노출된 읽기 구간을 스니펫으로 사용한다.따라서 스니펫 할당은 단순히 올바른 파일을 열었는지가 아니라 근거와의 중첩 여부에 달려 있다.출처: §A.3 · p. 20

B.1 DCI-Agent-Lite 검색 패턴 심층 분석

• Bash 상호작용의 56.2%는 검색과 출력 제한을 결합한 연산이며, 20.6%는 연쇄 검색으로, 이 둘이 DCI-Agent-Lite의 주된 명령 패턴이다.문서 전체 읽기는 0.1%에 불과하다. 저자들은 이 분포를 문서를 폭넓게 읽기보다 제한된 분량의 스니펫을 살피고 완전 일치를 반복 검증하는 방식으로 해석한다.출처: §B.1 · p. 21
• 여섯 가지 작업 패턴은 코퍼스 탐색, 광범위한 키워드 검색, 반복적 범위 축소, 특정 문서 읽기, 문서 내 심층 검색, 문서 간 비교를 포괄한다.이 패턴들은 대체로 시간 순서를 따르며, 후보를 찾는 단계에서 특정 부분을 살피고 문서 간에 교차 검증하는 단계로 이어진다.출처: §B.1 · p. 21

C.1 QA 지시문

• QA 지시문은 에이전트의 검색을 코퍼스 내 ripgrep/Bash 검색으로 한정하고, 표적 검색을 병렬로 수행하며, 답을 확정하기 전에 경쟁 답안들을 배제하도록 요구한다.웹 탐색, Agent 도구 사용, 하위 에이전트 생성을 명시적으로 금지한다.출처: §C.1 · p. 22
• QA 응답은 근거 문서 경로를 본문에 인용하고, 설명과 간결하고 정확한 답, 신뢰도 점수를 제시해야 한다.근거가 약하거나 모호하거나 없으면 신뢰도는 50% 미만이어야 한다.출처: §C.1 · p. 22

C.2 IR 지시문

• IR 지시문은 코퍼스 내 Grep/Bash 병렬 검색, 다양한 키워드, 정보 공백에 따른 후속 검색, 가능한 모든 검색 관점의 검토, 후보 문서의 면밀한 검토를 요구한다.에이전트는 문서 몇 개를 찾은 뒤에도 검색을 계속하고, 각 후보를 포함하기 전에 내용을 살펴야 한다.출처: §C.2 · p. 22
• IR 출력은 NDCG 기준으로 재현율과 정밀도의 균형을 맞추고, 주변적으로만 관련된 문서를 제외하며, 직접 관련된 문서를 최대 20개까지 유용성에 따라 순위화한다.지시문은 실제로 관련된 모든 문서를 찾도록 하며, 관련성을 질문에 직접 답하거나 필수적인 뒷받침 근거를 제공하는 것으로 정의한다.출처: §C.2 · pp. 22–23

C.3 평가자로서의 LLM

• LLM 평가자는 최종 답을 추출하고 제공된 정답과의 동등성을 확인하며, 수치에는 작은 오차를 허용한다.문제를 푸는 것이 아니라 답의 일치 여부를 평가하며, 최종 답이 없으면 ‘None’으로 처리한다. 보고된 신뢰도를 추출하되, 없으면 기본값으로 100%를 사용한다.출처: §C.3 · p. 23

D 사례 연구

• 사례 연구 도입부는 DCI-Agent-Lite와 DCI-Agent-CC를 더 정교하고 효율적이며 견고한 심층 조사를 보여 주는 사례로 제시한다.제공된 도입부에는 이러한 특성을 뒷받침하는 구체적인 예시나 측정치가 없다.출처: D Case Study · p. 24

D.1 사례 1: 시연 예시

• 에이전트는 “Rocinante”에 대한 Grep 질의를 시작으로, 정확한 어휘 일치를 통해 폐쇄형 코퍼스를 직접 검색한다.초기 질의는 일치하는 문서 내용을 요청하며, 결과 수를 10개로 제한한다.출처: §D.1 · p. 24
• 더 넓은 범위의 Grep 질의가 코퍼스 크기로 인한 제약에 부딪히자, 에이전트는 범위를 제한한 Bash 검색으로 전환해 답을 확인한다.Bash 명령은 “Rocinante”가 3번 일치하면 중단하고, 출력을 1,500자로 제한한다.출처: §D.1 · pp. 24–25
• 에이전트는 돈키호테의 말 이름을 명시한 여러 위키 코퍼스 문서를 근거로 Rocinante라고 답한다.최종 답변은 이를 뒷받침하는 증거로 문서 135082와 339679를 인용한다.출처: §D.1 · pp. 24–25

D.2 사례 2a: 에이전트 검색에서의 DCI-Agent-CC

• 월드컵 경기라는 가설에 따라 셸 기반 코퍼스 탐색을 진행했고, 파일명을 살펴 후보 기록을 찾은 뒤 경기 및 인터뷰 파일을 직접 읽었다.질문에는 서로 맞물린 단서 12개가 포함되어 있었고, 전체 탐색 과정은 80턴에 걸쳐 진행되었다.출처: §D.2 · pp. 26–27
• 관중 34,520명, 경고 1장, 팀당 선수 교체 2회, 서로 다른 3개국 출신 심판진이라는 기록이 잉글랜드가 벨기에에 1-0으로 승리한 경기의 단서와 일치했다.경기 기록에는 득점자가 데이비드 플랫, 경기장이 스타디오 레나토 달라라로 명시되어 있었다.출처: §D.2 · p. 27
• 플랫의 인터뷰에서 “기술” 단서가 확인되었고, 폴 파커는 시포를 언급했으며 크리스 워들은 시포를 오세르와 연결했다.워들은 그곳에서 시포가 뛰는 모습을 본 적이 있다고 회상해, 질문에서 요구한 구단과의 연결 고리를 제공했다.출처: §D.2 · pp. 27–28
• 엔초 시포와 스테판 드몰의 생일은 20일 차이가 난다. 두 선수 모두 데이비드 플랫과 같은 1966년생이므로, 둘 중 나이가 더 많은 후보는 시포다.시포는 19 February에, 드몰은 11 March에, 플랫은 10 June에 태어났다.출처: §D.2 · p. 28
• 최종 답은 AJ 오세르다. 해당 벨기에 선수가 엔초 시포임을 확인하고 이를 크리스 워들의 인터뷰 속 회상과 연결해 도출했다.확인된 경기는 잉글랜드가 벨기에에 1-0으로 승리한 1990년 월드컵 16강전이었다.출처: §D.2 · p. 28

D.3 사례 2b: 에이전트 기반 검색에서의 DCI-Agent-Lite

• 점수판, 교장, 수조를 겨냥한 rg 검색으로 검색 범위를 후보 문서로 점차 좁힌다.에이전트는 코퍼스를 좁히기에 충분히 특징적인 단서일 수 있다는 판단에 따라 먼저 점수판을 선택한다.출처: §D.3 · pp. 29–30
• 후보 문서 읽기를 통해 최종 답변 전에 출간 시점, 줄거리의 세부 내용, 작가의 이력을 검증한다.에이전트는 추론 과정에서 May 19, 2015를 바닷가재 수조, 파란 눈의 소년, 점수판 단서와 연결한다. 나머지 제약 조건을 확인하면서 작가 인터뷰와 도서 정보 페이지를 읽는다.출처: §D.3 · pp. 29–31
• DCI-Agent-Lite는 Bash와 Read만으로 여러 제약조건이 걸린 BrowseComp-Plus 질의를 해결해 프란체스카 자피아의 Made You Up을 정답으로 찾아낸다.이 질문은 출간 시점, 줄거리의 세부 내용, 작가의 이력에 관한 단서를 결합한다.출처: §D.3 · pp. 29, 31

D.4 사례 3a: 지식 집약적 질의응답에서의 DCI-Agent-CC

• 일부가 잘린 영화 기사를 찾은 뒤, 에이전트는 처녀인 등장인물 제나와 올리비아 다보를 중심으로 검색을 구체화한다.에이전트는 초기 결과에 해당 등장인물 정보가 빠져 있음을 명시적으로 인식한다.출처: §D.4 · p. 32
• 영화 지문은 올리비아 다보가 연기한 제나를 처녀로 명시하고, 전기 지문은 그녀가 제나 공주 역을 맡았음을 확인해 준다.전기에는 이 조연이 다보의 영화 데뷔작 배역이라는 점도 명시되어 있다.출처: §D.4 · p. 32
• DCI-Agent-CC는 올리비아 다보라고 답하며, 그녀가 연기한 제나가 Conan the Destroyer의 처녀임을 밝히고 코퍼스 문서 두 개를 인용한다.최종 답변은 문서 2205279와 4851059를 인용한다.출처: §D.4 · p. 32

D.5 사례 3b: 지식 집약적 QA에서의 DCI-Agent-Lite

• DCI-Agent-Lite는 미식축구 맥락에서 세인트루이스 카디널스를 검색한 뒤, 주변 텍스트를 살펴 팀 수를 추출했다.미식축구 맥락을 통해 이름이 같은 야구팀과 구별했다.출처: §D.5 · p. 33
• 세인트루이스의 NFL 팀 4개로 올스타스, 거너스, 카디널스, 램스가 확인됐다.추출한 Wikipedia 문장에는 팀 수가 명시되어 있었고 각 팀이 나열되어 있었다.출처: §D.5 · p. 34

D.6 사례 4a: 정보 검색에서의 DCI-Agent-CC

• DCI-Agent-CC는 관련 파일을 찾기 위해 주광성, 빛 자극, 양성 주광성, 근접 원인, 궁극 원인을 함께 검색했다.검색 결과에는 주광성과 인과관계에 관한 문서가 모두 포함되어, 행동에 관한 근거와 질의에 필요한 개념적 구분을 연결했다.출처: §D.6 · pp. 35–36
• 주광성 관련 근거는 빛을 향한 방향성 있는 이동과 비행 곤충의 선천적 양성 반응을 설명한다.이러한 관찰은 빛 자체가 곤충을 유인하는 근접 원인임을 뒷받침한다.출처: §D.6 · pp. 36–37
• DCI-Agent-CC는 BRIGHT-Biology의 곤충과 빛에 관한 질의에 주광성과 근접/궁극 원인을 아우르는 정답 문서 다섯 개를 반환했다.반환된 근거는 주광성 문서 세 개와 근접/궁극 원인 문서 두 개로 구성됐다.출처: §D.6 · pp. 35, 37
• LED에 관한 논증은 열을 직접적 단서에서 배제하되, 빛과 열 사이의 진화적 연관성까지 부정하지는 않는다.답변은 빛에 따른 정향을 근접 기제로 보고, 이를 별도의 궁극적·진화적 설명과 구분한다.출처: §D.6 · pp. 35, 37

D.7 사례 4b: 정보 검색에서의 DCI-Agent-Lite

• 에이전트는 표적화된 로컬 검색으로 재현율을 우선 확보한 뒤, 정확한 질환명 표현과 갑상선 용적 결과를 기준으로 갑상선 관련 검색 결과를 추렸다.정제된 검색에서 목표 대상군과 명시적인 용적 감소 근거를 모두 담은 9745001.txt가 확인됐다.출처: §D.7 · p. 38
• 최종 순위를 정하기 전에 에이전트는 다결절성 갑상선종 관련 후보를 나열하고 9745001.txt를 읽어 치료법, 대상군, 측정 결과를 확인했다.질환명 표현을 일치시킨 검색에서 9745001.txt, 6751418.txt, 43122426.txt, 26026009.txt가 반환됐다.출처: §D.7 · pp. 38–39
• 24개월 시점의 갑상선 용적 감소율 중앙값 60%(73 ml에서 29 ml로)는 비독성 다결절성 갑상선종에서 방사성 요오드 치료의 효과를 뒷받침했다(9745001.txt).보고된 유의확률은 p < 0.0001이었으며, 논문은 방사성 요오드를 수술의 매력적인 대안으로 설명했다.출처: §D.7 · p. 39

D.8 사례 5a: 에이전트 검색에서 DCI-Agent-CC의 실패 사례

• DCI-Agent-CC는 데니스 수아레스와 FC 바르셀로나를 식별하지만, 벤치 명단에 포함된 경기의 상대 팀을 잘못 지목한다. 제시된 정답은 FC 크라스노다르다.질문에 답하려면 2019년 잉글랜드 축구계의 물병 관련 몸싸움을 한 선수의 임대 이력 및 원소속팀의 유럽 대회 벤치 명단에 포함된 경기와 연결해야 한다.출처: §D.8 · p. 40
• 에이전트는 경기 보도, 선수 소개, 구단 기록을 아우르는 광범위한 코퍼스 검색을 수행하면서 정확한 경기 통계와 안드레 고메스라는 대안 가설도 탐색한다.통계 단서는 원정팀의 유효 슈팅 6개, 경고 4장, 코너킥 4개를 명시한다. 고메스 가설은 임대 시점에 관한 추가 추측으로 이어진다.출처: §D.8 · pp. 41–42
• 에이전트는 수아레스의 January 2019 아스널 임대 이적 시점을 바탕으로 상대 팀 후보를 PSV 에인트호번, 토트넘 홋스퍼, 인터 밀란으로 좁힌다.이로써 가능한 시기는 정해지지만, 벤치 명단에 포함된 특정 경기를 식별할 증거는 여전히 필요하다.출처: §D.8 · p. 43
• 에이전트는 수아레스가 챔피언스리그 벤치 명단에 포함된 경기에 관한 구체적인 증거가 없다는 점을 인정하고, 물병 사건을 직접 검색할 필요성을 인식한다.사건을 직접 검증하는 접근과 가능한 팀을 계속 추측하는 접근을 명시적으로 대비한다.출처: §D.8 · p. 45

• 에이전트가 선수 후보를 재검토하고 사건 중심 검색을 진행하면서, 유효 슈팅 6개, 경고 4장, 코너킥 4개가 원정팀을 찾기 위한 구체적인 단서가 되었다.상대 팀을 추측하기보다 2019년에 일어난 물병 사건이나 축구 관련 몸싸움을 검색하자고 제안했다.출처: §D.8 · p. 46
• 출전 명단과 사건 증거를 찾지 못한 채 검색 예산이 소진되어 가면서, 에이전트는 해당 경기를 확인하지 못했다.대신 바르셀로나의 인터 밀란전 득점자를 재구성하며 홈 경기와 원정 경기를 구분했지만, 수아레스가 벤치 명단에 포함되었는지는 입증하지 못했다.출처: §D.8 · pp. 46–47
• 벤치 명단 포함 여부에 관한 증거가 확보되지 않았는데도, 최종 답변은 2018-19 챔피언스리그 B조 경기에서 바르셀로나의 상대 팀으로 인터 밀란을 지목했다.출처: §D.8 · pp. 47–48

• 범위가 넓은 rg 패턴을 반복해서 사용했지만 관련 없는 문서가 반환되었고, 올바른 코퍼스 파일로 범위를 좁히지 못했다.출처: §D.9 · p. 49
• 단서에는 2000년대 개봉작, 부유한 주인공과 가난한 주인공, 1960년대생 배우들, November 2023 기준 감독과 한 배우의 형제 사이의 분쟁이 함께 포함됐다.출처: §D.9 · p. 49
• 에이전트는 질의 범위가 너무 넓다는 점을 인식하고, 배우·형제 관련 구문과 줄 단위 분쟁 필터를 제안했다.이후 날짜, 분쟁, 감독, 형제, 배우 패턴별 파일 목록의 교집합을 구했다.출처: §D.9 · pp. 50–51
• DCI-Agent-Lite는 The Family Man이라고 잘못 답했다. 정답은 Dosti: Friends Forever였다.사례 설명에서는 일부 표면적 키워드에만 부합하는 이 답변을 환각으로 규정한다.출처: §D.9 · pp. 49, 51