PaperlayerView exact revision on arXiv

Source-linked AI summary

HippoCamp: Benchmarking Contextual Agents on Personal Computers

Zhe Yang, Shulin Tian, Kairui Hu, Shuai Liu, Hoang-Nhat Nguyen, Yichi Zhang, Zujin Guo, Mengying Yu, Zinan Zhang, Jingkang Yang, Chen Change Loy, Ziwei Liu

arXiv:2604.01221v1cs.AIcs.CV

TL;DR

에이전트는 여전히 대규모 개인화 멀티모달 파일 시스템을 대상으로 추론하는 표준화된 테스트가 부족하다. HippoCamp는 현실적인 디바이스 규모에서 이 능력을 벤치마크하고, 프로파일링의 전체 정확도가 48.3 Acc에 그치는 등 인간 수행 능력과 상당한 격차가 있음을 보인다.

  • 문제

    개인 컴퓨팅 규모에서 대규모·개인화·이질적 멀티모달 파일 시스템에 대한 에이전트의 이해, 기억, 추론을 평가하는 표준화된 벤치마크가 없다.

  • 방법

    HippoCamp는 현실적인 디바이스 상주 개인 파일 시스템을 구축하고, 검색·지각·추론을 통해 evidence-grounded factual retention and profiling을 평가한다.

  • 결과

    현재 방법들은 모든 과제에서 인간 수행 능력에 크게 못 미친다. ChatGPT Agent Mode의 전체 프로파일링 성능은 21.0 F1 / 48.3 Acc다.

  • 시사점 및 한계

    Personalized multimodal memory remains unsolved이며, 검색 이후의 evidence discrimination, grounding, entity binding, verification이 주요 병목으로 남아 있다.

  • 시사점 및 한계

    평가된 방법 중 어느 것도 답변이 최소한의 일관된 증거 집합으로 추적 가능한지 확인하는 explicit final-stage check를 수행하지 않는다.

Abstract

from arXiv · show

We present HippoCamp, a new benchmark designed to evaluate agents' capabilities on multimodal file management. Unlike existing agent benchmarks that focus on tasks like web interaction, tool use, or software automation in generic settings, HippoCamp evaluates agents in user-centric environments to model individual user profiles and search massive personal files for context-aware reasoning. Our benchmark instantiates device-scale file systems over real-world profiles spanning diverse modalities, comprising 42.4 GB of data across over 2K real-world files. Building upon the raw files, we construct 581 QA pairs to assess agents' capabilities in search, evidence perception, and multi-step reasoning. To facilitate fine-grained analysis, we provide 46.1K densely annotated structured trajectories for step-wise failure diagnosis. We evaluate a wide range of state-of-the-art multimodal large language models (MLLMs) and agentic methods on HippoCamp. Our comprehensive experiments reveal a significant performance gap: even the most advanced commercial models achieve only 48.3% accuracy in user profiling, struggling particularly with long-horizon retrieval and cross-modal reasoning within dense personal file systems. Furthermore, our step-wise failure diagnosis identifies multimodal perception and evidence grounding as the primary bottlenecks. Ultimately, HippoCamp exposes the critical limitations of current agents in realistic, user-centric environments and provides a robust foundation for developing next-generation personal AI assistants.

1 서론

HippoCamp는 현실적인 개인 컴퓨팅 환경에서 검색, 지각, 장기 추론을 평가함으로써, 대규모 개인화 멀티모달 파일 시스템에 대해 추론하는 agent를 위한 표준화된 benchmark의 부재를 다룬다. 또한 device-scale 이종 데이터, 조밀한 evidence-grounded supervision, factual retention과 user profiling을 아우르는 task를 제공한다.

  • Task 개요: Task는 다양한 modality에 걸친 수십 GB 규모의 사용자별 asset을 대상으로 grounded retrieval, 파일 간 pattern inference, 장기 추론을 요구한다.이러한 능력은 대규모 개인 파일 시스템에서 개인화된 멀티모달 이해를 평가하도록 설계되었다.
  • 동기: HippoCamp는 document-level retrieval이나 개인화된 tool-use planning을 넘어, 대규모 개인화 멀티모달 파일 시스템을 이해하고, 기억하고, 추론하는 agent의 능력을 평가하는 데 존재하던 공백을 메운다.이 benchmark는 기존 연구가 다루지 못한 개인 컴퓨팅 환경의 규모와 이질성을 대상으로 한다.
  • 현실적인 개인 컴퓨팅 환경: 이 benchmark는 장기적 연속성, 독특한 folder 구조, 상호 연결된 digital asset을 포착하는 현실적인 파일 중심 개인 컴퓨팅 환경 세 가지를 구축한다.이러한 환경은 문자 그대로의 3분류라기보다 고차원 profile space의 전형적 구현이다.
  • 조밀한 supervision을 갖춘 device-scale corpus: Corpus는 총 42.4 GB에 달하는 2000개 이상의 이종 파일, 581개의 evidence-grounded user-need query, 46.1K개의 세밀한 annotation으로 구성된다.이 supervision은 여러 수준의 세분성을 바탕으로 다양한 깊이와 관점에서의 평가를 지원한다.
  • 종합적인 agent 능력 평가: HippoCamp는 시간에 걸쳐 상호 연관된 파일을 대상으로 파일 시스템 검색, 멀티모달 evidence perception, 개인화된 reasoning을 multi-step으로 통합하여 factual retention과 user profiling을 평가한다.따라서 이 benchmark는 단순한 retrieval을 넘어, agent가 특정 정보를 검색하고 사용자의 선호를 추론하도록 요구한다.

2 관련 연구

기존 연구는 multimodal retrieval, agentic memory, personalization을 발전시켜 왔지만, 평가는 규모·모달리티·현실성 측면에서 여전히 제한적이다. HippoCamp은 실제 규모에서 파일 간 및 모달리티 간 reasoning을 지원하는 personalized multimodal file-system 환경으로 이러한 공백을 해소한다.

  • HippoCamp: HippoCamp은 다섯 가지 모달리티 전체를 아우르는 personalized multimodal file-system 환경을 도입해 실제 규모에서 파일 간 및 모달리티 간 reasoning을 가능하게 한다.이 환경은 personal file system을 multimodal contextual agent를 위한 benchmark 환경으로 설정한다.
  • Multimodal Contextual Agent를 위한 Benchmark: 기존 contextual retrieval benchmark는 텍스트 중심 dataset부터 더 풍부한 evidence와 모달리티 간 grounding을 요구하는 multimodal 및 agentic 환경까지 다양하다.MultimodalQA는 텍스트, 이미지, 테이블에 대한 grounding을 지원하며, WebQA는 distractor가 포함된 후보 pool에서의 retrieval을 연구한다. document benchmark는 layout과 혼합된 텍스트–이미지 evidence를 다룬다.
  • Memory와 Personalization을 갖춘 Agentic System: 기존 agentic system은 context integration과 personalization을 지원하기 위해 trajectory memory, 사용자별 record, knowledge graph, preference embedding, 장기 history를 활용한다.예로는 personalized retrieval을 위한 PersonaAgent의 episodic 및 semantic record와 Telemem의 narrative 및 multimodal episodic memory가 있다.
  • Memory와 Personalization을 갖춘 Agentic System: 기존 평가는 대체로 소규모 또는 synthetic이며 좁은 모달리티로 제한되어, 다섯 가지 모달리티에 걸쳐 이질적이고 변화하는 personal-computing context를 나타내지 못한다.LoCoMo는 text-only personal question 300개를 포함하는 반면, EgoLifeQA/Ego-R1-Bench는 personalized sample이 약 20%이고 video/audio 단일 모달리티 context로 제한된다.

3 HippoCamp 벤치마크

HippoCamp는 현실적인 멀티모달 개인 파일 시스템에서 evidence-grounded memory-augmented agent를 평가한다. 계층적 supervision을 통해 search, 멀티모달 perception, long-horizon reasoning을 바탕으로 factual retention과 user profiling을 평가한다.

  • 3 HippoCamp 벤치마크: 벤치마크의 계층은 국소화된 atomic grounding과 action trace에서 structured trajectory와 task-level question으로 확장되며, 최종적으로 user-level memory와 profiling에 이른다.Factual retention은 국소화된 evidence와 중간 reasoning에 의존하는 반면, profiling은 더 높은 수준의 synthesis를 요구한다.
  • 3 HippoCamp 벤치마크: HippoCamp는 현실적이고 device-resident한 멀티모달 개인 파일 시스템에서 open-ended, evidence-grounded question answering을 통해 개인화된 파일 이해를 평가한다.이 설정은 personal computing을 파일 시스템 구조와 시간 메타데이터로 조직된 long-tail information space로 다룬다.
  • 3 HippoCamp 벤치마크: Factual retention은 검증 가능한 file-grounded fact를 검색하고 그에 대해 reasoning하는 것을 요구하는 반면, profiling은 시간에 걸친 grounded fact를 종합해 일관된 user-level inference를 도출한다.Profiling은 선호, 행동 패턴, 일정 관리, 회고적 성찰, workflow를 포괄하며, 두 과제 모두 search, perception, reasoning을 요구한다.
  • 3 HippoCamp 벤치마크: HippoCamp는 100+ participants와의 인터뷰에서 출발해 다단계 source selection을 거친 뒤, 익명화되고 최소한으로 편집되며 색인되지 않은 개인 파일 시스템을 구축한다.그 결과인 “haystack” 시스템은 시스템이 생성한 비사용자 artifact를 제거하고 민감한 식별자를 익명화해 개인화된 멀티모달 agent를 stress-test한다.
  • 3 HippoCamp 벤치마크: Hybrid expert–LLM pipeline이 다양한 question을 생성하고 선별한 뒤, 각 QA pair를 answer, rationale, localized atomic evidence, file metadata, capability label과 함께 기록한다.Human review는 factual correctness, contextual grounding, intent와 pattern diversity, modality balance, evidence-set balance를 보장하며, label은 search, perception, reasoning을 분해한다.

4 실험

프로필별 HippoCamp 평가 전반에서 현재 방법은 human expert보다 여전히 크게 뒤처지며, multimodal retrieval, 장기 추론, evidence grounding이 지속적인 병목으로 남는다. ChatGPT Agent Mode가 보고된 overall score에서 가장 높은 성능을 보이지만, 여전히 계산 비용이 높고 운영상 불안정하다.

  • Autonomous Agent Systems: ChatGPT Agent Mode는 보고된 overall score에서 가장 높은 성능을 보이며, 21.0 profiling F1 / 48.3 Acc와 35.3 factual-retention F1을 달성하지만 human performance에는 여전히 크게 못 미친다.Profiles (b) Adam과 (c) Victoria에서 55.0% profiling accuracy에 도달한다.
  • RAG methods: RAG는 profiling에서 저조한 성능을 보이며, Standard RAG는 overall 18.4 F1 / 26.7 Acc, Self-RAG는 15.2 F1 / 10.0 Acc를 기록한다.Self-RAG는 Profile (c) Victoria에서 0.0 Acc를 기록하며, 취약한 retrieval과 약한 cross-file aggregation을 보여준다.
  • Evaluation and results: Factual retention은 overall F1 30.0–31.9로 소폭만 향상되며, 주로 direct-lookup 사례에서 개선된다. 반면 모델은 file content 대신 filename이나 directory string에 의존하는 경우가 많다.평가는 automatic metric과 LLM-based judgment를 사용해 question-answering quality와 evidence retrieval accuracy를 측정한다.
  • Search agent methods: Search agent는 factual retention을 향상시키지만 profiling으로의 전이는 제한적이다. ReAct는 Profile (b) Adam에서 55.3 Acc에 도달하는 반면, Search-R1은 overall 10.8 profiling F1 / 5.0 Acc에 그친다.Search-R1은 Profile (b) Adam의 factual retention에서 58.0 F1에 도달하지만, 다른 profiling profile에서는 0.0 Acc를 기록한다.
  • Autonomous Agent Systems: Autonomous agent는 search-based method보다 중간 정도의 향상만 제공하며, 여전히 계산 비용이 높고 운영상 불안정하다. 쿼리당 10–15분이 소요되고 재실행이 필요한 경우가 많다.불완전한 output과 누락된 file reference는 실행 간 분산을 키우며, 성능을 execution instability에 민감하게 만든다.

5 분석

HippoCamp의 지배적인 실패 원인은 검색 후 처리에 있다. 에이전트는 부분적으로 관련된 파일을 자주 찾지만, 프로필에 국한된 조건, cross-modal 조건, 시간적으로 확장된 조건에서 증거를 식별·근거화·통합·검증하지 못한다. 분석은 capability gap, 5단계 오류 파이프라인, 설계에 유의미한 성공 패턴을 통해 이러한 실패를 구체화한다.

  • 5 분석: 증거 검색 자체보다 검색 후 처리가 프로필에 국한된 조건, cross-modal 조건, 시간적으로 확장된 조건 전반에서 HippoCamp의 지배적인 실패 원인이다.방법들은 부분적으로 관련된 파일을 자주 찾지만, 이를 식별·근거화·통합·검증하지 못한다.
  • 5.1 지표 분리와 병목 위치 파악: 56.5% 프로파일링 정확도와 28.9% search F1은 후보 파일을 찾는 것이 정답에 필요하지만 충분하지 않음을 보여준다.검색 중심 에이전트는 더 높은 프로파일링 retrieval F1을 달성한다. ReAct (Qwen3)는 36.3%, Search-R1은 34.8%이지만, 프로파일링 정확도는 각각 22.2%와 22.1%로 더 낮다.
  • 5.1 지표 분리와 병목 위치 파악: 지각은 가장 보편적인 병목으로, 프로파일링 정확도는 Self-RAG의 13.2%에서 ChatGPT Agent Mode의 28.5%까지 분포한다.가장 강력한 시스템의 지각 정확도는 검색 정확도의 대략 절반인 28.5% 대 56.5%이며, 추론은 이전 증거 식별 단계의 오류를 이어받는다.
  • 5.2 표준 실패 파이프라인: 반복적으로 나타나는 실패 파이프라인은 검색 불일치, 근거화 회피, 하드 증거 환각, 엔터티 오귀속, 검증 부족의 순서로 진행된다.이러한 실패에는 의미적으로는 관련되지만 맥락상 무관한 검색 결과, 관련 파일이 있는데도 제시되는 일반적인 답변, 조작된 경로나 메타데이터, 잘못된 지시 대상, 명시적인 최종 추적성 검사의 부재가 포함된다.
  • 5.2 표준 실패 파이프라인: 반복적인 파일 시스템 탐색을 통해 ChatGPT Agent Mode는 초기 오류에서 회복하여 Adam에서 55.0% 프로파일링 정확도와 90.3% 사실 정확도에 도달한다.이러한 이점은 더 강력한 one-shot 검색이 아니라 디렉터리와 후보 파일을 재검토하고, 증거 가설을 정교화하며, 지지 집합을 좁히는 데서 비롯된다.
  • 5.3 설계 원칙: 진정한 개인화에는 명시적인 페르소나 진술의 검색만이 아니라, 이질적인 파일 유형에 흩어진 암묵적 행동 신호를 대상으로 한 multimodal, cross-file reasoning이 필요하다.HippoCamp은 로컬 디지털 생활 모델링을 다양한 개인 기록을 종합하는 문제로 규정한다.

6 결론 · 부록

HippoCamp는 현실적인 multimodal 개인 파일 시스템에서 검색, 지각, 추론을 평가하며, 검색 후 처리가 지배적인 병목임을 보여준다. 부록에서는 benchmark 구축, annotation, task 설계, evaluation 절차를 문서화한다.

  • 6 결론: HippoCamp는 현실적인 multimodal 개인 파일 시스템에서 검색하고 지각하며 추론하는 agent의 능력을 benchmark한다.
  • 6 결론: 지배적인 병목은 evidence retrieval 이후에 존재하며, evidence 판별, multimodal grounding, entity binding, 최종 verification을 포함한다.
  • 6 결론: Profiling에는 factual retention과 질적으로 다른 capability composition이 필요하며, personalized multimodal memory의 고유한 요구를 부각한다.
  • 부록: 부록에서는 participant selection, interview, archetype aggregation, privacy filtering, external augmentation, file-system statistics를 자세히 다룬다.
  • 부록: 또한 trajectory schema, evidence-unit 설계, human-in-the-loop question-answering pipeline, agreement 절차를 구체화한다.
  • 부록: task taxonomy, difficulty 정의, 대표적인 user-profile 사례를 확장해 제시한다.
  • 부록: evaluation settings, budgets, metrics, robustness checks, 확장된 result summary를 설명한다.

A 데이터셋 구축 및 프로필 집계 … A.6.1 프로필별 modality 구성

HippoCamp는 선별된 참가자 데이터, 프로토콜 기반 인터뷰, 일관성 검증 집계, 통제된 augmentation을 통해 privacy-preserving multimodal personal-device profile을 구축한다. 이렇게 도출된 archetype은 이질적인 evidence 분포를 보존하면서 근거 기반의 감사 가능한 user-profile reasoning을 지원한다.

  • A.1 참가자 풀 및 source 선정: 프로필은 최소 500개의 파일, 5개 modality 중 최소 4개, 최소 10개의 extension, 최소 3개월의 활동 기록을 포함하는 device에서 구축된다.Source는 지속적인 full-time 학업 또는 직업적 사용과 함께 파일 간, 시간적, 조직적 evidence를 감사할 수 있어야 한다.
  • A.2 심층 인터뷰 프로토콜: 프로토콜 기반 60–90분 인터뷰에서는 device의 범위를 정하고, workflow를 재구성하며, 모호성을 식별하고, task 요구를 도출하고, 집계 전에 추출된 구조를 검증한다.인터뷰 evidence는 source filtering, aggregation check, trajectory construction, QA 설계, 최종 일관성 검토에 반영된다.
  • A.3 Archetype 집계: 세 개의 archetypal profile은 modality, file type, 조직, 시간, entity, workflow pattern에 대한 분포 보존 partitioning과 일관성 검사를 통해 형성된다.충돌은 source 재할당 또는 최소한의 수정으로 해결한 뒤, 일관성·privacy·native organizational signal에 대한 human validation을 수행한다.
  • A.4 Privacy, filtering 및 anonymization: Privacy 처리는 opt-in consent, 철회 권리, 통제된 취급, artifact filtering, identifier redaction 또는 pseudonymization, 참가자 승인을 결합한다.Pipeline은 명확히 시스템이 생성한 artifact를 제거하되 evidence를 담은 단서는 보존하며, 참가자가 승인한 처리 데이터만 허용한다.
  • A.5 Data Augmentation에 사용된 External Benchmark: External document는 Law 및 Finance profile에서 충분히 나타나지 않는 professional form을 보완하지만, 수정된 질문과 비식별화된 content는 HippoCamp pipeline의 통제를 받는다.FinanceBench (Islam et al., 2023)와 LegalBench-RAG (Pipitone and Alami, 2024) 자료는 screening, rewriting, grounding, 상한 설정을 거치므로 augmentation된 source는 소수로 유지된다.
  • A.6 File-System Statistics: Benchmark는 profile-level modality 및 file-type distribution을 통해 file-system statistic을 보고하며, augmentation된 document는 이러한 distribution을 보존하도록 제한된다.이러한 statistic은 storage burden이 아니라 evidence composition을 설명한다.
  • A.6.1 프로필별 Modality 구성: Figure 7은 Bei Weiwei, Adam Turner, Victoria Anne Clarke의 profile이 균일하게 균형 잡힌 구성이 아니라 의도적으로 이질적인 modality 구성을 보임을 제시한다.Figure는 file count를 기준으로 5개 modality의 percentage breakdown을 보고하며, Bei Weiwei가 가장 폭넓은 modality 분포를 가진다.

A.6.2 저장 용량 규모와 파일 유형 부담 … B.9 AU–Evidence 매핑

HippoCamp는 저장 용량과 시간이 다양한 개인 파일을, support file, localized multimodal evidence, rationale step, atomic evidence unit을 명시적으로 표현하는 grounded trajectory annotation과 결합한다. 이 schema와 validation rule은 이질적인 modality 전반에서 capability, difficulty, evidence-level evaluation을 재현 가능하게 수행하도록 한다.

  • A.6.2 저장 용량 규모와 파일 유형 부담: 저장 부담은 비대칭적이다. 소수의 대용량 video, audio, 또는 장문 document file이 전체 용량을 지배해 modality 비중을 넘어 indexing, conversion, retrieval, evidence localization 비용을 증가시킬 수 있다.Bei는 대용량 .mp4와 .mkv 파일이 많아 특히 비용이 크고, Adam은 compactness와 extension diversity를 함께 보이며, Victoria는 대용량 PDF, structured artifact, audio가 대부분을 차지한다.
  • A.6.3 파일의 시간적 범위: 파일 활동은 2024–2025년에 집중되지만 2012년까지 거슬러 올라가는 legacy artifact도 유지되어, 최근 활동 모델링과 사실 보존을 위한 temporal cross-check를 모두 지원한다.생성 및 수정 timestamp는 세 profile에서 장기적 축적과 최근 상호작용을 함께 포착한다.
  • B Annotation Schema and Quality Control; B.1 Trajectory JSON Schema; B.2 JSON Record Overview: 각 trajectory는 task를 normalized answer, 최소한의 supporting file, capability label, localized evidence, stepwise rationale trace와 결합해 downstream evaluation과 diagnosis를 지원한다.공개된 JSON은 parser 재구현, capability별 세부 분석, difficulty 통계, evidence-level evaluation을 지원하도록 설계되었다.
  • B.3 Field Semantics and Interpretation Rules: Field semantics는 file-level aggregate와 item-level evidence를 구분하고, 간결한 normalized answer를 정의하며, model behavior가 아니라 required capability를 encode한다.file_path는 가장 작은 annotated support set을 나타내고, file_modality는 supporting file을 요약하며, modality_type은 각 localized evidence item을 설명하고, agent_cap은 제약된 reasoning label을 사용한다.
  • B.4 Evidence Object Specification: Evidence object는 고유한 trajectory-local ID, 충실한 evidence text, modality-normalized type, document page 또는 media timestamp와 같은 locator를 통해 직접 확인 가능한 support를 보존한다.Rationale step은 이 ID를 인용하며, evidence text는 파일 전체를 요약하는 대신 answer를 뒷받침하는 내용을 보존한다.
  • B.5 Rationale Trace Specification: Rationale trace는 reasoning을 planning, navigation plus reading, integration plus verification으로 정규화하며, abstract planning을 제외한 모든 실질적 step에 evidence link를 요구한다.이 step-level groundedness는 intermediate operation, observation, conclusion, final answer를 localized support와 연결한다.
  • B.6 Schema Validation Rules: Schema validation은 evidence-ID resolution, file-path resolvability, document 또는 temporal bound 내 locator validity를 검사해 parseability와 reproducibility를 강제한다.이 검사는 공개된 record 전반의 downstream evaluation을 위한 bookkeeping을 안정화한다.
  • B.7 Designing Atomic Units for Evidence; B.7.1 Motivation; B.7.2 Definition; B.8 AU Generation Procedures; B.9 AU–Evidence Mapping: Atomic unit은 modality-aligned하고 독립적으로 검증 가능한 evidence segment를 제공하며, text, page 또는 document region, image region, audio-video interval을 공통 evaluation representation으로 매핑한다.AU matching은 작은 temporal slack과 spatial overlap 차이를 허용하지만, 현재 release는 주로 page-level 및 timestamp-level locator를 기록한다.

B.10 평가·진단·학습에서의 활용 … C.1 과제 분류체계

HippoCamp은 AU 기반 세밀 평가·진단과, 근거가 명시된 benchmark trajectory를 구성·구조화·검토·검증하는 human-in-the-loop pipeline을 결합한다. 과제 분류체계는 균형 잡힌 multimodal 장기 추론 인스턴스를 통해 사실 유지와 profiling을 다루며, 제한된 LLM 지원은 잠정적으로 활용하고 human oversight를 통해 grounding, privacy, schema consistency를 보존한다.

  • B.10 평가·진단·학습에서의 활용: AU-normalized grounding은 파일 수준 retrieval을 보완하며, 결정적 근거의 위치를 측정하고 잘못된 페이지, timestamp 또는 시각 영역 오류를 드러낸다.AU는 독립적인 headline score보다 세밀한 평가와 진단을 주로 지원한다.
  • B.11 Human-in-the-loop QA Construction: HippoCamp은 다섯 단계, 즉 question proposal, candidate consolidation, de-duplication and balancing, trajectory structuring, bounded model assistance를 거쳐 benchmark instance를 구성한다.이 pipeline은 후보 information need를 trajectory annotation이 완료된 최종 항목으로 변환한다.
  • B.12 Two-Source Question Proposal: 수동 제안은 현실적인 profile-specific information need를 포착하고, restricted-metadata LLM 제안은 modality 조합, evidence-set 크기, long-tail task pattern의 범위를 확장한다.Synthetic proposal은 benchmark semantics를 정의하는 것이 아니라 후보로 남는다.
  • B.13 Candidate Consolidation and Screening; B.14 De-duplication and Coverage Constraints: Human screening은 grounding되고 비자명하며 중복되지 않은 후보를 남긴 뒤, modality 조합, evidence-set 크기, task family, factual retention, profiling, long-tail case의 균형을 맞춘다.De-duplication은 피상적인 재표현과 반복되는 solution 또는 evidence configuration을 제거한다.
  • B.15 Trajectory Structuring: 채택된 각 question에는 supporting file, localized evidence object, rationale step, 그리고 search·perception·reasoning capability label을 포함하는 minimalist gold trajectory가 부여된다.이 간결한 support structure는 답을 정당화하면서 agent가 더 긴 경로나 대안적인 유효 경로를 발견할 수 있게 한다.
  • B.16 Model Assistance Protocol; B.17 Prompt Families for LLM-assisted Proposal: LLM 지원은 선별된 metadata, local file batch, directory cue, timestamp, seed example로 제한되며, unrestricted file, personal identifier, external knowledge는 제외한다.Prompt family 전반에서 output은 잠정적으로 유지된다. 민감한 financial case는 human이 직접 작성할 수 있으며, model은 normalization 또는 rationale drafting으로 제한된다.
  • B.18 Inter-Annotator Agreement and Quality Control; B.18.1 Annotator Setup and Sampling Protocol; B.18.2 Unified Review Protocol; B.18.3 Adjudication Protocol: Domain-aware annotator는 통합 점검, shortest plausible solution path, 이견에 대한 adjudication을 사용해 세 profile, task family, modality configuration, difficulty band를 모두 검토한다.종단적 해석이나 전문적 제약으로 모호성이 발생하는 profiling·legal·financial 항목은 집중적으로 검토한다.
  • B.18.4 Quality Control and Automated Sanity Checks; B.18.5 Post-hoc Audit and Final Validation; C Tasks and Difficulty; C.1 Task Taxonomy: 최종 release는 rule-based 및 human quality control, privacy·consistency check, stratified audit, schema validation을 결합해, Factual Retention and Profiling 전반의 장기 multimodal 평가에서 record가 감사 가능하도록 보장한다.Record는 grounding, 명료성, validity, privacy, structural requirement에 따라 채택·수정·거부된다.

C.1.1 사실 유지

사실 유지는 에이전트가 디바이스에 저장된 파일에서 정확한 사실을 복원하고, 명시적 근거로 답변의 추적 가능성을 유지하는지를 평가한다. 원자적 검색, 파일 위치 식별, 시간적 비교, 규범 추출, 멀티모달 검증을 포괄한다.

  • 정의: 사실 유지는 원자적 사실 검색, 문서 수준 위치 식별, 시간적 또는 비교적 복원, 규범 조항 추출을 포함한다.이러한 모든 유형에서 답변은 명시적인 파일 기반 근거까지 완전히 추적 가능해야 한다.
  • 예시: Figures 11 and 12는 뒷받침하는 파일 목록과 근거 시각화를 포함한 근거 기반 사실 유지 답변을 보여준다.Figure 11은 cross-modal 자산 검색을, Figure 12는 문서–비디오 규정 준수 검증을 제시한다.
  • 예시: Cross-modal 자산 검색은 브이로그 스크립트를 찾고, 요구사항을 추출한 뒤, 문서 및 시각적 근거를 사용해 이를 사진과 대조해야 한다.이 예시는 명시적 제약 아래에서 정확한 파일 위치 식별, 구조화된 사실 추출, 시각적 검증을 평가한다.
  • 예시: 문서–비디오 규정 준수 검증은 브랜드 매뉴얼에서 추출한 clearspace 규칙에 따라 광고의 로고 배치를 점검한다.이 예시는 근거 기반 정확성을 뒷받침하기 위해 매뉴얼에서 규칙을 추출하고 비디오 프레임의 공간적 배치를 검사한다.

C.1.2 프로파일링 … C.6.1 정의

HippoCamp은 약하고 분산된 증거를 통해 프로파일링을 평가하고, 증거 폭, 모달리티 폭, 추론 깊이, 결합 스칼라 점수를 사용해 벤치마크 난이도를 특성화한다. 질의는 단일 출처 검색을 넘어서는 문제를 드러내는 멀티모달·종단적·제약 인식 추론 요구를 포괄한다.

  • C.1.2 프로파일링: 프로파일링은 파일, 모달리티, 시간 전반의 약한 신호를 통합해 일관되고 실행 가능하며 증거 추적이 가능한 출력으로 사용자 수준 속성을 추론한다.결정적인 단일 진술에 의존하기보다 종단적 증거 통합, 사건에서 특성으로의 추상화, 맥락 인식 개인화가 필요하다.
  • C.1.2 프로파일링: 다섯 가지 프로파일링 하위 과제는 선호도, 행동 패턴, 일정 정보, 회고적 성찰, 워크플로이며, 특성 추론, 주기성 복원, 계획 수립, 과거 재구성, 절차 합성을 포괄한다.대표 사례에서는 사진 편집 선호도, 스트레스 조절 루틴, 갈등을 고려한 일정 수립, 졸업 일정, 반복적인 법률 지원 워크플로에 대한 근거 정합성이 필요하다.
  • C.2 복잡도 축과 주변 분포: HippoCamp은 증거 폭, 모달리티 폭, 추론 깊이를 따라 복잡도를 특성화하며, 이는 점점 더 까다로운 검색, 멀티모달 인식, 다단계 통합에 대응한다.이 축들은 해석 가능한 일차 지표를 제공하지만, 현실적인 파일 시스템에서 결합된 제약을 완전히 포착하지는 못한다.
  • C.3 증거 폭: 전체 질문 중 354개는 하나의 증거 파일만 요구하지만, heavy-tailed 분포에는 2개 파일 질문 59개와 같은 상당수의 다중 파일 질의도 포함된다.이 분포는 벤치마크의 현실적인 파일 시스템 haystack에서 검색 폭을 측정한다.
  • C.4 모달리티 폭: 전체 질의 중 65개는 두 가지 모달리티를 요구하며, 추가로 세 가지 이상을 요구하는 사례도 있어 지배적인 단일 모달리티 질의를 넘어서는 의미 있는 멀티모달 꼬리를 형성한다.이러한 질의에는 이질적 형식의 해석, 증거 위치 특정, 파일 간 의존성 처리, 시간적 통합이 필요하다.
  • C.5 추론 깊이: 추론 깊이는 주석 처리된 6–8단계에서 정점에 이르면서도 깊은 다단계 질의의 긴 꼬리를 유지한다. Bei에서는 57개 질문이 5단계를, 87개가 6단계를 요구한다.단계 수는 구조화된 trajectory에서 추론 깊이를 명시적으로 대리하는 지표를 제공한다.
  • C.6 질문 난이도: 주변 축은 파일 간 의존성과 모달리티 간 grounding 같은 결합 제약을 놓치므로, HippoCamp은 Appendix C.6에서 별도의 스칼라 난이도 점수를 도입한다.이 점수는 개별 폭·깊이 통계를 넘어서는 유효 난이도를 근사한다.
  • C.6.1 정의: 난이도 점수는 정규화된 8개 요인을 가중 기본 항, 상호작용 결합, hard-case 보너스와 결합하고 sigmoid 매핑을 적용해 [0, 100]으로 변환한다.Log–quantile 정규화는 벤치마크 전체 90번째 백분위수와 clipping을 사용해 heavy tail을 제어하며, 상호작용 항은 다중 파일·멀티모달·장기 시계열 과제를 모델링한다.

C.6.2 분포

HippoCamp는 전반적으로 중간에서 높은 난이도에 걸쳐 있으며 어려운 문항이 상당수 존재하는 반면, profiling은 factual retention보다 현저히 어렵다. 프로필 수준의 유사한 분포는 이러한 난이도가 단일한 체제가 아니라 다양한 개인 생태계를 반영함을 보여준다.

  • 분포: Factual retention은 score 47 부근에서 정점을 이루는 반면, profiling은 score 97 부근에서 정점을 이루어 사실 수준의 검색·검증과 사용자 수준의 종합을 구분한다.Factual retention의 정점에는 115개 질문이, profiling의 정점에는 26개 질문이 포함된다.
  • 분포: Profiling은 factual retention보다 훨씬 어려우며, 평균은 89.1 대 53.8이고 ≥70 비율은 93.3% 대 19.0%다.Profiling은 시간과 파일 전반의 약한 신호를 종합해 일관된 사용자 수준의 추론을 도출해야 한다.
  • 분포: Bei, Adam, Victoria 간 전반적 난이도는 분포 형태와 profiling tail이 서로 다름에도 comparable하며, 평균은 각각 55.9, 58.4, 58.6이다.이들의 ≥70 비율은 각각 27.2%, 27.6%, 25.6%다.
  • 분포: 평균 LLM-judge 점수는 전반적으로 낮거나 중간 수준이며, 난이도가 증가할수록 decline as difficulty increases하고 어려운 tail에서 현저한 성능 저하가 나타난다.이 문항 수준의 관계는 5-point difficulty bin을 사용해 9개 방법에 대해 각 프로필과 전체 benchmark에서 보고된다.

C.6.3 난이도와 성능의 상관관계 … D.4.1 답변 품질

HippoCamp는 질문 난이도가 높아질수록 모델 성능이 저하됨을 보이며, 대표적인 multimodal·evidence-grounded 사례를 통해 검색, 검증, cross-modal reasoning의 요구 수준을 드러낸다. 또한 통제된 profile-isolated 평가를 통해 명시적 budget, 실패 처리, 상호보완적 answer-quality metric을 적용한 이질적 agent regime을 비교한다.

  • C.6.3 난이도와 성능의 상관관계: 평균 judge score는 일반적으로 난이도가 높은 bin에서 감소하며, 낮거나 중간 수준의 난이도에서도 여전히 높지 않다. 이는 benchmark의 난이도 정의를 뒷받침하고 전반적인 성능 한계를 드러낸다.분석에서는 5-point difficulty bin과 profile 및 통합 benchmark 전반에 걸친 query별 LLM-as-a-judge score를 0–5 scale로 사용한다.
  • C.7 Profile Example Set; C.8 Representative Example from Profile (a) Bei Weiwei: 대표 사례에서는 Japanese visa-photo 예시처럼 agent가 규범적 제약을 추출하고 personal file을 검색하며 multimodal evidence를 검증해야 한다.visa 예시는 Identity/Id photo_1.jpeg를 기준으로 45 mm×45 mm 크기, 정면 응시, 모자 미착용, 흰색 배경을 확인한다.
  • C.9 Representative Example from Profile (b) Adam Turner; C.10 Representative Example from Profile (c) Victoria Anne Clarke: 다른 예시에서는 supporting precedent 및 earnings-call transcript와 correspondence 또는 filing을 통합해 evidence-grounded legal drafting과 분기 간 corporate attribution을 평가한다.법률 사례는 VYR v VYS ([2022] SGHCF 24) 및 Rule 100(2)(a)에 답변의 근거를 두며, corporate 사례는 Q3 FY2025부터 Q2 FY2026까지 Walmart revenue-growth driver를 추적한다.
  • C.11 Edge Cases and Challenging Examples: 희귀한 edge case는 complexity tail에 위치하며, 단일 문서 검색을 넘어 확장 가능한 검색, candidate pruning, deduplication, cross-file corroboration, 실제 cross-modal grounding을 요구한다.이러한 현실적인 personal-workflow 사례는 retrieval, grounding, verification을 깊이 있게 조합한 테스트로 benchmark의 폭넓은 중간 난이도 범위를 보완한다.
  • D Evaluation Protocol and Robustness; D.1 Shared Evaluation Constraints and Framework; D.1.1 Pipeline Overview; D.1.2 Profile-Isolated Evaluation; D.1.4 Allowed and Disallowed Channels: 평가 harness는 dataset loading, invocation, recording, normalization, metric computation을 표준화하면서도 profile-local information boundary와 각 method의 native interaction paradigm을 보존한다.각 query에는 해당 simulated profile만 노출되며, method는 natural-language query를 받고 external information source가 아닌 허용된 local interface를 사용한다.
  • D.1.3 Execution Interfaces; D.2 Method Regimes and Tooling; D.2.1 Native Retrieval Setting; D.2.2 Vacuum Docker Agent Setting; D.2.3 Docker Tooling and Multimodal Return Path; D.2.4 Official Hosted Agent Setting: HippoCamp는 retrieval-native, vacuum-Docker terminal, official hosted-agent regime을 비교하며, 공통된 local access를 제공하되 tooling은 동일하지 않고 backend별 multimodal serialization도 다르다.hosted configuration은 Docker agent와 완전히 동일한 tool-parallel 구성이 아니지만, 실질적으로 관련성 높은 upper-bound-style reference point를 제공한다.
  • D.3 Budgets, Retries, and Randomness; D.3.1 Resource Budgets; D.3.2 Retries and Failure Handling; D.3.3 Randomness and Determinism: Resource allocation은 전역적으로 일치시키기보다 method에 맞게 설정하며, retry는 malformed, empty, tool-failed, timed-out execution을 처리하지만 성공한 오답도 여전히 failure로 간주한다.가능한 경우 randomness를 통제하지만, interactive search ordering, decoding, tool branching, backend behavior로 인해 균일한 determinism은 보장되지 않는다.

D.4.2 증거 검색 메트릭 · D.4.3 능력별 메트릭

HippoCamp는 답변의 정확성뿐 아니라 agent가 최소 지원 증거를 검색하고 search, perception, reasoning 능력을 근거에 기반해 감사 가능한 방식으로 발휘하는지도 평가한다. 메트릭은 증거 검색 실패와 reasoning 실패를 구분하고, 서로 다른 능력 간 진단적 비교를 지원한다.

  • D.4.2 증거 검색 메트릭: 파일 수준 precision, recall, F1은 각 method가 검색하거나 참조한 파일과 주석 처리된 최소 지원 파일 집합을 비교한다.보고된 메트릭은 evaluation split 전체의 instance-level 값을 평균낸 것이다.
  • D.4.2 증거 검색 메트릭: File Hit Rate는 평균 file-level recall에 해당하며, 검색 과정에서 관련 없는 파일이 포함될 수 있더라도 필요한 지원 증거의 coverage를 측정한다.
  • D.4.2 증거 검색 메트릭: profiling에서 file-level F1은 잠재적으로 관련된 모든 파일이 아니라 주석 처리된 최소 지원 파일을 사용해, 정확한 human reasoning 경로가 아닌 필요한 증거 coverage를 포착한다.이 구분이 중요한 이유는 profiling 증거가 여러 파일과 시점에 분산된 약한 signal로 구성되는 경우가 많기 때문이다.
  • D.4.2 증거 검색 메트릭: 검색 메트릭은 검색하거나 증거를 충분히 coverage하지 못한 실패와 이미 검색된 콘텐츠를 reasoning하지 못한 실패를 진단적으로 구분한다.
  • D.4.3 능력별 메트릭: 능력별 성능은 human-annotated agent_cap label을 search, evidence perception, reasoning으로 묶고, 구성 subcategory의 통계를 집계한다.각 instance는 하나 이상의 capability bin에 기여할 수 있다.
  • D.4.3 능력별 메트릭: Capability-family accuracy는 subcategory accuracy의 비가중 산술평균이며, family-level F1도 마찬가지로 subcategory의 file-level 또는 evidence-level F1을 평균낸다.비가중 평균은 빈도가 높은 subcategory가 서로 다른 capability family를 지배하는 것을 방지한다.
  • D.4.3 능력별 메트릭: Avg Latency는 양의 기록 duration을 가진 유효한 instance별 runtime의 평균이며, 실용적 capability–efficiency trade-off를 나타내는 보조 측정치로 사용된다.Latency는 primary quality metric으로 취급하지 않는다.
  • D.4.3 능력별 메트릭: 종합하면 이 메트릭 suite는 정확한 답변, 적절한 증거 검색, 그리고 근거에 기반한 search, perception, reasoning 능력의 사용을 요구한다.이는 HippoCamp의 benchmark 철학에 부합하는 감사 가능한 평가를 지원한다.

D.4.4 LLM-as-Judge 견고성

HippoCamp은 개방형 증거 기반 답변의 의미적 정확성을 평가하기 위해 통제된 LLM-as-a-judge 프로토콜을 사용한다. 평가는 prompt 제어, 직교 신호, 인간 감사를 결합해 이진 판단과 등급형 점수를 함께 산출한다.

  • D.4.4 LLM-as-Judge 견고성: judge는 정확한 문자열 중복이 아니라 질문, ground-truth answer, model prediction을 바탕으로 의미적 일치 여부를 평가한다.바꿔쓰기와 상충하지 않는 보충 설명은 허용하지만, 핵심 정보의 누락에는 감점을 적용한다.
  • D.4.4 LLM-as-Judge 견고성: 각 판단은 이진 정확성 결정과 0에서 5까지의 정수 품질 점수를 반환해, 엄격한 답변 수준 신호와 등급형 답변 수준 신호를 제공한다.이러한 신호는 답변 수준 평가 전반에 사용된다.
  • D.4.4 LLM-as-Judge 견고성: 이 프로토콜은 입력을 고정된 prompt로 정규화하고, judge에게 숨겨진 annotation, rationale trace, gold evidence set, 명시적인 model identity를 제공하지 않는다.이러한 제한은 무관한 변동을 줄이고 어떤 model이 후보 응답을 생성했는지 직접 드러나는 것을 방지한다.
  • D.4.4 LLM-as-Judge 견고성: judge 출력은 file-level retrieval metric 및 capability analysis와 함께 해석한 뒤, profile, task family, modality, difficulty band 전반에 걸친 층화된 인간 감사로 점검한다.이 감사는 LLM judge를 독립적인 oracle로 간주하기보다 judge 측 변동을 통제하도록 설계된다.

D.5 확장 지표 요약

Table 8은 HippoCamp 방법들 간에 답변 품질, 검색 품질, 실행 시간 효율성이 크게 diverge함을 보여준다. ChatGPT Agent Mode는 최종 답변 지표에서 앞서며, retrieval 중심 방법과 RAG 방법은 evidence coverage, specificity, reasoning, latency 간 trade-off를 드러낸다.

  • D.5 확장 지표 요약: ChatGPT Agent Mode는 프로파일링, 사실 보존, 전체 benchmark 평균에서 정확도와 judge 점수 모두 가장 높았으며, Terminal Agent (GPT-5.2)는 답변 품질에서 두 번째를 차지한다.ChatGPT Agent Mode는 프로파일링/사실 보존/전체에서 48.3/56.8/55.9 정확도와 5.3/5.9/5.8 judge 점수를 기록한다. Terminal Agent는 30.0/45.7/44.1 정확도에 도달한다.
  • D.5 확장 지표 요약: Retrieval의 이점이 judged correctness로 안정적으로 이어지지는 않는다: ReAct 변형들과 Search-R1은 강력한 file-retrieval 지표를 달성하지만 최종 답변에서는 autonomous agent보다 크게 뒤처진다.ReAct (Qwen3-VL-8B-Instruct)는 overall File F1 36.9와 File Precision 36.2에서 앞서며, ReAct (Gemini-2.5-flash)는 overall File Recall 74.5에서 앞선다.
  • D.5 확장 지표 요약: 거의 모든 방법에서 factual retention이 profiling보다 쉬우며, Terminal Agent는 accuracy가 30.0에서 45.7로, ChatGPT Agent Mode는 48.3에서 56.8로 향상된다.이는 factual-retention 질문이 명시적인 user-local fact를 요구하는 경우가 더 많은 반면, profiling은 abstraction을 요구하기 때문이다.
  • D.5 확장 지표 요약: Standard RAG와 Self RAG는 높은 overall File Recall을 제한적인 File Precision 및 modest accuracy와 맞바꾸며, 충분히 정밀한 evidence selection 없이 광범위하게 evidence를 retrieval함을 보여준다.Standard RAG는 69.3 recall, 21.7 precision, 27.5 accuracy를 기록하고, Self RAG는 61.3 recall, 24.5 precision, 23.8 accuracy를 기록한다.
  • D.5 확장 지표 요약: 실행 시간은 capability–efficiency trade-off를 보여준다: Standard RAG가 가장 빠른 반면, ChatGPT Agent Mode는 가장 강력한 answer-level performance를 달성하면서도 훨씬 느리다.ReAct (Gemini-2.5-flash)와 Search-R1은 full autonomous agent와 비교해 상대적으로 효율적이다.
Loading 2604.01221v1…