Source-linked AI summary
PolyMemDB: A Polyglot Database System for AI Memory Management
Yu Wang, Jiaheng Lu
TL;DR
장기 agent memory 시스템은 이기종 데이터를 관리하고 상충하는 사실 전반의 provenance를 추적하는 데 어려움을 겪는다. PolyMemDB는 polyglot storage와 temporal-decay probabilistic inference 및 evidence-chain 유지 관리를 결합한다. 시연에서 provenance에 근거한 답변을 생성하고, 명시적 reliability metric으로 상충하는 memory를 표현했다.
문제
기존 memory 시스템은 이기종 데이터에 단일 저장 패러다임을 사용하며, 상충하는 장기 사실을 유지하기 위한 세밀한 provenance 메커니즘이 부족하다.
방법
PolyMemDB는 temporal decay, semiring inference, provenance-aware graph update를 사용하는 동적 probabilistic memory graph와 이기종 database를 결합한다.
결과
PolyMemDB는 provenance에 근거한 답변을 생성하고 명시적 conflict 및 reliability metric을 계산했으며, 10개월간의 factual-conflict 시나리오에서 R ≈0.22를 포함했다.
시사점 및 한계
시연 결과, PolyMemDB는 evidence chain을 드러내고 이진 답변이나 state overwriting 없이 모순되는 장기 memory를 표현할 수 있다.
Abstract
from arXiv · showhide
With the widespread adoption of personal intelligent agents, users generate massive, heterogeneous data during long-term interactions. Leveraging this data as long-term memory helps reduce token overhead and deliver personalized experiences. However, existing memory systems face two primary limitations: they rely on single-storage paradigms that fragment multi-dimensional data, and they lack fine-grained data provenance to resolve long-term factual conflicts, thereby worsening LLM hallucinations. In this demonstration, we introduce PolyMemDB, a novel system tailored for managing agent memory. PolyMemDB has a polyglot storage architecture designed to track and manage various memory types, including graph, vector, probability and spatial-temporal data. To ensure factual consistency and reduce hallucinations, it features a probabilistic inference engine that integrates temporal decay with semiring aggregation, resolving long-term factual conflicts, providing detailed data provenance, and enabling users to trace reasoning chains transparently.
I. 서론 · A. 동기와 기여
장기 agent memory는 과거 맥락을 재사용해 성능과 사용자 경험을 향상시키지만, 이기종 데이터와 해결되지 않은 사실 충돌은 기존 단일 저장소 시스템에 문제를 제기한다. PolyMemDB는 polyglot storage와 temporal decay를 적용한 provenance-aware probabilistic graph 유지 관리를 통해 이러한 문제를 해결한다.
- A. 동기와 기여: 과거 맥락을 지속적으로 구조화하면 agent memory는 의미적으로 유사한 응답을 재사용해 추론 지연 시간과 token 비용을 줄이는 동시에 사용자 경험을 향상할 수 있다.Memory는 시스템 성능과 사용자 경험에 영향을 미치는 핵심 요인으로 제시된다.
- A. 동기와 기여: PolyMemDB는 기존 단일 저장소 패러다임이 entity network, 논리적 관계, spatio-temporal 제약 전반에서 연계하기 어려워하는 이기종 장기 agent memory를 대상으로 한다.장기 상호작용은 방대하고 이기종인 맥락을 생성하며, 다양한 속성을 통합 저장소에서 관리하기 어렵다.
- A. 동기와 기여: 해결되지 않은 provenance와 temporal-probability 통합은 사실 충돌을 일으키고 LLM hallucination을 완화해야 할 필요성을 높인다.서론은 장기 memory 시스템에서 향상된 data provenance와 충돌 처리가 시급한 요구사항임을 제시한다.
- A. 동기와 기여: PolyMemDB는 multi-modal object, graph, spatio-temporal, probabilistic database를 결합해 기존 text-only 및 vector 기반 검색의 한계를 극복한다.Polyglot storage 계층은 이기종 구성요소를 통합해 다차원 memory 관리를 지원한다.
- A. 동기와 기여: 동적 graph 업데이트는 data provenance와 temporal decay를 결합해 event를 통합하고 multi-source fact 간 충돌을 해결한다.이 메커니즘은 provenance를 보존하면서 시간적 변화를 반영하는 graph 업데이트를 지원한다.
- A. 동기와 기여: Semiring inference를 evidence chain으로 확장하면 해석 가능성을 보존하고 LLM hallucination을 완화하면서 충돌 해결과 entity alignment를 수행할 수 있다.Probabilistic memory graph 관리는 장기 상호작용에 대한 inference, provenance, 투명한 reasoning을 연결한다.
B. 기존 시스템과의 비교
PolyMemDB는 시간적 구성, graph 기반 memory, spatio-temporal retrieval 또는 conflict resolution에 특화된 시스템들과 비교된다. PolyMemDB는 memory conflict 처리를 위해 polyglot spatio-temporal filtering과 probabilistic inference 및 temporal decay를 결합한다.
- B. 기존 시스템과의 비교: MemForest 는 시간 관련 memory를 tree로 구성하고, 전체 global memory state를 다시 쓰는 대신 영향을 받은 path만 업데이트한다.
- B. 기존 시스템과의 비교: PolyMemDB는 복잡한 spatio-temporal constraint를 MobilityDB로 전달해 순수한 text relationship을 넘어 동적 time window와 geographic polygon을 함께 filtering한다.
- B. 기존 시스템과의 비교: MRAgent 는 active reconstruction을 적용한 Cue-Tag-Content graph를 사용하는 반면, PolyMemDB는 memory-triplet edge에 과거 observation sequence를 저장하고 temporal decay를 적용한 probabilistic inference를 수행함으로써 semiring inference를 확장한다.
II. 시스템 개요
PolyMemDB는 에이전트 메모리 관리를 메모리 수집 및 인덱싱, polyglot storage, 그리고 cascaded question answering을 포함한 추론의 세 단계로 구성한다. multimodal fact processing, feature-based storage routing, tiered retrieval을 결합해 후속 추론을 지원한다.
- 시스템 workflow: PolyMemDB의 workflow는 Memory Ingestion & Indexing, Polyglot Storage Layer, Inference & Cascaded QA로 구성된다.
- Memory Ingestion & Indexing: 메모리 수집은 LLM과 VLM을 사용해 입력을 alignment, resolution, extraction, normalization 및 confidence estimation을 위한 atomic facts로 분해한다.
- Polyglot Storage Layer: storage layer는 graph, probabilistic, spatio-temporal, vector 및 raw-context store 전반에 걸쳐 multi-dimensional features를 기준으로 정규화된 fact를 라우팅한다.Neo4j는 relationship graph와 장기 trajectory를 지원하고, ProvSQL은 event confidence를 저장하며, MobilityDB는 spatio-temporal constraint를 관리한다.
- Inference & Cascaded QA: 추론은 low-latency Graph QA로 시작하는 top-down three-tier federated retrieval mechanism을 사용하며, probabilistic 및 spatio-temporal filtering을 결합해 논리적 추론을 수행한다.첫 번째 tier에서 답을 얻지 못하면 시스템은 fallback mechanism을 실행해 다음 tier로 진입한다.
III. 확률적 메모리 그래프 유지관리
PolyMemDB는 temporal decay와 probabilistic inference를 결합한 동적 확률적 그래프로 agent memory를 유지관리하여 이벤트 통합과 충돌 해결을 수행한다. 또한 과거의 증거 사슬을 보존하고, 상충하거나 누락된 증거를 해석 가능한 신뢰도 점수로 집계하여 사실 일관성을 지원한다.
- 메모리 그래프 형식화와 동적 업데이트: PolyMemDB는 temporal decay와 probabilistic inference를 사용해 동적 메모리 그래프를 업데이트하고, 장기 agent memory에서 이벤트 통합과 충돌을 처리한다.
- 메모리 그래프 형식화와 동적 업데이트: 메모리 그래프 G = (V, E, α)는 이질적 엔터티, 방향성이 있는 labeled relationship, 그리고 attribute를 나타내며, 각 fact에는 polarity, LLM-assigned confidence, observation time이 기록된다.
- 데이터 provenance와 증거 사슬 구성: PolyMemDB는 그래프 상태를 덮어쓰는 대신 각 relationship의 시간 순 historical observation sequence를 저장하여 observation 전반의 evidence provenance를 보존한다.
- Temporal Decay 기반 probabilistic inference: PolyMemDB는 ProvSQL 와 같은 probabilistic database의 semiring framework를 사용해 각 fact에 감쇠 가중치 w_i = c_i·λ^(T−i)를 할당하며, λ는 temporal discounting을 제어한다.
- Temporal Decay 기반 probabilistic inference: PolyMemDB는 positive drive, negative inhibition, conflict, ignorance 상태를 도출한 뒤 이를 net evidence reliability R ∈ [−1, 1]로 결합하여 support, refutation, dispute, insufficient evidence를 반영한다.방향성 항 S_action − S_inaction은 support된 fact와 refutation된 fact를 구분하고, multiplier 1−S_conflict−S_ignorance는 dispute 또는 missing evidence를 벌점으로 반영한다. R ≈ 0일 때는 최대 intermediate state가 원인을 나타낸다.
IV. 시연
이 시연은 장기 세션 provenance 기반 질의응답, 시공간 itinerary 및 memory evolution, factual conflict 해결을 위한 probabilistic inference를 통해 PolyMemDB를 선보인다. 인터페이스는 reasoning chain과 evidence를 노출해, 에이전트가 binary hallucination 없이 복잡한 historical question에 답할 수 있도록 한다.
- 시스템 시연: 이 시연은 FastAPI와 Pydantic-AI backend를 interactive visual dashboard와 결합해 장기간에 걸친 정보를 추출하고 추론한다.참석자는 conference demonstration interface를 통해 시스템과 상호작용한다.
- 시나리오 1: Fine-Grained Provenance를 적용한 Long-Session QA: PolyMemDB는 20% answer를 검색하고 reasoning chain을 파싱하며 supporting triplets와 observational facts를 나열하는 long-session QA workflow를 제공한다.이 시나리오는 48-session LongMemEval conversation을 사용해 장거리 의존성에 대한 fine-grained provenance를 시연한다.
- 시나리오 2: Spatio-Temporal Memory Evolution: 두 번째 시나리오는 긴 historical dialogue에서 graduation-trip itinerary를 추출하고 요약하는 동시에 복잡한 spatio-temporal constraint를 처리한다.itinerary는 Fig. 3a에 제시된 spatio-temporal interface를 통해 제시되며, Fig. 3의 historical mapping 및 dynamic time-window filtering과 함께 제공된다.
- 시나리오 3: Factual Conflict를 위한 Dynamic Probabilistic Inference: temporal decay λ = 0.8 및 semiring aggregation을 사용해 PolyMemDB는 Alice의 running history에 47.2% positive state와 52.3% conflict state를 할당한다.이 engine은 최근 marathon evidence와 knee pain 및 heat exhaustion을 포함한 historical setback으로부터 4D cognitive distribution을 계산한다.
- 시나리오 3: Factual Conflict를 위한 Dynamic Probabilistic Inference: provenance-grounded response는 Alice가 running에 매우 헌신적이라고 설명하면서도 physical 및 motivational hurdle을 인정하며, 순진한 binary answer를 생성하지 않는다.이는 모순되는 memory를 brute-force로 덮어쓰지 않고 conflict-aware guidance를 제공함을 보여준다.