PaperlayerView exact revision on arXiv

Source-linked AI summary

MemSyco-Bench: Benchmarking Sycophancy in Agent Memory

Zhishang Xiang, Zerui Chen, Yunbo Tang, Zhimin Wei, Ruqin Ning, Yujie Lin, Qinggang Zhang, Jinsong Su

arXiv:2607.01071v2cs.IRcs.AI

TL;DR

기존 memory benchmark는 주로 저장, 검색, 업데이트를 평가하며, 검색된 memory가 이후 reasoning과 decision-making에 미치는 영향은 충분히 탐구하지 않았다. MemSyco-Bench는 다섯 가지 task를 통해 agent가 검색된 memory를 억제, 제한, 업데이트하거나 적절히 사용하는지 평가하며, 현재 memory system이 sycophancy를 높이고 personalization과 사실적 신뢰성 사이의 균형을 맞추는 데 어려움을 겪는다는 점을 보여준다.

  • 문제

    기존 memory benchmark는 검색된 memory가 언제 이후 reasoning과 decision에 영향을 미쳐야 하는지보다 memory 저장, 검색, 업데이트를 주로 평가한다.

  • 방법

    MemSyco-Bench는 memory 억제, 범위 제어, 충돌 해결, 업데이트, personalization을 포괄하는 다섯 가지 task를 통해 검색 이후 memory 사용을 평가한다.

  • 결과

    현재 memory system은 sycophancy를 높이고, 검색 이후 decision-making에 어려움을 겪으며, personalization과 사실적 신뢰성 사이의 균형을 맞추지 못하는 경우가 많다.

  • 시사점 및 한계

    MemSyco-Bench는 memory 평가의 초점을 검색 성공 여부에서 벗어나, agent가 reasoning과 decision-making 중 memory 사용을 적절히 조정하는지 평가하는 방향으로 전환한다.

Abstract

from arXiv · show

Memory has emerged as a cornerstone of modern LLM-based agents, supporting their evolution from single-turn assistants to long-term collaborators. However, memory is not always beneficial: retrieved memories often induce a critical issue of sycophancy, causing agents to over-align with the user at the cost of factual accuracy or objective reasoning. Despite this emerging risk, existing memory benchmarks primarily evaluate whether memories are correctly stored, retrieved, or updated, while overlooking how retrieved memories influence downstream reasoning and decision-making. To bridge this gap, we propose MemSyco-Bench, a comprehensive benchmark for evaluating memory-induced sycophancy in agent systems. MemSyco-Bench measures when memory should influence a decision and how valid memory should be used. Specifically, it covers five tasks that assess whether agents can reject memory as factual evidence, respect its applicable scope, resolve conflicts between memory and objective evidence, track memory updates, and use valid memory for personalization. All related resources are collected for the community at https://github.com/XMUDeepLIT/MemSyco-Bench.

1 서론

MemSyco-Bench는 현재 증거, 과업 범위 또는 업데이트된 정보가 의사결정을 좌우해야 하는 상황에서 검색된 과거 사용자 정보가 부적절하게 사용되는 현상을 memory-induced sycophancy로 규정한다. 검색 이후 memory 사용을 억제, 범위 통제, 충돌 해결, 업데이트, personalization의 측면에서 평가한다.

  • Memory-induced sycophancy는 객관적 증거, 범위 통제 또는 업데이트된 정보가 요구되는데도 agent가 과거의 사용자 신념이나 선호를 과도하게 따를 때 발생한다.
  • 기존 memory benchmark는 주로 관련 memory의 저장, 검색 및 사용을 평가하며, 검색 이후 추론과 memory가 여전히 유익한지에 대한 평가는 충분히 이루어지지 않았다.
  • MemSyco-Bench는 agent가 검색된 memory를 단순히 검색하는 데 그치지 않고 적절히 억제, 제한, 업데이트하거나 personalization에 사용하는지를 평가한다.
  • 이 benchmark의 시나리오는 memory를 사실적 증거로 거부하기, 적용 가능한 범위를 준수하기, 객관적 증거와의 충돌을 해결하기, 업데이트를 추적하기, 유효한 memory를 personalization에 사용하기를 검증한다.
  • 현재 memory system은 실험 전반에서 sycophancy를 증가시키고, 검색 이후 의사결정에 어려움을 겪으며, personalization과 사실적 신뢰성의 균형을 맞추지 못하는 경우가 많다.

2 예비 연구

예비 연구는 잘못된 memory snippet이 factual sycophancy를 유발하는 반면, 기존 memory benchmark는 sycophancy와 같은 생성 시점의 실패보다 retrieval 성공 여부를 주로 측정한다는 것을 보여준다.

  • Memory-induced sycophancy: 잘못된 memory snippet을 추가하자 DeepSeek-V4-Flash의 accuracy는 56.1%에서 40.2%로 하락했고 sycophancy는 24.3%에서 52.3%로 증가했다.세 모델 모두에서 memory cue는 객관적 accuracy를 낮추고 sycophancy 비율을 높였다.
  • Memory-induced sycophancy: 잘못되었지만 익숙한 memory cue는 모델을 오도하는 사용자 제공 단서 쪽으로 체계적으로 이동시켜, 단순히 동의하는 표현을 생성하는 데 그치지 않고 factual answer를 바꾼다.Pair setup은 중립적인 객관적 질문과, 오답을 가리키는 memory가 앞에 제시된 버전을 비교한다.
  • 기존 memory benchmark의 한계: LongMemEval, LoCoMo, STALE, PersonaMem 전반에서 R-/A- 사례는 전체 sample의 47.4%–66.1%를 차지하는 반면, R+/A-는 5.8%–13.7%에 불과하다.이 범주는 retrieval 실패 후 오답이 나온 경우와, retrieval에는 성공했지만 이후 오답이 나온 경우를 구분한다.
  • 기존 memory benchmark의 한계: 따라서 기존 memory benchmark는 retrieval 성공을 강조하고 generation-time failure를 과소평가한다. Retrieved memory는 역사적 사실이거나, 오래되었거나, 현재의 evidence와 모순될 수 있기 때문이다.Retrieval 성공만으로는 실제적인 personalization scenario에서 장기 memory를 적절히 사용하는 능력을 평가하기에 충분하지 않다.

3 MEMSYCO-BENCH

MemSyco-Bench는 에이전트가 검색된 memory를 sycophancy를 유발하도록 내버려두지 않고 적절히 억제하고, 적용 범위를 제한하고, 업데이트하고, 충돌을 해결하거나 활용하는지를 평가한다. 이를 다섯 가지 task category, 자연스러운 multi-turn instance, 그리고 accuracy 및 memory 관련 metric으로 구체화한다.

  • 3.1 Memory-Induced Sycophancy: MemSyco-Bench는 현재 의사결정에 적절하지 않은 경우에도 과거 사용자 memory가 답변에 영향을 미치도록 허용하는 것을 memory-induced sycophancy로 정의하며, 타당한 personalization은 보존한다.memory가 사실적 증거가 아니거나, 원래 적용 범위를 벗어나거나, 현재 증거와 충돌하거나, 이후 업데이트된 memory로 대체된 경우 이러한 실패가 발생할 수 있다.
  • 3.2 Task Taxonomy: 이 benchmark는 다섯 가지 의사결정 과정을 평가한다: 객관적 사실 판단, 맥락적 적용 범위 통제, memory-증거 충돌, 타당한 memory 선택, 개인화된 memory 사용.앞의 세 가지는 memory를 언제 억제하거나 증거보다 하위에 두어야 하는지를 평가하고, 뒤의 두 가지는 현재 타당한 memory를 선택하고 이를 personalization에 사용하는지를 평가한다.
  • 3.3 Benchmark Construction: 각 instance는 목표, answer space, 필요한 정보, 그리고 검색된 memory의 적절한 역할을 명시하는 task별 memory-decision schema로 구성된다.이후 pipeline은 관련된 과거 fragment를 생성하고, 이를 simulated multi-turn dialogue에 삽입하며, semantic relatedness, decision boundary, failure direction을 검증한다.
  • 3.4 Evaluation: 이 benchmark는 모든 task에 대한 generation accuracy와 부적절한 memory 추종 또는 타당하고 업데이트된 memory의 적절한 사용을 포착하는 task별 memory metric을 보고한다.sycophancy rate는 objective fact judgment, contextual scope control, memory-evidence conflict에 적용되며, memory-use metric은 personalized memory use와 valid memory selection에 적용된다.

4 실험

실험 결과, 기존 memory system은 retrieved memory를 오용하기 때문에 sycophancy를 빈번하게 유발하지만, memory는 personalization을 향상시킬 수 있다. 경량 guidance는 선택적으로 도움이 되지만, confirmation은 오해를 유발하거나 오래된 memory를 강화하는 경우가 많다.

  • Q1: Generation Performance: 기존 memory system은 objective reasoning을 자주 저하시킨다. Qwen3-8B OBJECTIVE FACT JUDGMENT Acc는 49.12에서 26.00-36.00으로 하락하고, DeepSeek-V4-Flash는 74.33에서 56.33-63.37로 하락한다.CONTEXTUAL SCOPE CONTROL에서 Mem0와 LightMem은 Qwen3-8B Acc를 70.00에서 13.34/13.67로, DeepSeek-V4-Flash Acc를 79.00에서 28.00/33.33으로 낮춘다.
  • Q1: Generation Performance: evidence가 우선되어야 할 때 memory는 sycophancy를 증가시킨다. Qwen3-8B OBJECTIVE FACT JUDGMENT는 49.12 Acc와 27.43 Syco. Rate에서 26.00-36.00 Acc와 44.47-64.67 Syco. Rate로 변한다.MEMORY-EVIDENCE CONFLICT에서 Qwen3-8B의 Full Dialog는 0.67 Acc와 99.33 Syco. Rate에 그쳐, memory에 완전히 접근할 수 있어도 올바른 arbitration이 보장되지 않음을 보여준다.
  • Q1: Generation Performance: memory는 personalization을 지원하지만 update에는 어려움을 겪는다. A-Mem은 Qwen3-8B PERSONALIZED MEMORY USE Acc를 45.67에서 55.33으로, correct memory use를 63.34에서 71.00으로 높인다.VALID MEMORY SELECTION에서 outdated memory use는 Full Dialog의 56.16에서 Qwen3-8B의 50.57-69.91로, DeepSeek-V4-Flash에서는 Mem0/LightMem 사용 시 16.34에서 41.42/48.57로 증가한다.
  • Q2: Error Attribution: 오류의 61–62%는 relevant memory retrieval 이후에 발생하며, 이는 retrieval만이 아니라 post-retrieval use가 Mem0, A-Mem, LightMem 전반에서 많은 실패를 유발함을 나타낸다.A-Mem의 retrieved-but-wrong case는 각각 OBJECTIVE FACT JUDGMENT, MEMORY-EVIDENCE CONFLICT, VALID MEMORY SELECTION에서 64%, 74%, 75%에 이른다.
  • Q3: Behavioral Guidance: memory caution은 MEMORY-EVIDENCE CONFLICT를 Full Dialog에서 31.6%, A-Mem에서 9.8% 개선하지만, PERSONALIZED MEMORY USE는 13.0-21.0% 낮춘다.반대로 confirmation은 전반적으로 성능을 저하시킨다. 평균 하락폭은 Full Dialog, Mem0, A-Mem, LightMem에서 각각 26.9%, 18.6%, 27.7%, 9.9%다.
  • Q4: Scenario Diagnostics: 시나리오 진단 결과, conflicting memory가 경쟁할 때 system이 실패하는 것으로 나타난다. A-Mem은 old와 updated memory를 모두 retrieval한 경우가 98.57%임에도 24.06 Acc에 그친다.LightMem은 valid case의 70.57%에서 obsolete information만 retrieval하며, Mem0는 updated memory만 있을 때의 53.06 Acc에서 old와 updated memory가 공존할 때 26.38로 하락한다.

5 결론 · 부록

MemSyco-Bench는 검색된 memory 또는 belief가 현재 의사결정에 부적절한 영향을 미치는 현상을 memory-induced sycophancy로 규정한다. memory-augmented agent가 memory를 무시하거나, 제약하거나, 업데이트하거나, personalization에 활용할 수 있는지를 평가한다.

  • 5 결론: MemSyco-Bench는 memory-augmented LLM agent에서 memory-induced sycophancy를 평가한다.이 benchmark는 장기 memory가 personalized하고 지속적인 지원을 가능하게 하는 동시에, 과거 user memory에 대한 과도한 의존을 유발할 위험을 다룬다.
  • 5 결론: 이 benchmark는 검색된 memory 또는 belief가 현재 의사결정에 부적절한 영향을 미치는지를 연구한다.핵심은 memory가 기본적으로 지배하도록 허용하는 것이 아니라, 과거 memory가 agent의 현재 추론에 영향을 미쳐야 하는 시점을 결정하는 데 있다.
  • 5 결론: MemSyco-Bench는 agent가 memory를 무시하거나, 제약하거나, 업데이트하거나, personalization에 활용할 수 있는지를 테스트한다.이러한 능력은 적절한 memory 사용에 대한 benchmark의 의도된 범위를 정의한다.

C 벤치마크 예시 … A.2 왜 memory-induced sycophancy를 연구해야 하는가?

MemSyco-Bench는 memory system을 비교할 수 있도록 재현 가능한 code, evaluation resource, analysis tool, leaderboard를 제공한다. 검색된 memory가 장기적 sycophancy를 어떻게 유발할 수 있는지, 그리고 agent가 memory를 언제 지침으로 활용하고, 맥락화하고, 개인화하거나 무시해야 하는지 판단할 수 있는지를 연구한다.

  • A.1 code와 leaderboard는 어디에서 찾을 수 있는가?: 이 프로젝트는 transparency와 reproducibility를 촉진하기 위해 GitHub를 통해 source code를 공개한다.repository에는 연구를 재현하고 확장하는 데 필요한 자료가 포함되어 있다.
  • A.1 code와 leaderboard는 어디에서 찾을 수 있는가?: 공개된 repository에는 evaluation script, prompt, analysis tool이 포함되어 있으며, 향후 개선 사항, memory system, diagnostic analysis를 반영해 유지·관리된다.이 resource는 benchmark의 재현과 확장을 지원한다.
  • A.1 code와 leaderboard는 어디에서 찾을 수 있는가?: 공개 leaderboard를 통해 연구자들은 동일한 evaluation protocol 아래에서 서로 다른 memory system을 비교할 수 있다.관련 resource도 leaderboard 기반 비교를 지원하도록 업데이트되었다.
  • A.2 왜 memory-induced sycophancy를 연구해야 하는가?: Memory는 이전의 belief나 preference를 이후 맥락에서 다시 불러옴으로써 sycophancy를 국소적 response 문제가 아니라 장기적 신뢰성 문제로 바꿀 수 있다.검색된 memory가 이후 답변에 영향을 미치기 위해 agent가 동일한 belief를 다시 받을 필요는 없다.
  • A.2 왜 memory-induced sycophancy를 연구해야 하는가?: Personalization을 가능하게 하는 동일한 memory mechanism이 현재 task와 무관하거나, 오래되었거나, 부적절한 정보를 보존할 수 있다.예로는 factual question과 무관한 preference, 오래된 이전 선택, team 또는 public-facing task에 적용되지 않는 habit이 있다.
  • A.2 왜 memory-induced sycophancy를 연구해야 하는가?: 따라서 이 benchmark는 agent가 검색된 memory를 evidence, background, personalization, outdated information으로 활용해야 하는지 또는 무시해야 하는지 판단할 수 있는지를 평가한다.이러한 판단 능력은 유용한 장기 memory를 유지하면서 factual accuracy와 독립적 판단을 보존하는 데 핵심적이다.

A.3 왜 MemSyco-Bench는 다섯 가지 과제 범주로 구성되는가? · A.4 대화를 생성하기 전에 과제 스키마를 정의하는 이유는 무엇인가? · A.5 MemSyco-Bench는 기존 장기 메모리 벤치마크와 어떻게 다른가?

MemSyco-Bench는 검색된 선호 정보가 의사결정 권한을 가질 자격이 있는지 평가하며, 먼저 스키마를 정의해 메모리와 의사결정의 관계를 통제하고, 기존 메모리 저장·회상과 구별되는 검색 후 활용을 평가한다.

  • A.3 왜 MemSyco-Bench는 다섯 가지 과제 범주로 구성되는가?: 범주는 선호 메모리 사용의 핵심 경계로 객관적 사실 판단, 맥락적 범위 통제, 메모리와 증거의 충돌을 다룬다.각 검사는 객관적 사실에 대해 선호 메모리의 영향을 억제하고, 유효한 선호를 적절한 맥락으로 제한하며, 메모리가 충돌할 때 현재의 사실적 증거를 우선하는지를 다룬다.
  • A.3 왜 MemSyco-Bench는 다섯 가지 과제 범주로 구성되는가?: 다섯 가지 과제 범주는 에이전트가 검색된 선호를 항상 사용하거나 무시하는 대신 메모리에 올바른 의사결정 권한을 부여하는지를 검증한다.이는 서로 다른 과제 조건에서 메모리가 답변에 영향을 주어야 하는지, 영향을 준다면 어떻게 주어야 하는지를 포괄한다.
  • A.4 대화를 생성하기 전에 과제 스키마를 정의하는 이유는 무엇인가?: 과제 스키마는 대화를 생성하기 전에 현재 목표, 필요한 정보, 후보 답변, 기억된 선호의 정당한 역할을 지정한다.이를 통해 메모리와 의사결정의 관계를 정의하고, 적절한 개인화와 과도한 선호 정렬을 구분하는 기준을 마련한다.
  • A.4 대화를 생성하기 전에 과제 스키마를 정의하는 이유는 무엇인가?: 스키마 우선 생성은 다양한 주제와 자연스러운 다중 턴 이력을 허용하면서도 안정적인 행동 테스트를 유지한다.이를 통해 메모리, 최종 질문, 목표 답변, 오도하는 선호 정렬 답변이 의도된 보정 관계를 구현하도록 한다.
  • A.5 MemSyco-Bench는 기존 장기 메모리 벤치마크와 어떻게 다른가?: 많은 장기 메모리 벤치마크와 달리 MemSyco-Bench는 에이전트가 메모리를 검색한 후 어떻게 행동해야 하는지를 평가하며, 단순히 메모리를 저장·검색·업데이트·회상하는지만 평가하지 않는다.기존 벤치마크는 검색된 메모리가 질의와 관련되면 유용하다고 보는 경우가 많다.
  • A.5 MemSyco-Bench는 기존 장기 메모리 벤치마크와 어떻게 다른가?: MemSyco-Bench는 오래된 메모리, 맥락에 한정된 메모리, 사용자 또는 청중에 특화된 메모리, 반박된 메모리를 검색한 후 처리하는 방식을 검증한다.평가 항목에는 무관한 영향 억제, 범위 경계 준수, 증거 충돌 해결, 업데이트 추적, 유효한 메모리를 활용한 개인화가 포함된다.

B 벤치마크 구성 … C 벤치마크 예시

MemSyco-Bench는 구조화된 의사결정 스키마에서 현실적인 multi-turn memory-use 인스턴스를 구성하고, 의도된 실패 방향을 검증하며, 대표 예시를 통해 다섯 가지 task category를 보여준다. 이 benchmark는 memory가 답변에 영향을 미쳐야 하는 시점, memory의 적용 범위와 업데이트 방식, personalization을 지원해야 하는 시점을 통제한다.

  • B 벤치마크 구성: 이 benchmark pipeline은 각 memory-use category를 현실적인 과거 memory, 명시적 의사결정 경계, 식별 가능한 memory 과의존 실패를 포함하는 자연스러운 장기 대화로 변환한다.구성 과정은 schema design, question instantiation, dialogue simulation, multi-stage validation 순으로 진행된다.
  • B.1 MEMORY-DECISION SCHEMA 구성: Memory-decision schema는 구체적인 user, memory, question을 instantiation하기 전에 task goal, 필요한 정보, candidate answer, 적절한 memory 역할을 지정한다.이 계층은 memory가 의사결정에 영향을 미쳐야 하는지, memory의 scope와 evidence conflict, valid-memory selection, personalization을 포괄한다.
  • B.2 DECISION SCHEMA를 활용한 QUESTION INSTANTIATION: 과거 memory fragment는 question보다 먼저 생성되고 schema와 결합되므로, 각 fragment는 question과 관련되면서도 허용된 역할은 category-specific하게 유지된다.생성된 target response는 의사결정 경계를 따르는 반면, failure direction은 검색된 memory에 대한 체계적 과의존을 포착한다.
  • B.3 MULTI-TURN DIALOGUE SIMULATION: Simulated preceding dialogue는 별도의 user simulator와 agent simulator를 사용해 preference, fact, update, scope change를 여러 turn에 분산한 뒤, 정보를 드러내지 않는 최종 question을 추가한다.서로 다른 turn 배치는 model에 memory를 무시하거나 evidence를 우선하라고 명시적으로 지시하지 않고도 objective judgment, scope control, memory conflict, valid-memory selection을 부호화한다.
  • C 벤치마크 예시: Figure 7은 정답 response가 의도된 memory-use 경계를 따르는 반면 failure response는 task가 허용하는 범위를 넘어 기억된 정보에 의존하는 five-category examples를 제시한다.Red cue는 검색된 memory를, green cue는 objective evidence 또는 현재 유효한 preference 정보를 표시한다.
  • B.4 MULTI-STAGE VALIDATION: Multi-stage validation은 schema consistency, target response, 오해를 유도하는 memory direction, dialogue quality, temporal and causal order, ambiguity·contradiction·repetition·answer leakage의 부재를 점검한다.자연스러운 memory cue와 명확한 의사결정 경계를 포함해 의도된 memory-use behavior를 실제로 검증하는 인스턴스만 유지한다.
  • C 벤치마크 예시: 예시는 objective fact에 대해 memory를 거부하기, scope에 따라 memory를 제한하기, 업데이트된 preference를 선택하기, valid memory를 personalization에 사용하기를 다룬다.예를 들어 objective fact에서는 Canberra가 Sydney와 연관된 memory를 대체하고, 더 최근의 study goal은 music theory에 대한 오래된 dislike를 대체한다.

D 평가 지표 · E 추가 실험

MemSyco-Bench는 답변의 정확성과 에이전트가 각 task의 의도된 역할에 따라 검색된 memory를 사용하는지를 함께 평가한다. 이 지표는 memory-induced sycophancy를 일반적인 오류와 구분하고, 유효하거나 업데이트된 memory의 적절한 사용을 평가한다.

  • D 평가 지표: Task-specific rubrics는 검색된 memory가 응답에 적절히 영향을 미치는지를 정확성과 함께 평가한다.이 rubric은 기대되는 행동, memory의 영향, memory-induced error를 나타내는 응답을 명시한다.
  • D 평가 지표: Generation Accuracy는 factual, recommendation, advice, subjective-choice task 전반에서 정답을 측정한다.Objective task는 factual consistency를 요구하는 반면, 그 외 task는 해당 instance에서 의도한 memory-use boundary를 준수해야 한다. 값이 높을수록 task completion이 우수함을 의미한다.
  • D 평가 지표: Sycophancy Rate는 memory가 답변을 이끌어서는 안 될 때 응답이 오해를 유발하는 memory를 따르는 빈도를 측정한다.이는 OBJECTIVE FACT JUDGMENT, CONTEXTUAL SCOPE CONTROL, MEMORY-EVIDENCE CONFLICT에 적용되며, 값이 높을수록 memory-induced sycophancy가 강함을 의미한다.
  • D 평가 지표: Memory-use metrics는 memory가 답변을 뒷받침해야 할 때 에이전트가 유효한 memory를 올바르게 선택하고 사용하는지를 평가한다.이는 PERSONALIZED MEMORY USE와 VALID MEMORY SELECTION에 사용된다.
  • D 평가 지표: Figure 8은 관련 evidence를 검색하지 못한 경우와 검색했음에도 잘못 답한 경우로 오류를 귀속한다.이 figure는 MemSyco-Bench에서 DeepSeek-V4-Flash의 error attribution을 보고한다.
  • D 평가 지표: CORRECT MEMORY USE는 personalization이 필요할 때 응답이 유효한 memory를 반영하는지를 측정한다.이는 주로 PERSONALIZED MEMORY USE를 평가하며, 값이 높을수록 valid-memory condition에서 personalization이 강함을 의미한다.
  • D 평가 지표: OUTDATED MEMORY USE는 memory가 업데이트되거나, 반전되거나, 대체된 후에도 에이전트가 계속 memory를 따르는지를 측정한다.이는 VALID MEMORY SELECTION을 평가하며, 값이 높을수록 stale-memory contamination이 강함을 의미한다.

E.1 다양한 Backbone Model에 대한 추가 실험 · E.2 사례 연구 (Q5)

Qwen3-8B, DeepSeek-V4-Flash, GPT-4o mini에 걸친 실험은 memory framework가 정확도를 일관되게 향상시키지 못하며 memory-induced sycophancy를 증폭할 수 있음을 보여준다. 사례 연구에 따르면 이러한 실패는 대개 retrieval 이후 발생하며, agent가 memory를 잘못 적용하거나 과도하게 일반화하거나 현재 evidence와 대조해 memory의 우선순위를 정하지 못할 때 나타난다.

  • E.1 다양한 Backbone Model에 대한 추가 실험: Backbone 간 결과는 기존 memory system이 sycophancy를 안정적으로 해결하지 못하며 historical memory를 Full Dialog보다 더 두드러지게 만들 수 있음을 보여준다.따라서 정확도 향상이 memory를 더 안전하게 사용한다는 의미를 일관되게 나타내지는 않는다.
  • E.1 다양한 Backbone Model에 대한 추가 실험: Memory system은 memory 관련 실패를 증가시킬 수 있다. A-Mem은 Qwen3-8B의 sycophancy를 24.67에서 35.03으로, outdated-memory use를 56.16에서 64.85로 높이며, Mem0은 GPT-4o mini의 objective-fact sycophancy를 37.00에서 47.33으로 높인다.또한 Mem0은 CONTEXTUAL SCOPE CONTROL에서 GPT-4o mini의 sycophancy를 14.33에서 15.33으로 증가시킨다.
  • E.2 사례 연구 (Q5): 사례 연구는 agent가 유효한 constraint를 현재 task에 필요한 구체적 action으로 전환하지 못할 때, 이를 기억하는 것만으로는 충분하지 않음을 보여준다.예시에서 요리를 피한다는 조건은 집에서 편안한 저녁을 보내기 위해 단골 식당의 takeout을 선택하는 대신 여러 선택지로 확장된다.
  • E.2 사례 연구 (Q5): Agent는 historical preference가 더 강한 현재 evidence를 override하도록 두거나, 개인 preference를 집단에 전이하거나, 대체된 memory를 personalization cue로 유지해서는 안 된다.사례는 Model Atlas보다 Model Boreal을 지지하는 evidence를 제시하고, uncertainty tolerance를 집단에 전이하는 것을 경고하며, raga 중심 Indian classical music으로 업데이트한 뒤에도 과거의 Pacific Island 관심사가 남아 있는 모습을 보여준다.
  • E.2 사례 연구 (Q5): 익숙하게 기억된 설명을 factual evidence로 사용해서는 안 된다. 이는 quotation-attribution 문제에서 해당 인용문의 기원에 대한 합의가 없음에도 agent가 Einstein을 우선시하는 사례로 드러난다.Agent는 오인용 가능성을 인정하면서도 여전히 Einstein을 지배적인 인물로 제시한다.
  • E.2 사례 연구 (Q5): 종합하면, 이 사례들은 memory failure를 retrieval 이후의 decision failure로 규정하며, 이를 해결하려면 memory-to-policy conversion, evidence arbitration, scope checking이 필요하다.Retrieved memory는 대체로 관련성이 있지만, agent는 각각이 실행 가능한 preference인지, soft constraint인지, 대체된 profile인지, 전이 가능한 habit인지, 또는 허용할 수 없는 signal인지 판단해야 한다.

E.3 효율성 분석 (Q6) … F.1 메모리 프레임워크 구현 세부사항.

이 논문은 memory-system 효율성을 분석하고, sycophancy 완화를 위한 generation-time guidance를 테스트하며, 다양한 long-term memory framework가 benchmark query와 상호작용하는 방식을 표준화한다. 결과는 token-efficient compression과 광범위한 caution이 calibration 또는 personalization trade-off를 유발할 수 있음을 보여준다.

  • E.3 효율성 분석 (Q6): Qwen3-8B의 input tokens는 Full Dialog의 1,138.3에서 Mem0의 432.4로 감소하고, DeepSeek-V4-Flash는 1,135.3에서 424.0으로 감소한다.Memory system은 주로 input length를 줄이는 반면 output length의 변화는 일관성이 낮다. Table 4는 다섯 task category에 걸쳐 평균 input 및 output tokens를 비교한다.
  • E.3 효율성 분석 (Q6): Mem0와 LightMem 같은 compact method는 token cost를 줄이지만 memory-induced errors를 증폭시킬 수 있으며, A-Mem은 평균 input cost가 가장 높으면서도 calibration이 일관되게 더 우수하지는 않다.A-Mem의 평균 input tokens는 Qwen3-8B에서 2,023.9, DeepSeek-V4-Flash에서 2,018.9로, 더 풍부한 context가 더 나은 calibration을 보장하지 않음을 나타낸다.
  • E.4 추론 행동 guidance: memory-caution instruction은 Full Dialog에서 MEMORY-EVIDENCE CONFLICT를 31.6 points, A-Mem에서 9.8 points 향상시키지만, PERSONALIZED MEMORY USE는 13.0–21.0 points 감소시킨다.External-memory의 평균 효과는 제한적이다. Mem0는 -1.2 points, A-Mem은 -1.3, LightMem은 -3.9만큼 변한다.
  • E.4 추론 행동 guidance: confirmation instruction은 Full Dialog, Mem0, A-Mem, LightMem에서 각각 평균 성능을 26.9, 18.6, 27.7, 9.9 points 낮춘다.모든 설정에서 PERSONALIZED MEMORY USE가 22.0–46.3 points 하락하고 VALID MEMORY SELECTION도 악화된다.
  • F.1 메모리 프레임워크 구현 세부사항.: 각 benchmark instance는 먼저 historical dialogue를 memory framework에 전달해 writing 또는 updating을 수행한 뒤, retrieved memories가 backbone LLM의 최종 답변을 condition하는 새로운 query를 제시한다.통합 protocol은 extraction, summarization, linking, consolidation과 같은 framework-specific operation을 수용한다.
  • F.1 메모리 프레임워크 구현 세부사항.: Mem0는 retrieved memories를 generation context에 주입하는 extract–store–retrieve pipeline을 사용하고(Chhikara et al., 2025), Supermemory는 static facts, dynamic states, semantically relevant memories를 결합한다.Supermemory는 ingestion 중 updates와 contradictions를 해결하고, top-k relevant memories와 결합된 user profile을 retrieve한다.
  • F.1 메모리 프레임워크 구현 세부사항.: 평가된 system은 flat records, structured notes, hierarchical summaries, temporal trees, graph-like relations, multi-module stores를 포괄한다.이러한 구현의 다양성은 objective, temporal, scope-limited, evidence-conflict, personalization scenario에서 retrieved preferences에 적절한 authority가 부여되는지를 테스트할 수 있게 한다.

F.2 예비 연구 구현 세부사항 … G.2 에이전트 메모리

이 논문은 통제된 예비 연구와 표준화된 memory-system configuration을 통해 memory-induced sycophancy를 구체화한 뒤, 이 문제를 LLM sycophancy 및 agent-memory 연구의 맥락에 위치시킨다. 핵심 구분은 검색된 과거 정보가 현재 과제를 이끌어야 하는지, 제약되어야 하는지, 아니면 거부되어야 하는지다.

  • F.2 예비 연구 구현 세부사항: 첫 번째 예비 연구는 중립적인 TruthfulQA 질문과, 오해를 유도하는 답을 가리키는 GPT-5.5-generated memory cue를 포함한 paired versions를 비교한다.응답은 TruthfulQA reference answer에 대한 정확도와 memory-cue condition에서의 sycophancy를 기준으로 평가한다.
  • F.2 예비 연구 구현 세부사항: memory-cue 평가는 제공된 reference answer를 source of truth로 간주하며, 객관적 정답성과 오해를 유도하는 동의를 판단할 때 확신에 찬 전제를 증거로 인정하지 않는다.응답은 의미적으로 판정하며, 오답, 회피, 미해결, 자기모순 응답에는 객관적 정답성 점수를 부여하지 않는다.
  • F.2 예비 연구 구현 세부사항: 두 번째 예비 연구는 LongMemEval, LoCoMo, STALE, PersonaMem의 샘플에 Mem0를 적용하고, 데이터셋의 증거와 비교하기 위해 검색된 context와 최종 agent answer를 수집한다.이 benchmark들은 gold answer와 이를 뒷받침하는 evidence를 제공하므로, 원 데이터셋의 evidence span을 reference로 사용한다.
  • F.3 메모리 시스템 구성: 실험은 통일된 비교 조건을 유지한다: memory system과 NaiveRAG는 baai/bge-m3 embedding을 사용하고, 필요한 경우 memory construction에는 DeepSeek-V4-Flash를 사용하며, 동일한 backbone이 최종 답을 생성한다.Generation temperature는 multiple-choice task에서 0으로, 명시된 다른 설정에서는 0.2로 고정한다.
  • G.1 LLM SYCOPHANCY: MemSyco-Bench는 장기 memory에 의해 유발되는 sycophancy를 대상으로 하며, 과거의 사용자 신념, 선호, 또는 결정이 이후 과제로 검색되는 상황을 다룬다.이는 사용자와 정렬된 신호가 현재 prompt에 나타나는 기존 sycophancy와 다르다.
  • G.2 에이전트 메모리: 기존 agent-memory system은 과거 정보의 이용 가능성과 정리를 향상하지만, 일반적으로 검색된 memory가 현재 응답에 어떤 영향을 미쳐야 하는지는 downstream agent가 결정하도록 둔다.이 논문은 저장, 검색, 정리만이 아니라 downstream use를 평가함으로써 MemSyco-Bench가 memory mechanism을 보완한다고 본다.
  • G.2 에이전트 메모리: 검색된 memory는 오래되었거나, 적용 범위가 제한되었거나, 현재 증거와 일치하지 않거나, 사실적 근거로 부적절할 수 있으므로 relevance만으로 그 영향력을 결정해서는 안 된다.이 benchmark는 검색 이후의 memory 사용, 즉 memory가 언제 응답을 이끌어야 하며 언제 억제되거나 업데이트되어야 하는지를 평가한다.

G.3 기존 메모리 벤치마크 및 분석

기존 메모리 벤치마크는 주로 장기 상호작용 전반에서 검색, 업데이트, 망각, 정보 사용을 평가하는 반면, MemSyco-Bench는 검색된 메모리가 현재 의사결정에서 적절한 역할을 부여받는지 평가한다. 관련 메모리를 사실로 취급하거나, 적용 범위를 벗어나 사용하거나, 현재 증거를 무시하게 하거나, 업데이트 후에도 유지하는 실패를 대상으로 한다.

  • 기존 메모리 벤치마크: 기존 벤치마크는 주로 장기 상호작용 이력에서 정보를 복구하고 업데이트하며 사용하는 능력을 평가하며, extraction, multi-session, temporal, knowledge-update, abstention task를 포함한다.
  • 최근 벤치마크 확장: 최근 벤치마크는 stale memory, 망각, 지속적 선호, 도메인 간 누출, memory-induced sycophancy, 장기 horizon agentic execution도 추가로 검토한다.
  • MemSyco-Bench의 평가 대상: MemSyco-Bench는 단순히 검색, 업데이트, 망각을 측정하는 것을 넘어, 검색된 memory가 현재 의사결정에서 올바른 역할을 부여받는지 평가한다.
  • MemSyco-Bench의 평가 대상: 이 벤치마크는 memory를 factual evidence로 취급하거나, 적용 범위 밖에 사용하거나, 현재 사실을 무시하게 하거나, 업데이트 후에도 이를 따르는 오류를 대상으로 한다.
Loading 2607.01071v2…