HaluMem: Evaluating Hallucinations in Memory Systems of Agents

Meta info.

• Authors: Ding Chen, Simin Niu, Kehang Li, Peng Liu, Xiangping Zheng, Bo Tang, Xinchi Li, Feiyu Xiong, Zhiyu Li
• Paper: https://arxiv.org/pdf/2511.03506
• Affiliation: China Telecom Research Institute, Harbin Engineering Univ., MemTensor Technology
• Published: November 5, 2025
• Code: https://github.com/MemTensor/HaluMem

TL; DR

Agent memory system의 hallucination이 어디(extract > update > QA)에서 나타나는지 진단하는 벤치마크 제안

Background

• memory는 agent와 user 사이 상호작용에서 user 정보를 외부화해서 user별 personalization + 일관성 유지 달성: MemOS, Mem0, Zep, Supermemory, Memobase 등
• 단순 QA 중심 e2e 벤치마크로는 어디서 문제인지 식별 불가: LoCoMo, LongMemEval, PrefEval, PersonaMem 등

Problem States

• memory system의 역할을 추출(E), 갱신(U), 질의응답(QA) 3가지 operasation으로 정의 Fig 1
  • E: 없는 fact로 대화 수행하거나 유효한 memory 놓침
  • U: 업데이트해야되는데 못하거나 잘못 업데이트
  • QA: memory에 없는 정보 추론하거나 과거 정보 사용, conflict 상황 문제 등
• system 출력 - 정답 간 비교를 통해 오류를 각 단계별로 귀속시키기 위해정확한 annotation(=memory point) 포함된 multi-turn + user-centric dialogue 구축

Suggestions

HaluMem

• 시나리오/persona/세션 흐름은 사람이 설계 > 이를 바탕으로 dialogue는 LLM이 생성 > 최종 memory point와 QA는 다시 사람이 검증 및 정제
  1. conflict 나 update 발생 시점 등에 대한 흐름 설계를 바탕으로
  2. LLM이 conflict-turn 등을 삽입
  3. 수동으로 사람이 memory point annotation
  4. memory point 기반 QA 생성 및 사람이 validation수행: multi-hop reasoning 정확한지, update 반영 제대로 잡는지, conflict case 제대로 테스트 되는지 등
• 규모:
  • medium(~160k) 및 -long(10M) 두 가지 버전
    • 20 ~ 50 Session
    • 200 ~ 800 turn 구성
    • long: memory-irrelavant noise dialogue를 공격적으로 삽입
      • chitchat이나 ELI5-style 대화, math reasoning trace 등 대놓고 noise
  • 약 15,000개의 memory point: atomic persona fact로 구성
    • persona profile, preferences, habit, routines, relationships, possessions, plans, goals, location, move history, health, restrictions, skills, knowledge, update 발생 여부에 대한 dynamic changes 등
    • memory가 나온 원본 대화 turn의 index를 붙여서 구성, 실제 시스템이 기억해야하는 NL statement로 정규화(?)
    • Memory의 valid 시점: update가 발생하면, 과거 memory는 invalid로 처리
  • 약 3,400개 이상의 쿼리 포함: basic fact, multi-hop, dynamic update, boundary condition, conflict detection, generalization & application 등으로 구성
• memory 기준:
  • long-term relevance: 단기 chat에는 관심 없고, 시간이 지나도 유효한 정보만 memory point로 상정
  • stable + consistent한 fact: 단발성 정보가 아닌, 반복되고 강조되는 구체적인 정보를 상정
  • 구조: User + verb + object 형태. 하나의 사실만 담도록
    • 원문에 implicit한 정보가 있더라도 추론하지 않고 의미를 명확하게만 풀어씀. 발화에 표현된 범위까지만 작성
    • ~한 듯 처럼 애매한 표현은 정규화하지 않음. 단발성인 경우 특히 memory point화 하지 않고 반복될 경우 명확할 때 작성
    • verb(attribute)의 패턴화: is from, lives in, works at, prefers, dislikes, owns, has, moved to, studied at, is allergic to, is interested in
    • 가능한한 boolean으로 처리
    • coreference 해소
  • QA의 query 정답의 근거로 활용
  • inference에서 활용 측면
    1. E: memory point 후보 리스팅
    2. U: conflict memory 제거, 과거 정보 수정 및 invalid 처리 등
    3. QA: memory-point 기반 정답 처리

Effects

• Tab 3 전반적인 Memory system이 모든 operation에서 근본적으로 취약하다
  • E: 대체로 recall은 준수하나 precision이 낮음 (false memory 생성 등)
    • over-generalization : 커피 줄이려고 > 커피 싫어함
  • U: 대체로 못함. update를 누락하거나 잘못하거나 conflict 해결에 실패
  • QA: basic fact는 그나마 하지만 나머지 5종에 대해서는 성능 붕괴
  • 길이 길어지면 성능 급락
• Fig 5 QA별 상세
  • basic fact도 애초에 false memory 생성하면 줄줄이 (심지어 확신하며) 실패
  • multi-hop: 처참하게 실패
  • dynamic update: 같은 행위 두번 해서 memory update가 진행된 상황에 대해 최신 정보를 물을 떄 과거 memory를 끌어와서 실패
    • e.g. 매 월요일마다 운동해 > 이제는 월요일에 운동 안해
      • 이상적: User does not exercise on Mondays.
      • 현실: 둘다 남기거나 무시하거나 틀린 정보 업데이트
    • e.g. 2번 이사 > 현재 나는 어디 살아?
      • 현실: 과거 이사 장소를 끌어옴
  • boundary: 시간 구분을 못하거나 모르겠다고 답변해서 실패
  • conflict: 상대적으로 준수한 편. 충돌된 memory가 명확하면 retrieval 단계에서 다 뽑아오고 모델이 틀린 걸 고르기 용이해진다고 분석
  • generalization: fact memory 잘 끌어와도 그걸 가지고 preference 기반 추론에 실패
  • memory 누락이 큰 문제라고 지적; 필요한걸 못찾아옴
• Tab 5 Efficiency 측면에서 addition(memory 쓰기) 단계에서 병목 심화
  • Mem0는 심하면 45시간 넘게, retrieval이 상대적으로 빠름

Personal note.

• 전체적으로 memory system을 정리하는 입장에서 참고해볼만한 논문이라고 생각합니다. survey paper는 아니지만 related work 정리가 잘 된 편이었습니다. 한편으로는 3가지 operation (memory extract > update > QA) 로 구분조차 제대로 되어있지 않았던 게 현재 memory 연구 현황인데 너무 거창한 혹은 좁은 문제로 고민했던 것은 아닌지 돌아보게 하기도 합니다. conflict나 preference도 폭넓게 다루고는 있지만 얕다고는 생각하는데, 타깃할 정도로 깊이가 없는 게 사실은 이 문제의 현실적 한계가 아닌가 싶은 생각도 들고요.
• 메모리 구성 측면에서 구조화된 NL을 사용하고 있고, 어느정도 template으로 구조를 제한하고 있으며, human annotation 관점에서 explicit하지 않으면 guess하지 않았다고 합니다. (implicit한 걸 explicit하게 드러내지 않음) 모델이 추론하게끔 열어둘 수는 있지만, 정답처럼 labeling하지 않으려고 애썼다고 이해했습니다. preference를 가능하면 boolean 수준화 하려고 노력했다는데 이 역시 정답이 없는 문제에 대한 노력의 일환으로 느껴지며, 모든 데이터셋 결국 사람이 일일이 검수했기 때문에 품질 보장을 노력한 것도 인상적입니다.
• 다만 hallucination이라는 표현이 좀 남용되었다는 인상은 있고, 여전히 긴 대화 구축에는 랜덤 아무말 끼워넣기 수준인 점(문제를 문제로 만들기 위해 꼬았다고 볼 수도 있고, 오히려 flat하게 쉬운 문제인데 못푼다고 해석할 수도 있을,,,)정도는 데이터셋 측면에서 아쉬운 부분으로 남습니다.
• 현상 분석 관련해서는 인사이트가 되는 것 같은데, implicit한 preference 즉 추론이 필요한 경우에 대해 메모리 잘 찾아왔다고 해도 못했다는 부분과 update에 대해 제대로 처리하지 못하는 부분 등의 한계는 이미 체감했던 바 있어서 문제의식을 재확인했습니다.
• 상대적으로 평가도 operation별로 꼼꼼하게 세분화하려고 노력했고 (여전히 LAAJ를 한계로 지적하지만 standard이지 않을지), Memory를 잘 만들었냐 혹은 잘 쓰냐의 문제를 단순 QA로 평가하고자 했던 지난 데이터셋의 문제를 짚었기 때문에 인상적으로 평가받고 있는 것으로 보여요.