LightMem: Lightweight and Efficient Memory-Augmented Generation

Meta info.

• Authors: Jizhan Fang, Xinle Deng, Haoming Xu, Ziyan Jiang, Yuqi Tang, Ziwen Xu, Shumin Deng, Yunzhi Yao, Mengru Wang, Shuofei Qiao, Huajun Chen, Ningyu Zhang
• Paper: https://arxiv.org/pdf/2510.18866
• Affiliation: NUS, Zhejiang Univ
• Published: October 21, 2025

TL; DR

sensory > topic-aware short-term > sleep-time long-term memory 업데이트의 3단계 메모리 구조 제안, LongMemEval 정확도 향상 및 token/API call/runtime 비용 대폭 축소 확인

Background

• long-term/multi-turn dialogue의 context 손실 문제 해소를 위한 external memory 구조 도입: LangMem, A-MEM, MemoryOS, Mem0
• 중복 + noise, turn-local processing에서 topic entanglement, 비용 집약적 문제

Problem States

중복 정보 필터링 + topic별 history 관리 + 실시간 추론과 update/forget 분리 메모리 시스템 제안

Suggestion

LightMem

• Sensory memory
  • pre-compression: 파이프라인 진입 전 LLM-lingua2 활용 input 압축
  • topic cueing: 덜 중요한 토큰 제거하여 dialogue history 분할을 위한 attention score 계산
    • attention 기반 경계와 유사도 기반 경계의 교집합으로 결정
• Topic-aware short-term memory (Light2)
  • 발화를 의미/주제 유사성에 따라 content-adaptive boundaries(fix-window 대신)로 분할 > memory item으로 요약 (online update)
• Long-term memory w/sleep-time update (Light3)
  • CRUD. offline에서 재구성/중복 제거/추상화 수행: 유지 관리를 온라인 추론과 분리
  • 유익성 (/S 4.6)
    • 서로 관련되지만 모순되지 않는 두 정보가 제시될 때 LLM은 이를 충돌로 오해
      • 오래된 메모리 삭제할 경우 irreversible information loss를 야기
      • 정보를 병합하거나 단순히 새 항목을 추가할 수도 있겠지만,
    • 제안 방식은 test-time에서 soft update로 incremental addition만 수행 (ST) > global information 유지 가능

Effects

• Experiment setup:
  • Task: LongMemEval-S (500-query, 평균 50-sess., 110k-token)
  • Backbone: GPT-4o-mini, Qwen3-30B-A3B
  • Baseline: Full Text/Naive RAG/LangMem/A-MEM/MemoryOS/Mem0
  • Metrics: Accuracy, token/call/runtime 효율
• Results: LightMe는 거의 모든 지표와 두 LLM 백본 모두에서 우수+견고+유연 입증
  • accuracy:
    • ST online 기준 정확도 2.7-9.65%p 향상
    • LT offline은 비슷
  • efficiency: token은 32-106배까지, api call은 최대 177배까지 단축 가능
  • temporal/multi-session/knowledge-update 에서 특히 유익.
    • 단일화자에서는 naive RAG가 충분히 강력하기도

Personal note. 작성일 기준 어제부터 주목받는 것으로 보입니다. 엔지니어링적으로 큰 효율을 달성한 게 유의미해보이고, 정확도 측면에서 gain은 크지 않은 것으로 보입니다. compression등도 llmlingua를 가져오기 때문에 이론적 백그라운드를 엄밀하게 가져온 것은 아니고, 다만 그 구분 경계를 결정하기 위해서 활용됩니다. conflict에 대해 언급된 게 인상적이지만, 관련해서 어떤 해결을 꾀했다기 보다는, 자연스럽게 해결될 수 있다는 여지를 주는 방법이라는 걸 설명한 정도로 보여요.