A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

May 8, 2025 1 minute read

Meta info.

Authors: Kuang-Huei Lee, Xinyun Chen, Hiroki Furuta, John Canny, Ian Fischer
Paper: https://arxiv.org/pdf/2402.09727
Affiliation: Google DeepMind
Published: February 15, 2024
Code: https://read-agent.github.io/
Conference: ICML2024

TL; DR

gist memory와 interactive look-up적용하여 LLM이 사람처럼 필요한 부분만 다시 검색하는 등의 방식으로 최대 20배 더 긴 context를 처리할 수 있는 prompting 시스템으로 성능을 향상시키는 방법론 제안

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts (ICML2024)

## Background ### LLM은 어쨌든 context-length에 제한을 받음. - 모델 architecture를 바꾸거나 (BigBird, Longformer) - RAG - WebGPT, MemWalker 처럼 대화형 검색을 지원하는 agent 스타일 개선 ## Problem States ### LLM이모델 architecture 수정 없이 인간처럼 매우 긴 context를 잘 쓰게 할 수 없을까 ## Suggestions ### **ReadAgent** - fuzzy-trace 이론에서 배경: 사람들은 세부 내용이 아니라 요점을 기억하며, 필요할 경우에만 세부 내용을 검색 - system components: - Episode Pagination: 프롬프트로 페이지 (문맥상 자연스러운 중단점) 분할 수행 - Gisting: 각 페이지를 gist memory로 요약 (약 80-97%까지 압축) - inference 토큰 수를 줄이면서도 Recall을 높임 - Interactive Look-up: gist 활용, 검색할 원본 페이지 결정 > task prompt와 결합 - `전략1` ReadAgent-P (한 번에 여러 페이지 병렬적 조회) - `전략2` ReadAgent-S (한 번에 한 페이지씩 순차적 조회) - 정확도는 높겠지만 비용 증가 - prompt: `<질문에 답하기 위해 어느 페이지를 다시 조회하는가?>` ## Effects - Target Tasks: QuALITY, NarrativeQA, QMSum, Mind2Web - `Tab1` **QuALITY**: full-context(85.83%) 대비 오히려 ReadAgent-S기준 압축률 70%에 약 3개 lookup했을 때(58.53%) 더 높은 acc >> distraction effect - `Tab2` **NarrativeQA**: ReadAgent가 retrieval 방식보다 ROUGE-L도 llm-rater-acc도(최대 10%p) 개선 - 이 성능 향상은 context length 20배 이상 증가했기 때문으로 주장 - `Tab3` **QMSum**: llm-rater-acc 6%p, ROUGE-L 1pt 증가 - 회의록 요약 task로, 구조가 없는 문서(대화)에 더욱 lookup이 유익하다고 분석 - 응답 길이도 증가했다고 (정보회복 성공으로 분석함) - Ablation: - gist memory는 interactive lookup과 같이쓸떄 더 효과적 (accuracy 향상) - ReadAgent가 paging 하는 게 균등분할보다 효과적 - (당연히) 압축률이 높을수록 성능하락 > **Personal note.** memory관련 서베이에서 확인한 페이퍼였는데, 메모리랑 대단히 관련있다고 보긴 어렵지만, Long-context 처리에 대해 단순 RAG pipeline 대비 직관적인 방법으로 성능을 향상시킨 의의가 있어보입니다. >