Be like a Goldfish, Don’t Memorize! Mitigating Memorization in Generative LLMs

Meta info.

• Authors: Abhimanyu Hans, Yuxin Wen, Neel Jain, John Kirchenbauer, Hamid Kazemi, Prajwal Singhania, Siddharth Singh, Gowthami Somepalli, Jonas Geiping, Abhinav Bhatele, Tom Goldstein
• Paper: https://arxiv.org/pdf/2406.10209
• Affiliation: University of Maryland
• Published: June 14, 2024
• Code: https://github.com/ahans30/goldfish-loss

TL; DR

causal language modeling objective 대신 Goldfish Loss 제안, 암기대로 생성해내는 방식 완화

Suggestions

• 학습할 때 loss 계산에서 임의 token subset은 제외하고 계산 → long sequence 재생성하는 이슈 방지
  • 학습때 특정 토큰에 지나치게 집중하는 문제 완화
  • subset 선택이 성능에 직접적인 영향
  • G masking - 논문에서는 단순하게 매 k-th 토큰 드랍
• downstream task 성능 하락 거의 없음
• 아마 standard 방식 대비 충분한 학습에 시간이 더 오래걸릴 건 자명한 사실…