SliceGPT: Compress Large Language Models by Deleting Rows and Columns

Meta info.

• Authors: Saleh Ashkboos, Maximilian L. Croci, Marcelo Gennari do Nascimento, Torsten Hoefler, James Hensman
• Paper: https://arxiv.org/pdf/2401.15024.pdf
• Affiliation: Microsoft Research
• Code: https://github.com/microsoft/TransformerCompression
• Conference: ICLR2024

TL; DR

weight matrtix를 더 고밀도의 작은 행렬로 slicing하는 방식의 새로운 post training sparsification 제안. 성능 drop은 1%~10% 내로 방어하면서 파라미터(embedding 포함)는 최대 25%까지 제거 가능.