Fishing for Magikarp: Automatically Detecting Under-trained Tokens in Large Language Models

Meta info.

• Authors: Sander Land, Max Bartolo
• Paper: https://arxiv.org/pdf/2405.05417
• Affiliation: cohere
• Published: May 8, 2024
• Code: https://github.com/cohere-ai/magikarp/

TL; DR

LLM에게 학습 덜 된 토큰 자동 감지기술 제안

Problem States

LLM의 Tokenizer는 독립적으로 학습 → “under-trained” tokes (glitch tokens)으로 hallucination 등 성능 저하 발생되나 별도 식별 방법이 없음.

• glitch token: vocab에는 있지만 학습에는 거의 없는 토큰. e.g. SolidGoldMagikarp

Suggestions

“under-trained” token 후보 감지하는 해결책 3가지 제시

1. vocab과 en-/decoding 분석
2. embedding과 final layer간 유사성 metric
3. 모델에 반복적으로 프롬프팅

Effects

vocab의 0.1~1%의 토큰이 심각하게 under-train됨.

• LLaMA3/Pythia 등에서 토큰 개수 기준 수천 개에 해당

Personal note. 언어모델 성능에 큰 영향을 끼치는데 가끔은 너무 당연해서 쉽게 잊혀지는 것 같은 토크나이저에 대한 분석이 인상적입니다. 검증하는 구체적인 방식보다는 이러한 현상에 대해 이해하고 있는 게 중요하다는 감상이에요. (SolidGoldMagikarp 는 어느 레딧 유저명입니다 )