Chinchilla Scaling: A replication attempt

Meta info.

• Authors: Tamay Besiroglu, Ege Erdil, Matthew Barnett, Josh You
• Paper: https://arxiv.org/pdf/2404.10102
• Published: April 15, 2024
• References: https://x.com/borgeaud_s/status/1780988694163321250

TL; DR

Chinchilla scaling law 재현이 잘 안된다

Suggestions

• 원 저자 주장중에 세번째거(=chinchilla scaling) 에 대한 재현이 안된다는 이야기
• 무엇보다 보고된 estimated model이 재구성 데이터에 너무 못맞추고 (재구성시 노이즈 때문도 아닌듯)
• 데이터 포인트 수 대비 신뢰구간도 지나치게 좁은 점(이정도로 좁으려면 엄청 많은 샘플을 봤어야 되는데 사실 그렇지 않았을거라는 이야기)
• 첫번째 (모델 사이즈는 고정하고 토큰 개수를 다양하게 가져가는 실험)랑 두번째 (컴퓨팅 버짓은 그대로 들고가고 모델 사이즈 키우기)의 70 tokens-per-parameter 규칙이랑 세번째가 불일치함.