UltraFastBERT : Exponentially Faster Language Modelling

Meta info.

• Authors: Peter Belcak & Roger Wattenhofer
• Paper: https://arxiv.org/pdf/2311.10770.pdf
• Affiliation: ETH Zurich
• Code: https://github.com/pbelcak/UltraFastBERT

TL; DR

FFNN을 FFF(Fast FeedForward)로 대체하여 x78의 속도 향상

Suggestions

• 추론시 원래 BERT의 0.03%에 해당하는 12개 뉴런만 사용해도 BERT와 비슷한 성능(GLUE 기준 BERT의 96% 성능 달성)
• Conditional Matrix Multiplication을 나이브하게 구현. 저자 주장에 따르면 구현만 잘하면 이론상 341배까지 속도 개선 가능