UltraFastBERT : Exponentially Faster Language Modelling
Meta info.
- Authors: Peter Belcak & Roger Wattenhofer
- Paper: https://arxiv.org/pdf/2311.10770.pdf
- Affiliation: ETH Zurich
- Code: https://github.com/pbelcak/UltraFastBERT
TL; DR
FFNN์ FFF(Fast FeedForward)๋ก ๋์ฒดํ์ฌ x78์ ์๋ ํฅ์

Suggestions
- ์ถ๋ก ์ ์๋ BERT์ 0.03%์ ํด๋นํ๋ 12๊ฐ ๋ด๋ฐ๋ง ์ฌ์ฉํด๋ BERT์ ๋น์ทํ ์ฑ๋ฅ(GLUE ๊ธฐ์ค BERT์ 96% ์ฑ๋ฅ ๋ฌ์ฑ)
- Conditional Matrix Multiplication์ ๋์ด๋ธํ๊ฒ ๊ตฌํ. ์ ์ ์ฃผ์ฅ์ ๋ฐ๋ฅด๋ฉด ๊ตฌํ๋ง ์ํ๋ฉด ์ด๋ก ์ 341๋ฐฐ๊น์ง ์๋ ๊ฐ์ ๊ฐ๋ฅ