Babel: Open Multilingual Large Language Models Serving Over 90% of Global Speakers

Meta info.

• Authors: Yiran Zhao, Chaoqun Liu, Yue Deng, Jiahao Ying, Mahani Aljunied, Zhaodonghui Li, Lidong Bing, Hou Pong Chan, Yu Rong, Deli Zhao, Wenxuan Zhang
• Paper: https://arxiv.org/pdf/2503.00865
• Affiliation: Alibaba Group, DAMO Academy
• Published: March 2, 2025
• References: https://babel-llm.github.io/babel-llm/

TL; DR

오픈소스 다국어 LLM Babel 시리즈 공개

오픈소스 다국어 LLM Babel 시리즈 공개

단순히 큰 사이즈 모델+다국어 데이터 학습뿐만 아니라, 기존 레이어에 동일한 구조의 새 레이어를 직접 추가하는 확장기법 적용 (upstage solar를 직접 언급하고 있고, LLaMA-Pro 느낌도 있는데 언급은 없는듯?)

9B-Chat은 10B size 모델단에서는 SOTA, 83B-Chat도 거의 GPT-4o에 비빌 수 있는 수준