Blending is All You Need

Meta info.

• Authors: Xiaoding Lu, Adian Liusie, Vyas Raina, Yuwen Zhang, William Beauchamp
• Paper: https://arxiv.org/pdf/2401.02994.pdf
• Affiliation: Cambridge Univ., Chai Research, UCL

TL; DR

여러 개의 작은 모델을 Blend해서 하나의 큰 모델과 비슷한 혹은 더 나은 성능을 낼 수 있다.

Suggestions

• blending: 여러 시스템 중 확률적으로 한 시스템이 답변 생성을 담당
• ensembling: Bayesian statistics 원칙에 따라 ChatAI가 특정 응답에 할당하는 확률을 marginal expectation로 개념화할 수 있다고. 여러 ChatAI 시스템이 결합된 경우, 전체 시스템이 개별 시스템의 결합 확률을 기반으로 가장 가능성이 높은 응답을 추정하여 전체적인 응답 성능 향상할 수 있음. (pic1, 2)
• “Integrating just 3 models of moderate size (6B/13B) can rival or even surpass the performance metrics of a substantially larger model like ChatGPT (175B+)” (pic3)