LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models

Meta info.

• Authors: Minsuk Kahng, Ian Tenney, Mahima Pushkarna, Michael Xieyang Liu, James Wexler, Emily Reif, Krystal Kallarackal, Minsuk Chang, Michael Terry, Lucas Dixon
• Paper: https://arxiv.org/pdf/2402.10524.pdf
• Affiliation: Google Research

TL; DR

LM들을 늘어놓고 평가할 수 있도록 디자인된 시각화 툴 제안

Personal note. HCI쪽이라 연구적 관련성은 낮지만 활용 측면에서 알아두고 나중에 공개되면 좋을 것 같아서 가볍게 공유