LLM Evaluators Recognize and Favor Their Own Generations

Meta info.

• Authors: Arjun Panickssery, Samuel R. Bowman, Shi Feng
• Paper: https://openreview.net/pdf?id=4NJBV6Wp0h
• Affiliation: George Washington Univ., MATS, New York Univ.
• Published: September 26, 2024
• Conference: NeurIPS2024

TL; DR

LLM은 자기가 만든 결과를 선호한다는 기존 주장에 대한 심층 논의 (결론: 실제 그렇다)

Background

LLM으로 생성한 결과를 평가할 때 judge로 LLM(스스로)을 사용하는 것이 일반화됨

Problem States

모델은 자기가 생성한걸 선호한다더라 (자기선호)

• Research Question: 모델이 스스로 생성한 것인지를 인식하면(자기인식) 자기 선호에 영향을 미칠까?

Suggestion

자기 인식에 대한 tuning

• task: 모델이 자기가 만든 text인지 분류
• data: 자기가 만든 text / 사람이 만든 text pair

Effect

• Experimental setup:
  • task: text summarization
  • dataset: XSUM, CNN/DailyMail (뉴스기사)
  • backbone: Llama-2-7b-chat, GPT-3.5, GPT-4
• Results:
  • GPT-4 등 vanilla LLM은 자기 인식을 잘 하는 것은 아니었으나,
  • 자기 인식에 대해서 튜닝을 하면, 자기 인식을 거의 완벽하게 파악 가능하고,
  • 그에 따라 자기인식과 선호 사이 강한 선형 관계 확인

Personal note. LLM-as-a-judge 스타일이 연구 필드에서 일반론처럼 사용되는 경향에 대해서 확실히 경계가 필요하다는 이야긴데, 결과만 취해도 될 것 같기는 합니다만 NeurIPS 2024 붙었다는걸 이제 알아서ㅋㅋ 끌어올려봅니다.