The FACTS Grounding Leaderboard: Benchmarking LLMs’ Ability to Ground Responses to Long-Form Input

Meta info.

• Authors: Alon Jacovi, Andrew Wang, Chris Alberti, Connie Tao, Jon Lipovetz, Kate Olszewska, Lukas Haas, Michelle Liu, Nate Keating et al.
• Paper: https://storage.googleapis.com/deepmind-media/FACTS/FACTS_grounding_paper.pdf
• Affiliation: Google Cloud, Google DeepMind, Google Research, Kaggle
• Published: December 17, 2024
• References: DeepMind Blog, Leaderboard

TL; DR

long input에 대한 response의 사실성 평가 벤치마크 제안. 최대 32K token의 입력 처리, 자동 평가 프레임워크 공개

Task Goal

긴 입력에 대해 사실적으로 정확한 텍스트를 생성하는 LLM 능력 평가

Dataset construction

평균 2.5K, 최대 32K token의 금융, 기술 등 다양한 도메인의 context 입력 → response 출력하도록

• task: QA, 문서 재작성, 요약 등 기존 QA 스타일에 국한된 task를 분석, 비교 등 다양하게 확대 Figure 1
• prompt: context + request + few-shot + instruction
  • instruction: 모델이 ‘외부 지식을 포함하지 않고’ 주어진 컨텍스트에서만 응답을 생성하도록 지시
    • 논문에서는 외부지식이라고 했는데, 맥락상 ‘준 context 외의 모든 지식’을 말하는것으로 보이고
    • 즉 black box 상황에서 외부 지식을 검색해오는 경우나 모델 내부 사전학습 지식도 쓰지 말라고 하고싶었던 듯.
• validation: 구축한 모든 데이터셋에 대해 직접 인간이 확인 → 의도에 맞지 않는 모든 few-shot 예시 삭제
  • request가 적당히 어렵고 instruction이 제대로 반영되면서 너무 복잡한 추론을 요구하지는 않도록 + OCR까지 필요한 PDF 문서 제외 등
• contamination 고려: 당연히 웹수집 기반이기 때문에 pretraining corpus에 포함되었을 우려 존재 인정하지만, 다음 세가지 측면에서 유의성 주장 1) 본적 있더라도 Instruction으로 context 정보만 따르도록 하는 본 벤치마크의 설정은 contamination되지 않았음: 본 적 있는 context더라도 새로운 request를 하는 격 2) 본 벤치마크의 설정을 모델이 학습과정에서 최적화한 적 없음: 모델은 컨텍스트 문서와 상충되는 경우에도 외부 지식을 통합하지 말아야되고, request 만족시키려면 사전 학습된 지식을 활용하지 않아야 함 (지식충돌 처리 관련) 3) 현존 모든 LLM은 다 비슷하게 웹기반 코퍼스 사용하고 있으므로, 동등한 조건으로 평가하는 것

Effects:

• Methods: 2단계의 자동화된 평가 시스템 도입, 다중 모델 사용으로 편향 완화
  • (step1) 부적격 응답 제외
    • 부적격 판별모델: Gemini 1.5 Pro, GPT-4o, Claude 3.5 Sonnet
    • 사용자 요청 충족하는 응답인지 판별: 적격/부적격 binary label
    • 부적격 응답에 대해서는 step2의 사실성 평가에서 제외
      • 3가지 모델 모두가 부적격하다고 하는 경우만
      • e.g. “신재생에너지의 장단점 요약” 요청에 대해 “~는 좋지만 몇가지 문제가 있습니다.” 처럼 모호한 답변의 경우 부적격으로 처리
    • 모델별로 경험적으로 최적의 prompt template 선정해서 진행
  • (step2) 사실성 점수 계산
    • 사실성 평가 모델: (상동)
    • response의 각 문장별로 input 문서와 일치하는지 평가: 정확/부정확 binary label
    • 3가지 판별모델의 평가 결과 평균으로 최종 점수 계산
• Result: 부적격 응답 제외 전 table 5, 후 table 6
  • backbone: Gemini 1.5 Pro / Flash, Gemini 2.0 Flash Experimental, GPT-4o, OpenAI o1-preview/o1-mini, Claude 3.5 Haiku/Sonnet
  • Gemini 2.0 Flash Experimental 모델이 부적격 응답 제외 후 가장 높은 최종 사실성을 보임
    • 부적격 응답 제외는 최종 사실성 점수를 1%~5% 감소시킴, 모델 순위도 약간 달라짐
  • 판별모델들은 일반적으로 자기 생성 응답을 다른 모델것보다 높게 평가(평균 3.23% 증가)

Personal note. document grounding response fact verification에 대한 품질 보장된 데이터셋으로 보입니다. knowledge conflict 초기에 task 확장 고민했을때, 교수님께서 계속 QA말고 없냐고 하셨던 것도 기억나고 (당시 long form answer의 정오판단이 어려워서 제외했던듯), 개인적으로는 (다소 억지일지라도?) contamination 관련 언급도 흥미롭네요.