Narrowing the Knowledge Evaluation Gap: Open-Domain Question Answering with Multi-Granularity Answers

Meta info.

• Authors: Gal Yona, Roee Aharoni, Mor Geva
• Paper: https://arxiv.org/pdf/2401.04695.pdf
• Affiliation: Google Research
• Code: https://github.com/google-research-datasets/granola-eq

TL; DR

ODQA에서 모델 response를 더 세분화된 수준으로 나눠서 정확성 및 정보성 측면에서 평가할 수 있는 GRANOLA QA 벤치마크 공개 및 그 세분화된 정보성을 확보하기 위한 디코딩 방식 DRAG 제안

Narrowing the Knowledge Evaluation Gap: Open-Domain Question Answering with Multi-Granularity Answers

Suggestions

• 기 존재하는 데이터셋(본 논문에서 공개하는 데이터셋은 EntityQuestions)을 Knowledge graph 활용해서 multi-granularity answer로 보강하는 방법 제안 > GRANOLA-EQ 공개 예정
• 논문에서 제안하는 디코딩 방식은 Decoding with Response Aggregation (DRAG)으로, multi-granularity answers에 대해서 특히 rare entities에 대해 약진 (pic3)
• 즉, 마치 표준처럼 쓰이는 요즘의 방식이 LM의 캡슐화된 지식을 평가하는데에 있어서는 과소평가된 게 아닌지 의심하고 있음.