Question and Answer Test-Train Overlap in Open-Domain Question Answering Datasets

Meta info.

• Authors: Patrick Lewis, Pontus Stenetorp, Sebastian Riedel
• Paper: https://aclanthology.org/2021.eacl-main.86.pdf
• Conference: EACL2021, Best Short Paper

TL; DR

ODQA에서 자주 사용하는 벤치마크 NQ에 대한 비판적 시각을 담은 논문. 기존 벤치마크는 train에서 본 내용을 암기하는 역할을 테스트하는 것으로 보임.

Suggestions

• ODQA에서 기대하는 역할은 (1) train에서 본 QA 암기하는 수준 이상으로 (2) 새로운 질문 formulation에 train에서 봤던 답변으로 answering하거나 (3) 완전히 새로운 QA에 generalizing 등이 있음. 그러나 단일 데이터셋의 test-set으로는 한계.
• 가령 test의 Question 중 30%가 이미 train에 중복된 의역을 포함하거나 test Answer의 60~70%가 train에 이미 존재함.

Effects

• 결론적으로 train에서 전혀 볼수 없었던 Question에 대해서 특히 더 성능이 나쁜 것을 확인.
• simple Nearest-Neighborhood 모델이 BART 성능을 압도하기도.

Personal note. test set이 모델이 보지 못한 무언가라고 강하게 정의한다면 현재 lm 기반 방식들은 대부분 pre-training에서 웹에 있는 모든 데이터를 웬만큼 보기 때문에 만들어진 test set또한 거기에 포함돼 있었을 가능성이 높아서 이러한 부분에 대해서도 주의가 필요하긴 합니다. 그래서 좀 더 temporal한 아니면 새로운 knowledge에 대해 test를 하는게 좀 더 바람직한 방향은 맞는 것 같아요 (데이터가 만들어진 시간을 기준으로 training / test 를 나누거나 등등)