The Power of Noise: Redefining Retrieval for RAG Systems

Meta info.

• Authors: Florin Cuconasu, Giovanni Trappolini, Federico Siciliano et al.
• Paper: https://arxiv.org/pdf/2401.14887.pdf
• Affiliation: La Sapienza
• Published: January 29, 2024

TL; DR

RAG에서 Retrieval 에 집중하여, document와 prompt의 연관성, prompt에서 document의 위치와 수 등 다양한 요소를 평가.

Effects

• (golon 모델은 noid docs에 random 이상으로 noisy한 documents 추가하는 방식으로 확인했을 때) irrelevant document가 오히려 생성 결과 정확도를 30% 이상 향상시킬 수 있었다(!)
• Falcse document 위치에 크게 의존하지 않는 듯 했지만, MPT 모델은 어떤 경우든 문서를 더 추가하면 성능이 올랐고, 그 위치가 query에 가까우면 떨어지는 경향. (가장 먼 경우 성능이 best인 것은 Falcon도 동일)