CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models

Meta info.

• Authors: Yuanjie Lyu, Zhiyu Li, Simin Niu, Feiyu Xiong, Bo Tang, Wenjin Wang, Hao Wu, Huanyong Liu, Tong Xu, Enhong Chen
• Paper: https://arxiv.org/pdf/2401.17043.pdf
• Code: https://github.com/IAAR-Shanghai/CRUD_RAG/tree/main

TL; DR

기존 RAG 벤치마크는 범위와 다양성이 제한되어 있고, 검색 요소(retriever)와 외부 KB의 영향을 고려하지 못하는 한계가 있다고 지적하며, RAG Application의 범위를 CRUD로 분류하고 각각에 대한 평가 task와 데이터셋 공개. (중국어)

Suggestions

• Create: 독창적인 내용 생성
• Read: knowledge-intensive상황에서 response
• Update: 기존 Text의 잘못된 내용 수정
• Delete: 요약해서 덜 중요한 내용은 삭제