LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs

Meta info.

• Authors: Ziyan Jiang, Xueguang Ma, Wenhu Chen
• Paper: https://arxiv.org/pdf/2406.15319

TL; DR

검색 단위가 긴 경우 추출되는 단위 수를 대폭 줄이기 위한 long retriever + long reader제안

Problem States

일반적인 retriever setup QA에서 실제 답 대비 document길이가 긴 불일치

Suggestion

긴문서를 검색해오고, 긴 문서에서 답을 찾도록 하는 retriever/reader 제안

• Long Retriever Unit: 찾는 단위문서의 길이를 길게 하고 (4K 이상 토큰) 대신 그 개수를 줄이는 효과
  • DPR 등 전통적인 Retriever는 고작 수백개 token으로 구성된 passage를 검색 단위로 활용
  • 길이가 긴 검색 유닛의 장점: 의미적 통합성 + 더 많은 정보 포함 (당연..)
  • grouping algorithm 활용 검색 단위 문서(long retriever unit) 구축: hyperlink 기반으로 document 연결 => 연관있는 문서끼리의 grouping
• Long Retriever: 최대 4~8개 단위 찾기
  • similarity search: 긴 문서 전체를 1개의 embedding으로 인코딩하는게 어려우므로, 근사치로 grouping 하기 전 작은 문서 단위중 가장 높은 값으로 사용 (꽤 효과적이라고🤔)
  • 문서는 최대 100개 정도로 구성
  • 짧은 문서(1K)도 최적화하도록 구성
• Long Reader: 앞서 찾은 단위들을 합쳐서 (약 30K 토큰) 정답 찾기
  • 기존 방식(짧은 문서 기반)대로의 프롬프트로 리더모델이 긴 문서에서 답을 추출하면 잘 못하지만,
  • 긴 문서에 대해 chat tuning된 LLM으로 1차 답변 시킨 뒤 그 답에서 reader하면 가장 효과적

Effects

• Retriever: bge-large-en-v1.5 / Reader: GPT-4o
• retriever → grouping 한 long retrieval unit이 성능 베스트 pic4
• reader → QA로 확인시 역시 제안 방법이 성능 베스트 pic5