Adaptive Retrieval-Augmented Generation for Conversational Systems

Meta info.

• Authors: Xi Wang, Procheta Sen, Ruizhe Li, Emine Yilmaz
• Paper: https://arxiv.org/pdf/2407.21712
• Published: July 31, 2024

TL; DR

주어진 대화에서 전환시 외부 지식의 증강이 필요한지 여부를 선택적으로 결정하는 매커니즘 제안

Problem States

knowledge ground(외부 지식을 통합하는) dialogue system에서 RAG가 효과적인 것은 사실이고 (Figure 1), 이에 따라 매 턴마다 RAG를 시행하는 것이 일반적이나, 실질적으로 매 턴마다 RAG를 실행할 필요도 없고, 불필요한 경우에 대해서 retrieve된 결과가 덧붙을 경우 오히려 hallucination 발생

Suggestions

System Response의 각 턴마다 외부 지식으로 증강되어야 할 필요성을 조사하는 RAGate 제안 Figure 2

• Objective: 자연스럽고 관련성이 있으며 상황에 맞는 대화 시스템의 응답
• Task: 외부 지식으로 시스템 응답을 보강할 시점을 식별
• Gate Mechanism: binary mechanism (dialogue history) vs. (dialogue history + external knowledge)
  1. RAG-Prompt: 프롬프트에 지시
  1. Backbone: Llama-v2-7B, Llama-v2-13B
  2. ICL: zero-shot, few-shot
     1. RAGate-PEFT: QLoRA로 instruction-input-output 튜닝
  3. Backbone: Llama-v2-7B
  4. input feature: dialogue history, system response, synthetic responses, named entities, retrieved knowledge
  5. output: 외부지식 필요 여부 판단
     1. RAGate-MHA: Multi-Head Attention encoder 활용
  6. input: token embedding + position encoding + MHA 등 layer을 포함하는 FFNN 구성(하이퍼 파라미터 탐색 포함)
  7. output: (상동)

Effects

• Experiment
  • task: Binary Classification
    • metric: Precision, Recall, F1-Score, AUC, FDR
    • dataset: KETOD
      • 52K의 turn을 가지는 약 5K 대화 데이터셋
      • 33K의 external knowledge snippet 포함(약 12.1% turn)
    • baseline: No-Aug, Aug-all
  • retriever: TF-IDF, BERT-Ranker
    • metric: Recall@1 & Recall@3
  • generator: GPT-2
    • metric: BLEU, ROUGE-1/2/L, & BERTScore
• Result
  • RAGate Table 2
    • RAGate-Prompt가 어느정도는 하더라도 상대적으로 finetuning-st 다른 두 방식이 더 나은 예측
    • dialogue history-only input인 경우 특히 RAGate-PEFT 성능이 RAGate-Prompt보다 큰폭으로 개선
      • 대체로 Input feature를 추가하면 성능이 늘긴 하나, recall은 하락하기도.
    • RAGate-MHA가 가장 좋은 recall을 보이면서 “RAG”가 필요한 경우 식별에 특히 유의하나, Precision은 상대적으로RAGate-PEFT 방식이 더 나음.
      • 아마 절충안이 있지 않을지?
    • ablation
      • 대화의 시작 부분에서 더 많은 RAG 시도
      • 실제로 초기 대화에 RAG하면 향후 대화에서도 더 자연스러워짐으로 그 가치가 더 큰듯
      • 여행, 호텔, 항공편 등 도메인에서 더 많은 RAG: RAGate-MHA가 더 사람과 비슷
• Generation Table 3
  • No-Aug, Aug-all보다 RAGate가 더 나은 성능
    • 특히 RAGate-MHA는 훨씬 적은 수의 증강으로 Aug-All의 성능과 거의 일치
  • 가장 relevant한 snippet만 사용하면(BERT-ranker로 결정) 신뢰도 유지 + 개선