REPLUG: Retrieval-Augmented Black-Box Language Models

Meta info.

• Authors: Weijia Shi, Sewon Min, Michihiro Yasunaga et al.
• Paper: https://arxiv.org/abs/2301.12652
• Affiliation: KAIST, Meta AI, Stanford Univ., UW
• Published: January 30, 2023

TL; DR

언어 모델을 블랙박스로 취급하고 검색 구성요소를 잠재적으로 조정가능한 모듈로 추가하는 새로운 retrieval-Augmented LM 패러다임 제안

Suggestions

• 입력 컨텍스트가 주어지면, REPLUG는
  1. 기존 Retriever로 external corpus에서 관련 문서를 검색
  2. 검색된 문서는 입력 컨텍스트 앞에 추가되고
  3. 최종 예측을 위해 블랙박스LM에 feed.
• LM 컨텍스트 길이의 한계로 문서의 수가 제한되기 때문에 저자는 검색된 문서를 동일한 블랙박스 LM과 병렬로 인코딩하는 새로운 앙상블 scheme 제안.
• 언어 모델이 블랙박스로 취급되는 새로운 Retrieval-Augmented LM 패러다임과 검색 구성 요소가 잠재적으로 조정 가능한 모듈로 추가할 수 있다는 점이 main contribution. (아무 LM이나 갖다 써도 동작하는 유연성이 REPLUG의 특장점)

Effects

• 파인튜닝된 Retriever를 사용하는 REPLUG는 5-shot MMLU에서 언어 모델링에서 GPT-3(175B)의 성능을 6.3%, Codex의 성능을 5.1% 등으로 크게 향상.

Personal note. new를 자꾸 강조하는데 대단히 새로운 것 같지는 않고, chatGPT에 갖다 쓰기 좋을 것 같습니다.

Comments. Retrieval-Augmented blabla는 거부할 수 없는 시대의 흐름인 것 같네요.

한동안은 그럴 것 같아요. ODQA나 Dialogue쪽에서는 당연히 성능이 좋아서 꾸준히 관심갖고 있습니다.