Bootstrapping LLM-based Task-Oriented Dialogue Agents via Self-Talk

Meta info.

• Authors: Dennis Ulmer, Elman Mansimov, Kaixiang Lin, Justin Sun, Xibin Gao, Yi Zhang
• Paper: https://arxiv.org/pdf/2401.05033.pdf
• Affiliation: Amazon

TL; DR

LM이 Self-Talk를 통해 training 데이터를 생성>정제>SFT에 활용 (bootstrapping). 이 과정에서 병목을 해소하기 위해 대화성공 여부를 측정하는 automatic metric 제안

Suggestions

• bootstrapping: 자체 출력을 사용하여 모델을 초기화하거나 개선하는 방법. self-talk loop의 병목으로 (초기)데이터 품질 저하 문제나 컴퓨팅 리소스 한계, 모델 오류 전파 등을 지적.
• subgoal completion을 정량화한게 대화 evaluation의 핵심, 주로 ROUGE-L 사용.
• 정의한 “대화의 workflow step”이랑 비교해서 대화 품질을 평가하는데, 결과적으로 workflow step completion이 5개 이상이거나 완료한 비율 상위 5%만 사용하는 것이 가장 좋은 성능을 가진다고 확인
  • 기준을 엄격히 가져갈수록 아마 FT 데이터셋이 모자라서 성능이 저하되는 것으로 추측

Personal note. 확실히 모델의 대화 성능을 향상시키는것은 아직까지 SFT이 거의 유일한듯 하고, 이마저도 개선시키기 위해서는 데이터 사이즈가 핵심이라는 경향 확인