Dialogue Ontology Relation Extraction via Constrained Chain-of-Thought Decoding

Meta info.

• Authors: Renato Vukovic, David Arps, Carel van Niekerk, Benjamin Matthias Ruppik, Hsien-chin Lin, Michael Heck, Milica Gasic
• Paper: https://aclanthology.org/2024.sigdial-1.33.pdf
• Affiliation: Heinrich Heine University Düsseldorf
• Published: August 5, 2024
• Code: https://gitlab.cs.uni-duesseldorf.de/general/dsml/dialogue-ontology-relation-extraction-via-constrained-chain-of-thought-decoding
• Conference: SIGDIAL2024

TL; DR

LLM-based Dialogue Ontology (DST key-value pair) 구축을 위한 CCoT-decoding Relation Extraction 제안

Personal note.

Dialogue System 관룐 최적의 방향으로 task를 전개한건지는 잘 모르겠지만, DST 근간에 대해서 생각해보게 하는 논문이라 공유드려봅니다. 최근의 LLM-based ICL 방식(multi-step reasoning)으로 접근하는 DST에 성능에 한계가 있다고 보여지는 이유 중 하나로, DST가 왜 slot filling 중심으로 구성되는지에 대한 고민이 다소 부족했다고 느끼기도 했는데요. prompt를 어떻게 잘 짜느냐 싸움으로 보이기도 하긴 하지만, LLM이 DST를 잘할 수 있는 방향에 대해 고민해본 것 같아서 (triplet으로 접근.. 해도 여전히 대단히 잘하는지 비교하긴 어려운) 요 방향성도 생각해봄직 한 것 같습니다.

NL2SQL 관련 개인적으로 LLM-based approach에서 DST의 고착점과 NL2SQL 에서의 고착점이 상당히 유사하다고 생각하고 있는데, NL2SQL을 대화 도메인으로 확장해서 dialogue-specific DB 구축 및 업데이트나 특히 DST 뿐만 아니라 persona Chat 쪽으로도 고민해볼 수 있을 것 같습니다.