Examination for the Master of Science

Presented Date: 2024/06/13 Slides: %25E1%2584%258B%25E1%2585%25B2%25E1%2586%25AB%25E1%2584%258B%25E1%2585%25A8%25E1%2584%258C%25E1%2585%25B5%25E1%2586%25AB_Thesis_slides.pdf Title: Enhanced Multi-Intent Detection with Blended Datasets When: 2024 Summer materials: dCollection_%25E1%2584%258C%25E1%2585%25A5%25E1%2584%258C%25E1%2585%25A1%25E1%2586%25A8%25E1%2584%2580%25E1%2585%25AF%25E1%2586%25AB%25E1%2584%258B%25E1%2585%25B1%25E1%2584%258B%25E1%2585%25B5%25E1%2586%25B7%25E1%2584%2583%25E1%2585%25A9%25E1%2586%25BC%25E1%2584%258B%25E1%2585%25B4.pdf, %25E1%2584%258B%25E1%2585%25B2%25E1%2586%25AB%25E1%2584%258B%25E1%2585%25A8%25E1%2584%258C%25E1%2585%25B5%25E1%2586%25AB_Thesis_watermark.pdf

**Abstract** Task-oriented dialogue (TOD) systems are commonly designed with the presumption that each utterance represents a single intent. However, this assumption may not accurately reflect real-world situations, where users frequently express multiple intents within a single utterance. While there is an emerging interest in multi-intent detection (MID), existing in-domain datasets such as MixATIS and MixSNIPS have limitations in their formulation. To address these issues, we present BlendX, a suite of refined datasets featuring more diverse patterns than their predecessors, elevating both its complexity and diversity. For dataset construction, we utilize both rule-based heuristics as well as a generative tool ---OpenAI's ChatGPT--- which is augmented with a similarity-driven strategy for utterance selection. To ensure the quality of the proposed datasets, we also introduce three novel metrics that assess the statistical properties of an utterance related to word count, conjunction use, and pronoun usage. Extensive experiments on BlendX reveal that state-of-the-art MID models struggle with the challenges posed by the new datasets, highlighting the need to reexamine the current state of the MID field.

**국문요지** 목적 지향 대화 (Task-oriented dialogue; TOD) 시스템은 일반적으로 각 발화가 단일 의도를 나타낸다는 가정하에 설계된다. 그러나 이러한 가정은 실제의 다양한 상황에서 사용자들이 단일 발화 내에서 여러 의도를 한 번에 표현하는 경우를 정확하게 반영하지 못할 수 있다. 이처럼 다중 의도 감지(Multi-intent Detection; MID)에 대한 관심과 중요성이 증가하는 한편, 기존의 데이터셋인 MixATIS와 MixSNIPS는 그 구성에서 한계를 갖는다. 이러한 문제를 해결하기 위해, 본 논문에서는 개선된 데이터셋 묶음, BlendX를 제안한다. 이 데이터셋은 선행 데이터셋보다 더 다양한 패턴의 발화 병합을 특징으로, 그 복잡성과 다양성을 높이는 데에 집중했다. 데이터셋 구축을 위해, 본 논문에서는 규칙 기반 휴리스틱 접근법(Manual Approach)과 발화 선택을 위한 유사도 기반 전략이 적용된 생성형 언어모델인 OpenAI의 ChatGPT를 활용한 접근법(Generative Appraoch)을 제안한다. 제안된 데이터셋의 품질을 보장하기 위해, 단어 수, 접속사 사용 및 대명사 사용과 관련된 발화의 통계적 특성을 평가하는 세 가지 새로운 지표를 도입했다. BlendX에 대한 실험은 최첨단 성능의 MID 모델들이 새로운 데이터셋이 제기하는 도전에 어려움을 겪는다는 사실을 보여주며, MID 분야의 현재 상태를 재검토할 필요성을 강조한다.