Am I Me or You? State-of-the-Art Dialogue Models Cannot Maintain an Identity

Meta info.

• Authors: Kurt Shuster, Jack Urbanek, Arthur Szlam, Jason Weston
• Paper: https://aclanthology.org/2022.findings-naacl.182.pdf
• Affiliation: Facebook AI Research
• Published: December 10, 2021

TL; DR

최신 대화 모델은 종종 정체성을 유지하지 못하며, expanded attention & classifier-based reranking으로 오류를 65% 줄일 수 있으나 여전히 challenge이다.

Background

• 대규모 open-domain dialogue system (당시 facebook의 BlenderBot, Google의 Meena 등)은 fluency 와 engagement를 크게 향상시켰으나,
• persona-conditioned models는 role 유지 측면에서 여전히 모순, 반복, 환각 현상 발생.
• 대체로 factual consistency, grounding, contradiction detection등의 연구가 주류로, identity consistency는 아직 초기단계

Problem States

모델이 어떻게 하면 자기 스스로에 대한 정체성을 유지할 수 있을까

• 대화 에이전트는 종종 “interlocutor의 identity를 취한다”; 상대 역할을 자기 것으로 착각한다
  • guest 역할 model이 갑자기 thief나 hunter라고 주장하는 경우 tab 1
  • LIGHT에서 인간은 캐릭터를 유지(1.34% 오류)하나, 모델은 약 35%에서 실패
    • LIGHT:
  • 정체성 유지==turn이 지나면서도 자신/상대방 역할 오인하지 않도록

Suggestions

identity 착란 완화 방안

• RPA 기반 reranking
  • RPA classifier: Poly-encoder Transformer 기반 발화가 주어진 캐릭터 정체성에 부합하는지 판별하는 모델
    • motivation: 어떤 발화가 어떤 페르소나/캐릭터가 할 법한 말인지 판별할 수 있는 자동계산 metric이 있다면 훈련할때나 평가할 때 쓸 수 있지 않을까 = RPA classifier 학습
    • 방법:
      • LIGHT 대화의 context를 받아다가 (캐릭터 이름, persona, 장소 등 + 대화 history)
      • 모델이 생성한 candidate를 보고 어떤 캐릭터 발화에 가장 적합한지 판단 = 분류문제
      • negative sampling: 정답 캐릭터 + 99개 랜덤 캐릭터 후보 중에서 맞추도록 학습
    • option: full or token tab 2
      • 전체 발화 기반 RPA(full)
      • Left-to-Right RPA(token): 토큰단위로 생성된 도중에 그 시점까지만 보고 어느 화자인지 맞춰보기
      • e.g., tab 11 Hey there mermaid! <- 까지 보고 나면 갑자기 Mermaid 캐릭터에 대한 확률 증가 (호칭인지 자기소개인지 토큰단위만으로는 화자 못맞추는 경향 확인)
  • reranking: 모델이 여러 후보 응답을 생성하면, 그중에서 RPA 점수가 가장 높은 걸 쓰자
    • 발화단위 re-ranking (utt, full): 가장 in-character한 걸 선택
    • PACER(token): 생성 도중까지만 보고 RPA 점수 높은걸 쓰는데
      • 매 토큰마다 할 수는 없으니 (속도측면 한계)
      • 일부 스텝(예시로 전체 토큰 위치의 5% or 33%만)에서 (경험적으로 실험해서 결정됨, tab 3)
      • 소수의 후보(이전생성 + top-10 token)에 대해서만 RPA 계산 → reranking
• unlikelihood: 생성 후보에 대해 RPA로 골랐는데 정답이 아니었을 경우에 대해 패널티 부여하는 보조 Loss 설계
• multi-objective learning: Next token prediction + 누구 발화인가 같이 학습 (joint learning loss)
• expanded attention: 디코더가 항상 자기 persona 다시 보도록 re-attention강제하기 (cross-attention 단계)
  • persona grounding(수동 선택): A 자기 페르소나, B 자기 이름, C 상대 이름, D 배경 설정을 묶어 persona subset 만든 뒤 expanded attention으로 다시 보게 하기 = ABCD 다 보고 2회 반복했을 때 가장 좋은 성능
  • automated grounding(자동 선택): Decoder-attn 기반 / Trainable mask(별로였다고) 혹은 RPA attention 활용 (수동 선택이랑 비슷, tab 7)
    • 즉, 수동 선택을 위한 persona 같은 meta 정보가 없으면 attention 활용하면 될 것

Effects

tab 4 main table; expanded attention+reranking 조합이 최적

Personal note. memory conflict 관련해서 보던 페이퍼 리스트에서 참고해서 확인했습니다. 완화 방법이 다양하고 ablation이 잘 된 것 같기는 한데 방식 자체가 현재의 LLM에 적용하는 방식으로 접근하기에는 다소 조잡하고, 그 방식의 한계도 너무 당연히 발생될 것 같은 흐름이자, 검증된 결과 역시 매우 경험적인 부분에 기대고 있는 등 대체로 findings인 이유가 명백해보이기는 합니다. (결론정도만 취해도 좋을 것 같아서 실험 결과를 크게 생략했습니다.) 다만 문제제기는 확실하고 보려고 했던 방향과 유사했다는 점이 인상깊었고 (호칭을 화자로 착각한다는 점을 구체적으로 확인해낸 점), 이 문제를 추적하고 있는 연구가 있는지 마저 살펴보고 있지만, 당연히도 매우 좁은 문제를 다루고 있기 때문에 이를 집중했다고 보긴 어려울 것 같습니다.