Exploring Persona Sentiment Sensitivity in Personalized Dialogue Generation

Meta info.

• Authors: Yonghyun Jun, Hwanhee Lee
• Paper: https://aclanthology.org/2025.acl-long.900.pdf
• Affiliation: Chung-Ang Univ.
• Published: February 17, 2025
• Code: https://github.com/imsongpasimin/PesonaSensitivity

TL; DR

LLM은 persona의 sensitivity에 매우 민감하여 부정적 persona는 일관성 없는 대화를, 긍정적 persona는 더 원활하고 질 높은 상호작용을 하기 떄문에, robustness 개선을 위해 polarity-aware 생성 전략 제안

Background

personalized dialogue에 대해 prompt 수준에서 persona 주입하는 방식으로 LLM 통합 시도 발전

• LLM이 contextual sentiment에 민감하더라
• 혹은 페르소나를 어떻게 쓸 것인가에 집중

Problem States

persona의 sentiment polarity에 대해서는 어떠한가?

• RQ1 LLM은 persona profile의 sentiment polarity(긍정/부정/중립)에 민감할까?
• RQ2 실제로 민감하다면 어떻게 robust하게 할 수 있을까?

Suggestions

• Large-Scale Polarity-Aware Dialogue Analysis: DistilBERT (감정분류기)로 ConvAI2 페르소나 문장에 긍정/부정/중립으로 레이블링
• Persona-Aware Dialogue Generation Framework
  • Turn-Based Generation: single-turn으로 번갈아가면서 독립적으로 각 프로필의 대화 생성
    • 각 프로필에 충실하면서 negative가 전이되는 현상 완화
      • (기존 연구) 두 프로필을 동시에 llm에 넣고 전체를 생성시켰는데 이렇게 하면 negative쪽이 부각되거나 서로 말투에 영향을 받기도 했다고
    • LLaMA-3.2-3B, Qwen-2.5-3B 활용
  • Profile Ordering: 입력할 때 polarity confidence에 따라 페르소나를 순서대로 정렬
    • LLM은 앞에 나오는 정보에 더 큰 영향을 받는 경향이 있으므로, 부정적이거나 중립적인 프로필을 먼저 놓고 그 다음 긍정적인 프로필 배치
    • 감정 표현이 약하거나 어려운 프로필을 초기 맥락에 더 잘 반영 (긍정적인건 원래 잘 만드니까)
    • 결과적으로 center-out score ascending 즉 가장 중립인 것부터 놓고 negative에 가중치 두는 편으로 진행
  • Sentiment-Aware Prompting(SAP): 부정적/중립적 페르소나 등 감정이 약한 프로필을 잘 처리하를 위한 Instruction 추가
    • Please ensure that each user's persona, especially negative or neutral personas, is well integrated into the dialogue...
    • 추가만 해줘도 coherence, consistency 모두 향상
  • Perplexity Gap (P gap) metric 제안: GPT2-large로 페르소나를 condition으로 할 때 대화의 PPL 변화량 측정

    • $\text{P}_\text{gap} = \text{Perplexity}(D) - \text{Perplexity}(D

      U_1, U_2)$

Effects

• Evaluation setup:
  • metrics:
    • Consistency: C score, Contradiction Ratio (Contd.), Perplexity Gap (P gap), G-eval
    • Coherence: Perplexity, Q-DCE, PairEval, G-eval
  • baselines: LLaMA-3.2-3B, Qwen-2.5-7B, Ministal-8B, Gemma-2-9B
• RQ1 LLM은 persona profile의 sentiment polarity(긍정/부정/중립)에 민감할까? > Tab 1
  • negative profile: consistency 높지만 contradiction 이 많고 coherence 낮아짐
  • positive profile: persona를 선택적으로 취해서 contradiction도 적고
  • neutral (mixed) profile: 어중간할수록 더 대화 품질이 낮다고
  • Polarity level에 대해
    • confidence 높을 수록 성능 U 자 커브, 즉 감정이 극이 될수록 대화 품질은 더 좋아짐 Fig 3
• RQ2 실제로 민감하다면 어떻게 robust하게 할 수 있을까? coherence 높음 > Tab 3 Tab 4
  • 제안 방식처럼 turn 단위로 생성하면서 profile에 order 주고 instruction 추가해주면 가장 좋은 효과

Personal note. 8월에 교류가 있는 CMU 이환희 교수님 연구실 논문중에 dialogue personalization 등과 관련한 논문이 눈에 띄어서 봤습니다. prompt-level의 제안이라 무척 단순하지만 그 단순함 덕분에 실용적인게 강조된 것 같고, 나름 틈새를 잘 노린 것 같습니다.