Dynamic Epistemic Friction in Dialogue

Meta info.

• Authors: Timothy Obiso, Kenneth Lai, Abhijnan Nath, Nikhil Krishnaswamy, James Pustejovsky
• Paper: https://arxiv.org/pdf/2506.10934
• Affiliation: Brandeis University, Colorado State University
• Published: June 12, 2025

TL; DR

대화에서 belief은 통상 연구들의 가정처럼 '매끄럽게' 업데이트 되지 않으므로, 새로운 정보에 대한 수용 저항(epistemic friction)을 정량화/벡터화하여 모델링하는 belief 변화 모델링 제안

Background

• 기존 LLM 시스템/대화이론의 전제는, ‘발화가 신뢰되면 정보는 즉시 belief에 반영된다’ 즉, 마찰이 없다고 가정
  • 사람들은 대화 중 common ground을 가정, 이를 기반으로 대화가 이루어진다고 가정 (Grice, 1975; Stalnaker, 2002; Clark & Wilkes-Gibbs, 1986 등등)
  • DEL 역시 신념 변화를 smooth하다고 가정
• 그러나 실제 인간 대화에서는 오해/의심/충돌/무시 등 저항/마찰이 일반적 > 정보 흡수가 ‘마찰 없이’ 이루어지는 것은 아님

Problem States

대화 속 신념 변화가 항상 ‘마찰 없이’ 통합된다고 가정하는 기존 모델은 현실의 비정렬성, 저항, 충돌을 간과하고 있으므로, 이에 따라 잘못된 정렬/저항이 대화와 인간-AI 상호작용을 어떻게 형성하는지 무시한다 > 신념 업데이트에서 저항을 정량화할 수 있을까?

Suggestions

수용 저항을 DEL과 벡터 연산으로 모델링하자 == DEF(Dynamic Epistemic Friction) 제안

• DEL: 정보 업데이트와 신념 변화 과정을 형식적으로 다루는 논리 체계
  • 세계(W), 접근 가능성(Ra), 참값 할당(V)으로 구성된 모델 M
  • 어떤 사람이 φ를 믿는다고 할 때, 그가 가능한 현실로 여기는 모든 세계(w ∈ W)에서는 φ가 참이어야 함 (i.e., φ holds in all Ra-accessible worlds)
• epistemic friction: “정보 수용 시 생기는 심리적/논리적 저항(resistance)”
  • 마찰이 클수록 대화 상대가 정보를 받아들이기 어렵고, 설득/설계할 때 더 많은 증거/정교한 표현이 필요
  • Formalization: F(φ, B, E) ∝ 1 - alignment(φ, B, E), where φ = proposition, B = current belief state, E = evidence,
  • 마찰(F) = 1-정렬(alignment) 로 정의하여, 정렬이 덜됐을수록 마찰은 커진다.
    • alignment = 기존 신념과 φ+E 간의 유사도
    • Friction: 새로운 주장 φ가 에이전트의 기존 신념 B_a와 충돌할 때 발생하는 신념의 저항
  • 기존 DEL에서는, B’_a = B_a ∪ {φ} 하면 끝인데
  • 연구에서의 제안은 이 φ가 기존 신념에서 연역되지 않으면 friction으로 처리해야 한다는 주장.
    • 벡터 기반 (HRR)으로 접근하여 belief와 φ+E 벡터가 orthogonal하면 friction 🔼
    • 즉 새로운 정보 φ가 기존 신념 집합으로부터 단순 덧붙이는 것이 아닌 revision을 요구할 경우 이는 마찰로 해석
• Vectorized Belief & Update: 신념을 vector로 두고, alignment를 cos sim으로 계산, β, α는 하이퍼파라미터
  • 정렬된 정보는 강화되고, 충돌되는 정보는 부분 수용 > belief를 덜 움직임
    • 정렬된 정보는 α·cos 유사도만큼 belief를 증폭
    • 충돌된 정보는 제한된 범위 내에서만 반영 (min(β, …))
  • Formalization: B’_a = B_a + min(β, α × sign) × CosSim(B_a, φ_b) ⊙ φ_b Eq.17
    • alignment(φ, B, E) = CosSim(v_B, v_φ + v_E)
• Friction Equilibrium: 대화를 통해 참가자의 belief가 점진적으로 조정
  • 매 turn마다
    1. 각 proposition φ_i에 대해 friction F_i(a)를 계산
    2. 마찰이 큰 주장들만 선택 (high-friction subset H)
    3. 가장 마찰이 큰 것부터 증거 추가 or 주장 수정
    4. 업데이트 후 전체 마찰을 다시 측정 > 균형(Equilibrium)에 도달할 때까지 반복
       • Equilibrium: 전체 마찰 평균이 기준값 이하가 될 때’ 도달

Effects

DEF는 현실적 belief 추론이 가능하고, friction 조절이 성능에 매우 중요하다

• task: Weights Task Dataset (3인 협업 과제, 블록 무게 추론)
  • DEF 모델이 참가자의 최종 belief state 예측 가능한가?
  • 가장 발화 적은 참가자 1명 선택 > belief 벡터 추적
  • 발화마다 vectorized proposition으로 변환해 Eq.17에 따라 업데이트
  • 최종 belief 벡터와 정답([10,10,20,30,50]) 비교 > RMSE 측정
  • α=5, β=2로 friction 강도 조절 (가장 성능 좋았다고)
• Results:
  • tab2 k가 클수록(대화를 길게 준다고) 반드시 성능이 좋아지는 건 아님 (즉 long context가 항상 이롭진 않음)
    • 대부분 그룹에서 2~3g 오차 수준으로 정확도 높음
    • yellow block은 늦게 언급되어 마찰 큼 > 예측 어려움: 반복된 발화, 증거가 많을수록 friction이 줄어듦으로, 반대로 적게 등장하거나 맥락 없이 언급되면 기존 belief와 잘 정렬되지 않음 > alignment 🔽 = friction 🔼
  • fig2 마찰을 조절하지 않으면 belief가 왜곡됨: DEF는 마찰 계수(α, β)를 잘 조절해야 성능이 높아진다

Personal note. 깊이 고민해보지 않은 setup이라 + 논리명제를 다룬 연구(HRR)라 조금 까다롭게 느껴질 뻔 했는데, 그렇기 때문에 notation만 잘 잡고 가면 이해하기 어려울 정도는 아닙니다. 제안하고 있는 ‘수용 마찰’이라는 개념과 문제는 유용한 것 같은데, 현실에서 φ를 어떻게 정의할 수 있을지, 혹은 이 vector가 얼마나 강건한지에 대한 논의가 필요할 것 같습니다. 그에 앞서서 신념은 어떻게 정의할지 (현실의 대화에서는 신념이 항상 드러나거나 정의되는 것은 아니므로..) 도 물론 한계로 보입니다. 실험적으로 충분하지 않고(target task가 WTD 한가지) 비교 대상도 마뜩찮지만, 아직 개념/이론 제안에 가깝기도 하고, 첫걸음으로서는 눈여겨볼만한 시작이 될 것 같습니다.