What if LLMs Ate Their Words: Causal History Effects in Multi-Turn Interaction

Meta info.

• Authors: Jinnan Li, Zheren Fu, Yue Wang, Jinzhe Li, Yuan Wu, Yi Chang
• Affiliation: Jilin University; USTC; UNC-Chapel Hill
• Paper: https://arxiv.org/abs/2609.05882
• Code: https://github.com/jinnanli/llms-ate-their-words
• Published: September 5, 2026 (arXiv preprint)

TL; DR

Multi-turn 대화에서 모델이 스스로 써둔 assistant history가 이후 성능을 인과적으로 바꾸는지를, 완료된 SHARDED 대화를 user 메시지는 그대로 두고 assistant 응답만 중립화해 replay하는 방식(neutralization, Turn Surgery)으로 검증

• 왜: multi-turn degradation(FULL → SHARDED 성능 하락)은 잘 알려졌지만, 모델이 앞서 쓴 자기 응답이 그 원인 중 하나인지, 어느 turn이 문제인지는 분리되지 않음
• 제안: 완료된 대화에서 user 메시지를 고정하고 assistant 응답만 Acknowledged로 치환해 재생성 replay
  • 전체 치환(neutralization)과 한 turn씩 치환(Turn Surgery)에 대해 실험
• 발견: 자기 history를 지우면 점수가 약 7%p 오르고 길이를 맞춰도 동일 → 길이가 아니라 내용이 원인
  • 무너진 대화의 63.7%에는 “지우면 좋아지는 turn”이 최소 하나 있더라
    • 하지만 turn 하나하나로 보면 절반 이상은 지워도 안지워도 결과가 그대로 → 문제 turn은 대화마다 일부에만 섞여 있음
    • 문제 turn이 최근 turn에 몰려 있지도 않아서, “최근 몇 turn만 남기기” 같은 단순 규칙으로는 고를 수 없음.

Background

• multi-turn 평가의 확장: single-turn prompt에서 interactive setting으로 이동
  • MT-Bench (Zheng et al., 2023), MINT (Wang et al., 2024), MT-Eval, MT-Bench-101, MultiChallenge
  • underspecified interaction 연구: user 의도가 불완전하면 모델이 너무 일찍 답하거나 근거 없는 가정을 함
• sharded simulation (Laban et al., 2026) 기반 논의
  • 같은 task를 한 번에 다 주는 FULL vs 조각(shard)으로 나눠 여러 turn에 걸쳐 주는 SHARDED를 비교
  • SHARDED에서 큰 성능 하락과 함께 premature answer, unsupported assumption, reliance on previous responses 같은 행동 실패가 관찰됨
  • 한계: 이 실패에 모델 자신의 이전 응답이 기여하는지는 분리하지 못함
• 완화 연구: curriculum RL, entropy-guided context resetting (ERGO), explicit intent mediation (Liu et al., 2026)
  • history-cleaned self-distillation (MAIGO, Zheng et al., 2026), canonical-context distillation (Lin et al., 2026), conversational inertia 완화 (Wan et al., 2026)
  • 한계: 대부분 history 전체를 omit/transform하거나 training policy 수준에서 작동, turn 단위 진단이 없음
• assistant history 자체를 다룬 연구: Do LLMs Benefit From Their Own Words? (Huang et al., 2026)
  • 이전 assistant 응답을 생략/요약하는 설정과 비교해 assistant history가 불필요하거나 해로울 수 있더라
    • sharded GSM8K에서 length control까지 수행
  • 한계: 역시 whole-history 단위, task와 model에 따른 차이와 개별 turn의 영향은 확인 필요할 것
• context/memory 연구: 더 많이 보존한다고 더 잘 쓰는 게 아님
  • Lost in the Middle (Liu et al., 2024), MemGPT (Packer et al., 2023), LongMemEval (Wu et al., 2024), LoCoMo (Maharana et al., 2024)
  • agentic system에서는 plan, reflection, tool 해석 등 model-generated 내용이 context의 상당 부분을 차지
• trajectory 단위 실패 진단과 intervention 기반 attribution
  • 관찰 기반: MAST (Cemri et al., 2025), TRAIL (Deshpande et al., 2025), AgentDebug (Zhu et al., 2025)
  • intervention 기반: DoVer, CausalFlow (Bonagiri et al., 2026), Causal Agent Replay (Shah, 2026)
  • 한계: 이질적인 agent execution trace가 대상으로 하여 일반 multi-turn 대화의 assistant turn은 다루지는 않음.
• TL; DR: degradation 현상은 존재하는 사실이고, history를 줄이면 나아진다는 증거도 있지만, 모델이 쓴 어떤 turn이 얼마나, 어느 방향으로 이후를 바꾸는지는 turn 단위로 측정된 적이 없음

Problem States

multi-turn degradation을 모델 자신이 쓴 history의 인과 효과로 분해하려면 필요한 조건

1. degradation이 모델 고유한 문제일지, task와 model 조합에 따라 구조적으로 달라지는지? 먼저 확인 → RQ1: degradation landscape
2. 자기 history를 바꾸면 결과가 바뀌는지, 그리고 그게 단순히 context가 짧아진 효과는 아닐지? → RQ2: neutralization + length control
3. 어느 turn이 결과를 바꾸는지를 한 turn씩 분리해서 확인 → RQ3: Turn Surgery
4. 결과를 바꾼 개입이 모델 내부 상태에서도 구분될 수 있을지 → RQ4: open-weight internal analysis

Suggestions

Definition

• SHARDED trajectory를 user 메시지 $U_t$와 assistant 메시지 $A_t$의 교대 sequence로 정의

\[\tau = (U_1, A_1, \dots, U_T, A_T)\]

• self-generated assistant history: 모델이 생성해서 이후 turn의 입력으로 누적되는 $A_1, \dots, A_{T-1}$
  • $A_t$가 단순 기록(transcript)인지, 이후 계산에 실제로 관여하는 입력인지
• 평가 점수 $S^c_i$: 사례 $i$를 조건 $c$에서 돌렸을 때 최종 assistant 출력에 대한 task별 정규화 점수
  • degradation = $S^{\text{FULL}} - S^{\text{SHARDED}}$
• retrospective replay: 이미 끝난 대화에서 user 메시지를 기록된 그대로 다시 넣고, assistant history만 바꿔 모델이 이어서 생성하게 함
  • user simulator를 다시 돌리지 않으므로, assistant 응답이 바뀌었을 때 user가 다르게 반응했을 가능성은 배제됨
  • 따라서 여기서 말하는 causal effect는 “기록된 user 메시지를 조건으로 한” intervention 효과

Neutralization (RQ2)

• short neutralization: 마지막을 제외한 모든 assistant 응답을 고정 placeholder $N$ = Acknowledged로 치환
  • turn 구조(누가 언제 말했는지)는 유지하되 task 내용은 제거
  • 같은 모델이 마지막 응답만 다시 생성하고, 원래 evaluator로 채점
  • history-intervention effect: $S^{\text{SHORT}}_i - S^{\text{SHARDED}}_i$
• length-matched neutralization: 짧아져서 좋아진 것뿐일 수 있다는 대안 설명을 배제하기 위한 통제
  • 원래 응답의 길이만큼 $N$을 반복해서 filling
  • 길이는 정규식 \S+로 잡히는 비공백 span 수로 측정 (모델별 tokenizer가 아닌 공통 estimator)
  • 결과 보기 전에 model × task cell당 10개씩, 총 300개 후보를 미리 지정(prespecified)

Turn Surgery (RQ3)

• 목표 turn $A_{i,t}$ 하나만 $N$으로 치환, 그 이전 history는 그대로 둠
  • 이후 기록된 user 메시지를 replay하고, 그 사이 assistant 응답은 같은 모델이 autoregressive하게 다시 생성
  • 즉 치환 지점 이후의 assistant turn은 원본이 아닌 새로 생성된 응답으로 이어짐
• branch 단위 효과: trajectory $i$의 $j$번째 branch(= $j$번째 turn을 수술한 버전)의 점수 차

\[\Delta_{ij} = S^{\text{surgery}}_{ij} - S^{\text{SHARDED}}_i\]

• positive($\Delta_{ij} > 0$): 그 turn을 지우니 좋아짐, 즉 원래 turn이 해로웠음
• negative($\Delta_{ij} < 0$): 지우니 나빠짐, 즉 원래 turn이 도움이 됐음
• no-change($\Delta_{ij} = 0$); 연속 점수 task에는 $\epsilon = .01$ 허용 오차로 robustness 확인
• trajectory-equal estimand: trajectory마다 수술 가능한 turn 수 $k_i$가 달라서, 긴 대화가 평균을 지배하지 않도록 먼저 trajectory 내부 평균을 낸 뒤 trajectory끼리 동일 가중으로 평균

\[\Delta_{\text{traj}} = \frac{1}{n_{\text{traj}}} \sum_{i=1}^{n_{\text{traj}}} \left( \frac{1}{k_i} \sum_{j=1}^{k_i} \Delta_{ij} \right)\]

• robustness check로 모든 branch를 동일 가중하는 branch-weighted mean도 보고
• 추가 지표
  • trajectory reach: positive branch가 하나라도 있는 trajectory 비율
  • fail-to-success reversal: binary task에서 SHARDED 0점이 수술 후 1점이 된 branch가 있는 trajectory 비율
  • relative position: 수술한 turn의 정규화 위치 (0 = 가장 이른 중간 turn, 1 = 가장 늦은 중간 turn)
  • distance-to-final: 수술한 turn과 마지막 user 요청 사이의 user turn 수
• 분석 대상은 degradation이 뚜렷한 trajectory로 한정
  • binary task(Actions, Code, Database, Math): $S^{\text{FULL}} = 1$이고 $S^{\text{SHARDED}} = 0$
  • 연속 점수 task(Data-to-Text, Summary): $S^{\text{FULL}} - S^{\text{SHARDED}} \ge 0.10$
• repeatability: 선택된 고효과 개입을 temperature 0으로 두 번 더 돌려 결과 class가 유지되는지 확인
  • 60개 trajectory에서 첫 run 효과가 가장 큰 개입 하나씩만 대상

Open-weight internal analysis (RQ4)

• Qwen3-14B, 로컬에서 exact evaluation이 가능한 Actions, Code, Data-to-Text(D2T)만 대상
  • probe 정의는 24개 trajectory의 discovery set에서 고정
  • 본 추정은 겹치지 않는 held-out 118 trajectory, 603 branch (positive와 no-change branch를 모두 가진 mixed trajectory 46개 포함)
  • D2T는 별도 prospective 집단으로 재현만 확인 (held-out과 합치지 않음)
• state propagation: turn surgery가 모델 내부 상태를 얼마나 바꾸는가
  • downstream user anchor: 수술 이후 replay되는 각 user 메시지의 마지막 content token 위치
  • 각 decoder layer의 residual stream(transformer block 사이를 흐르는 표현)을 anchor에서 추출
  • divergence는 원본 context와 수술 context의 표현 사이 1 − cosine similarity
  • 마지막 anchor에서의 값(final)과, 모든 downstream anchor에 걸친 정규화 사다리꼴 면적(propagation AUC)으로 요약
• state restoration: 마지막 anchor에서 수술된 residual vector를 원본 history의 vector로 한 번 덮어쓰고(prefill 시) greedy decoding
  • 수술로 얻은 이득이 얼마나 되돌아가는지로, 내부 상태와 행동 사이 방향성을 확인
  • mediation 검증이 아니라 범위가 제한된 causal intervention으로 취급
• 보조 probe
  • static target-turn attention: 수술 대상 turn에 가는 attention 양
  • history attention redistribution: 이전 assistant history 전체에 가는 attention이 원본 대비 얼마나 재분배되는지
  • attention knockout: 대상 turn을 최종 생성 token에서만 가림(direct-only) vs 모든 downstream 위치에서 가림(full-downstream); 두 효과 차이가 propagation advantage
  • continuation margin: 성공 continuation과 실패 continuation의 길이 정규화 teacher-forced log-likelihood 차이, 원본 vs 수술 context에서의 변화

Effects

• Experimental setup
  • benchmark: sharded simulation (Laban et al., 2026)의 627개 fully specified instruction, 6개 task family
    • Actions (105, BFCL-V3 Parallel): function-call correctness
    • Code (100, HumanEval): test 기반 pass@1
    • Data-to-Text (120, ToTTo): SacreBLEU/100
    • Database (107, Spider): SQL execution match
    • Math (103, GSM8K): normalized exact match
    • Summary (92, Summary of a Haystack): coverage + citation score
  • user: 원래 SHARDED 생성 때는 user simulator가 다음 shard를 골라 rephrase; replay 실험에서는 기록된 user 메시지를 그대로 재사용
  • assistant: GPT-5.6 Luna, Grok 4.5, GPT-4o, DeepSeek V3.2, Qwen3-14B
    • temperature 0, max output 1,000 token
    • Qwen3-14B는 RQ4 내부 분석 모델을 겸함
  • evaluation
    • 3,135 instruction–model pair 중 FULL과 SHARDED 점수가 모두 유효한 2,989쌍이 RQ1 대상
    • 불완전한 요청은 실패로 바꾸지 않고 missing으로 유지
    • model 수준 요약은 task 평균을 동일 가중 macro-average; 10,000회 paired percentile bootstrap으로 95% CI
• Results
  • Fig 3 RQ1: 모든 모델이 14~22%p 무너지지만, 얼마나 무너지는지는 task와 model에 따라 다 다르더라
    • 한 번에 줬을 때 잘하는 모델이 나눠 줬을 때 덜 무너지는 건 아니고(FULL 1위 Grok ≠ 하락 최소 Luna)
    • 섣부른 가정이 바로 오답이 되는 Actions, Database 도메인에서는 20~44%p로 크게 하락
    • Summary는 10%p 내외로 거의 그대로
  • RQ2: 자기response를 지우면 결과가 바뀜
    • 전체 평균으로는 +2.7%p로 조금 오르지만, 사실은 오르는 쪽과 떨어지는 쪽이 상쇄된 결과
      • Actions는 +22%p로 크게 오르고 Code는 −13%p로 크게 떨어짐
      • 모델 중에서는 DeepSeek만 반대로 −15%p
  • Fig 4A 길이를 맞춰 지워도 효과가 같음(+6.9%p vs +6.8%p) → 짧아져서가 아니라 response의 내용 때문
  • Fig 4B 똑같이 대치했더라도, 어떤 대화는 개선되고 어떤 대화는 하락하더라
    • 원래 틀린 대화는 절반(51%)이 살아나지만,
    • 원래 맞던 대화의 15%는 오히려 틀림
    • → history를 통째로 지우는 건 답이 아님, RQ3로 연결
  • Fig 5 RQ3: 문제 turn은 넓게 퍼져 있지만 골라야 됨
    • 무너진 대화의 64%에 “지우면 좋아지는 turn”이 있고,
      • 그런 turn이 여러 개인 경우가 더 많음
      • 48%는 turn 하나만 지워도 오답이 정답으로 바뀜
    • 하지만 turn 하나하나로 보면 58%는 넣든 빼든 영향이 없으며,
      • 32%는 해롭고,
      • 11%는 오히려 도움
    • 최근 turn이라서 해로운 것도 아니더라
    • 같은 실험을 다시 돌리면 약 30%는 결과가 바뀜
      • temperature 0인데도!
  • Fig 6 RQ4: 모델 내부에도 흔적은 있지만 약하고 task마다도 다름
    • 결과를 바꾼 turn이 내부 상태도 더 흔들지만, 차이는 아주 작음
    • 내부 상태를 되돌리면 효과도 사라지는지는 D2T에서만 약하게 확인
    • 모든 task에서 통하는 내부 신호는 없다는 결론 (probe마다 결과가 제각각)

Personal note. 표면적으로는 Acknowledged라는 placeholder가 정말 “중립”인지는 걸리긴 하는데 아무튼 쉬운 방식으로 model response를 가릴 수는 있었어서 크게 마음에 걸리지는 않습니다. 아무래도 직역하면 “알겠다, 계속 진행한다”는 수락 신호로도 읽히긴 하니까..

neutralization 효과의 상당 부분은 모델이 너무 일찍 내놓은 답(premature answer)에 anchoring되던 걸 끊어준 효과가 아닐까 싶기도 합니다. Actions가 크게 오르고 Code가 떨어지는 것도, 누적되는 산출물(code)과 섣부른 가정(function call)이 history 안에서 다르게 작동한다고 보면 설명은 된다고 느끼고

원본 그대로 replay했을 때 결과가 얼마나 뒤집히는지(null surgery)는 보고되지 않아서 branch가 여러 개인 trajectory의 “하나라도 positive” 비율은 temperature 0에서의 run 변동(71.7% 일관성)만으로도 어느 정도 부풀려졌을 가능성도 배제하긴 어렵겠습니다.

그래도 개인화 쪽에서 보면, agent가 지난 세션에 스스로 채워 넣은 argument가 다음 세션에서 user 선호의 “증거”로 되먹임되는 구조와 정확히 같은 질문이라 (비록 제가 하고자 했던 연구와 유사해서 방향을 접었어야 했을지라도) 꽤 흥미롭게 읽었습니다.