PredAct-Bench: Benchmarking Tool-Augmented Dialogue under Controlled Tool Noise

Meta info.

• Authors: Abdulrahman AlRabah, Xiaocheng Yang, Dilek Hakkani-Tür, Abdussalam Alawini
• Affiliation: University of Illinois Urbana-Champaign
• Paper: https://arxiv.org/abs/2608.02372
• Code: https://github.com/aalrabah/PredAct_bench
• Published: August 3, 2026 (arXiv preprint)

TL; DR

예측 tool의 정확도를 40~80%로 직접 주입 통제하면서, LLM 의사결정자와 사람이 대화 전후로 결정을 어떻게 바꾸는지 평가하는 PredActBench 제안. 13개 모델 중 10개는 대화를 할수록 F1이 떨어졌고, 사람만 calibrated 영역에 위치

Review Video

Background

• LLM task-oriented dialogue system: multi-step decision을 돕는 용도로 education, healthcare, finance 등 결정 대가가 큰 도메인에 배치
  • 배치 환경의 tool에는 두 종류가 섞여 있음
    • 조회형 tool: DB에 이미 기록된 값을 꺼내오므로 틀릴 여지가 없음
    • 예측형 tool: 아직 일어나지 않은 결과를 과거 기록으로 추측하는 모델이라 원리적으로 틀릴 수 있고, 그 오답이 정상 응답 안에 담겨 나오므로 응답만 봐서는 알 수 없음
  • e.g. 예측 도구의 위험 점수를 보고 치료를 정하는 임상의, 예측 모델이 뽑은 위험군 명단을 보고 개입을 정하는 지도교수: 도구는 조언하고 결정은 사람이 함
• 4가지 선행 연구 계열
  • task-oriented dialogue: belief state tracking과 response generation을 표준화, 단 predefined schema와 static goal과 fixed ontology를 가정
    • MultiWOZ 계열 (Budzianowski et al., 2018; Ye et al., 2022), SGD (Rastogi et al., 2020)
  • tool-use / agent benchmark: API 선택, argument 구성, compositional planning, multi-turn function calling의 정확성을 평가
    • APIBench (Patil et al., 2024), ToolBench (Qin et al., 2024), BFCL (Patil et al., 2025)
    • environment-grounded 확장: WebArena (Zhou et al., 2023), Mind2Web (Deng et al., 2023), τ-bench (Yao et al., 2025), PrefIx (Li et al., 2026)
  • robustness under noise: API 명세 복잡도, 실행 실패, 불완전 응답, 오류 출력, 오도 신호에 agent를 노출
    • WildAgtEval (Kim et al., 2026), AgentNoiseBench (Wang et al., 2026), 실행 실패 복구를 다룬 PALADIN (Vuddanti et al., 2025)
  • temporal reasoning: 시간을 가로지르는 통합이 여전히 약하다는 진단, chronological confusion과 recency bias가 반복 보고됨
    • TimeBench (Chu et al., 2024), TIMER-Bench (Cui et al., 2025), ER-Reason (Mehandru et al., 2025)
• 2가지 평가 지표 계열
  • calibration: Brier score (Brier, 1950), ECE (Guo et al., 2017)
  • appropriate reliance: 옳은 AI 조언은 따르고 틀린 조언은 거부하는지를 Appropriateness of Reliance(AoR)라는 2차원 개념으로 정의, 그 두 축이 RAIR/RSR (Schemmer et al., 2023)
    • 단, 조언을 한 번 받고 한 번 결정하는 상황을 전제하므로 중간에 대화가 끼는 설정에는 그대로 못 씀
• Tab 1: tool calls / multi-turn / interactive conversation / noise injection / longitudinal reasoning / human-in-the-loop 여섯 축 비교
  • PredActBench만 전부 체크, τ²-bench와 AgentNoiseBench는 longitudinal과 human-in-the-loop이 없고 TIMER-Bench는 longitudinal만 있고 tool call과 대화가 없음

Problem States

부분 관측된 longitudinal evidence 추론, multi-turn 상태 유지, 불확실한 tool 출력 위에서의 결정. 배치 현장에서는 이 셋이 한꺼번에 일어나는데 지금까지는 서로 다른 벤치마크로 쪼개져 다뤄짐

• noise를 엉뚱한 곳에 넣어옴: 기존 벤치마크의 noise는 전부 toolchain 바깥에 있음
  • τ-bench: tool이 벤치마크가 만든 정답 테이블을 조회해 반환하므로 구성상 틀릴 여지가 없음 (oracle tool)
  • AgentNoiseBench: user query만 흐리고 tool은 oracle로 유지
  • robustness 계열 전반: 주입한 noise가 timeout, 빈 응답, 실행 에러처럼 고장이 겉으로 드러나는 종류라 agent가 재시도나 우회로 대응 가능
  • 정작 실제 배치에서 불확실한 건 예측형 tool이 내놓는 값인데, 그 정확도를 통제한 벤치마크는 없었음
• oracle 평가가 잘못된 행동을 보상함: 모든 tool 반환값이 정답이면 검증 없이 그대로 따르는 것(wholesale acceptance)이 최적 전략
  • 검증용 추가 tool call은 순수 낭비가 되고 tool 출력을 뒤집는 것은 무조건 손해이므로, 순응이 곧 고득점
  • 이 전략은 예측형 tool이 섞여 들어오는 순간 무너지므로, oracle 벤치마크의 고득점이 배치 환경에서도 유지된다는 보장이 없음
  • controlled tool noise는 평가에 덧붙이는 stress test가 아니라, 재려는 능력을 측정하기 위한 전제 조건
• F1으로는 구분 불가: 선별적 검증으로 점수를 번 agent와 그냥 순응한 agent가 같은 F1을 받음
  • 옳은 tool을 부르는가, tool 출력을 충실히 추적하는가, 불확실한 예측을 과신하는가, 사람의 최종 결정을 실제로 개선하는가가 전부 한 숫자에 뭉개짐
• → 따라서 필요한 조건
  • [환경] tool 정확도를 주어진 값으로 두지 말고 실험자가 직접 지정하는 파라미터로 둘 것
  • [측정] 대화 전 결정과 대화 후 결정을 분리해 기록, 그 차이로 대화의 순효과를 정의
  • [지표] 옳은 조언을 받아들이는 능력과 틀린 조언을 버티는 능력을 서로 다른 축으로 분리, 한 번의 결정이 아니라 episode 단위로 측정
  • [기준점] human baseline을 넘어야 할 목표치가 아니라 행동 패턴을 견줄 기준으로 둘 것

Suggestions

핵심은 tool 정확도를 실험자가 지정하는 것 하나이고, 나머지 구성요소는 전부 그걸 가능하게 만들기 위한 장치

• 정확도를 40%로 맞추려면 예측이 맞았는지 세야 함 → 정답이 남아 있는 도메인 필요 (education, Datasets)
• 뒤집을 예측이 먼저 있어야 noise 주입이 성립 → 결정적이고 재현되는 예측기 필요 (k-NN Predictor)
• 전부 틀리면 의존 여부를 잴 수 없음 → 안 틀리는 tool과 틀리는 tool을 섞어야 함 (Tool Inventory)
• 통제된 조건에서 무엇을 잴 것인가 → 대화 전후 결정 변화 (Episode-level RAIR / RSR)

Task Definition

• academic risk prediction: 두 LLM 사이의 다중 턴 대화 과제로 재정의, 둘 다 벤치마크의 일부로 함께 배포
  • LLM instructor: 강의 담당 교수를 시뮬레이션하는 의사결정자, 학생 데이터를 직접 볼 수 없고 오직 assistant에게 물어야만 알 수 있음
  • LLM assistant: tool call로만 응답, 스스로 결정하지 않고 instructor의 질문에 자료를 대주는 역할
• episode = (course, cutoff week $t$, 학생 $N$명)
  • 입력: 학생 $i$의 cutoff까지의 부분 성적 궤적 $x_i^{(t)}$
• 3단계 진행 (Fig 1)
  • 1단계: assistant가 최종 letter grade $\hat y_i$와 confidence $c_i$를 예측해 at-risk 학생을 flag, 짧은 근거와 함께 제시
  • 2단계: instructor가 이 리포트만 보고 초기 결정 $d_i^{\text{init}} \in \lbrace \text{flag}, \text{no-flag} \rbrace$ 기록
  • 3단계: 성적 이력, 학급 비교, counterfactual, 개입안을 캐물으며 대화한 뒤 최종 결정 $d_i^{\text{final}}$ 확정
• Fig 1은 이 파이프라인을 두 갈래로 보여줌
  • 왼쪽 system-initiated: 두 agent가 tool 출력 위에서 대화하며 자율적으로 성적을 분석하고 위험을 예측하고 개입을 계획
  • 오른쪽 user-initiated: instructor가 분석을 질의하고 걸러내고 반박하면서 추가 tool call을 유발
  • 붉은 글씨는 tool이 실제로 만들어낸 값을 표시해 어디까지가 tool 출력인지 구분

Datasets

• 정답이 필요해서 education 도메인 선택: 예를 들어 8주차 예측이 맞았는지를 학기 말 실제 성적으로 채점 가능, 개입 여부라는 결정 지점도 분명했다고
• OULAD (Kuzilek et al., 2017): 영국 Open University의 실제 평가 점수와 최종 결과
  • 32,593명, 7개 module 22개 presentation, 궤적과 최종 성적 모두 실제 데이터
  • UK 관례를 따라 40, 50, 60, 70 임계값이 F부터 A까지에 대응
• PredAct-CS: 대형 공립 연구중심대학의 학부/대학원 CS 60개 강의
  • 53,401명, 과제명과 가중치와 주차 일정이 담긴 실제 syllabus, 학생별 실제 최종 letter grade
  • 주차별 raw 기록은 공개 불가이므로 과제별 점수는 각 학생의 실제 최종 성적에 도달하도록 합성 생성
• 강의별 80/20 분할, train 파티션이 k-NN의 historical record pool 역할

Tool Inventory

• 믿을 tool과 못 믿을 tool을 섞기 위한 구성: 12개 4범주 (Tab 3)
  • Lookup 6개 (deterministic): get_student_grades 등 성적/과제/학급 통계 조회
  • Counterfactual 3개 (deterministic): simulate_uniform_remaining 등 “남은 과제를 전부 X점 받으면” 류의 시뮬레이션
  • Prediction 2개 (probabilistic, k-NN): predict_final_grade_for_student, 예측 학점과 confidence를 함께 반환
  • Intervention 1개 (LLM-generated): suggest_intervention_for_student
• noise는 prediction 범주에만 들어가고 나머지는 항상 ground truth 기반 값을 반환
  • 덕분에 믿을 도구와 의심할 도구가 섞인 상황을 다룰 수 있는지만 따로 떼어 볼 수 있음

k-NN Predictor

• 정확도를 원하는 값에 맞추려면 먼저 바꿔치기할 예측이 있어야 하므로, 통제하기 쉬운 예측기를 하나 붙여둔 것
  • 결정적이라 재현되고,
  • 자연 정확도가 40~80% 구간 안쪽이라 양쪽으로 조금씩만 뒤집어 목표치를 만들 수 있으며,
  • 이웃 가중치 비율이 그대로 confidence가 됨
• 동작: 지금 학생과 성적 패턴이 비슷했던 과거 학생들을 찾아 그들의 최종 학점 중 다수결로 예측
  • 다수결이라고 해도 이웃마다 가중치가 다름: 거리가 가까운 이웃의 학점일수록 큰 가중치
  • 공유 component가 적은 쌍은 거리 추정이 불안정하므로 tolerance로 반경을 좁혀 근거가 얕은 매칭을 배제
  • 반경 안에 아무도 없으면 train pool의 점수 조건부 학점 분포로 fallback (OULAD 19%, PredAct-CS 0%)
• confidence: 예측된 학점이 가져간 가중치의 비율

\[c_i = \frac{\sum_{j \in N_i} w_{ij} \mathbb{1}[y_j = \hat y_i]}{\sum_{j \in N_i} w_{ij}}\]

• 확률이 아니라 이웃끼리 얼마나 같은 답을 냈는지(agreement)라 calibration이 보장되지 않고, 실제로 Fig 4에서 과신으로 확인됨

Noise Injection

• 의도: k-NN이 낸 예측 중 일부를 바꿔치기해 표본 정확도를 목표치에 정확히 맞춤
  • 목표치 $a^{*} \in \lbrace 0.4, 0.5, 0.6, 0.7, 0.8 \rbrace$, 자연 상태에서 맞은 예측 수를 $n_0$라 할 때 바꿀 개수는

\[n_{\text{flip}} = \vert \text{round}(a^{*} \cdot N) - n_0 \vert\]

• 자연 정확도가 목표보다 높으면 맞은 예측 중 $n_{\text{flip}}$개를 골라 다른 학점으로 무작위 오답화
• 낮으면 반대로 틀린 예측 중 $n_{\text{flip}}$개를 정답으로 되돌림
• 어느 쪽이든 그 표본의 정확도가 목표치와 정확히 일치하게 됨
• 바꾸는 건 예측 학점뿐이고 confidence는 그대로 둠
  • 그래서 confidence가 0.9인데 오답인 경우가 생김
  • 저자는 실제 predictor의 miscalibration을 흉내 낸 의도된 성질이라고 설명
• 조회, counterfactual, 최소 점수 tool은 손대지 않으므로 noise는 예측 tool 하나에만 남음

Episode-level RAIR / RSR

• appropriate reliance 프레임워크 (Schemmer et al.): 한 번의 결정에서 multi-turn dialogue로 확장
  • 계산은 agent가 flag한 학생만 대상, $y_i$는 정답, $\hat y_i$는 agent의 판단
• RAIR: 처음엔 내가 틀렸고 agent가 맞았던 경우 중, 대화 후 agent 쪽으로 옮겨가 정답이 된 비율

\[\text{RAIR} = \frac{\vert \lbrace i : d_i^{\text{init}} \neq y_i,\ \hat y_i = y_i,\ d_i^{\text{final}} = y_i \rbrace \vert}{\vert \lbrace i : d_i^{\text{init}} \neq y_i,\ \hat y_i = y_i \rbrace \vert}\]

• RSR: 처음엔 내가 맞았고 agent가 틀렸던 경우 중, 대화 후에도 내 판단을 지켜 정답으로 남은 비율

\[\text{RSR} = \frac{\vert \lbrace i : d_i^{\text{init}} = y_i,\ \hat y_i \neq y_i,\ d_i^{\text{final}} = y_i \rbrace \vert}{\vert \lbrace i : d_i^{\text{init}} = y_i,\ \hat y_i \neq y_i \rbrace \vert}\]

• 둘을 함께 봐야 얼마나 동의했는지가 아니라 옳은 쪽으로 동의했는지를 잴 수 있음
• 해당하는 경우가 하나도 없으면(분모 0) 값이 정의 불가
• 더 자세히 보려고 agent가 flag한 결정을 정답과 대조해 4개로 남김없이 분류
  • correct follow 옳은 flag 유지 / bad follow 틀린 flag 유지 / correct override 틀린 flag 기각 / bad override 옳은 flag 기각(위험한 누락)

Effects

• Experimental setup
  • user(데이터와 episode 구성)
    • 5개 목표 정확도 × 2개 데이터셋 = 10개 cell, cell당 10회 반복
    • episode당 학생 30명 표본: stratification으로 진짜 at-risk 5명을 강제 포함
      • at-risk 학생이 드문 강의에서 표본에 정답이 하나도 안 잡히면 F1이 실력과 무관하게 0이 되므로, 그걸 막기 위한 장치
    • cell별로 강의와 cutoff week가 지정됨 (PredAct-CS는 Course A~E 모두 8주차, OULAD는 week 8~32)
    • episode당 최대 10 chat turn
  • assistant(평가 대상)
    • assistant agent는 전 조건에서 GPT-4o Mini로 고정, instructor 쪽 추론 능력만 변수로 남기기 위함
    • instructor만 13개 모델로 바꿔가며 평가
      • closed-source 7종: GPT-5.5, GPT-5.4 Mini, GPT-4o Mini, Claude Opus 4.7, Claude Haiku 4.5, Gemini 3.1 Pro, Gemini 3 Flash
      • open-source 6종: Qwen 3.5 35B, Qwen 3.5 9B, Mistral Small 24B, Ministral 3 14B, DeepSeek V4 Pro, DeepSeek V4 Flash
      • max_tokens 16,000, temperature는 모델별 0.6~0.7, reasoning 모드는 해당 모델에서 사용 안 함
    • 총 1,300 episode (13 instructor × 10 cell × 10 run), 시드는 (model, dataset, target accuracy, run index) 해시로 만들어 재현성 확보
  • evaluation
    • decision quality: 초기 F1과 최종 F1을 분리 보고, 그 격차가 대화의 순효과
    • tool calibration: noise 주입 전 자연 출력에 대해 ECE와 Brier score
    • trust calibration: episode 단위 RAIR/RSR과 4-bucket override 분석
    • human study: 대형 공립대 강사와 조교 13명(TA 11, instructor 2), 각 10개 시나리오
      • no-agent baseline 1개 + assistant 3종(GPT-4o Mini, Qwen 3.5 35B, Qwen 3.5 9B) × 정확도 3종(40/60/80%) = 9개 조건
      • 조건별 시드를 하드코딩해 모든 참가자가 같은 학생 집합을 보게 함, 총 650건의 human decision
      • 조건 블록마다 5점 Likert 설문(결정 확신, 유용성, 오답 탐지 능력, 배치 의향)
    • ablation 2종: 파이프라인 튜닝에 쓰이지 않은 OULAD cell로 돌리는 held-out, noise 주입을 아예 빼고 돌리는 uncalibrated predictor
• Results
  • 사람과 LLM은 비슷한 F1에 전혀 다른 경로로 도달함 (Fig 2, Tab 4)
    • 사람은 중위권 LLM instructor와 F1이 비슷
      • RAIR-RSR 평면에서는 사람만 calibrated 사분면에 홀로 분포
      • 13개 중 11개 LLM은 RAIR 하위 RSR 상위에 분포
    • 행동: 사람은 턴 수가 적은 대신 episode당 시간을 두 배 쓰고, LLM은 짧은 단일 의도 질의를 많이 던지고 턴 사이에 시간을 안 씀
    • 질문 종류: 사람은 여러 답을 모아 비교하는 쪽, LLM은 system prompt가 예시로 준 조회 질문을 그대로 따라감
    • 전문가 평가에서 검증 성실도는 동률이었고 다만 질문의 질만 사람이 유의하게 높음 → 기계적 성실함이 아니라 질문의 질이 차이를 만듦
  • 예측 tool 정확도가 instructor F1 상승 견인 (Fig 3)
    • 40% → 80%로 갈수록 13개 모델 평균 F1이 두 데이터셋 모두 상승
      • 상승 폭은 PredAct-CS가 더 빠르게
    • 단 OULAD는 70%에서 최고성능 이후 80%에서 오히려 하락
      • long horizon과 실데이터 noise로 설명
    • 같은 모델의 데이터셋 간 격차가 같은 데이터셋 안의 모델 간 격차와 비슷 → 어디서 재느냐가 어떤 모델을 쓰느냐만큼 결정적 (Tab 16)
  • 대화가 대부분의 LLM instructor의 결정을 악화시킴 (Tab 14)
    • 13개 중 10개에서 chat phase가 F1을 떨어뜨렸고, 개선된 건 GPT-5.5와 Gemini 계열 셋뿐
    • 원인은 두 지표의 비대칭: RSR은 전 모델 천장인데 RAIR은 상위 둘을 빼면 바닥 → 초기 판단에 붙박인 탓에 틀린 판단은 안 고쳐지고 맞은 판단만 대화 중 과신에 뒤집힘
  • 실패 사례는 dialogue-induced over-trust collapse 하나로 수렴 (Appx A.10)
    • 예측 tool이 옳게 flag했는데도 F1 = 0이 된 episode들은 고정확도 구간(70~80%)에 몰림, 초기 판단은 전 사례에서 부분적으로 옳았음 → 시작 조건이 아니라 chat phase가 성능을 깎음
    • 공통적으로 성적 이력 조회만 쓰고 counterfactual이나 최소 점수 계산을 안 부름, system prompt가 두 종류 조합을 명시했는데도
  • robustness ablation (Tab 9, Tab 10)
    • 파이프라인 튜닝에 안 쓰인 OULAD cell에서도 중간 정확도 정점과 고정확도 구간 불안정이 재현
    • noise 주입을 아예 뺀 조건에서도 대부분이 대화로 F1을 잃음 → over-trust는 noise 주입이 만들어낸 현상이 아니고, 오히려 주입이 없을 때 더 심함
  • 예측기 자체가 일관되게 과신 (Fig 4): 두 데이터셋 모두 confidence가 실제 정확도보다 높고 OULAD 쪽이 더 심함, 학기 어느 시점에도 오답률이 떨어지지 않음

Personal note. Related Work 첫 문단이 MultiWOZ와 SGD로 시작하는 게 인상깊어요. 2026년 8월 현재 시점에 볼 배치는 아닌 것 같은데(ㅋㅋ) 저자에 MultiWOZ 2.1 저자 본인이 레퍼런스에 들어가 있으니 이해는 갑니다. 구조도 실제로 TOD를 이야기하기도 하고요. instructor가 묻고 assistant가 조회 하는 건 전통적인 slot filling 그대로,, MultiWOZ를 fixed ontology 가정으로 까고 들어가긴 하는데 정작 이 논문의 tool 12개도 고정 스키마이고 goal도 강의 하나에 고정이라, 실제로 푼 건 ontology가 아니라 DB가 참을 보장하지 않는다는 축 하나라고 봅니다. slot filling은 tool calling으로, DST는 memory로, dialogue policy는 agent planning으로 연구가 편재된 느낌이지만.. 마치 재발견처럼 언급되는 부분이 인상적입니다.