CONFETTI: Conversational Function-Calling Evaluation Through Turn-Level Interactions

Meta info.

• Authors: Tamer Alkhouli, Katerina Margatina, James Gung, Raphael Shu, Claudia Zaghi, Monica Sunkara, Yi Zhang
• Paper: https://arxiv.org/pdf/2506.01859
• Affiliation: Amazon
• Published: June 2, 2025
• Code: https://github.com/amazon-science/confetti

TL; DR

multi-turn dialogue에서 LLM Function Calling을 평가하는 벤치마크 CONFETTI 제안. 현재 모델들은 여전히 복잡한 연쇄의/긴 컨텍스트/대형 API 선택에 한계가 있음을 확인.

Background

• Function Calling: user utterance(request)에서 구조화된 API call을 생성하는 task
  • LLM 활용 대화 시스템에서 핵심 기능으로 자리매김
• 기존의 관련 벤치마크들은 대화 깊이, API 다양성, turn-level 세분화 부족

Problem States

LLM은 아직 여러 API 중 적절한걸 고르고 > 명확하지 않은 유저 목표를 파악하고 > 그에 따른 연쇄적인 function call 처리 역량 부족

Suggestion

CONFETTI

- 대화 자체는 전부 사람이 만들었고 최대 25개의 API Call 시나리오(최대 4회까지의 chaining), turn단위 평가 가능하도록 구축, 13개 유형으로 complexity를 구성 `table1`
    - complexity: 유저 목표관련, 정보 제공 양 관련, 실행 실패 혹은 불가 관련, **대화 흐름 제어 관련**, 그 외 기타 등
- 2가지 벤치마크 구성: function calling / response quality
    - function calling bench: **FC이 필요한 turn마다**
        - input: (해당 turn까지 user-agent) context + 이전 FC 내역
        - output: 다음에 호출할 function 1개 이상
    - response quality: **매 (agent의) turn마다**
        - input: context + API schema
        - output: **dialog act** 분류
- 구축 방법: 전부 사람이 만듦.. (모델에 종속성 없이 평가될 수 있도록)
    - 시나리오 만들기: 대화목표 + 상황 정의 - 전문가 검토
        - 복잡성 확보 목적 (동일 목표도 다른 방식의 대화 구축)
        - 사용할 api 리스팅, 13개중 포함할 복잡성 유형, 대화 시점 (주중인지 오전인지 등), 최소 turn 수 등
    - 대화 구축: 1명의 annotator가 user-agent 모두 수행
- 평가지표:
    - AST soft accuracy: 함수 종류, 파라미터 이름, value까지 싹 맞추는지
        - string은 exact match 하기보다는 유사도 평가 (AlignScore)
    - Dialogue Act accuracy (classification)
    - parameter hallucination: api 명세에 없는거 부르지는 않았는지 (응답 신뢰도 평가) - Results:
- 주요 모델별 FC 성능 `table 4`
    - amazon 자체 Nova Pro가 최고성능 (AST Soft Accuracy기준)
    - 그럼에도 불구하고 최대 40% 수준
- API 수가 늘수록 모델성능 급감 (특히 20개 이상에서 Claude 3.0, LLaMA 70B 등) `figure 2`
    - 실제 사용 경험 측면의 이슈 예상
- turn 수 길수록 잘 안될 것 같지만 일부 모델 (amazon 자체 모델 혹은 LLaMA 405B 등)은 오히려 상승하기도 `figure 3`
    - 소형 모델이 어려움을 겪음
- chaining은 길어질수록 크게 하락: 1개까지는 50% 미만수준이다가, 1개만 더 늘어도 20% 이하로 급감, 3개 이상에서는 모든 모델이 0~5% 수준 `figure 4`
- dialog act 관련해서는 Claude 3.5 Sonnet이 73% 등 `table 6`

Personal note. Thoughts

1. dialog act 정의: intent와 동치할 수는 없을 지도 모르지만(a, b), 늘 그렇듯 정의하기 나름이기 때문에.. 다만 요즘의 경우 또 이 연구의 경우는 함수 호출을 act로 처리하여 과잉 호출 혹은 반대로 호출을 놓치는 경우 등을 확인하기 용이해짐. others 등으로 기타 응답 역시 포함 1) 실제로 intent와 매우 비슷한 성격, 예를 들면 inform 할지, 정보를 seek할지 등 전통적으로 접근하던 방식은 유사. 2) dialog act 평가 목적 역시 예전의 BLEU 같은 유사도 기반 metric이 user 의도와 역할에 대해서 평가해주지는 않았기 때문이므로..!
2. 오늘 미팅에서 공유한 흐름 외에도 벤치마크 구축 자체를 다 사람 손을 태운 게 주요 강점인듯
3. 대화 흐름 제어 관련한 complexity를 정의하긴 했지만, 우리 연구의 제안보다는 단편적인 흐름으로 보여짐. 다만 dialogue goal switching을 직접 고려하기 위한 목적으로, 우리 연구를 포괄하는 흐름으로 볼 수도…