The Probabilities Also Matter: A More Faithful Metric for Faithfulness of Free-Text Explanations in Large Language Models

Meta info.

• Authors: Noah Siegel, Oana-Maria Camburu, Nicolas Heess, Maria Perez-Ortiz
• Paper: https://aclanthology.org/2024.acl-short.49.pdf
• Affiliation: Google DeepMind, UCL
• Conference: ACL2024

TL; DR

Counterfactural input에 간섭을 추가하는 방법으로 faithfulness 측정할 때 LM output 확률분포를 고려하는 Correlational Counterfactural Test(CCT) 제안

Problem States

self-consistency이 Fauthfulness를 보기에 충분한 지표가 아니다.

• Fauthfulness: 모델이 답까지의 추론과정까지 정확하게 나타내는가?
  • 모델 출력의 faithfulness가 중요한건 통상 알려진 사실
  • 이를 판단하기로는 보통 Counterfactural Test(CT)에서 ‘(입력을 바꾸는 등 모델 behavior가 바뀔 수 있도록 조작했을 때) 출력이 바뀌느냐’에 대한 여부(=binary, 또는 일종의 consistency)로 보고 있음.
• Interventional Addition(IA): IA가 input에 삽입됐을 때, 모델 예측이 바뀌면 해당 IA는 유의미한 factor로 간주하고, 해당 IA가 사후 설명에 등장하는지 확인
• Research Question: 모델의 예측 distribution이 어떻게 바뀌는지 보는게 어떨까?
  • 출력이 ‘어느 정도’나 바뀌는지 보고자 하는 시도

Suggestions

Correlational Explanatory Faithfulness (CEF, 상관관계 설명 충실도?) Metric 제안

• (전제) faithfulness를 판단하기 위해서는, 단순히 유의한 factor를 식별하는 수준에 그치지 말고 그렇게 식별된 factor들이 그렇지 않은 factor보다 자주 언급되도록 해야된다.
  • (CT와 차이) 개입이 예측에 영향을 미친다면, 설명에서 언급만 되면 faithful하다고 평가될 수 있음
• (방법) Correlational Counterfactural Test (CCT)에 적용: counterfactural test를 수행하기 위해
  1. intervention: IA 개입 발생
  2. prediction impact 측정: 개입 전후 모델 출력의 분포(=예측)를 확인 하고 TVD(작은 확률 사이 변화는 가중치 덜주는 방법)로 확인
  3. explanation mention 측정: 모델 설명에 유의한 Factor의 언급은 증가해야 하고 그렇지 않은 Factor 언급은 생략하길 기대
• (해석) 값이 클수록 해당 factor가 모델 예측에 영향이 컸다

Effects

• experiment setup:
  • Datasets: 설명이 붙은 downstream task datasets. e-SNLI(NLI), ComVE(common sense), ECQA(multiple choice QA)
  • backbone: Llama-2 series, 20-shot prompt
  • methods: predict → explain(PE) or explain → predict(EP)
  • intervention: 문장의 명사 앞에 형용사 추가 or 동사 앞에 부사 추가
    • Llama-2-70B 모델로 말이 되는 문장인지 filtering
• results:
  • intervention과 explanation간 상관성: 모델 설명은 intervention이 모델의 예측에 영향을 미치는 경우 해당 단어를 언급할 가능성이 더 높았다
    • figure 1 : x축-TDV, y축-설명에 언급된 횟수, True/False-faithful한 설명인지 여부
      • e-SNLI: 유의한 factor를 설명에 더 자주 언급 (양의 상관관계)
      • ECQA: 설명에 factor가 자주 언급되긴 하나 유의하진 않음 (상관성 없음)
        • 데이터셋에 주석된 설명이 이상(할지도)
    • 모델이 클수록 설명 정확도와 faithfulness 모두 높은 편
    • EP보다는 PE가 더 faithful

Personal note. counterfactor나 faithfulness 가 키워드같아서 kc 관련도가 높을줄 알고 시작했는데사실은 Interpretability에 가까운 내용이었습니다…만심플한 결과와 논문 길이 대비 (짧아서 더 그럴지도,,) 은근 비약이 많아서결과 두고 해석하는데 시간이 살짝 걸린 것 같습니다🤔