Detecting Training Data of Large Language Models via Expectation Maximization

Meta info.

• Authors: Gyuwan Kim, Yang Li, Evangelia Spiliopoulou, Jie Ma, Miguel Ballesteros, William Yang Wang
• Paper: https://arxiv.org/pdf/2410.07582
• Affiliation: AWS AI Lab, UCSB
• Published: October 10, 2024

TL; DR

Expectation-Maximization 알고리즘을 통해 멤버십 점수와 prefix 점수를 반복적으로 업데이트하여 더 나은 멤버십 추론을 수행하는 새로운 LLM용 MIA 방식 EM-MIA 제안

Background

어떤 데이터가 모델 학습에 사용되었는지 알 수 없다.

• Membership Inference Attack (MIA): 특정 데이터가 모델 학습에 사용되었는지 탐지
  • 모델 M와 그의 학습데이터 D_train에 대해, 테스트 데이터 D_test의 각 인스턴스 x가 D_train에 속하는가? (= 멤버인가?)
  • 가정: M은 D_train에 과적합/기억한다.
    • 일반적으로 멤버는 비 멤버에 비해 LLM의 타겟 text의 average log likelihood (PPL)가 낮다.
• ReCaLL: WikiMIA에서 90% 이상의 AUC-ROC를 달성한 SOTA
  • 사용된 membership score: (context로서) 비멤버 prefix p가 주어졌을 때, 타겟 데이터 포인트 x가 멤버일 확률
    • prefix: : 단어, 구, 문장, 여러 문장, …
    • x의 조건부 로그 우도와 LLM M에 의한 x의 무조건부 로그(prefix 없이) 우도의 비율
  • 즉, prefix 의존도 높음 (강한 가정 하에서 전개)

Problem States

학습 데이터 규모가 너무 큰 현 시점에서, 언어의 특성에서 비롯된 멤버십의 모호성으로 LLM에 대해 MIA가 어려워짐

• ReCaLL의 한계
  • prefix로 뭘 고르느냐에 대한 의존도가 크고
  • test set에서 label이 지정된 데이터를 쓰므로 다른 MIA와 공정 비교 불가
  • 비멤버 데이터가 없을 때 강건성 떨어짐

Suggestions

EM 알고리즘을 활용하여 membership score와 prefix score를 반복적으로 개선 → 테스트 데이터셋에 대한 최소한의 정보만으로도 LLM의 학습 데이터를 탐지할 수 있다.

• output logit 접근 가능한 grey-box LLM 기반
• prefix score가 높은 데이터를 사용하여 membership score를 더욱 정확하게 계산
  • membership score: 각 데이터가 멤버일 확률
  • prefix score: prefix로 사용될 때 각 데이터 포인트가 멤버와 비멤버 구별에 얼마나 효과적인가
• process
  1. 초기 멤버십 점수 할당(Loss, Min-K%++, …)
  2. 해당 점수 기반으로 prefix score 계산 → 멤버십 점수 update, …. (EM)
  3. prefix score가 높은 데이터 사용시 더 높은 MIA 성능 달성

Effects

멤버와 비멤버가 명확히 구분되는 분포를 띈다면 성능 더욱 좋음. (그렇지 않은 경우 다른 MIA 방식들 모두 challenge)

• WikiMIA에서 SOTA
  • baseline: Mamba-1.4B, Pythia-6.9B, LLaMA-13B, NeoX-20B, LLaMA-30B, OPT-66B
  • 가장 큰 모델로 사용했던 OPT-66B에서 길이 32와 64에 대해 99% AUC-ROC = 제안한 EM-MIA가 주어진 비멤버 테스트 데이터 없이도 매우 정확하게 멤버십을 추론한다
• OLMoMIA에서도 좋은 성능
  • Easy와 Medium 난이도에서 WikiMIA와 유사하게 거의 정확
  • Hard 및 Random 난이도 설정에서는 MIMIR 벤치마크와 유사하게 랜덤 추측 수준 (멤버와 비멤버의 분포가 크게 겹치는 설정이기 때문으로 분석)

Personal note. 본 논문에서는 초기 멤버십 스코어 설정할 때 랜덤 설정 정도로 잘 못잡으면, 제안하는 EM-MIA의 알고리즘이 효과적으로 작동하기 어렵다를 한계로 집고 넘어가는데,(그래서 진짜 어렵다는 MIMIR 데이터셋에 적용 안해봤다고) 접근하고 있는 이 task 자체가 (벤치마크 자체의 난이도가 아니라 하려고 하는 바가) 무척 어려워보입니다🤔🤔🤔🤔