Real-time Fake News from Adversarial Feedback

Meta info.

• Authors: Sanxing Chen, Yukun Huang, Bhuwan Dhingra
• Paper: https://arxiv.org/pdf/2410.14651
• Affiliation: Duke Univ.
• Published: October 18, 2024

TL; DR

LLM의 fake news를 더 잘 생성하게 하는 방법. 학습 이후 발생되는 사건의 fake news 탐지를 위해, adversarial iterative fake news 생성 파이프라인 제안

Problem States

• 기존 fake news 데이터는 PolitiFact나 Snopes 등 fact check web site의 과거 데이터 활용 → 모델이 학습했을 가능성
• 최신 LLM들이 생각보다 fake news 탐지 잘 하는데, 실험 결과 탐지 성능이 (LLM 학습 이후 발생되는 사건에 대해서도 계속해서) 향상됨 == 사실 추론 능력이 향상되었기 보다는 fake news의 어떤 pattern을 학습했을 가능성
  • (다양한 pattern의 fake news에 대한 연구가 필요했다는 결론)

Suggestions

RAG기반 detector를 점진적으로 회피(?)할 수 있는 fake news를 adversarial iterative하게 생성하는 방법 제안

1. 다양한 도메인의 실제 뉴스기사 기반 LLM 상식 이상의 real news corpus 구축
2. LLM (generator)기반 fake news 후보 생성
3. real news랑 contradict 되지 않는 후보 제외
4. RAG기반 detector로 filter된 후보 ranking → top1 선택 (→ generator input)
5. detector를 점진적으로 속이는 Iterative loop 생성

Effects:

• Experimental setup: NBC News 활용, GPT-4o를 main generator로 하여 6회 loop 수행
  • backbone: GPT-4, GPT-3.5, Gemini Pro/Flash, Llama 3.1, …
• Results: loop를 거칠수록 더 향상된 (어려운) fake news 생성해냄
  • 특히 RAG기반 GPT-4o 모델이 가장 성능 하락 폭이 컸음 (AUC-ROC 17.5 하락)
  • real-time news는 LLM detector 입장에서는 그럴듯하지 않은 것으로 보임
  • RAG 기반하지 않은 경우 adversarial attack에 더욱 취약
  • LLM은 changing entities(incld. names, locations, times), hallucinating events + making up details, mimicking typographical errors 등 다양한 방식으로 진짜 뉴스를 수정

Personal note. 시간이 흐름에 따른 지식 충돌을 야기시키는 데이터셋 생성에 도움이 될까 싶어서 읽어봤습니다만, 생각보다 심심한 결론이네요. (시간 흐름을 강조한 건 아니고, 그냥 fake news 생성인듯…) 결국 LLM을 더 태울수록 fake 강도가 심해지는 것 같다는 결론으로 정리해도 될 것 같습니다.