The GAN is dead; long live the GAN! A Modern GAN Baseline

Meta info.

• Authors: Yiwen Huang, Aaron Gokaslan, Volodymyr Kuleshov, James Tompkin
• Paper: https://openreview.net/forum?id=OrtN9hPP7V
• Affiliation: Brown Univ., Cornell Unlv.
• Published: September 26, 2024
• Code: https://github.com/brownvc/r3gan
• Conference: NeurIPS2024

TL; DR

학습이 불안정한 GAN의 1) Loss 수정 2) 최신 architecture 적용하여 SOTA

The GAN is dead; long live the GAN! A Modern GAN Baseline (NeurIPS2024)

• TL; DR: 학습이 불안정하다는 GAN의 1) Loss 수정 2) 최신 architecture 적용하여 SOTA

Problem States

GAN 학습의 문제점으로 mode dropping, non-convergence이 잘 해결되지 않음

• 경험적인 방식에 의존하거나, GAN 기반 방법론들이 지나치게 복잡함

Suggestions

최신 딥러닝 방법론을 적용하여 기존 문제점을 상당수 개선한 GAN Baseline R3GAN 제안

- Loss 수정: RpGAN
    - 수학적으로 local convergence 보장 증명(appendix) = 근본적인 기존 문제점 해결
    - 근본 GAN architecture 회귀 = 여타 경험적인 trick 대체
- 최신의 minimal한 architecture 적용: ResNet, U-Net, ViT 등 - Results
- FFHQ, ImageNet, CIFAR, Stacked MNIST 등 다양한 데이터셋에서 StyleGAN2 비롯, 최신 GAN/Diffusion model군 제치고 SOTA

Personal note. 저자들이 개선한 것이 딱 두가지로 간소한데 효과가 뚜렷합니다. StyleGAN2랑 비교하는데, 복잡하다는 정도만 이해하고 있어도 수월할듯.