The boundary of neural network trainability is fractal

Meta info.

• Authors: Jascha Sohl-Dickstein
• Paper: https://arxiv.org/pdf/2402.06184.pdf
• References: https://twitter.com/jaschasd/status/1756930242965606582

TL; DR

복잡한 반복 패턴인 Fractal 패턴이 AI 학습 프로세스(하이퍼파라미터)를 제어하는 setting에 나타난다고.

Effects

• Fractal 수학과 AI 시스템의 학습 및 작동 방식 사이에 더 깊은 연관성이 있다는 점을 시사하는 한편, AI의 행동 양상을 이해하고 학습 방법을 개선하는 데 있어 새로운 연구 방향을 제시.