노름 제약 선형 최소화 오라클로 딥러닝 최적화 통합

한줄 요약

노름-볼 기반 LMO를 활용한 새로운 최적화 프레임워크로, 기존 여러 방법을 통합하고 Adam 없이도 딥러닝 학습을 가속한다.

풀어야 하는 문제

딥러닝 최적화는 주로 Adam과 같은 적응형 방법에 의존하지만, 이는 메모리 사용량이 크고 하이퍼파라미터 튜닝이 어렵다. 또한 다양한 최적화 방법을 통합하는 일반적인 프레임워크가 부족하다.

접근 방법

제약된 LMO를 사용하여 문제의 기하학적 구조에 적응하는 확률적 최적화 알고리즘군을 제안한다. 비제약 문제에도 적용 가능하도록 확장하며, 딥 아키텍처에 대한 명시적 노름 선택을 제안하여 하이퍼파라미터 전이 가능성을 확보한다.

결과·기여

제안된 알고리즘 Scion은 nanoGPT 학습에서 Adam 대비 최대 2배 속도 향상을 보였으며, 단일 가중치와 단일 그래디언트만 저장하면 되어 메모리 효율적이다. 또한 하이퍼파라미터가 모델 크기에 따라 전이 가능함을 실험적으로 입증했다.