Kourkoutas-Beta: A Sunspike-Driven Adam Optimizer with Desert Flair

## Контекст Трансформерные нейронные сети применяются всё чаще для решения физических задач, таких как моделирование динамики сложных систем и решение параметрических частных дифференциальных уравнений (PDE). Однако их применение связано с некоторыми проблемами. В задачах с data-driven PDE surrogates, тренировочные данные, полученные от различных условий границ и начальных условий, могут привести к непоследовательности потерь и значительным колебаниям градиентов. В physics-informed neural networks (PINNs), где используются сложные композитные потери, эти проблемы усиливаются. Kourkoutas-Beta предлагается как решение этих проблем, стабилизируя обучение и улучшая общую производительность. ## Метод Kourkoutas-Beta является развитием стандартного Adam-оптимизатора, существенно улучшая его стабильность в условиях спадающих и пиковых градиентов. Основная инновация заключается в замене фиксированного второго момента beta2 на динамическое значение, которое зависит от ``sunspike''-раATURAТУРА: это отношение актуального полновесного норма градиента к экспоненциальному скользящему среднему этого норма. Значение sunspike-раATURAТУРА жадно сжимается в интервал [0,1), что даёт динамическое регулирование beta2. Дополнительно предлагаются варианты, такие как leaky-AMSGrad для улучшения декремента, clipping для зон ограничения, и множество режимов bias-correction. В тоже время, при выключении всех дополнительных опций и установке bias_correction=``none'', метод равноценен классическому Adam. ## Результаты Выполнены эксперименты на четырёх различных наборах данных: (i) Heat2D — задача моделирования теплового вывода с использованием Transformer, (ii) Heat3D — трёхмерная задача PINN для моделирования теплопроводности, (iii) MLX synthetic task — задача с шумом и редкими градиентными всплесками, и (iv) small-enwik8 — задача на уровне символов с 30 МБ данных. Результаты показали, что Kourkoutas-Beta показывает значительно более высокую стабильность и лучшие результаты по потерям во всех задачах по сравнению с фиксированным beta2. На small-enwik8 он уменьшил bits-per-character в среднем на 38% по сравнению с Adam-0.95 и на 58% по сравнению с Adam-0.999, с меньшей дисперсией. Общая производительность остается близкой к Adam, с незначительным overhead. ## Значимость Kourkoutas-Beta может быть применён во многих областях, где используются трансформеры для решения физических задач, включая моделирование теплопроводности, системы управления и другие data-driven надёжные решения. Он обеспечивает улучшенную стабильность и снижает вероятность спада градиентов, что делает его привлекательным для задач с нетипичными условиями границ и редкими ситуациями входных данных. Этот оптимизатор может быть легко