Fourier Learning Machines: Nonharmonic Fourier-Based Neural Networks for Scientific Machine Learning

#### Контекст В последние годы интерес к машинному обучению в области технических и научных задач (Scientific Machine Learning, SciML) продолжает расти. Одним из ключевых задач проблем в этой области является эффективное представление высокомерных, нелинейных и часто непериодических функций. Одним из возможных подходов являются нейронные сети с активационными функциями, основанными на функции синуса или косинуса. Однако, существующие модели часто ограничены в их способности представлять полные и сепарабельные Фурье-базисы в нескольких переменных. Это ограничение приводит к ограниченности моделей в обработке сложных научных задач, требующих высокой точности и гибкости. #### Метод Мы предлагаем Fourier Learning Machine (FLM), новый тип нейронной сети, который моделирует многомерные негармонические Фурье-разложения. Архитектура FLM основывается на простой полносвязной структуре с косинусом в качестве активационных функций. Эта структура позволяет тренировать коэффициенты частот, амплитуд и фазовых сдвигов косинусных функций как гиперпараметры. FLM может адаптироваться к различным типам функций, включая периодические и непериодические. Отличительная особенность FLM заключается в том, что он первый в своем роде, способный представлять полный и сепарабельный Фурье-базис в нескольких переменных с помощью архитектуры, похожей на Multilayer Perceptron. Кроме того, мы устанавливаем однозначное соответствие между Фурье-коэффициентами и значениями амплитуд, а также фазовых сдвигов, что облегчает переход между различными формами Фурье-разложений. #### Результаты Мы проводим эксперименты, используя FLM на нескольких научных задачах, в том числе на решении партиальных дифференциальных уравнений (Partial Differential Equations, PDEs) и задачах оптимального управления (Optimal Control Problems, OCPs). Мы сравниваем FLM с другими популярными архитектурами, такими как SIREN и vanilla feedforward NNs. Результаты показывают, что FLM демонстрирует похожую или даже превосходную точность и скорость обучения по сравнению с этими архитектурами. Эксперименты подтверждают, что FLM может эффективно работать с функциями, имеющими сложную структуру и непериодичность, что делает его подходом с широкими приложениями в научном машинном обучении. #### Значимость FLM предлагает существенные преимущества в представлении функций, которые требуют высокой точности и гибкости в научных вычислениях. Он может применяться в различных областях, включая физику, химию, биологию и другие науки, где требуется моделирование сложных физических процессов. FLM предлагает значительный потенциал