The GINN framework: a stochastic QED correspondence for stability and chaos in deep neural networks

#### Контекст Глубокие нейронайронные сети (DNNs) широко используются в машинном обучении и интеллектуальных технологиях. Однако определение устойчивости и стабильности широких DNNs остается вызовом, возникающим в результате сложности их интерпретации и регулирования. Это затрудняет понимание поведения таких сетей во время обучения и применения. Данная работа формулирует новую математическую модель, позволяющую описать поведение широких DNNs с помощью стохастического поля, связанного с квантовой электродинамикой (QED). Такой подход позволяет упростить модель, связать границы устойчивости с характером широких DNNs и дать новые инструменты для анализа и контроля сетей. #### Метод Методология, представленная в работе, основывается на строительстве топологического фиктивного поля, описывающего поведение DNNs в качестве стохастического квантового поля. Декомпозиция DNNs в модели с помощью фермионных материалов и гравитационных полей позволяет любую широкую DNN представить в виде комбинации физических полей, связанных с квантовой электродинамикой. Для решения задач стабилизации используется техника фиктивного Langevin-времени, чтобы нормализовать гауссовские взаимодействия глубинных сетей. Этот подход позволяет описать различные варианты динамики и стабилизации широких DNNs. #### Результаты Результаты экспериментов показали, что модель широких DNNs, основанная на физической модели квантовой электродинамики, дает точные предсказания поведения устойчивости сетей в зависимости от их ширины и регуляризации. Использованы стандартные многослойные перцептроны, где результаты были подтверждены через симуляции стохастических полей. Использование гауссианской симметрии и методики фиктивных временных интервалов позволило выделить характер широких DNNs и определить границы устойчивости. Кроме того, предложена новая GINN-модель с использованием параметризации величины и фазы весов, что дает гибкость в контроле устойчивости. #### Значимость Результаты работы имеют значительное значение для развития теории глубоких нейронных сетей. Модель стохастического поля дает новый подход к пониманию и контролю устойчивости DNNs в машинном обучении. Также, этот подход может применяться в различных областях, где требуется анализ стабильного поведения нейронных сетей, например, в глубоком обучении, градиентных подъемах и других алгоритмах. GINN, как модель, предоставляет новые инструменты для последовательного мониторинга и регулирования широких DNNs. #### Выводы Выводы работы указывают на успешное применение стохастич