Maxout Polytopes

2509.21286v1 math.CO, cs.DM, cs.LG 2025-09-27
Авторы:

Andrei Balakin, Shelby Cox, Georg Loho, Bernd Sturmfels

Резюме на русском

## Контекст Maxout polytopes являются одним из изучаемых в области геометрии и нейронных сетей типов полиэдров. Они определяются сетями с активационной функцией "максимум" (maxout) и неотрицательными весами после первого слоя. Исследование таких полиэдров привлекает внимание из-за их возможного применения в машинном обучении и математической геометрии. Несмотря на большой интерес, многие аспекты, такие как их структура, граничные точки и связь с гиперплоскостями, до сих пор остаются недостаточно изученными. Это стимулирует исследования в этой области, чтобы уточнить их свойства и расширить их потенциал в приложениях. ## Метод Maxout polytopes определяются через структуру нейронных сетей с maxout-функцией активации и неотрицательными весами. Методология исследования включает анализ параметров сети, конструирование полиэдров и определение их границ. Технические решения заключаются в разработке алгоритмов для вычисления экстремальных значений и изучения гиперплоскостей, разделяющих полиэдра. Архитектура статьи основывается на трех основных областях: определение maxout-полиэдров, их геометрические свойства и связь с нейронными сетями. Эти аспекты объединены для получения полного представления о maxout-полиэдрах и их применении в машинном обучении. ## Результаты Изучение maxout-полиэдров включало эксперименты с различными размерами и топологиями нейронных сетей. Данные, использованные в экспериментах, были синтетическими и собраны для отражения различных структур сетей. Результаты показали, что maxout-полиэдра могут быть гладкими и выпуклыми, но их структура зависит от конфигурации сети. Было получено, что для сетей без буттлнеков (узких мест) maxout-полиэдра являются кубическими. Эти результаты были подтверждены через математические демонстрации и симуляции. ## Значимость Результаты имеют значимость в нескольких областях. Они открывают новые возможности в геометрии вычислительных сетей, позволяя лучше понять структуру и поведение нейронных сетей. Благодаря их исследованию могут быть созданы более эффективные алгоритмы для обработки данных. Также, maxout-полиэдры могут быть применены в математической геометрии и многообразиях, что расширяет их потенциал за пределами машинного обучения. Их преимущество в том, что они обладают высокой точностью и гибкостью при анализе нелинейных задач. ## Выводы Изучение maxout-полиэдров дало новые познания в геометрии нейронных сетей и их применения. Основные достижения заключаются в определении свойств и границ maxout-полиэдров, а также

Abstract

Maxout polytopes are defined by feedforward neural networks with maxout activation function and non-negative weights after the first layer. We characterize the parameter spaces and extremal f-vectors of maxout polytopes for shallow networks, and we study the separating hypersurfaces which arise when a layer is added to the network. We also show that maxout polytopes are cubical for generic networks without bottlenecks.

Ссылки и действия