## Контекст Проблема исследования заключается в ограниченной точности и понимаемости моделей машинного обучения в области сложных задач, таких как синтез машин, обработка сигналов и другие специализированные приложения. Особенностью существующих методов является их неэффективность в условиях высокой размерности параметров, что приводит к переобучению и снижению общей устойчивости. Одна из причин этому является "непривязанная" многомерная сплайн-пространственная модель, которая недостаточно сжата и неэффективна в отношении вывода значимых характеристик. Мотивация заключается в развитии методов, которые могут сжимать пространство параметров с минимальными потерями точности и обеспечивать интерпретируемый вывод. ## Метод Методология основывается на развитии Projective Kolmogorov-Arnold Networks (P-KANs), новаторного подхода к аппроксимации функций, в котором поиск интерпретируемых решений проводится с помощью минимизации энтропии пространства проекций. Функции представлены на основе сплайнов, при этом используется спектральное разложение (Fourier, Chebyshev, Bessel) для сжатия параметров. Архитектура P-KANs включает в себя специальное сжатие "непривязанного" пространства в узлах сети, чтобы нейронная сеть могла эффективно работать с представлениями, оптимальными для задачи. Эта техника основывается на анализе пространств проекций и градиентных методах, чтобы оптимизировать поведение модели в зоне минимума вариации. ## Результаты Эксперименты были проведены на различных наборах данных, включая индустриальные задачи, такие как предсказание процессов автоматизированного волоконного размещения (Automated Fiber Placement, AFP). Показано, что P-KANs обеспечивают до 80% сокращения параметров, сохраняя высокую точность решения. Модель показала существенное сокращение в спектре ошибок, особенно в условиях шума. На основе этих результатов, модель продемонстрировала улучшенную устойчивость и интерпретируемость, что является ключевым преимуществом для применения в научных и промышленных приложениях. ## Значимость Полученные результаты открывают новые перспективы для интерпретируемого машинного обучения в области сложных задач. P-KANs могут применяться в различных сферах, включая динамическую оптимизацию процессов, моделирование физических процессов и информационные системы. Основное преимущество заключается в сжатии пространства параметров и обеспечении точности, что позволяет использовать модель в реальных условиях. Будущие исследования будут направлены на улучшение методов сжатия, а также на расширение возможностей P-KANs в области сложных нелинейных задач. ## Выво

#### Контекст Обучение градиентным сетям обычно подразумевает симметричность между прямой и обратной пропагацией, что приводит к жестким ограничениям на выбор активационных функций. Эти функции должны быть дифференцируемыми (или поддифференцируемыми) и иметь монотонную структуру в определенных регионах, чтобы избежать зон плоских градиентов. Эта симметрия связывает прямую пропагацию с обратной, ограничивая выбор функций, в том числе исключая те, что имеют значительные плоские или недифференцируемые регионы. Наша мотивация заключается в проверке этих ограничений и определении возможности использовать более гибкие модели. #### Метод Мы проводим математический анализ и показываем, что необходимость точного управления градиентами может быть заменена строгим направлением грейдента. Далее, мы используем архитектуры, такие как Multi-Layer Perceptrons (MLPs), Convolutional Neural Networks (CNNs) и Binary Neural Networks (BNNs), для проведения экспериментов. Мы заменяем традиционные градиенты на простые или стохастические альтернативы, при этом сохраняя направление градиента. Эти эксперименты позволяют проверить гипотезу о необходимости симметрии в задачах обучения. #### Результаты Наши эксперименты показали, что сети с активационными функциями, которые являются недифференцируемыми или имеют значительно плоские регионы, такие как Heaviside step function, могут быть эффективно обучены. Мы заметили, что независимость от традиционных градиентов во время обучения не приводит к ухудшению точности и может даже улучшить стабильность и эффективность обучения. #### Значимость Отсутствие симметрии между прямой и обратной пропагацией расширяет гибкость в проектировании нейросетей. Мы показали, что можно применять более простые или недифференцируемые активационные функции, что позволяет экономить ресурсы и улучшать производительность. Это открывает пути к разработке эффективных моделей, которые могут быть применены в сложных задачах, таких как обработка сигналов и рекомендательные системы. #### Выводы Мы показали, что необходимость симметрии в обучении нейросетей может быть существенно смягчена. Наши результаты открывают новые возможности для разработки моделей с недифференцируемыми активационными функциями. Будущие исследования будут сфокусированы на расширении этих нахождений к более сложным архитектурам, таким как Transformer-based модели.