Projective Kolmogorov Arnold Neural Networks (P-KANs): Entropy-Driven Functional Space Discovery for Interpretable Machine Learning

## Контекст Проблема исследования заключается в ограниченной точности и понимаемости моделей машинного обучения в области сложных задач, таких как синтез машин, обработка сигналов и другие специализированные приложения. Особенностью существующих методов является их неэффективность в условиях высокой размерности параметров, что приводит к переобучению и снижению общей устойчивости. Одна из причин этому является "непривязанная" многомерная сплайн-пространственная модель, которая недостаточно сжата и неэффективна в отношении вывода значимых характеристик. Мотивация заключается в развитии методов, которые могут сжимать пространство параметров с минимальными потерями точности и обеспечивать интерпретируемый вывод. ## Метод Методология основывается на развитии Projective Kolmogorov-Arnold Networks (P-KANs), новаторного подхода к аппроксимации функций, в котором поиск интерпретируемых решений проводится с помощью минимизации энтропии пространства проекций. Функции представлены на основе сплайнов, при этом используется спектральное разложение (Fourier, Chebyshev, Bessel) для сжатия параметров. Архитектура P-KANs включает в себя специальное сжатие "непривязанного" пространства в узлах сети, чтобы нейронная сеть могла эффективно работать с представлениями, оптимальными для задачи. Эта техника основывается на анализе пространств проекций и градиентных методах, чтобы оптимизировать поведение модели в зоне минимума вариации. ## Результаты Эксперименты были проведены на различных наборах данных, включая индустриальные задачи, такие как предсказание процессов автоматизированного волоконного размещения (Automated Fiber Placement, AFP). Показано, что P-KANs обеспечивают до 80% сокращения параметров, сохраняя высокую точность решения. Модель показала существенное сокращение в спектре ошибок, особенно в условиях шума. На основе этих результатов, модель продемонстрировала улучшенную устойчивость и интерпретируемость, что является ключевым преимуществом для применения в научных и промышленных приложениях. ## Значимость Полученные результаты открывают новые перспективы для интерпретируемого машинного обучения в области сложных задач. P-KANs могут применяться в различных сферах, включая динамическую оптимизацию процессов, моделирование физических процессов и информационные системы. Основное преимущество заключается в сжатии пространства параметров и обеспечении точности, что позволяет использовать модель в реальных условиях. Будущие исследования будут направлены на улучшение методов сжатия, а также на расширение возможностей P-KANs в области сложных нелинейных задач. ## Выво