A Compositional Kernel Model for Feature Learning

2509.14158v1 cs.LG, math.OC 2025-09-19
Авторы:

Feng Ruan, Keli Liu, Michael Jordan

Резюме на русском

## Контекст Область исследования, изученная в статье, относится к теории векторных моделей и алгоритмам линейной регрессии. Одной из существующих проблем в этой области является неэффективность существующих алгоритмов при работе с регрессионными задачами, особенно сложными и нелинейными. Это приводит к неоптимальным результатам в финансовой аналитике, биоинформатике и других областях. Мотивация для данного исследования заключается в развитии более точных и эффективных методов для поиска композиционных моделей, которые могут точнее предсказывать результаты на основе данных. ## Метод Авторы предложили композиционный кернельный подход для обучения признаков, в котором линейная модель применяется к координатному переразбиению входных данных. Модель представлена в виде вариационной задачи, что дает возможность протестировать функции признаков в композиционных архитектурах. Авторы сформулировали теоретические гарантии для того, чтобы показать, что алгоритм может удалить ненужные переменные, оставив только те, которые важны для получения результатов. Основные инструменты метода включают линейные и нелинейные модели, а также методы вариационного анализа для оптимизации. ## Результаты В ходе экспериментов была проведена сравнительная оценка различных моделей, включая Laplace-kernel и Gaussian-kernel. Для теста использовались синтетические и реальные данные. Результаты показали, что Laplace-kernel позволяет лучше выделять признаки, необходимые для нелинейных эффектов, чем Gaussian-kernel, который ограничивается выделением только линейных признаков. Эти результаты демонстрируют, что Laplace-kernel может более эффективно решать задачи, включающие в себя нелинейные зависимости. ## Значимость Полученные результаты имеют значительное значение в сфере моделирования и анализа данных. Модель, предлагаемая в статье, может быть применена в различных областях, таких как финансы, биоинформатика и анализ рисков. Одним из основных преимуществ является то, что модель может эффективно выделять важные признаки, даже в случае сложных и нелинейных зависимостей. Это может привести к улучшению точности предсказаний и уменьшению рисков ошибок в моделях. ## Выводы Основные достижения статьи заключаются в разработке нового композиционного кернельного подхода для обучения признаков. Авторы показали, что использование Laplace-kernel может более эффективно выделять признаки, которые влияют на нелинейные эффекты. В будущем планируется расширить применение модели на более сложные данные и провести дополнительные эксперименты для проверки надежности и точности реализации.

Abstract

We study a compositional variant of kernel ridge regression in which the predictor is applied to a coordinate-wise reweighting of the inputs. Formulated as a variational problem, this model provides a simple testbed for feature learning in compositional architectures. From the perspective of variable selection, we show how relevant variables are recovered while noise variables are eliminated. We establish guarantees showing that both global minimizers and stationary points discard noise coordinates when the noise variables are Gaussian distributed. A central finding is that $\ell_1$-type kernels, such as the Laplace kernel, succeed in recovering features contributing to nonlinear effects at stationary points, whereas Gaussian kernels recover only linear ones.

Ссылки и действия