Generalisation and benign over-fitting for linear regression onto random functional covariates

## Контекст Мы исследуем теоретические аспекты прогностической эффективности ridge и ridge-less least-squares regression в ситуации, когда ковариаты являются функциональным пространством с $p$ случайными функциями, которые оцениваются на $n$ случайных, неизвестных точках, с добавочным шумом. Это отличается от стандартного предположения о равномерном распределении данных и представляет собой сценарий, в котором векторы $n$ ковариатов измеряются на объектах случайного пространства. Такой подход позволяет рассматривать модели, в которых индивидуальные ковариаты независимы, но общее поведение системы зависит от их связи. Такой гибкий подход позволяет углубиться в структуру данных и представляет новый подход к моделированию в сложных ситуациях. ## Метод Мы используем методы ridge и ridge-less least-squares regression, расширенные на функциональные пространства. Архитектура модели основывается на решении выпуклой оптимизационной задачи с добавочным шумом. Мы применяем теорию случайных функций и математическое ожидание для получения бутстрап-оценок и анализа выполнения модели. Метод решения заключается в использовании линейной аппроксимации в пространстве функций, а также в оценке градиента по шагам с определенным сглаживанием. Это позволяет рассматривать регрессионные модели в случае, когда ковариаты непрерывны и метрически связаны. ## Результаты Мы получили проблемы критериев риджа в регрессии на функциональных пространствах, включая размеры решаемых систем и их выполнение в реальных условиях. Изучая роль взаимодействия $p$ и $n$, мы получили различные режимы сходимости, включая самую быструю сходимость в случае роста $p$ относительно $n$. Мы провели эксперименты с разными уровнями шума и доказали, что ridge-less регрессия дает более высокую точность в регрессионных задачах с функциональными пространствами. Основной результат заключается в том, что при достаточно быстром росте $p$ достигается более низкой ошибки прогноза, даже при добавочном шуме. ## Значимость Наши результаты могут быть применены в области машинного обучения с пространственными или функциональными данными, таких как анализ изображений, геометрические модели и биологические данные. Основное преимущество заключается в том, что наш подход может оптимизировать обучение моделей, даже при отсутствии явного отделения данных. Это позволяет повысить точность и устойчивость моделей при работе с сильно связанными или случайными данными. Наш подход также может быть использован для моделирования в ситуациях с высокой размерностью и сложным геометрическим строением данных. ## Выводы Мы показали, что ridge и ridge-less least-squares regression мог