Beyond Least Squares: Robust Regression Transformer (R2T)
2508.02874v1
cs.LG, cs.AI, stat.ML, 68T30, 65D10, 62J02, 68T07, 62F35, 62J02, I.2.6; G.1.2; G.3
2025-08-09
Авторы:
Roman Gutierrez, Tony Kai Tang, Isabel Gutierrez
Резюме на русском
Обычное наименьшие квадраты (LS) — популярный метод регрессии, но он существенно страдает в условиях асимметрического структурированного шума. Мы предложили гибридную архитектуру, объединяющую нейронные и символические подходы. Нейросетевой модуль (Transformer) обрабатывает последовательности чисел, а символьный модуль предсказывает параметры, позволяя восстановить оригинальную последовательность с помощью фиксированного символического выражения. Модель обучается на синтетических данных, где цель — восстановить первоначальные данные после добавления асимметричного структурированного шума. Это позволяет модели учиться гибкому символьному приближению, учитывающему нейронные оценки параметров. На синтетических данных R2T показала значительное улучшение регрессионной MSE — от 6e-6 до 3.5e-5 в сравнении с LS, Huber loss и другими методами. Результаты указывают на эффективность гибридного подхода для решения задач регрессии в условиях сильного шума.
Abstract
Robust regression techniques rely on least-squares optimization, which works
well for Gaussian noise but fails in the presence of asymmetric structured
noise. We propose a hybrid neural-symbolic architecture where a transformer
encoder processes numerical sequences, a compression NN predicts symbolic
parameters, and a fixed symbolic equation reconstructs the original sequence.
Using synthetic data, the training objective is to recover the original
sequence after adding asymmetric structured noise, effectively learning a
symbolic fit guided by neural parameter estimation. Our model achieves a median
regression MSE of 6e-6 to 3.5e-5 on synthetic wearable data, which is a 10-300
times improvement when compared with ordinary least squares fit and robust
regression techniques such as Huber loss or SoftL1.