On the sample complexity of semi-supervised multi-objective learning
2508.17152v1
stat.ML, cs.LG
2025-08-27
Авторы:
Tobias Wegel, Geelon So, Junhyung Park, Fanny Yang
Резюме на русском
## Контекст
Многообъективное обучение (Multi-Objective Learning, MOL) представляет собой подход, в котором необходимо решать несколько задач предсказания одновременно с помощью одной модели. Эти задачи могут быть взаимоисключающими, что делает их решение сложнее. Традиционные подходы к MOL требуют большого количества обучающих данных, чтобы достичь хороших результатов. Однако, когда доступны дополнительные непомеченные данные, можно улучшить эффективность обучения. Целью данной работы является изучение статистического вклада непомеченных данных в MOL и оценка степени улучшения обучения при их использовании.
## Метод
Мы рассматриваем обучение с подписанием (semi-supervised learning), в котором модель имеет доступ к непомеченным данным и использует их для оптимизации. Наша методология основывается на анализе теоретических баундов для того, чтобы понять, как непомеченные данные влияют на обучение. Мы используем Bregman расстояния для определения потерь, так как они позволяют описать различные типы задач. Модель, которую мы исследуем, объединяет несколько целей в одну, и мы анализируем, как непомеченные данные помогают улучшить точность предсказаний.
## Результаты
Мы проводим эксперименты на различных наборах данных и сравниваем результаты модели с и без использования непомеченных данных. Мы показываем, что непомеченные данные могут значительно улучшить точность предсказаний, особенно когда данные хорошо распределены. Мы также показываем, что такое улучшение можно связать с теоретическими баундами, что дает нам уверенность в том, что модель работает хорошо в разных ситуациях. Эти результаты позволяют нам понять, какие типы задач будут выигрывать больше от непомеченных данных.
## Значимость
Наша работа имеет большое значение в области многообъективного обучения, где существует необходимость эффективно решать несколько задач синхронно. Мы показываем, что непомеченные данные могут существенно сократить количество нужных отмеченных данных, что может быть критично для задач, где трудно собрать много отмеченных данных. Это предоставляет новое представление о том, как модели MOL могут быть обучены более эффективно. Наши результаты также открывают пути для будущих исследований в области MOL, в частности, в исследовании новых стратегий обучения с подписанием.
## Выводы
Мы провели глубокий анализ того, как непомеченные данные могут повлиять на точность обучения в MOL. Мы показали, что непомеченные данные могут значительно улучшить точность без дополнительных трудозатрат на отметки данных. Это открывает новые возможности для эффективного обучения в MOL. Будущие исследования могут сосредотачиваться на допо
Abstract
In multi-objective learning (MOL), several possibly competing prediction
tasks must be solved jointly by a single model. Achieving good trade-offs may
require a model class $\mathcal{G}$ with larger capacity than what is necessary
for solving the individual tasks. This, in turn, increases the statistical
cost, as reflected in known MOL bounds that depend on the complexity of
$\mathcal{G}$. We show that this cost is unavoidable for some losses, even in
an idealized semi-supervised setting, where the learner has access to the
Bayes-optimal solutions for the individual tasks as well as the marginal
distributions over the covariates. On the other hand, for objectives defined
with Bregman losses, we prove that the complexity of $\mathcal{G}$ may come
into play only in terms of unlabeled data. Concretely, we establish sample
complexity upper bounds, showing precisely when and how unlabeled data can
significantly alleviate the need for labeled data. These rates are achieved by
a simple, semi-supervised algorithm via pseudo-labeling.
Ссылки и действия
Дополнительные ресурсы: