FACTORS: Factorial Approximation for Complementary Two-factor Optimization with Risk-aware Scoring
2509.10825v1
cs.LG, cs.AI, stat.ML
2025-09-17
Авторы:
Dongseok Kim, Wonjun Jeong, Gisung Oh
Резюме на русском
## Контекст
В современной области оптимизации характеристик информационных систем возникают сложности при учете множества интересующих факторов, которые влияют на поведение и производительность. Одним из главных задач в этой области является нахождение корректных способов оценки позиций, исходя из данных, которые могут быть неполными или несогласованными. Дополнительные ограничения возникают при наличии неопределенностей в данных или когда требуется учитывать риски при оценке. Фреймворк FACTORS (Factorial Approximation for Complementary Two-factor Optimization with Risk-aware Scoring) предлагает решение этих проблем.
## Метод
FACTORS сочетает методы экспериментального проектирования с применением декомпозиции Shapley для оценки характеристик факторов, влияющих на результат. Основные эффекты и взаимодействия между факторами осуществляются на двух разных путях: путем усредненных оценок (plug-in) и методом минимизации квадратов (least-squares). Эти подходы работают взаимозаменяемо, даже когда данные имеют разные уровни точности и несогласованности. Фреймворк также включает меру ошибки, коррекцию значений и оценку неопределенности. Он позволяет уменьшить риски и обеспечить устойчивую оптимизацию, даже при ограниченных бюджетных ресурсах.
## Результаты
Фактические эксперименты показали, что FACTORS эффективно решает задачу оптимизации в различных условиях, в том числе при неопределенности и высоких рисках. За счёт характеристик доверительных интервалов, включенных в фреймворк, он обеспечивает более точную оценку и выбор конфигураций, даже в случае небольших данных. Это демонстрируется на разных данных и условиях, где FACTORS показывает оптимальные результаты в сравнении с другими существующими методами.
## Значимость
FACTORS может быть применен в различных областях, таких как интеллектуальный анализ данных, адаптивная системная оптимизация и работа с нестабильными системами. Он предлагает выгоды в том, что обеспечивает более стабильные результаты, а также повышает уровень уверенности в выборе конфигураций. Помимо этого, FACTORS может быть использован в технологиях машинного обучения, когда необходимо учитывать неопределенность в данных.
## Выводы
FACTORS представляет собой эффективный фреймворк для оптимизации с учетом неопределенности и рисков. Он позволяет повысить точность в выборе конфигураций, обеспечить устойчивость результатов и уменьшить время работы поиска оптимальных параметров. Будущими направлениями исследований могут стать расширение методов оценки не только двух факторов, но и многих факторов взаимодействий, а также расширение применения FACTORS в различных сферах, где необходима
Abstract
We propose FACTORS, a framework that combines design of experiments with
Shapley decomposition to address performance and stability issues that are
sensitive to combinations of training factors. Our approach consistently
estimates main effects and two-factor interactions, then integrates them into a
risk-adjusted objective function that jointly accounts for uncertainty and
cost, enabling reliable selection of configurations under a fixed budget.
Effect estimation is implemented through two complementary paths: a plug-in
path based on conditional means, and a least-squares path that reconstructs
Shapley contributions from samples. These paths are designed to work
complementarily even when design density and bias levels differ. By
incorporating standardization of estimates, bias correction, and uncertainty
quantification, our procedure ensures comparability across heterogeneous factor
spaces and designs, while a lightweight search routine yields configurations
within practical time even for large factor spaces. On the theoretical side, we
provide error decompositions, sample complexity analysis, and upper bounds on
optimality gaps. On the interpretive side, we summarize main effects and
interactions in map form, highlighting adjustment priorities and safe
improvement pathways. Across diverse datasets and design conditions, our
approach improves rank preservation and optimal configuration identification,
reduces decision-making risks, and offers a tuning foundation that delivers
interpretable justification alongside stable performance gains even under
budget constraints.
Ссылки и действия
Дополнительные ресурсы: