FACTORS: Factorial Approximation for Complementary Two-factor Optimization with Risk-aware Scoring

2509.10825v1 cs.LG, cs.AI, stat.ML 2025-09-17
Авторы:

Dongseok Kim, Wonjun Jeong, Gisung Oh

Резюме на русском

## Контекст В современной области оптимизации характеристик информационных систем возникают сложности при учете множества интересующих факторов, которые влияют на поведение и производительность. Одним из главных задач в этой области является нахождение корректных способов оценки позиций, исходя из данных, которые могут быть неполными или несогласованными. Дополнительные ограничения возникают при наличии неопределенностей в данных или когда требуется учитывать риски при оценке. Фреймворк FACTORS (Factorial Approximation for Complementary Two-factor Optimization with Risk-aware Scoring) предлагает решение этих проблем. ## Метод FACTORS сочетает методы экспериментального проектирования с применением декомпозиции Shapley для оценки характеристик факторов, влияющих на результат. Основные эффекты и взаимодействия между факторами осуществляются на двух разных путях: путем усредненных оценок (plug-in) и методом минимизации квадратов (least-squares). Эти подходы работают взаимозаменяемо, даже когда данные имеют разные уровни точности и несогласованности. Фреймворк также включает меру ошибки, коррекцию значений и оценку неопределенности. Он позволяет уменьшить риски и обеспечить устойчивую оптимизацию, даже при ограниченных бюджетных ресурсах. ## Результаты Фактические эксперименты показали, что FACTORS эффективно решает задачу оптимизации в различных условиях, в том числе при неопределенности и высоких рисках. За счёт характеристик доверительных интервалов, включенных в фреймворк, он обеспечивает более точную оценку и выбор конфигураций, даже в случае небольших данных. Это демонстрируется на разных данных и условиях, где FACTORS показывает оптимальные результаты в сравнении с другими существующими методами. ## Значимость FACTORS может быть применен в различных областях, таких как интеллектуальный анализ данных, адаптивная системная оптимизация и работа с нестабильными системами. Он предлагает выгоды в том, что обеспечивает более стабильные результаты, а также повышает уровень уверенности в выборе конфигураций. Помимо этого, FACTORS может быть использован в технологиях машинного обучения, когда необходимо учитывать неопределенность в данных. ## Выводы FACTORS представляет собой эффективный фреймворк для оптимизации с учетом неопределенности и рисков. Он позволяет повысить точность в выборе конфигураций, обеспечить устойчивость результатов и уменьшить время работы поиска оптимальных параметров. Будущими направлениями исследований могут стать расширение методов оценки не только двух факторов, но и многих факторов взаимодействий, а также расширение применения FACTORS в различных сферах, где необходима

Abstract

We propose FACTORS, a framework that combines design of experiments with Shapley decomposition to address performance and stability issues that are sensitive to combinations of training factors. Our approach consistently estimates main effects and two-factor interactions, then integrates them into a risk-adjusted objective function that jointly accounts for uncertainty and cost, enabling reliable selection of configurations under a fixed budget. Effect estimation is implemented through two complementary paths: a plug-in path based on conditional means, and a least-squares path that reconstructs Shapley contributions from samples. These paths are designed to work complementarily even when design density and bias levels differ. By incorporating standardization of estimates, bias correction, and uncertainty quantification, our procedure ensures comparability across heterogeneous factor spaces and designs, while a lightweight search routine yields configurations within practical time even for large factor spaces. On the theoretical side, we provide error decompositions, sample complexity analysis, and upper bounds on optimality gaps. On the interpretive side, we summarize main effects and interactions in map form, highlighting adjustment priorities and safe improvement pathways. Across diverse datasets and design conditions, our approach improves rank preservation and optimal configuration identification, reduces decision-making risks, and offers a tuning foundation that delivers interpretable justification alongside stable performance gains even under budget constraints.

Ссылки и действия