The Sensitivity of Variational Bayesian Neural Network Performance to Hyperparameters

## Контекст Байесовские нейронные сети (BNN) — один из самых мощных подходов к оценке неопределённости в моделях машинного обучения. Они позволяют моделировать не только прогнозы, но и уровень неопределённости, связанный с весами сети. Это ключевой фактор для применения BNN в сценариях, требующих высокой надежности и точности оценки неопределённости, таких как клинические диагностики, финансовые прогнозы или анализ экстремальных ситуаций. Однако успешное применение BNN ограничивается трудностями в настройке многообразия гиперпараметров, влияющих на качество прогнозов и эффективность неопределённости. Недостаток понимания взаимосвязи этих гиперпараметров приводит к нередкой ситуации, когда модели, хотя и демонстрируют высокую точность, не обеспечивают достаточного уровня неопределённости, что может привести к ошибочным выводам в решениях. ## Метод Мы применяем метод анализа чувствительности для исследования влияния различных гиперпараметров BNN на процесс обучения и результаты моделирования. Исходные данные, используемые в экспериментах, содержат искусственные и реальные ситуации, включая задачи классификации и регрессии. Для сравнения мы используем типичные гиперпараметры, такие как размер сети, скорость обучения, моменты и параметры регуляризации. Метод анализа чувствительности позволяет определить, какие гиперпараметры имеют наибольшее влияние на результат, а также выяснить степень взаимодействия этих параметров. ## Результаты Наши эксперименты показали, что многие гиперпараметры имеют сильно взаимосвязанное воздействие друг на друга. Например, увеличение размера сети может улучшить точность прогноза, но при этом ухудшить неопределённость. Также мы обнаружили, что наиболее влиятельными гиперпараметрами являются скорость обучения и моменты. Наблюдалось, что неправильная настройка этих параметров может привести к снижению качества модели в целом. Также мы обнаружили, что некоторые комбинации гиперпараметров могут привести к неожиданным результатам, в частности, к ухудшению неопределённости без улучшения точности прогнозов. ## Значимость Полученные результаты имеют большую значимость для практического применения BNN в реальных задачах. Они подтверждают, что для достижения качественных результатов необходимо использовать специальные методы, такие как глобальный анализ чувствительности или байесовская оптимизация, для оптимальной настройки гиперпараметров. Эти методы позволяют уменьшить меру неопределённости, обеспечивая точные прогнозы и упрощая выбор гиперпараметров. Более то