Extracting Uncertainty Estimates from Mixtures of Experts for Semantic Segmentation
2509.04816v1
cs.CV, cs.LG
2025-09-09
Авторы:
Svetlana Pavlitska, Beyza Keskin, Alwin Faßbender, Christian Hubschneider, J. Marius Zöllner
Резюме на русском
#### Контекст
Оценка неопределенности принятия решений является важной задачей для повышения надежности компьютерных визуальных моделей, особенно в безопасных приложениях, таких как сценарная ориентированность водителя. Объединение нескольких моделей в один компонент позволяет эффективно оценивать неопределенность, но зачастую требует сложных архитектур. Модель "множество экспертов" (MoE) предлагает эффективный вариант этой задачи, используя динамическую взвешивание предсказаний экспертов гейтинговой сетью. В нашем предыдущих работах, мы демонстрировали успех MoE в семантической сегментации. В данной работе, мы показываем, что MoE может генерировать надежные оценки неопределенности без изменений в своей архитектуре, используя три подхода: энтропия предсказаний, мультипликативная информация и вариация экспертов.
#### Метод
Для извлечения оценок неопределенности из модели MoE мы используем три подхода. Энтропия предсказаний измеряет неопределенность на основе распределения классов. Мультипликативная информация оценивает неопределенность, связанную с взаимосвязью экспертов. Вариация экспертов измеряет разброс возможных предсказаний экспертов. Мы тренируем MoE с двумя экспертами на подмножестве A2D2, отсортированном семантически. Для оценки калибровки неопределенности мы используем метрики, оценивающие корректность предсказаний в условиях выхода за допустимые данные (OOD). Также, мы исследуем роутинг неопределенность, полученную с помощью слоя гатева, и проверяем ее калибровку в зависимости от количества экспертов.
#### Результаты
Наши эксперименты показывают, что MoE предоставляют более надежные оценки неопределенности по сравнению с обычными ensemble-моделями в условиях OOD в соответствии с метриками подтверждения условий. Мультипликативная информация демонстрирует наиболее высокую точность, а энтропия предсказаний дает наилучшие результаты в терминах мультиклассовой оценки неопределенности. Мы также обнаружили, что слой гатева с простой структурой дает более калиброванные оценки неопределенности, чем более сложные гатевы, ориентированные на классы. На Cityscapes, увеличение количества экспертов также позволяет улучшить калибровку неопределенности.
#### Значимость
Модели MoE могут иметь широкое применение в повышении надежности водительских систем, а также в других безопасных приложениях, где оценка неопределенности играет ключевую роль. Мы демонстрируем, что MoE могут эффективно извлекать неопределенность, обеспечивая более надежную калибровку. Это может спосо
Abstract
Estimating accurate and well-calibrated predictive uncertainty is important
for enhancing the reliability of computer vision models, especially in
safety-critical applications like traffic scene perception. While ensemble
methods are commonly used to quantify uncertainty by combining multiple models,
a mixture of experts (MoE) offers an efficient alternative by leveraging a
gating network to dynamically weight expert predictions based on the input.
Building on the promising use of MoEs for semantic segmentation in our previous
works, we show that well-calibrated predictive uncertainty estimates can be
extracted from MoEs without architectural modifications. We investigate three
methods to extract predictive uncertainty estimates: predictive entropy, mutual
information, and expert variance. We evaluate these methods for an MoE with two
experts trained on a semantical split of the A2D2 dataset. Our results show
that MoEs yield more reliable uncertainty estimates than ensembles in terms of
conditional correctness metrics under out-of-distribution (OOD) data.
Additionally, we evaluate routing uncertainty computed via gate entropy and
find that simple gating mechanisms lead to better calibration of routing
uncertainty estimates than more complex classwise gates. Finally, our
experiments on the Cityscapes dataset suggest that increasing the number of
experts can further enhance uncertainty calibration. Our code is available at
https://github.com/KASTEL-MobilityLab/mixtures-of-experts/.
Ссылки и действия
Дополнительные ресурсы: