What Holds Back Open-Vocabulary Segmentation?

Научная статья What Holds Back Open-Vocabulary Segmentation? раскрывает проблему того, что нынешние системы разделения областей не умеют распознавать объекты, не описанные в их обучающем наборе. Общая идея открытого лексикона заключается в том, чтобы использовать предобучение на многомиллионных изображений-титулов, чтобы расширить функционал таких моделей. Однако авторы отмечают, что данная подход не приносит ожидаемого прогресса в работе моделей уже более двух лет. Исследователи предложили новые аналитические методы, позволяющие выявить и анализировать ограничения, связанные с ошибками моделей. Исследовательские эксперименты демонстрируют, что эти ограничения ключевые для понимания проблем, с которыми сталкиваются модели open-vocabulary segmentation. В итоге, предложенные рекомендации могут способствовать повышению эффективности этих систем в будущих исследованиях.