VideoAVE: A Multi-Attribute Video-to-Text Attribute Value Extraction Dataset and Benchmark Models

## Контекст Видео-to-text Attribute Value Extraction (AVE) является ключевым аспектом структурирования продуктной информации в электронной коммерции. Однако существующие датасеты AVE ограничены текстовыми или изображениями, не учитывая видео, широкий спектр атрибутов и открытый доступ. Эти ограничения приводят к недостатку ресурсов для развития мощных моделей видео-to-text AVE. Мотивация заключается в создании первого открытого видео-to-text датасета AVE для электронной коммерции, предоставляющего обширный профиль атрибутов и высокую качественную структуру. ## Метод Датасет VideoAVE состоит из 250k видео-продуктных пар, представленных в 14 различных доменах с 172 уникальными атрибутами. Для обеспечения качества данных разработан CLIP-MoE, система фильтрации на основе CLIP, удаляющая несоответствующие видео-продуктные пары. Эта система позволяет повысить точность и качество данных, создав датасет с 224k обучающих и 25k оценочных пар. Для оценки датасета разработаны модели VideoAVE VLMs, оценивающие производительность в задачах условного уточнения значений атрибутов и извлечения свободных атрибутов-значений. ## Результаты Выполнены эксперименты на VideoAVE с использованием нескольких моделей VLMs, включая Clip4Clip, VideoCLIP и Frozen. Данные были протестированы для условного уточнения значений атрибутов и открытого извлечения пар атрибут-значение. Результаты показали, что VideoAVE является сложной для моделей, особенно в открытой среде, где необходимо учитывать временную информацию. Это подтверждает необходимость развития более продвинутых моделей VLMs, эффективно использующих временные сведения. ## Значимость VideoAVE открывает новые возможности для развития моделей видео-to-text в электронной коммерции, обеспечивая первый открытый датасет с обширным профилем атрибутов и высоким качеством. Он может использоваться в приложениях, таких как поиск продуктов, рекомендации и структурирование продуктных данных. Благодаря новым моделям VLMs, VideoAVE может способствовать улучшению точности и качества извлечения продуктных атрибутов из видео, что в конечном итоге повысит эффективность электронной коммерции. ## Выводы Выводы подтверждают, что VideoAVE является значительным достижением в области видео-to-text AVE, но существуют проблемы, особенно в открытой среде, требующие более развитых моделей VLMs. Будущие исследования будут ориентированы на повышение точности моделей, учитывая временные сведения и улучшение моделей для широкого профиля атрибутов. Это позволит создавать более точные и эффективные решения для продуктной структуризации в электронной коммерции.