Advancing Reference-free Evaluation of Video Captions with Factual Analysis

#### Контекст Видео-капшены (video captions) представляют собой компактные снимки сюжета, описывающие актеров, объекты и действия в видео. Они широко используются в задачах, таких как вопрос-ответ и локализация событий. Несмотря на их полезность, получение качественных видео-капшенов через человеческую аннотацию является дорогостоящим и, в некоторых случаях, практически невозможным, особенно при работе с разнообразными видеодоменами. Существующие модели, обученные на супервизированных данных, часто сталкиваются с проблемами оценки качества в новых доменах из-за зависимости от протоколов референсной оценки, требующих доступа к истинным капшенам. Это предположение не оптимально для оценки качества капшенов в "нативных" (wild) условиях. Мы предлагаем референсно-свободную методологию оценки качества видео-капшенов, сконцентрированную на фактической точности, чтобы обеспечить более эффективную и независимую оценку. #### Метод Мы представляем VC-Inspector — новую систему оценки качества видео-капшенов, которая основывается на фактической точности и не требует доступа к референсным капшенам. Мы разработали процесс, включающий генерирование псевдо-капшенов разного качества с помощью бо LLM, которые затем используются для обучения многомодальной модели Qwen2.5-VL. Эта модель служит основой для нашего системного эксперта в оценке качества. Мы применяем аппарат сравнения, включающий множество критериев, таких как точность фактов, контекстная релевантность и адекватность языка, чтобы оценивать качество капшенов. Этот подход позволяет сравнивать видео-капшены с реальными сценариями, обеспечивая более объективные и точные оценки. #### Результаты Мы провели эксперименты на двух наборах данных: VATEX-Eval для видео-капшенов и Flickr8K-Expert/CF для изображений (представленных в виде одного кадра-видео). Наш подход показал значительное превосходство в точности и согласованности с человеческими оценками по сравнению с текущими методами. Мы также провели анализ широкого спектра факторов, включая фактическую точность, языковую структуру и соответствие контексту. Наши результаты демонстрируют высокую общинность и эффективность VC-Inspector в разных видеодоменах, что делает его привлекательным для различных задач в области машинного видения и NLP. #### Значимость Мы показали, что наш подход может применяться в различных областях, включая видео-капшены, описания изображений и даже текстовые задачи. Он предоставляет шкалу оценки качества, которая не требует дорогостоящих человеческих аннотаций. Это открывает путь к более