Ensuring Reliable Participation in Subjective Video Quality Tests Across Platforms

## Контекст Subjective video quality assessment (VQA) является золотым стандартом для измерения опыта пользователя в различных жанрах коммуникации, стриминга и создания пользовательского контента (User Generated Content, UGC). Несмотря на высокую точность лабораторных испытаний, когортизация позволяет более эффективно измерять качество видео, обеспечивая быстрый, доступный и дешевый подход. Однако она склонна к недостоверным ответам от участников, которые игнорируют инструкции или коптут систему в своих интересах. Недавние исследования показали, что участники прибегают к разным техникам, например, использованию метаданных видео и удаленных рабочих столов (Remote Desktop, RD), что приводит к дисторсии результатов. Этот анализ охватывает два типичных платформы для crowdsourcing'а и выявляет их уязвимость к этим проблемам, а также предлагает способы их устранения. ## Метод Исследование использует различные методы для выявления и контроля недостоверных ответов в субъективных тестах качества видео. Это включает в себя использование алгоритмов для определения нетрадиционных устройств, таких как RD-соединения, а также поиск способов контроля поведения участников. Особое внимание уделено разработке статистических и алгоритмических моделей, которые позволяют отличить реальные от специально созданных ответов. Архитектура исследования включает в себя систему мониторинга и анализа данных в реальном времени, чтобы обеспечить надежность процесса. ## Результаты Исследования показали, что участники, использующие RD-соединения, часто приводят к дисторсии результатов, поэтому для их определения используются специальные детекторы. В ходе экспериментов на двух платформах было обнаружено, что одна из них более уязвима к недостоверным ответам, но и обе требуют дополнительных мер контроля. Оптимизированные методы дали результаты, позволяющие существенно повысить уровень достоверности данных, исключив многочисленные случаи мошенничества. ## Значимость Предложенные методы могут быть использованы в различных областях, где необходимо высокое качество субъективных тестов, включая тестирование видео, телекоммуникации и потоковые сервисы. Использование этих методов позволяет повысить точность исследований, снизить риск мошенничества и обеспечить надежный выбор участников. Последствиями использования этого подхода является улучшение качества сервисов, более точное измерение пользовательского опыта и повышение доверия к субъективным испытаниям в различных технологических сферах. ## Выводы Результаты данного исследования показывают, что субъективные тесты качества видео могут быть оптимиз