Can Large Models Fool the Eye? A New Turing Test for Biological Animation

#### Контекст В последние годы широко развиваются большие языковые модели (LLMs), которые обладают возможностью обрабатывать и генерировать текст на высоком уровне. Однако оценка их эффективности и размаха возможностей часто остается неполной или недостаточно очевидной. Особенно сложно оценить их умение генерировать биологически правдоподобные анимации, которые требуют не только теоретической знания, но и чувственного восприятия движения. Чтобы заполнить это промежуток, требуется более ясный и интуитивный подход к оценке, который позволит сравнить модели в задачах анимации с высоким уровнем детализации. #### Метод Мы предлагаем BioMotion Arena — новую фреймворк для оценки биологической анимации, основная идея которого заключается в использовании визуального восприятия движения. Метод основывается на обработке point-light source imaging, позволяющей усиливать неточности отдельных моделей. Мы проводим парные сравнения 53 LLMs и MLLMs на 90 видах биологических движений. Данные собираются в виде более чем 45 тысяч голосов от пользователей и экспертов. Мы используем этот подход для показа очевидных различий в качестве генерируемых анимаций. #### Результаты Наши эксперименты показали, что более 90% из 53 тестируемых моделей, включая самые современные, такие как InternVL3 и Claude-4, не могут генерировать базовые человеческие модели в виде точек и неустойчивые движения. Наши результаты показали, что большинство моделей не способны генерировать биологически правдоподобную анимацию, даже если у них есть доступ к большим объемам данных и высокому вычислительному мощности. #### Значимость BioMotion Arena демонстрирует свою ценность в качестве инструмента для детального сравнения моделей в области биологической анимации. Он также позволяет предоставлять более очевидный и интуитивный фидбек для пользователей, что делает его полезным для разработчиков и аналитиков. Этот фреймворк может использоваться в будущем для тестирования новых моделей, а также для выявления ограничений текущих моделей. #### Выводы BioMotion Arena открывает новые возможности для проверки качества биологической анимации с помощью графического отображения движения. Мы показали, что даже самые современные модели часто не могут достичь биологического реализма, что делает этот подход ключевым для будущих исследований в области генерируемых движений. Наши результаты открывают новые возможности для повышения качества анимации в различных приложениях, включая медицину, анимацию и игры.