The Escalator Problem: Identifying Implicit Motion Blindness in AI for Accessibility

## Контекст Многомодальные большие языковые модели (Multimodal Large Language Models, MLLMs) предлагают огромные возможности в качестве систем помощи для слепых и слабовидящих людей. Однако, несмотря на их высокую точность в распознавании статических объектов, эти модели сталкиваются с серьезными ограничениями при определении динамических явлений. Например, они сталкиваются с трудностями при распознавании направления движения эскалатора, что может быть критически важной информацией для пользователей с ограниченными возможностями зрения. Это особенно важно в условиях быстрого городского транспорта, где необходимо активно реагировать на динамические ситуации. Описанная проблема отражает широкую проблему, названную **Implicit Motion Blindness** (неявная слепота к движению), которая возникает из-за ограничений существующих моделей в понимании продолжительных движущихся объектов. Такие модели обычно рассматривают видео как последовательность отдельных кадров, что не позволяет достаточно точно определить непрерывные и низконереабильные движения. Задача повышения надежности и безопасности MLLMs для пользователей с ограниченными возможностями зрения является ключевой мотивацией для данного исследования. ## Метод Для исследования **Implicit Motion Blindness** в MLLMs разработана методология, основанная на экспериментальном анализе распознавания движения эскалатора. Эксперименты проводились на наборе данных, содержащем видеозаписи с различных углов и условий, включая эскалаторы с разными направлениями движения. Архитектура существующих моделей была проанализирована с помощью каскадного анализа нейросетевых слоев, определяющих кадры и последовательности. Основной подход включал в себя два этапа: 1. **Формализация задачи**: Определение ключевых показателей для оценки распознавания движения, включая точность, временной ответ и устойчивость. 2. **Запуск экспериментов**: Оценка того, насколько стандартные модели способны правильно определять направление движения эскалатора в различных условиях. В результате было выявлено, что даже самые современные модели часто пропускают или неточно определяют движение эскалатора, особенно при небольшом количестве движущихся объектов на кадре. ## Результаты Набор экспериментальных данных включал видеозаписи с эскалаторов в различных условиях (световых, текстурных и движущихся объектов). Было выявлено, что модели MLLMs, такие как CLIP и LLaVA, показывают приемлемую точность при распознавании статических форм, но существенно хуже справляются с движущимися объектами. Например, модели демонстрировали точность в распознавании направления эскалатора