A Multi-Resolution Benchmark Framework for Spatial Reasoning Assessment in Neural Networks

## Контекст Современные нейросетевые модели часто изучаются с точки зрения их моделирования различных сложностей, включая распознавание изображений, текстов и даже звуков. Однако менее внимательно рассматриваются их возможности решать задачи связанные с пространственным разумом, т.е. возможностью понимать и работать с пространственными отношениями, такими как масштаб, расстояние и топологические свойства. Эти способности важны во многих прикладных областях, таких как медицинское изображение, геометрическое моделирование и графическое дизайн. Несмотря на прогрессы в области глубокого обучения, текущие нейросетевые модели испытывают значительные проблемы при решении задач, связанных с пространственным разумом. Эта статья представляет собой первый шаг в разработку комплексного фреймворка для оценки пространственных умений нейросетевых моделей, с целью выявления их ограничений и развития стратегий для их улучшения. ## Метод Фреймворк представляет собой систематизированный подход к оценке пространственных умений нейросетевых моделей. Он включает в себя следующие компоненты: 1) **генерацию синтетических данных**: построены две категории данных — задачи по топологической анализу (мазы для анализа подключенности) и задачи геометрического расчета (задачи вычисления расстояний); 2) **стандартизированное обучение модели**: используется автоматизированный подход, включающий кросс-валидацию и инференс; 3) **оценка результатов**: используются метрики, такие как Dice-коэффициент и IoU (Intersection over Union), для меру точности решений. Метод включает в себя использование модели nnU-Net и возможностей проверки моделей с помощью VoxLogicA. Эта гибкая архитектура позволяет эффективно проводить эксперименты, оценивать производительность нейросетевых моделей в разных резолюциях и идентифицировать проблемы в пространственных задачах. ## Результаты Исследования проводятся на обоих категориях данных, причем каждая из них оценивается на нескольких резолюциях. Эксперименты показали, что нейросети имеют значительные ограничения в пространственных задачах. Например, в задачах по топологическому анализу, модели часто не могут точно определить подключенность объектов, даже при наличии простых задач. В задачах вычисления расстояний, модели также показывают слабую производительность, особенно в случаях, когда задачи становятся более сложными. Эти результаты определяют основные проблемы в пространственном понимании нейросетевых моделей, в том числе неверное понимание связи между объектами и недостаточная способность работать с масштабами. ## Значимость Разработанный фреймво