Emulating Human-like Adaptive Vision for Efficient and Flexible Machine Visual Perception

## Контекст Мы сталкиваемся с ключевыми ограничениями в традиционных моделях машинного зрения, вынужденных пассивно обрабатывать все входные данные в целом. Это приводит к значительным потреблениям ресурсов, неэффективности и невысокой гибкости. У этих моделей недостаточно способности адаптироваться к конкретным задачам и ограничениям ресурсов. Эта проблема становится важной во многих областях, таких как обработка изображений в реальном времени, видеонаблюдение, визуальный поиск и даже исследования в области зрения человека. Мы мотивируем разработку моделей, которые способны активно выбирать и обрабатывать только самое необходимое, экономя ресурсы и улучшая эффективность. ## Метод Мы предлагаем AdaptiveNN, фреймворк, который преобразует визуальную перцепцию в процесс последовательного решения задач. Вместо обработки всего изображения за один проход, AdaptiveNN использует систему последовательных фиксаций. Он активно выбирает и обрабатывает только те регионы, которые требуются для решения задачи. Информация из разных фиксаций комбинируется в процессе, и модель активно определяет, когда достаточно данных для точного решения. Мы используем теорию, объединяющую репрезентацию объектов с самопоощряющимся реинфорсиментным обучением, чтобы обучать AdaptiveNN без дополнительных наград за фиксации. Это позволяет модели самостоятельно определять лучшие регионы для внимания. ## Результаты Мы проверили AdaptiveNN на 17 бенчмарках, охватывающих 9 различных задач, включая крупномасштабную классификацию изображений, детальную классификацию, визуальный поиск, обработку изображений с проездов и медицинских снимков, а также сравнение с человеческими результатами. Модель снизила потребление ресурсов до 28 раз по сравнению с другими методами, но при этом сохранила точность. Она показала гибкость в решении различных задач, не требуя переучения. Также AdaptiveNN демонстрирует интерпретируемость, позволяя понять, почему она принимает определенные решения, что важно для надежности. ## Значимость AdaptiveNN может применяться в многих областях, таких как реальное время обработка, видеонаблюдение, робототехника, и даже в исследованиях в области зрения человека. Он эффективно экономит ресурсы, адаптируется к разным задачам, интерпретируем и может быть использован в широком круге задач. Это может открыть новые возможности для более эффективного интеллектуального визуального поиска в машинной технике и робототехнике. ## Выводы Мы представили AdaptiveNN, фреймворк, превращающий машинное зрение в активный процесс, похожий на зрение человека. Он эффективен