What-Meets-Where: Unified Learning of Action and Contact Localization in a New Dataset

## Контекст Проблема понимания действий человека многоуровневой и включает в себя распознавание характера действия и его географической локализации. Несмотря на развитие методов визуального распознавания, существуют трудности в одновременном моделировании действий и их контекста. Отсутствие интегрированных подходов, которые бы моделировали действия и контактные точки в пространстве, является основной проблемой. Наша мотивация заключается в создании метода, который моделирует действия и их контактные точки в рамках единой модели, обеспечивая более точное и комплексное понимание. ## Метод Мы предлагаем разработать платформу **PaIR-Net**, которая состоит из трех основных модулей: Contact Prior Aware Module (CPAM), Prior-Guided Concat Segmenter (PGCS) и Interaction Inference Module (IIM). CPAM отвечает за распознавание контактных точек на теле человека. PGCS используется для пиксельного сегментационного разделения контактных точек. IIM интегрирует глобальные взаимодействия для повышения точности. Данные для обучения и тестирования были собраны в нашем новом датасете PaIR, который включает 13 979 изображений, 654 действия, 80 категорий объектов и 17 частей тела. Это датасет позволяет обучить модель, которая может предсказывать как высокоуровневые действия, так и точные контактные регионы. ## Результаты Мы провели эксперименты, сравнивая нашу модель с другими подходами на датасете PaIR. Наши результаты показали, что **PaIR-Net** превосходит базовые подходы в точности распознавания действий и локализации контактных точек. Ablation studies показали, что каждый модуль (CPAM, PGCS, IIM) вносит существенный вклад в улучшение точности модели. Эти результаты подтверждают то, что наш подход предлагает значительные улучшения в области визуального распознавания действий и контактных точек. ## Значимость Полученный подход может иметь широкое применение в различных областях, таких как робототехника, видеонаблюдение, обозначение действий. Наш подход позволит роботам более точно распознавать действия и их контекст, что может применяться в системах автоматизации, сервисных роботах и реалитах AR/VR. Одним из основных преимуществ является улучшенная точность в распознавании действий и их контекста, что может повысить эффективность и надежность систем визуального распознавания. ## Выводы Мы представили **PaIR-Net**, новую модель для объединенного распознавания действий и контактных точек. Разработанный датасет и модель демонстрируют высокую точность в распознавании действий и контактных точек. Будущие работы будут сконцентрированы на улучшении модели для более сложных сценариев и расширении датасета для более широко