Selective Contrastive Learning for Weakly Supervised Affordance Grounding

#### Контекст В современной робототехнике и искусственном интеллекте значительное внимание уделяется проблеме опознавания аффорданций — возможностей действий с объектами. Эта задача играет ключевую роль в обеспечении самостоятельной работы роботов, в том числе в ситуациях, когда доступ к точным тренировочным данным ограничен. Особенно актуальной является задача **Weakly Supervised Affordance Grounding (WSAG)**, которая предполагает выявление функциональных частей объектов с помощью небольших количеств классических иллюстративных примеров, не требуя полных примитивных подробных меток. Решение этой проблемы позволяет роботам улучшить свои возможности взаимодействия с реальным миром, опираясь только на небольшие демонстрации человека. #### Метод Мы предлагаем **Selective Contrastive Learning (SCL)**, метод, который использует **прототипы селективного обучения** и **объектно-уровневые отличия**. Этот подход сочетает в себе обучение с помощью прототипов с уровнем частей и отдельных пикселей, чтобы приспособиться к уровню контекста в данных. Мы используем **CLIP (Contrastive Language-Image Pretraining)** для идентификации действий и связанных с ними объектов в глазах стражей. Затем мы построили **прототипы аффорданций**, которые позволяют извлекать частичное внимание к частям объектов. Это достигается с помощью кросс-реперспективного анализа данных, сочетающих как виды с целевым объектом, так и виды с человеком, демонстрирующим объект. Метод регулирует внимание, перенаправляя его от неаффордантных к аффордантным частям, чтобы устранить различия между разными объектами и стимулировать направленное увеличение репрезентации для аффордантных частей. #### Результаты Мы проверяли наш метод на нескольких стандартных датасетах, таких как EPIC-KITCHENS и Gibson. Эксперименты показали, что **SelectiveCL** превосходит существующие методы по метрикам точности опознавания аффорданций. Например, на EPIC-KITCHENS мы достигли увеличения точности на 15% в сравнении с основными алгоритмами. Мы также провели анализ того, как селективные прототипы и сравнения пикселей влияют на обучение, и показали, что они эффективно снижают классификационные ошибки, особенно в ситуациях с частичным видом. Мы привели подробный анализ результатов, включая визуализации, чтобы показать, как наш метод улучшает выделение полезных частей объектов. #### Значимость Наш подход имеет большое значение для **робототехники**, **интеллектуальных систем**, **обработки графических данных** и **роботов, работающих в реальном мире**. Он позволяет роботам понимать возможности взаимодействия с объ