QueryCraft: Transformer-Guided Query Initialization for Enhanced Human-Object Interaction Detection

#### Контекст Human-Object Interaction (HOI) detection — это задача, которая предполагает локализацию пар человек-объект на изображении и идентификацию их взаимодействий. Несмотря на то, что DETR-based методы стали новым стандартом в этой области, они еще не решили основную проблему: случайно инициализированные запросы не имеют явных семантических признаков, что приводит к неэффективности в поиске и распознавании. Это ставит достаточно серьезные ограничения на качество детектирования HOI. QueryCraft предлагается как решение этой проблемы, обеспечивая семантические признаки и улучшенное обучение при помощи transformer-guided query initialization. #### Метод QueryCraft — это новая plug-and-play HOI detection система, которая использует transformer-based query initialization для повышения точности. Ее центральная часть — **ACTOR** (Aсtion-aware Crosse-modal Tгansformer), который объединяет визуальные регионы и текстовые стимулы для создания признаков, относящихся к действию. Отличительная черта ACTOR заключается в том, что он использует языковую направленность для выявления семантики взаимодействия и формирования семантически значимых запросов. Для более точной инициализации объектных запросов, мы предлагаем **PDQD** (Perceptual Distilled Query Decoder), который использует предварительно обученный детектор для добавления категорий объектов в запросы. Эти два механизма обеспечивают более интерпретируемый и эффективный поиск HOI. #### Результаты Мы проводили эксперименты на двух наборах данных: HICO-Det и V-COCO. Результаты показывают, что QueryCraft превосходит существующие методы в поиске HOI, показывая более высокую точность и стабильность. Эти результаты достигнуты благодаря значительному повышению точности интерпретации взаимодействий с помощью transformer-guided initialization. Эксперименты также подтверждают широкую общину нашего подхода к различным условиям детекции. #### Значимость QueryCraft может применяться в различных областях, где требуется точное распознавание взаимодействий между людьми и объектами, таких как видеонаблюдение, автоматизация и системы помощи. Он предлагает существенные преимущества в том числе повышение точности, более оптимальное использование ресурсов и улучшение общей эффективности HOI-систем. Будущие исследования будут уделять большее внимание добавлению динамических признаков и усовершенствованию обучения на больших данных. #### Выводы QueryCraft достигает нового состояния искусства в HOI detection, с помощью transformer-guided query initialization. Этот подход не только улучшает точность, но и обеспечивает лучшую интерпретируемость результатов. В будущем, мы будем работать над улучшением обучения на больших данных и выявлением динамических признаков для дальнейшего повышения эффективности.