AGIC: Attention-Guided Image Captioning to Improve Caption Relevance

#### Контекст Область искусственного интеллекта (ИИ) продолжает развиваться с целью решения важных задач, включая генерацию описаний изображений. Несмотря на значительные успехи в области обнаружения объектов и генерации текстов, генерирование точных и описательных каптионов для изображений остается сложной задачей. Отсутствие точности и соответствия между сгенерированным описанием и контекстом изображения является одной из основных проблем. Существующие подходы часто игнорируют важность визуальных регионов, которые имеют ключевое значение для понимания сцены. Это приводит к менее точным и нерелевантным каптионам. Наша мотивация заключается в разработке метода, который улучшит соответствие каптионов контексту изображения, усилив внимание на самых существенных частях изображения. #### Метод Мы предлагаем Attention-Guided Image Captioning (AGIC), который усиливает важные визуальные регионы напрямую в пространстве признаков для улучшения точности генерации. Модель AGIC включает в себя два основных компонента: 1) **аттенционные модули**, которые выделяют наиболее значимые части изображения; 2) **гибридную стратегию декодирования**, которая объединяет детерминированное и вероятностное семплирование для баланса между гладкостью и разнообразием генерируемых описаний. Для обучения и оценки AGIC мы использовали данные из двух наборов данных: Flickr8k и Flickr30k. Эти наборы содержат тысячи изображений с предоставленными текстовыми описаниями, представляющими различные сцены и объекты. #### Результаты В ходе экспериментов мы сравнили AGIC с несколькими современными моделями, включая Show, Attend and Tell и BUTD. Результаты показали, что AGIC показывает точность источника, совпадает или превосходит ряд современных моделей, при этом достигая более высокой скорости обработки. Мы оценивали AGIC по метрикам BLEU, METEOR, ROUGE-L и CIDEr, и подтвердили его высокую точность и хорошую разнообразие генерируемых описаний. Эти результаты демонстрируют, что AGIC является эффективным и понятным подходом к решению проблемы неточности каптионов. #### Значимость Модель AGIC может быть применена в сферах, требующих точной генерации текстов, таких как видеонаблюдение, системы рекомендаций и видеозахват. Основные преимущества AGIC заключаются в его способности улучшить точность описаний, увеличить скорость обработки и обеспечить прозрачность решения. Это делает AGIC полезным для разработчиков, которые ищут модели с высокой точностью и прозрачностью в области изображения и текста. #### Выводы Мы представили AGIC, модель, которая улучшает точность и соответствие каптионов к изобра