Mitigating Hallucinations in Large Vision-Language Models by Self-Injecting Hallucinations

## Контекст Становятся все более популярными с LLM (Large Language Models) и LVLMs (Large Vision-Language Models). Однако, даже самые продвинутые системы LVLMs страдают от проблемы "халлуцинаций", когда их ответы не соответствуют визуальным входным данным. Эта проблема становится серьёзной ограничением для применения LVLMs в реальных задачах. Несмотря на существующие методы, такие как предпочтение согласования или внешние зависимости, эти подходы требуют дополнительных ресурсов, таких как человеческие аннотации или специальные модели, что делает процесс дорогостоящим и менее удобным. Наша статья уделяет внимание существующим проблемам в зоне LVLMs, предлагая новое, автономное решение, которое не требует внешних зависимостей и может стабильно улучшать производительность LVLMs в будущем. ## Метод Мы предлагаем метод **Autonomous Preference Alignment via Self-Injection (APASI)** для снижения халлуцинаций в LVLMs. Алгоритм APASI основывается на самозапуске халлуцинации в процессе генерации ответа. Именно это для нашей модели становится ключом к тому, чтобы она могла сама понять, какой ответ будет считаться "халлуцинацией" и что желательно изменить. Главным принципом APASI является имитация реальных халлуцинаций, что позволяет модели изучить их характеристики и стабильно их исправлять. Мы также внедряем стратегию итеративного обучения с помощью метода учебного курса, чтобы постоянно усиливать нагрузку на модель, чтобы она могла стабильно улучшаться в процессе обучения. ## Результаты В нашем исследовании мы использовали шесть разных бенчмарков, чтобы проверить эффективность APASI. Мы сравнили результаты этого метода с другими подходами, основывающимися на предпочтениях. Наши эксперименты показали, что APASI не только существенно снижает халлуцинации, но и достигает показателей, подобных или даже выше, чем существующие методы. Это указывает на то, что APASI не только эффективен в своей задаче, но также продемонстрировал способность улучшать LVLMs в реальной среде. ## Значимость Метод APASI может применяться в различных областях, где LVLMs могут использоваться, таких как распознавание объектов, описание визуального содержимого и даже в создании контента. Одним из основных преимуществ APASI является его автономность, что устраняет необходимость в дорогостоящих внешних зависимостях. Мы уверены, что наша работа может стать основой для дальнейших исследований в области LVLMs и помочь в решении проблем, связанных с халлуцинациями. ## Выводы Мы представили новый метод APASI для снижения халлуцинаций в LVLMs. Наш алгоритм не только стабильно улучшает производительность, но также демо