Consistent Opponent Modeling of Static Opponents in Imperfect-Information Games

## Контекст В многоагентных средах, где агенты стремятся максимизировать свою награду, игра стратегических агентов часто определяется игровыми теоретическими понятиями, такими как Нашее эквибриум. Однако эти подходы нередко не учитывают исторические данные и наблюдаемые данные от противников во время повторных взаимодействий. Наблюдения за противником могут предоставить ценную информацию для улучшения стратегии. Однако в играх с неполной информацией, где информация о действиях противника не всегда видна, эффективность таких подходов ограничена. Это снижает потенциал игровых агентов в условиях неопределенности, например, в покере. Мы исследуем проблему того, как создавать модели противников, которые бы не только учитывали исторические данные, но и стабильно приближались к истинной стратегии противника в течение продолжительного времени. ## Метод Мы предлагаем алгоритм ориентированный на моделирование противников, гарантирующий точное настройку на истинную стратегию противника в игре с неполной информацией. Наш подход основывается на последовательности-форме игрового представления, которое позволяет представить игру в виде многоугольника. Мы используем оптимизационный метод градиентного спуска с проекцией, чтобы минимизировать разницу между стратегией модели и истинной стратегией противника. Ключевым элементом является то, что наш метод гарантирует сходимость к точной стратегии противника с увеличением количества игровых итераций, даже в случае нестабильных противников. ## Результаты Мы проводим эксперименты на наборе задач, включающих игры с неполной информацией, такие как покер. Для этого мы используем набор данных, содержащий наблюдения за игровыми действиями противников в течение многих игровых сессий. Наши результаты показывают, что наш алгоритм эффективно приближается к истинной стратегии противника, даже если противник нестабилен. Мы также проверяем нашу модель на задачах, где противник отличается от предыдущих сессий, и показываем, что алгоритм успешно адаптируется. ## Значимость Наш подход может быть применен в различных многоагентных системах, где агенты должны реагировать на противников, основываясь на исторических данных. Например, он может быть использован в игровых системах, интеллектуальных ассистентах, системах управления трафиком или даже в системах безопасности. Наш подход обеспечивает более высокую точность и стабильность в моделировании противников, что может повысить эффективность таких систем. Это также открывает новые возможности для улучшения интеллектуальных систем в различных