SpinGPT: A Large-Language-Model Approach to Playing Poker Correctly

## Контекст Область исследования — искусственный интеллект (ИИ) в играх, специально в покере. Игры, которым необходима стратегия и интеллектуальное решение, часто создают сложные задачи для ИИ. Одним из таких видов игр является покер, особенно в формате Spin & Go — трехпользовательская версия, где игрокам требуется решать сложные эквариумумные задачи в неидеальной информационной среде. Традиционное решение — Counterfactual Regret Minimization (CFR) — имеет высокую сложность вычислений при увеличении числа участников. Более того, в играх с тремя или более игроками Nash equilibrium не гарантирует выигрыша. Эти ограничения подчеркивают необходимость развития новых подходов, особенно в популярных турнирных форматах. Возникает мотивация для исследования новых методов, включая использование больших языковых моделей (LLM). ## Метод SpinGPT разработан в двух этапах. На первом этапе использовался **Supervised Fine-Tuning** на базе 320 тысяч высокостактных решений экспертов. На втором этапе применено **Reinforcement Learning** с использованием 270 тысяч генерируемых техническими средами решений. Это позволило модели SpinGPT оптимизировать свои решения на основе двух разных подходов: 1) соблюдения лучших традиционных стратегий и 2) учет неопределенности игровых ситуаций. Такая двухэтапная архитектура позволяет SpinGPT решать задачи в Spin & Go, где требуется быстрая адаптация и точное решение в условиях неидеальной информации. ## Результаты В результате выполнения SpinGPT совпадает с решениями стандартных сред (solver) в 78% случаев (tolerant accuracy). Это указывает на высокую точность модели в соблюдении оптимальных стратегий. Также SpinGPT демонстрирует выигрышную стратегию в голодающих технических боях (heads-up), где он показывает результат +13.4 +/- 12.9 BB/100 (условия: 30 тысяч рук, 95% доверительный интервал). Эти результаты показывают, что SpinGPT эффективно решает задачи в Spin & Go и может стать новым поводом для исследований в области ИИ в покере. ## Значимость Потенциальное применение SpinGPT распространяется на большое количество активных игровых форматов, включая покер в турнирных форматах. Избавление модели от некоторых ограничений CFR делает ее мощным инструментом для развития ИИ в покере. В частности, SpinGPT может использоваться в турнирах, где требуется быстрое решение задач в условиях неидеальной информации. Это может привести к новым возможностям для стратегического подхода в игре и даже к развитию новых методов поиска оптимальных решений в других играх с неопределенностью. ## Выводы Исследование SpinGPT показало, что большие языковые модели могут б