ToMPO: Training LLM Strategic Decision Making from a Multi-Agent Perspective

## Контекст Стратегическое принятие решений требует логического рассуждения, осознания различных субъектов и их стратегий. Однако существующие решения, основанные на глубоком познании, часто не учитывают взаимодействия с другими агентами. Это приводит к несоответствию решений и неэффективности взаимодействия. Большинство исследований сосредоточены на учебных средах или эмулируемых задачах, где нет глубокого взаимодействия. Мы призваны разработать метод, который бы учитывал взаимодействие в целом, включая рассуждения о стратегиях других субъектов и их влияние на решения. ## Метод Мы предлагаем ToMPO (Training LLM Strategic Decision Making from a Multi-Agent Perspective) — метод, оптимизирующий стратегии моделей, рассуждая о стратегиях других. ToMPO включает два ключевых элемента: 1) генерируя роллауты на основе стратегий других агентов, 2) вычисляя преимущества на уровне графа и отдельных примеров. Мы также предлагаем балансировку между глобальным и частным вознаграждением. Этот подход учитывает взаимосвязи и отдает предпочтение совместным решениям. Результаты показывают, что ToMPO улучшает соответствие модели критериям взаимодействия, увеличивая коэффициент кооперативности на 35% по сравнению с GRPO. ## Результаты Мы проводили эксперименты на симулируемых задачах, где необходимо учитывать стратегии других агентов. Мы сравнили ToMPO со стандартным GRPO и увидели, что ToMPO повышает уровень кооперативности и соответствия решений. Например, в задаче управления ресурсами, где необходимо понять стратегии других игроков, ToMPO показал лучшие результаты. Мы также проводили эксперименты с моделями различных размеров, демонстрируя, что ToMPO эффективен даже при меньшем размере параметров, показывая улучшение на 18% по сравнению с моделями, имеющими размер 100 раз больше. ## Значимость Предложенный подход может быть применен в различных сферах, где требуется умение работать с несколькими агентами и рассуждать о своих стратегиях. Он может использоваться в системах, которым требуется оценивать риски и принимать решения в условиях неопределенности. Это демонстрирует значительный прогресс в области стратегического принятия решений, позволяя моделям более эффективно учитывать взаимодействие с другими субъектами. ## Выводы Мы представили ToMPO, метод, который улучшает стратегическое принятие решений с помощью глубокого рассуждения о стратегиях других агентов. Мы продемонстрировали эффективность этого подхода в симулируемых задачах и сравнили его с GRPO, показав значительное улучшение. Наша работа открывает новые