Validating Generative Agent-Based Models for Logistics and Supply Chain Management Research

## Контекст Generative Agent-Based Models (GABMs), основанные на больших языковых моделях (LLMs), представляют собой перспективный инструмент для исследований в области логистики и управления цепями поставок (LSCM). Они могут гибко и реалистично моделировать человеческое поведение благодаря применению естественного языка. Тем не менее, неясно, насколько эти модели эффективно воспроизводят реальность и могут заменить классические методы исследования. Эта проблема начинает приобретать важность в свет роста интереса к искусственному интеллекту в задачах, требующих реалистичных симуляций. В этом контексте возникает необходимость проверки того, насколько хорошо GABMs могут эмпирически описывать логистические ситуации, а также выявление потенциальных проблем в их методологии. ## Метод Для проверки GABMs была применена управляемая экспериментальная модель, в которой участники (477 диадных пар) решали задачи в сценарии доставки питания. Для сравнения использовались шесть современных LLMs, которые выступали в роли симулируемых агентов. Использованный подход включал моделирование диалогов, анализ решений и использование метода структурного эквивалентности (structural equivalence) для оценки того, насколько GABMs согласовываются с реальным поведением. Также в эксперименте были использованы значимые условия и структурная модель (structural equation modeling, SEM), чтобы изучить решаемость и эквивалентность решений. ## Результаты Эксперимент показал, что некоторые LLMs могут эффективно эмулировать поведение людей в задачах доставки питания, при этом другие LLMs демонстрировали решаемость, но с отклонениями в решениях, не соответствующими реальному поведению. Например, ряд тестов на эквивалентность (Two One-Sided Tests, TOST) показал, что некоторые LLMs согласовывались с реальным поведением на поверхностном уровне, но структурные модели показали, что некоторые LLMs генерировали решательные процессы, отличные от тех, что присутствовали у участников. Это значит, что GABMs могут стать полезным инструментом, но их требуется проверить с точки зрения эмуляции и решательных процессов. ## Значимость Результаты имеют практическое значение для логистики и LSCM, поскольку они показывают, что GABMs могут быть применены для симуляции логистических ситуаций, но необходимо проводить две основные проверки: эмуляция поведения и проверка решательных процессов. Это также может быть полезно для разработчиков, которые используют LLMs в логистических решениях, так как оно дает рекомендации по выбору LLMs, основанные на реальных данных. Будущие исследования должны сосредоточиться на улучшении этих проверок, чтобы сделать GABMs более надёжными и реалистич