Evaluating Retrieval-Augmented Generation Strategies for Large Language Models in Travel Mode Choice Prediction

## Контекст Предсказание способа путешествия (travel mode choice) является ключевым фактором для эффективного транспортного планирования. Однако существующие статистические и машинное обучение (machine learning) модели страдают от редуцированной гибкости, ограниченной контекстной рассуждением и недостаточной общностью. В этом исследовании рассматривается возможность использования Large Language Models (LLMs), которые предлагают более гибкую и контекст-знающую модель для предсказания способа путешествия. Дополнительно, введена методология Retrieval-Augmented Generation (RAG), которая позволяет лучше интегрировать эмпирические данные в процесс предсказания. Исследование также исследует различные стратегии RAG для оптимизации процесса работы LLMs. ## Метод Моделирование предсказаний о способах путешествия осуществляется с помощью LLMs, в которые внедрена RAG. Для подачи набора данных в модель используется модульный фреймворк, который позволяет сравнивать различные стратегии RAG. Используются четыре стратегии RAG: базовая RAG, RAG с балансировкой набора данных, RAG с кросс-энкодером для ре-ранкинга и RAG с балансировкой набора данных и кросс-энкодером для ре-ранкинга. Эти стратегии тестируются на трех различных моделях LLMs: OpenAI GPT-4o, o4-mini и o3. Для экспериментов использованы данные из 2023 Puget Sound Regional Household Travel Survey. ## Результаты Эксперименты показали, что внедрение RAG значительно повышает точность предсказаний для всех моделей LLM. Наиболее эффективной была комбинация GPT-4o с балансировкой набора данных и кросс-энкодером для ре-ранкинга, которая достигла точности 80.8%. LLMs показали значительное преимущество в общей общей гибкости и точности по сравнению с статистическими и традиционными моделями машинного обучения. ## Значимость Исследование демонстрирует значимость внедрения RAG в LLMs для предсказания способа путешествия. Результаты могут применяться в транспортном планировании и логистике для эффективного решения задач моделирования поведения. Данная модель также улучшает общую гибкость и точность моделей, что делает её более универсальной и полезной в разных сценариях. ## Выводы Результаты показывают, что RAG значительно повышает точность предсказаний в LLMs для моделирования способа путешествия. Однако существует необходимость продолжать исследования для оптимизации стратегий RAG и их интеграции с LLMs, чтобы добиться наибольшего эффекта в моделировании поведения. Будущие исследования должны также сосредоточиться на расширении применения этой модели в различных транспортных сценариях.