Beyond Naïve Prompting: Strategies for Improved Zero-shot Context-aided Forecasting with LLMs

## Контекст Говоря на общем уровне, прогнозирование в реальных условиях требует моделей не только анализировать исторические данные, но и учитывать соответствующий контекст, часто представленный в текстовой форме. Несмотря на то, что последние исследования показали, что крупные языковые модели (LLMs) могут действовать в качестве эффективных контекст-адаптивных прогнозировальных моделей, используя простую "наивную" форму запроса, их потенциал в этой области остается недоумеренным. Наша мотивация заключается в том, чтобы изучить эту проблему подробнее, выявить новые возможности и создать эффективные стратегии для улучшения того, как LLMs подходят к контекст-адаптивному прогнозированию. ## Метод Мы предлагаем четыре новых стратегии, которые улучшают подход к контекст-адаптивному прогнозированию с помощью LLMs. **ReDP (Reasoning-Driven Prompting)** улучшает понимание работы модели, получая от нее подробные решения над контекстом, независимо от точности прогноза. **CorDP (Context-Optimized Refinement Prompting)** использует модели только для очистки и уточнения существующих прогнозов, при этом с учетом контекста. **IC-DP (In-Context Data Prompting)** включает в промпты исторические примеры контекст-адаптивных задач, что позволяет улучшить прогнозы, даже для самых больших моделей. Наконец, **RouteDP (Routing for Difficulty Prediction)** использует модели для оценки сложности задачи и направления самых сложных проблем к более мощным моделям, что позволяет оптимизировать ресурсы. ## Результаты Мы использовали данные из бенчмарка CiK, который включает различные задачи контекст-адаптивного прогнозирования. Наши стратегии были протестированы на моделях LLM разных размеров и семейств. Результаты показали, что каждая стратегия демонстрирует свои преимущества в своей области. ReDP улучшает транспарентность, CorDP улучшает точность прогнозов на основе уже существующих решений, IC-DP увеличивает точность для моделей разных размеров, а RouteDP оптимизирует ресурсы, перенаправляя сложные задачи к более мощным моделям. ## Значимость Эти стратегии могут быть применены в различных областях, где необходимо контекст-адаптивное прогнозирование, включая временные ряды, финансы, транспортные системы и здравоохранение. Они обеспечивают улучшение точности прогнозов, особенно для самых больших моделей, и позволяют экономить ресурсы, перенаправляя сложные задачи на большие модели. Эти результаты открывают новые возможности для улучшения LLM-based context-aided forecasting, делая его более эффективным и практичным. ## Выводы Мы предложили четыре стратегии улучшения контекст-адаптивного прогнозирования с помощью LLMs. Наши результаты показывают, что эти стратеги