Language Model Guided Reinforcement Learning in Quantitative Trading
2508.02366v1
cs.LG, cs.CL, q-fin.TR, I.2.7; I.2.6; J.4
2025-08-09
Авторы:
Adam Darmanin, Vince Vella
Резюме на русском
**Резюме**
В алгоритмическом трейдинге необходимо сбалансировать краткосрочные действия и долгосрочные финансовые цели. Однако reinforcement learning (RL), применяемый для таких задач, страдает от глазастых решений и непонятной политической логики. Модели естественного языка (LLMs), напротив, продемонстрировали способность стратегического мышления и мультимодального анализа финансовых сигналов при правильном протоколе управления.
Мы предлагаем систему, в которой LLMs генерируют верхнеуровневые торговые стратегии, а RL-агенты оптимизируют их реализацию. Мы экспериментально проверили (i) логику LLM-стратегий с помощью экспертного анализа и (ii) показатели Sharpe Ratio (SR) и Maximum Drawdown (MDD) LLM-ориентированных агентов по сравнению с неуправляемыми базовыми агентами. Результаты показали значительное повышение результатов в Sharpe Ratio и снижение максимальных оборотных потерь по сравнению с стандартным RL. Это свидетельствует о потенциале LLMs в улучшении традиционных RL-подходов в трейдинге.
Abstract
Algorithmic trading requires short-term decisions aligned with long-term
financial goals. While reinforcement learning (RL) has been explored for such
tactical decisions, its adoption remains limited by myopic behavior and opaque
policy rationale. In contrast, large language models (LLMs) have recently
demonstrated strategic reasoning and multi-modal financial signal
interpretation when guided by well-designed prompts.
We propose a hybrid system where LLMs generate high-level trading strategies
to guide RL agents in their actions. We evaluate (i) the rationale of
LLM-generated strategies via expert review, and (ii) the Sharpe Ratio (SR) and
Maximum Drawdown (MDD) of LLM-guided agents versus unguided baselines. Results
show improved return and risk metrics over standard RL.