Advanced Hybrid Transformer LSTM Technique with Attention and TS Mixer for Drilling Rate of Penetration Prediction
2508.05210v1
cs.LG, cs.AI, cs.SY, eess.SY
2025-08-09
Авторы:
Saddam Hussain Khan
Резюме на русском
**Резюме:**
Точная прогнозирование темпа проходки (ROP) является ключевым фактором для оптимизации бурения, однако его высокая динамичность и многомерность данных существенно усложняют этот процесс. Традиционные модели, включая эмпирические, физико-математические и базовые методы машинного обучения, не могут эффективно учесть сложные временные и контекстуальные зависимости. Для решения этой проблемы предлагается новая гибридная архитектура на основе Long Short-Term Memory (LSTM), Transformer-энкодеров, TS-Mixer блоков и механизмов внимания. Эта модель эффективно моделирует временные зависимости, взаимодействия статических и динамических признаков, а также их контекстуальную значимость. На реальных данных бурения модель достигла R-квадратического коэффициента 0.9988 и средней абсолютной процентной ошибки 1.447%, превосходя базовые модели. Интерпретируемость модели была обеспечена с помощью SHAP и LIME, подтвердив её точность и справедливость. Результаты демонстрируют потенциал этого подхода для реального времени прогнозирования ROP и оптимизации бурения.
Abstract
The Rate of Penetration (ROP) is crucial for optimizing drilling operations;
however, accurately predicting it is hindered by the complex, dynamic, and
high-dimensional nature of drilling data. Traditional empirical, physics-based,
and basic machine learning models often fail to capture intricate temporal and
contextual relationships, resulting in suboptimal predictions and limited
real-time utility. To address this gap, we propose a novel hybrid deep learning
architecture integrating Long Short-Term Memory (LSTM) networks, Transformer
encoders, Time-Series Mixer (TS-Mixer) blocks, and attention mechanisms to
synergistically model temporal dependencies, static feature interactions,
global context, and dynamic feature importance. Evaluated on a real-world
drilling dataset, our model outperformed benchmarks (standalone LSTM, TS-Mixer,
and simpler hybrids) with an R-squared score of 0.9988 and a Mean Absolute
Percentage Error of 1.447%, as measured by standard regression metrics
(R-squared, MAE, RMSE, MAPE). Model interpretability was ensured using SHAP and
LIME, while actual vs. predicted curves and bias checks confirmed accuracy and
fairness across scenarios. This advanced hybrid approach enables reliable
real-time ROP prediction, paving the way for intelligent, cost-effective
drilling optimization systems with significant operational impact.