## Контекст В современной машинном обучении становится все важнее улучшить эффективность обучения, особенно при работе с большими датасетами и ресурсоемкими моделями. Одним из ключевых аспектов этого процесса является выбор информативных данных, которые могут существенно ускорить обучение без ухудшения качества модели. Несмотря на развитие методов выбора данных, таких как динамическое выборка и фильтрация, существуют значительные пробелы в их эффективности и универсальности. Мотивация для этого исследования заключается в разработке метода, который не только увеличит скорость обучения, но и сохранит высокое качество модели. ## Метод Разработанный подход, названный **Evolved Sampling (ES)**, представляет собой динамическую систему выбора данных в процессе обучения. Основная идея заключается в использовании **батч-уровня выбора данных**, основанного на динамических изменениях потерь и добавленных **loss differences**. Этот подход позволяет гибко управлять частотой обновления данных, уменьшая время обратного распространения (back propagation). Кроме того, ES может быть расширен для применения на уровне **сета данных**, включая методы **pruning** (ESWP), для дополнительных ускорений. Такая подходность к различным задачам и моделям делает ES(WP) простым и эффективным фреймворком для динамического выбора данных. ## Результаты Эксперименты проводились на различных задачах, включая предварительное обучение (pre-training) и последовательное обучение (post-training). Были использованы различные модели и датасеты, в том числе для задач классификации и регрессии. Результаты показали, что ES существенно уменьшает время обучения (до 45% wall-clock time), при этом сохраняя высокое качество модели. Также, ESWP демонстрирует более высокую эффективность при работе с большими датасетами. Эти результаты подтверждают гибкость и эффективность алгоритма в различных сценариях. ## Значимость Разработанный подход может быть применен в различных областях машинного обучения, включая предварительное обучение моделей, трансформеры и другие ресурсоемкие задачи. Его главное преимущество заключается в способности ускорить обучение без ущерба качеству. Это может привести к значительным экономиям в ресурсах, в том числе времени и вычислительных мощностей. Будущие исследования могут быть направлены на улучшение гибкости и расширение применения данного метода к другим типам моделей и задачам. ## Выводы Разработанный метод **Evolved Sampling (ES)** демонстрирует высокую эффективность в динамическом выборе данных для ускорения обучения без ущерба качеству. Он показал свою перспективность на различных задачах и моделях, сохраняя высокую точность и уменьшая время обучения.

## Контекст Временные ряды — это важный источник данных, используемый в различных областях, включая финансы, здравоохранение и промышленность. Однако реальные временные ряды часто содержат пропущенные значения, что создает серьезные вызовы для моделирования и прогнозирования. Многие текущие методы применяют последовательный подход: сначала исправляют пропуски (imputation), а затем прогнозируют (prediction). Однако этот подход не учитывает, что пропуски могут быть неточно импультрованы, что приводит к подрыву достоверности прогнозов. Эта проблема требует изменить подход к моделированию временных рядов с пропусками. ## Метод Методология предлагаемого подхода основана на идее информационного бутлета (Information Bottleneck, IB). Разработанный фреймворк, названный **Consistency-Regularized Information Bottleneck (CRIB)**, не зависит от импультрования пропусков. Вместо этого он напрямую прогнозирует из частично наблюдаемых временных рядов. Основные компоненты CRIB: 1. **Unified-Variate Attention Mechanism** — позволяет учитывать взаимосвязи между различными признаками временных рядов. 2. **Consistency Regularization** — улучшает стабильность и точность прогноза, акцентуясь на надежных сигналах в данных. 3. **End-to-End Learning** — обеспечивает прямое учитывание ошибок в прогнозе без дополнительных моделей для импультрования пропусков. ## Результаты Статья представляет результаты экспериментов на четырёх реальных датасетах, в том числе банковских, здравоохранения и промышленности. Обучавшаяся с помощью CRIB модель показала стабильно высокую точность прогноза даже при высоких процентах пропусков в данных. Эксперименты показали, что CRIB оказывается эффективной в сравнении с традиционными методами, построенными на импультровании пропусков. ## Значимость Предлагаемый подход имеет широкие применения в областях, где существует большое количество временных рядов с пропусками, включая здравоохранение, финансы и промышленные процессы. Он не только улучшает точность прогнозов, но и устраняет зависимость от неточного импультрования пропусков. Это делает CRIB более надежным и универсальным инструментом для прогнозирования временных рядов. ## Выводы Результаты исследования подтверждают, что CRIB является эффективным подходом к разрешению проблемы пропусков в временных рядах. Будущие исследования будут фокусироваться на расширении модели для более сложных структур временных рядов и интеграции с другими методами машинного обучения.