MEGG: Replay via Maximally Extreme GGscore in Incremental Learning for Neural Recommendation Models

## Контекст Neural Collaborative Filtering (NCF) модели широко используются в рекомендательных системах для предсказания пользовательских предпочтений. Однако эти модели обучаются в статических условиях, предполагая неизменную распределение данных. Это ограничивает их применение в динамических средах, где пользовательские предпочтения постоянно меняются. Инкрементное обучение (incremental learning) предлагается как решение для этой проблемы, позволяя моделям адаптироваться к изменениям в пользовательских предпочтениях. Тем не менее, существующие методы, применяемые в компьютерном зрении и NLP, сталкиваются с трудностями при рекомендательных задачах из-за данных с высоким спарсием и уникальных парадигм задач. Существующие подходы для neural recommenders часто ограничены в области применения и генерализируемости. Для решения этой проблемы мы предлагаем MEGG (Maximally Extreme GGscore for Experience Replay), новую фреймворк инкрементного обучения, которая использует реплей выбранных выборок с максимально высоким GGscore для того чтобы уменьшить эффект "catastrophic forgetting" (забывания прошлых знаний). ## Метод MEGG является модельно-независимым подходом, который может интегрироваться с различными архитектурами и фреймворками рекомендательных моделей. Основной компонент MEGG — GGscore, метрика, оценивающая вклад каждой выборки в процесс обучения. Эта метрика позволяет выбирать самые важные выборки для реплея во время инкрементного обучения, чтобы сохранить прошлые знания и избежать "catastrophic forgetting". Метод работает следующим образом: в ходе обучения, каждая выборка получает GGscore, который определяется на основе её вклада в общий loss функции. Только выборки с самыми высокими GGscore попадают в реплей-буфер, чтобы быть реинсерированы в тренировочный процесс. Это позволяет эффективно обновлять модель без необходимости хранить все предыдущие данные. ## Результаты Мы провёряли эффективность MEGG на трех моделях рекомендательных систем (NCF, LightGCN, DGCF) и четырьмя бенчмарк-датасетах (MovieLens, Amazon, Yelp, CiteULike). Наши эксперименты показали, что MEGG превосходит состояние техник на широком спектре показателей, включая NDCG, Recall и HitRate. На датасете MovieLens, например, MEGG демонстрирует увеличение NDCG на 15,3% и Recall на 12,4% по сравнению с лучшим базовым подходом. Эти результаты подтверждают то, что MEGG не только эффективно решает проблему catastrophic forgetting, но и обеспечивает высокую общую эффективность и гибкость. Мы также проверили работу MEGG с различными размерами реплей-буфера, показав, что он сохраняет высокую производительность даже при ограниченных ресурсах. ## Значимость MEGG предлагает значительные преимущества для рекомендательных систем, где динамичность пользова