Localmax dynamics for attention in transformers and its asymptotic behavior

## Контекст Область исследования сосредоточена на развитии моделей внимания в трансформерных моделях, которые играют ключевую роль в обработке естественного языка и других задач машинного обучения. Существующие модели, такие как softmax и hardmax, эффективны в различных задачах но могут иметь ограничения. Например, softmax дает общую вероятность распределения, но может некорректно трактовать "жесткие" конфликты внимания. Hardmax решает эту проблему, ограничивая веса только максимально влияющих токенов, но это приводит к упрощению взаимодействий. Мотивация заключается в развитии модели, которая была бы более гибкой, учитывающая асимметрию взаимодействий. ## Метод Рассматривается новая модель внимания, названная localmax dynamics, которая является интерполяцией между softmax и hardmax. Она позволяет управлять динамикой точности внимания с помощью параметра, контролирующего вклад соседних токенов. В отличие от hardmax, эта модель рассматривает более широкий круг взаимодействий, при этом оставляя возможность включать или исключать токены из активного внимания. Архитектура основывается на дискретном времени и использует методы, адаптированные из классических операторных методов, чтобы провести анализ над многомерным системным поведением. Модель протестирована на синтетических данных и реальных задачах обработки текста. ## Результаты Эксперименты показали, что localmax dynamics может достигать более точных результатов в задачах, где требуется контрольное внимание к конкретным токенам. Модель продемонстрировала лучший баланс между гибкостью и точностью по сравнению с существующими моделями. Например, в задаче классификации текста с разными уровнями точности внимания, localmax dynamics показала лучшую точность в том числе из-за способности учитывать более широкие контексты. Данные для экспериментов были получены с использованием моделей BERT и GPT, а результаты были проверены статистическими методами. ## Значимость Модель localmax dynamics может быть применена в различных направлениях, включая обработку естественного языка, видеоанализ и даже управление роботами, где внимание к конкретным объектам является ключевым фактором. Особенно важное преимущество заключается в универсальности модели, которая может адаптироваться к разным уровням точности внимания в зависимости от задачи. Это предоставляет новые возможности для оптимизации и моделирования сложных систем. ## Выводы Основные достижения заключаются в развитии более гибкой модели внимания, которая учитывает асимметрию взаимодействий и позволяет управлять точностью внимания. Отмечается, что localmax dynamics не имеет финального конечного состояния, что от