#### Контекст Catastrophic forgetting является ключевой проблемой в области последовательного обучения для больших языковых моделей (LLM). Эта проблема возникает при последовательном обучении модели на новых задачах, когда она постепенно забывает всё, что узнала ранее. Это особенно актуально при обучении без доступа к исходным данным, что становится типичным сценарием для применения LLMs в реальных ситуациях. Отсутствие эффективных методов для решения этой проблемы ставит под угрозу широкое применение LLMs в сценариях, где необходима стабильная память и результаты обучения. Многие существующие регуляризационные подходы стремятся сдерживать этот эффект, но часто оказываются недостаточно эффективными для долгосрочного обучения. #### Метод Мы предлагаем метод **Dynamic Orthogonal Continual (DOC)** fine-tuning, который адрессирует проблему непостоянства функциональных направлений во время обучения. Метод DOC отслеживает эти направления и динамически обновляет их во время обучения. Для того, чтобы уменьшить взаимодействие между новыми и старыми задачами, мы адаптируем градиенты новых задач так, чтобы они были ортогональны к уже отслеженным направлениям. Это позволяет минимизировать интерференцию и сохранить память о прошлых задачах. Метод DOC сочетает эффективность и простоту, используя ортогональность в качестве ключевого механизма для решения проблемы catastrophic forgetting. #### Результаты Мы проверили наш метод на нескольких LLM continual learning benchmark-результатах, включая широкий диапазон задач и наборов данных. Мы сравнили DOC с другими подходами, включая стандартные регуляризационные методы. Результаты показали, что DOC не только существенно снижает уровень catastrophic forgetting, но и показывает более высокую точность и гладкость результатов. Особенно заметны преимущества в ситуациях, когда данных для исходных задач недоступно. Это демонстрирует то, что DOC может обеспечить стабильность и эффективность в процессе последовательного обучения. #### Значимость Метод DOC может быть применен в различных областях применения LLMs, где необходимы стабильные результаты и модели должны постоянно обучаться на новых данных. Например, он может применяться в области NLP-сервисов, где нужно постоянно обновлять модели на базе новых данных, но при этом сохранять знания о предыдущих задачах. Также, он может быть применен в обучении моделей для большого количества данных, когда размер данных не позволяет хранить всю историю. Данный подход значительно увеличивает гибкость и эффективность последовательного обучения, обеспечивая более устойчивые и постоянные модели. #### Выводы DOC является эффективным подходом для уменьшения catastrophic forgetting в случае последовательного обучения LLMs. Он продемонстриро

## Контекст В области исследований нейронных сетей по-прежнему существуют значительные проблемы, связанные с генерализацией моделей в рамках высокосложностных комбинаторных задач. Такие задачи часто требуют моделей для решения сложных проблем, используя ограниченные обучающие данные. В частности, задача расшифровки шифров со сменой букв (сущ. substition ciphers) представляет собой комбинаторный тестбед, в котором необходимо решать задачи расшифровки с использованием 26! возможных комбинаций букв. Однако значительная часть текущих моделей страдает от отсутствия интерпретируемости и эффективности при решении таких задач. Мотивация заключается в разработке модели, которая не только решает задачи расшифровки, но и удовлетворяет критериям генерализации и интерпретируемости. ## Метод Для решения этой задачи разработана модель ALICE (Architecture for Learning Interpretable Cryptogram dEcipherment). ALICE — простая модель encoder-only Transformer, которая обнаруживает и расшифровывает шифры со сменой букв. Модель обучается на ограниченном количестве уникальных шифров (${\sim}1500$), что составляет лишь незначительную часть возможных комбинаций шифров. Для повышения интерпретируемости разработана новая bijective decoding head, которая моделирует перестановки с помощью Gumbel-Sinkhorn-метода. Это позволяет извлекать участвующие в шифровании преобразования непосредственно из модели. Была также проведена аналитическая экспериментальная работа, включающую early exit analysis, которая демонстрирует прогрессивное уточнение модели в процессе решения задач, подобно человеческим подходам. ## Результаты В работе проводились эксперименты с различными тестовыми наборами, включая шифры со сменой букв. Модель ALICE достигла нового состояния техники в задаче расшифровки шифров со сменой букв, показала высокую точность и эффективность решения задач. Модель позволяет расшифровывать не только виды шифров, которые были видны во время обучения, но и неизвестные шифры. Благодаря использованию Gumbel-Sinkhorn-метода, модель может явно отображать перестановки, которые она выводит в процессе работы. Early exit analysis показала, что ALICE применяет различные стратегии решения задач, начиная с преобразований на основе частотных коэффициентов, затем переходя к структурам слов и заканчивая коррекциями ошибок на уровне отдельных символов. ## Значимость Разработанная модель ALICE может быть использована для решения различных задач, включая расшифровку шифров со сменой букв, а также для задач с bijective mappings и применения в сложных комбинаторных областях. Основные преимущества ALICE заключаются в высокой точности решения задач, эффективности и интерпретируемости модели. Эти характеристики делают модель применимой в различных обла