Latent learning: episodic memory complements parametric learning by enabling flexible reuse of experiences

## Контекст В настоящее время машинное обучение становится все более важной частью жизни и работы, но существуют проблемы, связанные с его общей неэффективностью при применении в новых задачах. Одной из ключевых проблем является нехватка гибкости в использовании прошлых опытов для решения новых задач. Это связано с тем, что существующие системы машинного обучения часто закрепляются за задачей, для которой они были обучены, и слабо приспосабливаются к новым условиям. Это ставит под сомнение их универсальность и гибкость. Эти проблемы можно связать с тем, что машинное обучение не включает в себя "подсознательное" осваивание информации, которая не сразу же нужна для решения задачи, но может быть полезна в будущем. Этот вид обучения, известный как "latent learning", хорошо изучен в когнитивной науке и связан с работой эпизодической памяти. Наши результаты показывают, что эта идея может быть применена для улучшения машинного обучения, а именно для улучшения его универсальности и общей гибкости. ## Метод В нашем исследовании мы использовали модель, основанную на естественном языке, чтобы показать, как эпизодическая память может улучшить обучение. Мы ввели механизм, позволяющий модели "поискать" историю своих предыдущих опытов и использовать их в новых задачах. Этот механизм, называемый "oracle retrieval mechanism", позволяет модели хранить и получать доступ к предыдущим опытам, чтобы их можно было использовать в новых задачах. Мы также использовали многоуровневую модель, включающую в себя не только эта возможность поиска, но и механизмы, которые позволяют модели изучать и адаптироваться к новым данным. Мы применяли эту модель на различных задачах, в том числе на текстовых моделях и задачах навигации в игровых пространствах. ## Результаты Мы проверили нашу модель на различных задачах, включая задачи с перекрестным обучением, в которых система должна обучаться на одной задаче, но применять этот опыт для решения другой. Мы также проверили модель на задачах с новым типом навигации, где система должна принимать решения в новых средах, используя прошлый опыт. Мы обнаружили, что модель, использующая "oracle retrieval mechanism", показывает значительно лучшую гибкость и общую гибкость, чем модели без этого механизма. Другими словами, она может быстрее и эффективнее применять свой прошлый опыт для решения новых задач. Мы также обнаружили, что важность внутри-примера обучения (within-example in-context learning), которая позволяет модели строить связи между различными предыдущими опытами, чтобы использовать их в более разнообразных ситуациях. ## Значимость Наша работа может помо