Flexible inference of learning rules from de novo learning data using neural networks

## Контекст Изучение как животные учатся, является центральной проблемой в нейронауках, особенно в связи с развитием животных-или человеческих-алгоритмов искусственного интеллекта. Однако многие существующие подходы предполагают определенные параметрические модели для нормализации норм обучения (например, Q-learning, policy gradient) или ограничены в простых задачах, таких как bandit tasks, которые не включают в себя научение новых ввода-вывода совершенно с нуля. Несмотря на это, животные часто должны научиться новым поведениям с нуля, что представляет богатый вызов для науки о познании. Мы стремимся к решению этой проблемы, предлагая фундаментальный подход к оценке норм обучения непосредственно из данных поведения животных в ходе их обучения, что требует моделей норм обучения, достаточно гибких для внедрения субоптимальности, зависимости от истории и разнообразия внешних стимулов без внедрения строгих моделей. ## Метод Мы предлагаем два модели для оценки норм обучения. Первый - непараметрический, основывается на глубокой нейронной сети (DNN), которая параметризирует подпроцессы норм обучения в каждом эксперименте. Эта модель позволяет представить подвижность и интеграцию внешних стимулов, а также учитывать субоптимальность. Второй модель - рекуррентный (RNN), который добавляет возможность зависимости обновлений норм обучения от истории попыток. Мы проводим эмпирическую валидацию в симуляционных условиях, показывая, что модели могут восстановить значения норм обучения, которые являются знаковыми. ## Результаты Мы применяем нашу модель к реальным данным из исследований мышей, научающихся выполнять задачи сенсорного принятия решений в течение нескольких недель. Наши модели предсказывали поведение на новых данных, которые не были использованы во время обучения. Оцененные нормы обучения показали асимметричность в обновлениях после удачных и неудачных попыток, а также зависимость от истории попыток, согласующуюся с моделью не-марковского обучения. ## Значимость Мы предлагаем гибкий фреймворк для оценки норм обучения, который может быть использован в различных научных и прикладных задачах. Наши результаты могут информировать обучение животных в экспериментах, а также помочь в развитии цифровых двойников поведения для моделирования и исследования. Мы также открываем возможности для более детального понимания мозговых механизмов обучения. ## Выводы Мы представили новую модель для оценки норм обучения, которая может применяться к данным о поведении в ходе де-ново обучения. Наши результаты не только улучшают моделирование поведения, но и открывают пути для повышения