## Контекст Оптимизация больших языковых моделей (LLMs) представляет собой сложную задачу, включающую в себя несколько целей, таких как точность, эффективность, экономичность и личная настройка. Существующие подходы часто ориентированы на одну задачу, но не подходят для удовлетворения множества целей одновременно. Многообъектная рейнфорсментное обучение (MORL) предлагает возможность оптимизировать несколько целей одновременно, но столкновение с техническими трудностями, такими как неопределенные взаимосвязи между целями, требует развития более эффективных и гибких решений. Мотивация заключается в устранении этих проблем и расширении возможностей MORL для LLMs. ## Метод MORL включает в себя несколько методологий, включая параллельное мульти-обучение и би-уровневые параметры, позволяющие модели учитывать несколько целей в процессе обучения. Архитектура MORL включает в себя сложную сеть, где каждая цель оценивается в зависимости от других целей, что дает более комплексное представление о взаимосвязях. Технические решения включают в себя адаптивные стратегии, которые позволяют модели учитывать отношения между целями и адаптироваться к изменяющимся обстоятельствам. Эти принципы применяются для обучения моделей, которые могут эффективно учитывать несколько целей во время работы. ## Результаты На основе MORL были проведены эксперименты, включающие использование различных целей, таких как точность, эффективность и личная настройка, для LLMs. Использовались различные данные, включая текстовые данные, для оценки различных стратегий MORL. Результаты показали, что стратегии MORL могут эффективно управлять отношениями между целями, предоставляя более точные и эффективные результаты. Также были выявлены отдельные значительные улучшения в производительности при использовании MORL по сравнению с одно-целевыми подходами. ## Значимость Полученные результаты могут быть применены в сферах, таких как личная настройка языковых моделей, эффективное использование ресурсов и улучшение качества ответов. Избавление от несогласованности в целях и повышение обобщающих возможностей моделей может привести к более широкому применению LLMs в различных областях. Это также открывает новые возможности для развития более универсальных моделей, которые могут быть ориентированы на различные пользователей и задачи. ## Выводы Результаты MORL показали, что этот подход эффективен для оптимизации нескольких целей в LLMs. Будущие исследования будут сфокусированы на развитии meta-policy MORL, чтобы улучшить ее эффективность и гиб

## Контекст Large Language Models (LLMs) становятся все более успешными в решении разнообразных задач, но их процедурная память часто оказывается недостаточно устойчивой и гибкой. Эта проблема наблюдается при мануальном программировании памяти или при ее интеграции с статическими параметрами. В настоящей работе рассматривается задача обеспечения агентов с выработкой процедурной памяти, которая была бы изучаемой, обновляемой и жизненно длительной. Такие подходы могут увеличить эффективность агентов и позволить им работать в нестандартных ситуациях, не подразумеваемых при их разработке. ## Метод Методология, предлагаемая в работе, основывается на создании механизмов для построения, восстановления и обновления процедурной памяти. Агенту предлагается два уровня абстракции: пошаговые инструкции и скрипт-ориентированные абстракции. Для этого используется нейронная сеть, которая проанализировала большой объем данных, чтобы сформировать эти уровни абстракции. Изучены различные стратегии для построения, поиска и обновления памяти, которые позволяют агенту взаимодействовать с процедурным знанием в процессе работы. Динамическая система обновления позволяет максимально адаптировать память к новым опытным данным. ## Результаты Для оценки эффективности предложенного подхода проведены эксперименты на двух наборах данных: TravelPlanner и ALFWorld. Эти эксперименты показали, что агенты с динамической процедурной памятью показали высокую эффективность в решении задач, а также существенно улучшили свои результаты в сравнении с базовыми моделями. Также показано, что модели с более сильными предварительно обученными моделями могут быть эффективно использованы для повышения производительности более слабых моделей, если эти модели работают с общей процедурной памятью. ## Значимость Результаты этой работы могут быть применены в различных областях, таких как разработка систем-агентов для управления процессами, диалоговые системы, интеллектуальные системы поддержки решения задач и др. Этот подход увеличивает гибкость, эффективность и устойчивость агентов к изменениям в задачах и условиях работы. Также, он открывает новые возможности для развития методов обучения с подкреплением и динамического управления знаниями. ## Выводы Работа представляет собой значительный шаг в направлении создания устойчивой, обновляемой процедурной памяти для агентов, основанных на LLMs. Она показывает, что подход Memp может быть эффективно использован для улучшения результатов в различных задачах. В будущем могут быть проведены дополнительные исследования для идентификации новых стратегий построения и об