## Контекст Генерирующие модели, такие как текстовые модели и генераторы изображений, широко применяются в различных областях, но сталкиваются с проблемами, известными как "халлуцинации" (hallucinations). Это возникают, когда модель генерирует выводы, которые не имеют никакого подкрепления в данных или в реальности. Хотя такие модели достигли высокого качества в обработке естественного языка и генерации изображений, халлуцинации остаются недоизбежным недочетом. Необходимо понять причины этого явления и его влияния на качество использования моделей в реальной жизни. Мотивацией для исследования является поиск ответа на вопрос, являются ли халлуцинации просто мерой недостатка моделей или есть в ней структурные причины, связанные с оптимальным оцениванием. ## Метод В данном исследовании проводится формализация халлуцинаций в генерирующих моделях как ситуации, когда модель не может привязать свой вывод к какому-либо реальному или возможному причинам. Методология включает в себя анализ метода оптимального оценивания, используя теории вероятности и математические модели. Архитектура исследования основывается на теории контрольных точек и анализе структурных несовпадений между потерями в моделях и желаемым поведением для пользователей. Для тестирования использовались различные методы, включая модели текста и изображений, а также ситуации с открытым вопросом (open-ended QA). ## Результаты Исследование показало, что даже при оптимальном оценивании модели продолжают проявлять халлуцинации. Это связано с тем, что модели стремятся к минимизации потерь, но это не всегда идеально соответствует потребностям и ожиданиям пользователей. Эксперименты проводились с использованием разных данных, включая модели текста и генерации изображений, а также задачи открытых вопросов. Результаты показали, что халлуцинации являются структурным мизалингалом между потерями в модели и выводами, которые приемлемы для человека. Также была построена общая нижняя оценка на частоту халлуцинаций для различных данных. ## Значимость Результаты имеют большую значимость в области глубокого обучения, так как они помогают понять природу проблемы халлуцинаций и не только. Это может привести к разработке новых методов, которые будут учитывать не только оптимальность оценивания, но и качество выводов с точки зрения пользователя. Такой подход может повысить доверие к моделям и улучшить их применение в реальных ситуациях, таких как системы открытого вопроса, генерация текста и изображений. Также это открывает путь к развитию более интеллектуальных, качественных и поня

#### Контекст Reinforcement learning (RL) является ключевым подходом для развития стратегических навыков у глубоких нейронных сетей над задачами с длинным горизонтом и редкими наградами. Однако он сталкивается с проблемой trade-off между exploration (исследованием) и exploitation (использованием), которая мешает эффективному обучению. Предыдущие исследования стимулируют exploration с помощью максимизации политики, но это проблематично из-за потенциальной instability при многократном shiftе дистрибуции. В данной работе мы фокусируемся на стабильном балансе между exploration и exploitation, используя собственные опыты агента. #### Метод Мы предлагаем SPEAR — curriculum-based self-imitation learning (SIL) framework, который расширяет vanilla SIL, хранящий self-generated promising trajectories в replay buffer для off-policy обновления. SPEAR включает curriculum-based steering для управления process exploration. Он использует intrinsic rewards для skill-level exploration и action-level exploration через SIL. В начале, reward-based reward помогает агенту накопить tool-use skills, расширяя его exposure к разным средствам среды с растущим entropy. Затем, self-imitation усиливается для эксплуатации успешных шагов из replay buffer, ускоряя iterative solution. Для stabilizing обучения, мы recalibrate advantages в replay buffer и вводим regularizations, такие как clipping high-covariance tokens, уменьшая over-confidence. #### Результаты Мы провели эксперименты на сетях с agentic capabilities, используя сложные задачи с горизонтом действий. SPEAR стабилизировал training и улучшил exploration-exploitation balance, показав значительное превосходство по metricам в сравнении с baselineami. Мы также проанализировали качество решений, наблюдая улучшение в динамической среде. #### Значимость SPEAR может применяться в областях, где требуется агентское поведение, такие как robotics, game-playing и conversational agents. Он обеспечивает более стабильное обучение, эффективное использование ресурсов и лучшую adaptability в разных средах. Potential implications включают улучшение agentic skills в широком диапазоне задач. #### Выводы SPEAR достигает стабильного и эффективного обучения agentic RL через self-imitation и progressive exploration. Наши результаты открывают новые направления в исследованиях обучения с agentic capabilities, направленных на улучшение stability и adaptability в RL. Будущие работы будут фокусироваться на улучшении curriculum design и exploration strategies для устранения препятствий в итоге.

## Контекст В последние годы широко распространены трансфорер-модели, которые обладают выдающимися возможностями в области обработки естественного языка. Однако существуют ряд сложностей, в том числе связанные с ретроспективным контролем поведения моделей. Многие приложения требуют, чтобы модели не только генерировали ответы, но и проявляли определенную стратегию, например, отказывались от ответа при необходимости, привлекались к экспертам или указывали на сторонние ресурсы. Этот подход, известный как "steering" (руководство), вызывает значительный интерес, особенно для моделей, обрабатывающих множество видов данных (multimodal large language models, MLLMs). Несмотря на существующие стратегии, такие как mean steering, они основываются на единственном статическом векторе направления, который не зависит от конкретного входного запроса. Это ограничение становится особенно заметным в случаях, когда результат должен зависеть от конкретного запроса. Например, правильное решение для запроса о медицинской информации может заключаться в указании на поиск квалифицированного специалиста. В данной статье предлагается новый подход, называемый **L2S (Learn-to-Steer)**, который адресует эти ограничения, применяя вводно-зависимую стратегию руководства. ## Метод MLLMs, такие как Flamingo и также многие другие, были разработаны для обработки разнообразного ввода, но их поведение часто недостаточно контролируется. Для решения этой проблемы предлагаются вводно-зависимые стратегии. Процесс L2S включает следующие этапы: 1. **Input-Specific Prompting**: Для каждого ввода создается уникальная интерпретация, которая включает в себя специальные добавления, направляющие модель в нужном направлении. 2. **Linear Shift Calculation**: Используя вводно-зависимую интерпретацию, вычисляется линейный сдвиг, который определяет изменение поведения модели. 3. **Training Auxiliary Module**: На этапе обучения применяется небольшой модуль, который предсказывает линейный сдвиг, используя в качестве входных данных вводно-зависимую интерпретацию. Этот подход позволяет выравнивать модель в соответствии с требованиями конкретного запроса, что делает ее более эффективной и безопасной в эксплуатации. ## Результаты На экспериментальных данных показано, что L2S значительно сокращает зависимость от статических стратегий и улучшает результаты в следующих областях: - **Reduction of Hallucinations**: Модель становится менее зависима от некорректных выводов, когда применяется L2S. - **Safety Enforcement**: Модель намеренно отказывается от ответов в случаях, когда ответ может быть небезопасен или неправильным. - **Comparison with Baselines**: Результаты L2S показывают значительные выигрыши по сравнению с