Pref-GUIDE: Continual Policy Learning from Real-Time Human Feedback via Preference-Based Learning

## Контекст В настоящее время тренировка агентов в среде reinforcement learning (RL) с помощью руководства человеческим опытным мнением является ключевым приложением в области робототехники, игр и даже здравоохранения. Однако, возникают проблемы при определении задач через конкретные цели в виде регулярных вознаграждений, которые трудно уточнить в некоторых ситуациях. Особенно важно научить агентов принимать решения в реальном времени, где нет доступа к большим историям траекторий для определения предпочтений человека. Предыдущие работы использовали сравнения между траекториями, но они неэффективны в ситуациях, когда требуется онлайн-адаптация. Недавние методы стремятся к собиранию реального временного скалярного руководства от пользователей для последующей обученной модели награды. Однако, скалярное руководство часто шумно и непоследовательно, что приводит к ограниченной точности и плохим результатам обучения. Мы предлагаем Pref-GUIDE, метод, который превращает скалярное руководство в понятную для машины структуру предпочтений, что приводит к лучшей модели награды и лучшему обучению политики в онлайн-режиме. ## Метод Pref-GUIDE предлагает два основных механизма для улучшения обучения моделей наград на основе скалярного руководства. Алгоритм Pref-GUIDE Individual сравнивает поведение агента во временных окнах, чтобы исключить непоследовательности в скалярных значениях. Затем, он использует техники фильтрации, чтобы удалить шумные и непонятные отзывы. Pref-GUIDE Voting расширяет этот подход, агрегируя модели награды с нескольких пользователей, чтобы образовать квази-консенсус пользовательских предпочтений. Это позволяет повысить стабильность и общую точность вывода модели. Основной инновацией Pref-GUIDE является его способность преобразовывать реальное временное руководство в более структурированные предпочтения, что позволяет создавать рекомендации более точные и устойчивые к ошибкам. ## Результаты Мы проверили Pref-GUIDE на трех сложных средах: графической игре, научном моделировании и динамической системе с управлением. Мы сравнили Pref-GUIDE с двумя базовыми методами, которые также используют скалярное руководство от пользователей. Наши эксперименты показали, что Pref-GUIDE превосходит эти методы в обеих средах, повышая точность модели награды и улучшая поведение агента во время работы. Особенно заметны результаты в окружении с динамической системой управления, где Pref-GUIDE Voting показал результаты, сопоставимые с моделями, обученными на основе десятков тысяч пользовательских предпочтений. Эти результаты демонстрируют, что Pref-GUIDE может эффективно использовать ре