Failure Modes of Maximum Entropy RLHF

## Контекст Максимальная энтропия в реинкарнации обучения с подкреплением (RLHF) является мощным подходом для обучения приобретений поведения, основываясь на максимизации энтропии распределения политики. Однако существуют проблемы, такие как неоднородность в динамике обучения, переобучение и нестабильность в динамике KL. Эти проблемы могут привести к ошибкам, таким как "reward hacking" (нарушение целей обучения). Несмотря на свой успех в некоторых задачах, подобные методы все еще требуют дополнительного исследования, особенно в контексте онлайн-обучения приобретения поведения. Наша мотивация заключается в изучении, почему такие подходы могут быть эффективны в оффлайн-обучении, но сталкиваются с трудностями в онлайн-сценариях. ## Метод Мы используем метод максимальной энтропии в RLHF с нормализованной длиной для обучения, а также SimPO в качестве сравнительного метода. Для экспериментов используются тренировочные наборы данных, настроенные для моделирования онлайн- и оффлайн-режимов обучения. Мы подробно изучаем влияние параметров, таких как температура и обучение с низкими скоростями, на динамику обучения. Методология включает эксперименты с различными наборами данных, чтобы изучить устойчивость и эффективность обучения в разных условиях. ## Результаты Наши эксперименты показали, что максимальная энтропия в RLHF часто приводит к переобучению и нестабильности в динамике KL. Эти эффекты были заметны даже при очень малых скоростях обучения. Мы также обнаружили, что при использовании SimPO в оффлайн-режимах не возникали таких проблем, что указывает на различия в между оффлайн- и онлайн-сценариями. Мы также изучили, как различные значения температуры влияют на траектории обучения и находили, что высокие значения температуры могут привести к ошибкам в оценке приобретения поведения. ## Значимость Наши результаты имеют значение для развития методов обучения приобретения поведения в RLHF. Они помогают понять, почему SimPO может быть более эффективен в оффлайн-задачах, чем максимальная энтропия RLHF. Эти результаты также направляют нас в будущие исследования, в том числе в поиске методов, которые могут устранить проблему "reward hacking" и обеспечить более стабильную динамику обучения в онлайн-сценариях. ## Выводы Мы показали, что максимальная энтропия в RLHF может быть эффективной в оффлайн-задачах, но сталкивается с трудностями в онлайн-сценариях, в том числе с переобучением и нестабильностью динамики KL. Мы также обнаружили, что SimPO успешнее в оффлайн-задачах, но требуется больше исследований для решения про