On the Shelf Life of Fine-Tuned LLM Judges: Future Proofing, Backward Compatibility, and Question Generalization

#### Контекст Достижения в области глубокого обучения позволили развить модели генеративного текста (LLM), которые могут выполнять различные задачи, включая оценку текстов, моделирование наград и финейзинг. Одним из важных направлений является использование моделей как "судей", которые оценивают ответы других моделей на заданные вопросы. Несмотря на очевидные преимущества этого подхода, существуют практические проблемы, которые необходимо учесть при финейзинге и использовании таких моделей в реальной жизни. Например, модели, обученные на данных одного поколения генераторов, могут сталкиваться с проблемами при оценке ответов других моделей, изменяющихся со временем. Этот аспект, также как и вопросы обратной совместимости и общеуниверсальности вопросов, требуют подробного изучения. #### Метод Мы рассматриваем проблему скейла и работоспособности временных моделей "судьи" с помощью объединенного подхода, который учитывает три аспекта: **future proofing**, **backward compatibility** и **question generalization**. Для экспериментов мы использовали три разных модели текстов (base models), в том числе T5, LLaMA и OPT. Финейзинг производилось с помощью двух методов: SFT (сокращенно от "supervised fine-tuning") и DPO (денормализованная потеря обучения). Мы строили различные выборки для обучения и тестирования, включая ответы, генерируемые моделями различных поколений, и неизвестные вопросы, которые модели не увидели во время обучения. #### Результаты Наши эксперименты показали, что **future proofing** оказался самым сложным заданием для осуществления. Модели, обученные на ответах одного поколения моделей, трудно регуляризировать для того, чтобы оценивать ответы других поколений. Однако **backward compatibility** была намного проще — модели, обученные на ответах старых моделей, оказались в большей степени способны оценивать ответы новых моделей. **Question generalization** показала, что все модели имели некоторую степень деградации показателей, когда им предлагались неизвестные вопросы. Мы также обнаружили, что **continual learning**, то есть обучение модели с помощью смешанных данных ответов с различных поколений, даёт более балансированный результат, чем только на обучение с ответов сильных или слабых моделей. #### Значимость Наши результаты имеют важное значение для разработчиков моделей, которые работают с финейзингом LLM-моделей в качестве судей. Мы показали, что **future proofing** является наиболее сложной задачей, но решения, основанные на **DPO-финейзинге**, демонстрируют лучшие результаты в этой области. **Backward compatibility**, наоборот, является примерно непроблематичным, и мы показали, что модели могут справляться с ним без особых проблем. Наконец, результаты по **question generalization** подчеркивают необ