Dropping Just a Handful of Preferences Can Change Top Large Language Model Rankings

#### Контекст Современные бо LLM (large language models) широко используются в различных областях, включая обработку естественного языка, поддержку принятия решений и синтез текста. Одним из ключевых аспектов этих моделей является их ранжирование, которое определяет их эффективность и достоверность в задачах реального мира. Несмотря на то, что существуют многочисленные подходы к ранжированию, включая систему Брадли-Терри (Bradley-Terry ranking system), остается неясным, насколько эти ранжирования устойчивы к небольшим изменениям в данных. Эта неопределенность может привести к некорректным оценкам моделей и к неверным выводам в принципиальных задачах. #### Метод Мы предлагаем метод для оценки устойчивости ранжирования Брадли-Терри к удалению очень малого количества элементов данных. Метод основан на использовании дифференциальных вычислений для выявления наиболее влиятельных объектов данных. Он учитывает взаимосвязи между моделями и предпочтениями, позволяя идентифицировать точные элементы, которые могут исказить результаты. Этот подход эффективен, так как не требует переобучения модели и прост в интепретации. #### Результаты Мы проводили эксперименты с данными из двух популярных платформ для людских предпочтений: Chatbot Arena и MT-Bench. Наш анализ показал, что ранжирования, получаемые из Chatbot Arena, являются чрезвычайно чувствительными к малейшим изменениям в данных. Напротив, ранжирования, основанные на MT-Bench, демонстрируют значительное устойчивость. Это может быть объяснено тем, что MT-Bench использует экспертных оценщиков и тщательно сконструированные задачи. Даже при удалении менее 0.02% от общего количества предпочтений можно изменить топ-рейтинги моделей. #### Значимость Наши находки имеют значительное значение для разработчиков и оценщиков моделей. Они показывают, насколько важно учитывать устойчивость ранжирования при принятии решений о выборе моделей. Узнавая, какие конкретные предпочтения имеют наибольшую влиятельность, можно улучшить процессы оценки моделей, убедившись в их достоверности. Это также может привести к более убедительным и надежным результатам в приложениях, использующих LLM. #### Выводы Мы установили, что даже очень малые изменения в данных могут значительно повлиять на ранжирования LLM. Наши находки подчеркивают необходимость в разработке устойчивых методов оценки, чтобы избежать неверных выводов. Мы планируем расширить нашу работу, исследуя другие подходы к оценке устойчивости ранжирования и их применение в практических ситуациях. Это будет помочь создать более надежные и эффективные модели LLM.