LLM Robustness Leaderboard v1 --Technical report

## Контекст Современные текстовые генерирующие модели языков (LLM) широко используются в различных областях, от систем поддержки решений до улучшения пользовательского опыта. Однако эти модели чувствительны к недостаткам в обучении и оценке, которые могут привести к появлению уязвимостей. Одним из ключевых аспектов, требующих изучения, является **robustness** (надёжность), которая относится к способности модели выдержать различные виды атак и недопустимых входных данных. Несмотря на то, что существуют многочисленные методы проверки и оценки устойчивости моделей, существует необходимость в систематической и автоматизированной оценке, чтобы улучшить понимание потенциальных уязвимостей и способах их преодоления. Этой необходимости учитывается в рамках работы над LLM Robustness Leaderboard v1. ## Метод Для оценки устойчивости LLM была разработана **PRISM Eval Behavior Elicitation Tool (BET)** – система, выполняющая автоматизированные атаки с помощью **Dynamic Adversarial Optimization**. Этот подход позволяет автоматически генерировать входные данные, нацеленные на вывод модели в желаемое состояние. Модель BET использует алгоритмы градиентного поиска и эволюционного программирования для оптимизации внедрения вредоносных входных данных. Она протестирована против 41 моделей лидирующих в своей области, и оказалась успешной в 100% случаев против 37 из них. Дополнительно, в качестве метрики была предложена **Average Attempts to Harm (AATH)**, которая измеряет количество попыток, необходимых для вызвать вредоносный результат. Эта метрика позволяет понять, насколько легко можно использовать хакерские техники для нарушения модели. ## Результаты Были проведены многочисленные эксперименты с различными моделями, включая самые популярные и наиболее точные существующие в момент выполнения исследования. При помощи BET удалось выявить сильные уязвимости в большинстве моделей. Результаты показали, что некоторые модели требуют более 300 попыток, чтобы внедрить вредоносный вход. Несмотря на то, что все модели оказались уязвимыми, наблюдалось разное время возникновения вредоносных результатов. Это отличает метод BET от простых бинарных метрик, позволяя получить более тонкую оценку устойчивости. Использование новых методов **primitive-level vulnerability analysis** позволило классифицировать типы хакерских техник, которые работают лучше для конкретных категорий уязвимостей. ## Значимость Результаты этого работы имеют практическое значение для развития искусственного интеллекта. Они подтверждают, что любые LLM, независимо от их размера или точности, могут быть ослаблены в условиях атак. Метод BET может быть использован как средство для провед