Prompt Stability in Code LLMs: Measuring Sensitivity across Emotion- and Personality-Driven Variations

## Контекст Инструменты сгенерированных кодов становятся важной частью развития программного обеспечения, обеспечивая быстроту и эффективность процессов. Однако вопрос их устойчивости к различным стилям и эмоциональным цветовую тунельность не получила должного внимания. Отличительным характеристикой языковых моделей является их чувствительность к тому, как запросы (prompts) сформулированы. Это может привести к разным результатам даже при похожих входных спецификациях. Например, запросы с разными эмоциями или личностными характеристиками могут привести к разным решениям. Несмотря на то, что бенчмарки часто фокусируются на максимальной производительности, менее уделяется внимания стability (устойчивости) в контексте множества вариантов запросов. Для устранения этой проблемы был разработан PromptSE (Prompt Sensitivity Evaluation), который оценивает устойчивость моделей к разным стилям запросов. ## Метод PromptSE работает как фреймворк для оценки устойчивости моделей генерации кода. Он симулирует различные стили запросов, используя шаблоны для эмоций и личностных характеристик. Это позволяет создавать семантически эквивалентные варианты запросов. Метод оценивает устойчивость модели двумя способами: используя продольный скор по вероятностям (logits) или бинарный подход, когда на выходе модели нет logits. Эта модель включает в себя метрику AUC-E (Area Under Curve for Emotion), позволяющую сравнивать модели по устойчивости. Фреймворк может быть использован как для закрытых моделей, так и для исследований в условиях лаборатории. ## Результаты В ходе исследования протестированы 14 моделей генерации кода из трех семейств: Llama, Qwen и DeepSeek. Исследование показало, что производительность и устойчивость работают как независимые цели оптимизации. Некоторые модели (например, Qwen) показали высокую производительность но менее устойчивость, в то время как другие (например, Llama) демонстрировали более стабильные результаты с менее высокой производительностью. Архитектурные и масштабные паттерны были выявлены, которые опровергают типичные представления о робастности моделей. Эти находки подчеркивают, что устойчивость является ключевым аспектом, который должен быть рассмотрен вместе с производительностью и справедливостью в моделировании. ## Значимость Разработанный PromptSE позволяет определить trade-offs между производительностью и устойчивостью, что очень полезно для выбора моделей в зависимости от конкретных задач. Этот фреймворк может применяться в сфере AI-помощников для разработки программного обеспечения, повышая надежность и наглядность. Эта работа расширяет область оценки моделей, добав