More Than a Score: Probing the Impact of Prompt Specificity on LLM Code Generation

**Резюме** Современные горячие языковые модели (LLMs) показывают высокую эффективность на общих тестах, таких как HumanEval, но слабо выполняются на специализированных задачах, таких как ParEval. Данная статья рассматривает, является ли это ограничением в достаточности доменных знаний LLMs или недостаточностью детализации запросов (prompts). Для этого авторы представляют PartialOrderEval — метод, который добавляет полю тестирования новый аспект: прослеживание изменения производительности (pass@1) при увеличении детализации запросов, от минимального до максимального. Эксперименты проводились на HumanEval, а также на подвыборках ParEval (серийные и OpenMP). Результаты с LLMs типа Llama-3.x и Qwen2.5-Coder показали различия в чувствительности к детализации запросов в зависимости от типа задачи. Квалитиативный анализ выявил, что ключевые факторы, влияющие на улучшение производительности, являются четкое указание ввода-вывода, тестирование на крайних случаях и разбиение задачи на пошаговые этапы.