On the Soundness and Consistency of LLM Agents for Executing Test Cases Written in Natural Language

## Контекст Область исследования включает в себя использование естественного языка (NL) для создания тестовых сценариев в процессе тестирования. Недостатком этого подхода является высокая стоимость разработки и трудности в поддержке скриптов. Новые возможности, предоставленные большими языковыми моделями (LLMs), позволяют использовать естественный язык непосредственно для выполнения тестов. Однако возникают проблемы, такие как неточность (unsoundness) тестовых сценариев и несогласованность их результатов при повторном выполнении. Необходимо разработать системы, обеспечивающие высокую надежность и точность выполнения тестов, чтобы сделать этот подход применимым в промышленных условиях. ## Метод Предложена методология, основанная на использовании гибридных моделей: LLMs и специализированных агентов. Агенты отвечают за этапы исполнения тестов, например, выполнение действий в приложении, проверка результатов и динамическое верифицирование шагов. Для уменьшения уровня unsoundness используются механизмы "защитных заборов" (guardrails), которые предотвращают некорректное поведение модели. Также предложены меры для оценки точности выполнения тестов и уровня консистентности. Архитектура системы включает в себя модельный компонент, выполняющий текст тестов, и агентскую систему, обеспечивающую контроль и повторную проверку. ## Результаты Были проведены эксперименты с восемью публично доступными LLMs, имеющими до 70 миллиардов параметров. Оценивались уровни unsoundness и consistency в выполнении тестов. Результаты показали, что Meta Llama 3.1 (70B параметров) показала лучший результат в том числе в высокой консистентности выполнения (выше уровня 3-sigma). Выявлены ситуации, в которых модели могут показать приемлемые результаты, но с рядом ограничений, таких как неоднозначные инструкции в NL-тестах. На основе этих результатов были разработаны прототипы инструментов и наборы тестов. ## Значимость Результаты имеют потенциал для применения в промышленном тестировании приложений с графическим интерфейсом. Основное преимущество — сокращение времени и стоимости разработки тестов благодаря использованию естественного языка. Также отмечается повышение уровня надежности и повторяемости тестов, что способствует улучшению качества программного обеспечения. Направления будущих исследований включают улучшение моделей, уменьшение неоднозначности естественного языка и повышение уровня контроля в тестировании. ## Выводы Полученные результаты подтвердили потенциал LLMs в выполнении NL-тестов, особенно при использовании моделей с