TENET: Leveraging Tests Beyond Validation for Code Generation

#### Контекст Тест-драйвенное разработки (Test-Driven Development, TDD) — это методология программирования, в рамках которой разработчики создают тесты одновременно с реализацией кода, чтобы обеспечить непрерывный контроль и улучшение функциональности программ. В появившемся вибе-кодинге, где разработчики передают роль написания кода системам на основе больших языковых моделей (LLM), опираясь на высокоуровневые цели, TDD становится еще более важным. Тесты в этой системе выступают как исполняемые спецификации, которые определяют и проверяют функционал не только на основе естественного языка или контекста кода. Однако возникает несколько проблем: выбор эффективного набора тестов, эффективное восстановление контекста (например, связанного кода) и систематическое использование тестовых ответов для улучшения системы. Эти проблемы настоятельно подчеркивают необходимость развития TDD в контексте новых технологий. #### Метод TENET — это LLM-агент, разработанный для генерации функций в реальных репозиториях программных проектов, используя TDD-подход. Он включает в себя три основных компонента: (1) механизм выбора тестов, оптимизированного для максимального разнообразия сценариев использования; (2) инструментарий для эффективного поиска соответствующего кода и интерактивного отладки; (3) рабочую процедуру, основанную на анализе ошибок, пополнении контекста и применении корректий в коде. Эти компоненты работают совместно для повышения точности генерации кода и уменьшения рабочего нагрузки. #### Результаты Используя две б BENCHMARK-базы данных, RepoCod и RepoEval, TENET показал высокую эффективность. Процент Pass@1 — 69.08% и 81.77% соответственно — значительно превосходит результаты других существующих агентов. Эксперименты показали, что выбор тестов с максимальным разнообразием сценариев и интерактивная отладка значительно повышают качество кода. Это первое исследование, которое изучает влияние разных аспектов тестов на результаты LLM-агентов в контексте TDD. #### Значимость Результаты TENET открывают пути к более эффективному TDD в ситуациях, когда разработка использует вибе-кодинг. Этот подход может быть применен в различных областях программирования, где необходимо быстро и качественно генерировать код, обеспечивая его работоспособность. Благодаря TENET улучшается степень контроля за качеством кода и экономится время разработчиков. #### Выводы TENET доказывает, что тесты в TDD могут быть значительно улучшены с использованием LLM-агентов, что привносит новые возможности в программирование. Будущие ис