GenAI-based test case generation and execution in SDV platform

## Контекст В последние годы автомобильная отрасль перешла на модель Software-Defined Vehicles (SDV), где программное обеспечение стало ключевым компонентом функционирования автомобилей. Это привело к повышению требований к качеству и быстродействию тестирования программных систем в автомобилях. Традиционные методы ручного сложного тестирования не подходят для быстрого прототипирования и адаптации, необходимых для SDV. Использование генерируемых с помощью генеративных AI (GenAI) тестовых случаев может существенно ускорить процесс, но требует эффективной интеграции существующих моделей и систем тестирования. Наша мотивация заключается в разработке системы, которая автоматически генерирует и выполняет тестовые случаи с помощью GenAI, обеспечивая быстрый, точный и унифицированный подход к тестированию в SDV-условиях. ## Метод Мы предлагаем GenAI-ориентированный подход к генерации и выполнению тестовых случаев, основанный на Large Language Models (LLMs) и Vision-Language Models (VLMs). Эти модели анализируют естественный язык и системные диаграммы, преобразуя их в структурированные тестовые случаи в формате Gherkin. Мы также используем Vehicle Signal Specification (VSS) для стандартизации определений сигналов вагона, что повышает совместимость с различными автомобильными системами и сторонними инструментами тестирования. Фреймворк включает в себя среду Digital.auto Playground для моделирования и выполнения тестов. Эта среда обеспечивает открытую и независимую платформу для быстрого тестирования и валидации SDV-функций. ## Результаты Мы проверили наш подход на сценарии Child Presence Detection System (CPDS). Использование GenAI уменьшило время на ручное создание тестовых случаев в 4 раза по сравнению с традиционными методами. Тестовые случаи были быстро выполнены в Digital.auto Playground, что позволило ускорить процесс валидации. Однако мы столкнулись с ограничениями GenAI, которые требуют дополнительного ручного вмешательства, особенно при работе с нестандартными сценариями. Несмотря на это, результаты показывают значительное повышение эффективности и точности в тестировании. ## Значимость Наш подход может быть применен в различных областях, таких как автоматизированное тестирование в автомобильных системах, проверка систем безопасности и удобства, а также в адаптацию тестирования к быстро меняющимся требованиям SDV. Основное преимущество заключается в экономии времени и усилении точности в тестировании. Мы видим будущие направления для улучшения GenAI-систем, включая улучшение точности преобразования естественного языка в структурированные тестовые случаи и расширение поддержки сложных сценариев.