Towards Robust Agentic CUDA Kernel Benchmarking, Verification, and Optimization

## Контекст Область исследования сосредоточена на оптимизации CUDA-ядер, используемых для высокопроизводительных вычислений. Несмотря на прогресс в тестировании и оптимизации высокоуровневых моделей, низкоуровневые CUDA-ядра часто остаются недостаточно оптимизироваными. Существующие методы оценки CUDA-ядер часто страдают от недостатка разнообразия в тестовых сценариях и подверждаются уязвимостям, которые мешают точному определению их общей эффективности. Таким образом, целью данного исследования является разработка методологии, обеспечивающей точное тестирование, верификацию и оптимизацию CUDA-ядер, а также автоматического повышения их производительности. ## Метод Статья предлагает методологию оптимизации CUDA-ядер, основанную на использовании глубоких сетей, подходящих для автоматизации тестирования, верификации и оптимизации низкоуровневых вычислительных процессов. Система "robust-kbench" представляет собой новый подход к оценке работоспособности CUDA-ядер, включая ряд сценариев, основанных на реальных задачах. Для оптимизации используется эволюционный подход с мета-генерируемыми моделями, поддерживающих работу в CUDA-среде. На основе этой модели создается процесс, который автоматически создает, проверяет и оптимизирует CUDA-ядра. Это позволяет провести тщательную верификацию и повысить эффективность систем глубокого обучения. ## Результаты Для проверки эффективности подхода были проведены эксперименты, включающие тестирование CUDA-ядер на различных сценариях и сравнение их производительности с torch. Результаты показали, что оптимизированные CUDA-ядра превосходят оригинальные версии по производительности и точности на практических задачах. Тестирование проводилось на широком спектре сценариев, включая различные виды вычислений, что позволило проверить систему на разнообразии условий. Использование этой методологии позволило улучшить эффективность CUDA-ядер и уменьшить время выполнения задач. ## Значимость Разработанная методология может применяться в различных областях, таких как машинное обучение, вычислительная графика и процессы оптимизации низкоуровневых программных решений. Она обеспечивает значительные выгоды в скорости и точности, уменьшая время разработки CUDA-ядер. Благодаря использованию глубоких сетей для верификации и оптимизации, система может быть применена в сложных инфраструктурах, где необходима высокая производительность и достоверность. ## Выводы Результаты исследования показали, что разработанное решение позволяет значительно повысить эффективность CUDA-ядер, а так