AetherCode: Evaluating LLMs' Ability to Win In Premier Programming Competitions

## Контекст Готовность бо LLM (Large Language Models) к выполнению предметно-ориентированных задач, в том числе кодированию и решению проблем, является ключевым признаком их эффективности. Одним из самых вызововательных и позиционированных вариантов использования LLMs является их применение в конкурентных программировании, где необходимо решать комплексные, нелинейные задачи. Однако последние исследования показали, что хотя LLMs проявляют впечатляющую эффективность на различных метриках, они все еще далеко недостигают уровня элитных программистов в контексте реального измерения. Недостаток надежных и качественных бенчмарков, способных точно оценивать соответствие LLMs критериям элитных программистов, оставляет за собой вопросы о реальных технических и логических характеристиках LLMs. AetherCode предлагается как новый бенчмарк, нацеленный на выявление этих проблем и улучшения оценочных критериев. ## Метод AetherCode представляет собой современный платформенный подход к оценке LLMs, основанный на использовании реальных задач, взятых из престижных программистских соревнований, таких как IOI (International Olympiad in Informatics) и ICPC (International Collegiate Programming Contest). Весь процесс построения бенчмарка основывается на трех ключевых этапах: (1) сбор и преобразование задач, (2) разработка и проверка внешних тестовых ситуаций, и (3) оценка результатов с использованием многоуровневого подхода. Основные технические решения включают в себя разработку автоматизированных систем для генерации тестовых сценариев, а также интеграцию экспертных оценок для достижения высокой точности и репрезентативности. Метод гарантирует, что LLMs будут оцениваться не только по их моделированию информации, но и по их способности к решению реальных задач программирования. ## Результаты Исследовательская группа провела тщательные эксперименты, протестировав AetherCode на нескольких вариантах LLMs, включая как современные модели, так и более старые. Эксперименты показали, что LLMs, несмотря на их высокую оценку на других метриках, испытывают значительные сложности при решении задач AetherCode. Например, значительная часть моделей столкнулась с проблемами в обработке высокосложностных задач, включая задачи, требующие углубленного логического и тематического понимания. Это свидетельствует об огромном разрыве между текущим уровнем LLMs и уровнем элитных программистов, указывая на необходимость дальнейшего усовершенствования. Результаты также подтверждают, что AetherCode может служить как надежная метрика для оценки прогресса LLMs в области кодирования и решения проблем. ## Значимость AetherCode открывает новые возможности для развития и оценки LLMs в контексте реальных задач кодирования.