## Контекст В последние годы текстовые эмбеддинги, полученные из больших языковых моделей (LLMs), доказали свою эффективность в задачах кластеризации, восстановления информации и выделения признаков. Они обладают выгодными показателями производительности и экономичностью в сравнении с генеритивными моделями и кросс-энкодерами. Тем не менее, неизвестно, насколько эффективно эти эмбеддинги отражают функциональную семантику кода. Несмотря на успехи в задачах детектирования клонов кода, они ориентированы на синтаксические сходства и не достаточно учитывают функциональную точку зрения. Наша работа сосредотачивается на изучении функциональной консистенции эмбеддингов LLMs, то есть на вопросе, способны ли эти модели отличить функциональные сходства кода, независимо от его синтаксических различий. ## Метод Мы предлагаем развитый фреймворк для само-эволюционной синтеза данных, называемый "Функционально-ориентированная Само-Эволюция Кода" (Functionality-Oriented Code Self-Evolution, FOCSE). Он стремится создавать разнообразные и сложные бенчмарки для эмбеддингов кода. Мы определяем четыре категории семантических и синтаксических различий, которые отражают различные аспекты функциональных отличий между кодовыми фрагментами. Наш процесс само-эволюции генерирует четыре уникальных вариации из одного исходного кода, позволяя получить более широкий спектр примеров, которые лучше отражают функциональные отличия. Этот подход позволяет оценивать эмбеддинги кода не только с точки зрения их синтаксических свойств, но и их возможности понимать функциональную семантику. ## Результаты Мы провели исследования на трех задачах: детектирование клонов кода, идентификацию функциональной консистенции кода и поиск кода. Наши эксперименты показали, что при обучении эмбеддингов LLMs на наших само-эволюционных данных, производительность этих моделей наползла на новые высоты. Ключевым показателем стала возможность эмбеддингов отличать функциональные сходства кода независимо от их синтаксических различий. Это демонстрирует значительный потенциал нашего подхода в создании более глубокого понимания функциональных мотивов кода. ## Значимость Наш фреймворк может иметь широкое применение в разработке и тестировании моделей, ориентированных на работу с кодом. Он предлагает уникальные возможности для повышения точности и глубины анализа функциональных свойств кода, что может быть критически важно для таких задач, как автоматическое документирование, поиск и устранение ошибок. Мы также видим будущие направления в расширении этого подхода для других типов неструктурированных данных, таких как множествен