GradeSQL: Outcome Reward Models for Ranking SQL Queries from Large Language Models

#### Контекст Текст-на-SQL — задача преобразования естественного языка в SQL-запросы — широко используется для обеспечения доступа к базам данных. Несмотря на значительные успехи в создании текстовых моделей, текущие текстовые модели Лунных Языков (LLMs) сталкиваются с трудностями при работе с сложными запросами, требующими точного соответствия пользовательского запроса структуре базы данных. Чтобы улучшить точность, используются такие тестируемые стратегии, как Best-of-N (BoN) и Majority Voting (Maj), которые полагаются на поверхностные характеристики, такие как синтаксическое соответствие или частота генерируемых запросов. Несмотря на эти усилия, текущие методы недостаточно эффективны для повышения точности сложных запросов. Наше исследование призвано сравнить и улучшить эти подходы с использованием более глубоких семантических моделей. #### Метод Мы разработали **Framework GradeSQL**, который включает в себя Outcome Reward Models (ORMs) для Text-to-SQL. ORMs используют семантические оценки, чтобы учитывать точность запроса не только синтаксически, но и семантически. Мы обучили ORMs с помощью моделей Qwen2, Granite3 и Llama3, используя бенчмарки BIRD и SPIDER. Оценка запросов выполнялась с использованием точности выполнения, то есть проверкой результатов выполнения SQL-запросов на базах данных. Мы изучили различные параметры, включая количество генерируемых запросов. #### Результаты Мы выполнили эксперименты, сравнив ORMs с Best-of-N и Majority Voting на двух бенчмарках. Оценка показала, что ORMs дают значительную пользу в сложных запросах: +4.33% на BIRD и +2.10% на SPIDER по сравнению с ex-BoN, и +2.91% на BIRD и +0.93% на SPIDER по сравнению с Maj. Мы также проанализировали поведение ORMs при увеличении количества генерируемых запросов, показав, что их выигрыш возрастает с увеличением данных. Результаты показали, что ORMs не только улучшают точность, но и более эффективны в сложных запросах, чем используемые сейчас техники. #### Значимость Результаты ORMs указывают, что And ORMs показали применение в различных контекстах, включая Text-to-SQL с большим количеством данных и сложных запросов. Их использование может улучшить текстовые модели Лунных Языков в глубине, а не только на поверхности. Мы также сделали вывод, что ORMs могут помочь сделать Text-to-SQL более доступным для пользователей с различным уровнем знаний SQL. #### Выводы Эксперименты показали, что ORMs являются эффективным способом улучшения точности Text-to-SQL моделей, особенно в сложных запросах. В дальнейших исследованиях мы планируем расширить нашу модель для работы с более сложными базами данных и провести эксперименты на более больши