CRED-SQL: Enhancing Real-world Large Scale Database Text-to-SQL Parsing through Cluster Retrieval and Execution Description

## Контекст Текстово-к SQL-парсинг (Text-to-SQL) является ключевым заданием в области естественного общения с базами данных, становясь все более важной для пользователей без технических навыков. Несмотря на то, что новые технологии глубокого обучения, такие как текстовые генеративные модели, позволили значительно повысить точность таких систем, они продолжают сталкиваться с систематическими проблемами в области семантического соответствия между естественным языком (NLQ) и соответствующими SQL-запросами. Эти проблемы усиливаются в больших, кросс-доменных базах данных, где сильно различаются семантические атрибуты, что затрудняет связь схемы и приводит к семантическому сдвигу во время генерации SQL-запросов. Эти ограничения могут привести к уменьшению точности и надежности таких систем. Мы предлагаем CRED-SQL, новую фреймворк, которая адресует эти проблемы, используя кластерную схему для поиска и оптимизации семантического соответствия между NLQ и SQL. ## Метод CRED-SQL основывается на кластерном подходе к схеме и применению нового естественного языка репрезентации, называемого Execution Description Language (EDL). В первом этапе CRED-SQL использует кластерную схему для извлечения связанных таблиц и столбцов, чтобы уменьшить семантический сдвиг и сравнение схемы. Во втором этапе CRED-SQL преобразует NLQ в Execution Description Language (EDL), чтобы сделать задачу более структурированной и уменьшить семантические несоответствия. Эта модель использует LLMs (Large Language Models) для обучения стадий Text-to-EDL и EDL-to-SQL. Это декомпозиция задачи позволяет получить более точные и целенаправленные результаты, улучшая итоговую точность генерации запросов. ## Результаты Для оценки эффективности CRED-SQL проводились испытания на двух кросс-доменных базах данных: SpiderUnion и BirdUnion. Эксперименты показали, что CRED-SQL достигает нового состояния искусства в полях точности и скорости работы в этих двух базах. Улучшения были связаны с эффективным кластерным подходом и реформулировкой в EDL, которая позволила уменьшить семантический сдвиг. Эксперименты также показали, что CRED-SQL лучше справляется с большими базами данных, где семантические проблемы являются особенно важными, улучшая точность по сравнению с другими подходами. ## Значимость CRED-SQL может быть применено в различных областях, где требуется перевод естественного языка в SQL, включая решение задач управления базами данных, анализ бизнес-данных и интеллектуальный поиск. Его главное преимущество заключается в сокращении семантического сдвига и повышении точности в больших базах данных. Благодаря этому модель может стать ключевым инструментом для оптимизации