Lightweight Transformers for Zero-Shot and Fine-Tuned Text-to-SQL Generation Using Spider

**Резюме** Тексто-к SQL перевод позволяет неэкспертным пользователям выполнять запросы к реляционным базам данных с использованием естественного языка, что находит применение в образовании и бизнес-интеллекту. В данном исследовании анализируются три лёгких трансформерных модели — T5-Small, BART-Small и GPT-2 — на Spider датасете, сфокусированном на сценарии с ограниченными ресурсами. Разработанная авторами модельно-независимая конвейерная модель адаптирует схемы к особенностям каждой модели. Модели были обучены в течение 1000–5000 эпох, оцениваясь по метрикам Logical Form Accuracy (LFAcc), BLEU и Exact Match (EM). Легкая T5-Small показала наилучший результат LFAcc (27.8%), превосходя BART-Small (23.98%) и GPT-2 (20.1%). Это подтверждает преимущество encoder-decoder моделей в схемосознающей генерации SQL. Несмотря на ресурсные ограничения, модульность pipeline позволяет добавить расширенные схемоподключения и рассматривать другие модели. Результаты показывают, что легкие трансформеры могут делать text-to-SQL доступным в условиях ограниченных ресурсов.