📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Ilias Triantafyllopoulos, Renyi Qu, Salvatore Giorgi, Brenda Curtis, Lyle H. Ungar, João Sedoc
**Резюме**
Надёжность Retreival-Augmented Generation (RAG) систем в критически важных приложениях зависит от того, чтобы они реагировали только на вопросы, соответствующие их знаниям. Однако обеспечение этого непросто: внедоменные (OOD) запросы могут вызвать негативные последствия. В статье предлагается методика для детектирования OOD запросов, основанная на оценке нижних размерностей векторных представлений ответов RAG. Реализованы три подхода к данной задаче: линейная (PCA) и нелинейная (Neural Collapse) визуализации, а также регрессионный подход. Исследования проводились на различных датасетах: StackExchange, MSMARCO, а также в реальных приложениях (например, консультации по вакцинации от COVID-19). Были проведены тесты на уязвимость к атакам, в том числе с использованием генерирующих моделей языка. Результаты показали, что внешний детектор OOD значительно повышает точность ответов и их релевантность к задаче. Этот подход станет ключевым для повышения безопасности и эффективности RAG систем в реальном мире.
Annotation:
Ensuring safety and in-domain responses for Retrieval-Augmented Generation
(RAG) systems is paramount in safety-critical applications, yet remains a
significant challenge. To address this, we evaluate four methodologies for
Out-Of-Domain (OOD) query detection: GPT-4o, regression-based, Principal
Component Analysis (PCA)-based, and Neural Collapse (NC), to ensure the RAG
system only responds to queries confined to the system's knowledge base.
Specifically, our evaluation explores two novel dimens...
Авторы:
Raj Mahmud, Shlomo Berkovsky, Mukesh Prasad, A. Baki Kocaballi
**Резюме**
В статье рассматривается проблема понимания пользовательских предпочтений в интеракции с Conversational Recommender Systems (CRS), которые обеспечивают персонализированные рекомендации через многократный диалог на естественном языке. Несмотря на рост популярности таких систем, факторы, влияющие на пользовательские предпочтения, остаются подробно изученными. Для решения этой проблемы проведена внутри-участников исследования (\(N = 139\)), в ходе которого участники испытали два сценарии CRS, оценили свои впечатления и указали важность восьми системных качеств. Анализ показал, что предпочтение к эксплоративным интеракциям определяется удовольствием, полезностью, новизной и качеством диалога, а также неожиданно — эффективностью. Далее, кластеризация выявила пять пользовательских профилей с разными предпочтениями в диалоге. Уточненные модели показали, что влияние возраста, пола и предпочтения контроля на пользовательские предпочтения. Результаты интегрируют эффективность, эмоциональность и характеристики пользователя в моделирование пользователей CRS и дают ключевые рекомендации для создания динамически адаптивных диалоговых систем.
Annotation:
Conversational Recommender Systems (CRSs) deliver personalised
recommendations through multi-turn natural language dialogue and increasingly
support both task-oriented and exploratory interactions. Yet, the factors
shaping user interaction preferences remain underexplored. In this
within-subjects study (\(N = 139\)), participants experienced two scripted CRS
dialogues, rated their experiences, and indicated the importance of eight
system qualities. Logistic regression revealed that preference fo...
Авторы:
Tiago G Canário, Catarina Duarte, Flávio L. Pinheiro, João L. M. Pereira
В статье предлагается Taggus, автоматизированная конвейерная система для выделения социальных сетей персонажей из русской художественной литературы. Данная задача требует решения сложных проблем, включая идентификацию персонажей и их взаимоотношений, которые трудно решить с помощью имеющихся методов NLP. Основной проблемой является нехватка тренировочных данных в менее представленных языках, что приводит к низкому качеству готовых методов. Taggus использует POS-тегирование и геометрические методы для выделения социальных сетей, показывая высокую эффективность: F1-Score $94.1\%$ при определении персонажей и $75.9\%$ при выявлении их взаимодействий, что значительно превышает результаты состоящих в составе State-of-the-Art. Таким образом, Taggus представляет собой первый шаг к решению этой проблемы в немногочисленной литературе на этот счет. Доступность системы в открытом доступе позволяет способствовать дальнейшему развитию методов в этой области.
Annotation:
Automatically identifying characters and their interactions from fiction
books is, arguably, a complex task that requires pipelines that leverage
multiple Natural Language Processing (NLP) methods, such as Named Entity
Recognition (NER) and Part-of-speech (POS) tagging. However, these methods are
not optimized for the task that leads to the construction of Social Networks of
Characters. Indeed, the currently available methods tend to underperform,
especially in less-represented languages, due to...
📄 Lightweight Transformers for Zero-Shot and Fine-Tuned Text-to-SQL Generation Using Spider
2025-08-09Авторы:
Chirag Seth, Utkarsh Singh
**Резюме**
Тексто-к SQL перевод позволяет неэкспертным пользователям выполнять запросы к реляционным базам данных с использованием естественного языка, что находит применение в образовании и бизнес-интеллекту. В данном исследовании анализируются три лёгких трансформерных модели — T5-Small, BART-Small и GPT-2 — на Spider датасете, сфокусированном на сценарии с ограниченными ресурсами. Разработанная авторами модельно-независимая конвейерная модель адаптирует схемы к особенностям каждой модели. Модели были обучены в течение 1000–5000 эпох, оцениваясь по метрикам Logical Form Accuracy (LFAcc), BLEU и Exact Match (EM). Легкая T5-Small показала наилучший результат LFAcc (27.8%), превосходя BART-Small (23.98%) и GPT-2 (20.1%). Это подтверждает преимущество encoder-decoder моделей в схемосознающей генерации SQL. Несмотря на ресурсные ограничения, модульность pipeline позволяет добавить расширенные схемоподключения и рассматривать другие модели. Результаты показывают, что легкие трансформеры могут делать text-to-SQL доступным в условиях ограниченных ресурсов.
Annotation:
Text-to-SQL translation enables non-expert users to query relational
databases using natural language, with applications in education and business
intelligence. This study evaluates three lightweight transformer models -
T5-Small, BART-Small, and GPT-2 - on the Spider dataset, focusing on
low-resource settings. We developed a reusable, model-agnostic pipeline that
tailors schema formatting to each model's architecture, training them across
1000 to 5000 iterations and evaluating on 1000 test samp...
Показано 131 -
134
из 134 записей