📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Ilias Triantafyllopoulos, Renyi Qu, Salvatore Giorgi, Brenda Curtis, Lyle H. Ungar, João Sedoc

**Резюме** Надёжность Retreival-Augmented Generation (RAG) систем в критически важных приложениях зависит от того, чтобы они реагировали только на вопросы, соответствующие их знаниям. Однако обеспечение этого непросто: внедоменные (OOD) запросы могут вызвать негативные последствия. В статье предлагается методика для детектирования OOD запросов, основанная на оценке нижних размерностей векторных представлений ответов RAG. Реализованы три подхода к данной задаче: линейная (PCA) и нелинейная (Neural Collapse) визуализации, а также регрессионный подход. Исследования проводились на различных датасетах: StackExchange, MSMARCO, а также в реальных приложениях (например, консультации по вакцинации от COVID-19). Были проведены тесты на уязвимость к атакам, в том числе с использованием генерирующих моделей языка. Результаты показали, что внешний детектор OOD значительно повышает точность ответов и их релевантность к задаче. Этот подход станет ключевым для повышения безопасности и эффективности RAG систем в реальном мире.
Annotation:
Ensuring safety and in-domain responses for Retrieval-Augmented Generation (RAG) systems is paramount in safety-critical applications, yet remains a significant challenge. To address this, we evaluate four methodologies for Out-Of-Domain (OOD) query detection: GPT-4o, regression-based, Principal Component Analysis (PCA)-based, and Neural Collapse (NC), to ensure the RAG system only responds to queries confined to the system's knowledge base. Specifically, our evaluation explores two novel dimens...
ID: 2508.02296v1 cs.CL, cs.IR
Авторы:

Raj Mahmud, Shlomo Berkovsky, Mukesh Prasad, A. Baki Kocaballi

**Резюме** В статье рассматривается проблема понимания пользовательских предпочтений в интеракции с Conversational Recommender Systems (CRS), которые обеспечивают персонализированные рекомендации через многократный диалог на естественном языке. Несмотря на рост популярности таких систем, факторы, влияющие на пользовательские предпочтения, остаются подробно изученными. Для решения этой проблемы проведена внутри-участников исследования (\(N = 139\)), в ходе которого участники испытали два сценарии CRS, оценили свои впечатления и указали важность восьми системных качеств. Анализ показал, что предпочтение к эксплоративным интеракциям определяется удовольствием, полезностью, новизной и качеством диалога, а также неожиданно — эффективностью. Далее, кластеризация выявила пять пользовательских профилей с разными предпочтениями в диалоге. Уточненные модели показали, что влияние возраста, пола и предпочтения контроля на пользовательские предпочтения. Результаты интегрируют эффективность, эмоциональность и характеристики пользователя в моделирование пользователей CRS и дают ключевые рекомендации для создания динамически адаптивных диалоговых систем.
Annotation:
Conversational Recommender Systems (CRSs) deliver personalised recommendations through multi-turn natural language dialogue and increasingly support both task-oriented and exploratory interactions. Yet, the factors shaping user interaction preferences remain underexplored. In this within-subjects study (\(N = 139\)), participants experienced two scripted CRS dialogues, rated their experiences, and indicated the importance of eight system qualities. Logistic regression revealed that preference fo...
ID: 2508.02328v1 cs.HC, cs.CL, cs.IR, H.5.2; I.2.7; H.1.2
Авторы:

Tiago G Canário, Catarina Duarte, Flávio L. Pinheiro, João L. M. Pereira

В статье предлагается Taggus, автоматизированная конвейерная система для выделения социальных сетей персонажей из русской художественной литературы. Данная задача требует решения сложных проблем, включая идентификацию персонажей и их взаимоотношений, которые трудно решить с помощью имеющихся методов NLP. Основной проблемой является нехватка тренировочных данных в менее представленных языках, что приводит к низкому качеству готовых методов. Taggus использует POS-тегирование и геометрические методы для выделения социальных сетей, показывая высокую эффективность: F1-Score $94.1\%$ при определении персонажей и $75.9\%$ при выявлении их взаимодействий, что значительно превышает результаты состоящих в составе State-of-the-Art. Таким образом, Taggus представляет собой первый шаг к решению этой проблемы в немногочисленной литературе на этот счет. Доступность системы в открытом доступе позволяет способствовать дальнейшему развитию методов в этой области.
Annotation:
Automatically identifying characters and their interactions from fiction books is, arguably, a complex task that requires pipelines that leverage multiple Natural Language Processing (NLP) methods, such as Named Entity Recognition (NER) and Part-of-speech (POS) tagging. However, these methods are not optimized for the task that leads to the construction of Social Networks of Characters. Indeed, the currently available methods tend to underperform, especially in less-represented languages, due to...
ID: 2508.03358v1 cs.CL, cs.IR
Авторы:

Chirag Seth, Utkarsh Singh

**Резюме** Тексто-к SQL перевод позволяет неэкспертным пользователям выполнять запросы к реляционным базам данных с использованием естественного языка, что находит применение в образовании и бизнес-интеллекту. В данном исследовании анализируются три лёгких трансформерных модели — T5-Small, BART-Small и GPT-2 — на Spider датасете, сфокусированном на сценарии с ограниченными ресурсами. Разработанная авторами модельно-независимая конвейерная модель адаптирует схемы к особенностям каждой модели. Модели были обучены в течение 1000–5000 эпох, оцениваясь по метрикам Logical Form Accuracy (LFAcc), BLEU и Exact Match (EM). Легкая T5-Small показала наилучший результат LFAcc (27.8%), превосходя BART-Small (23.98%) и GPT-2 (20.1%). Это подтверждает преимущество encoder-decoder моделей в схемосознающей генерации SQL. Несмотря на ресурсные ограничения, модульность pipeline позволяет добавить расширенные схемоподключения и рассматривать другие модели. Результаты показывают, что легкие трансформеры могут делать text-to-SQL доступным в условиях ограниченных ресурсов.
Annotation:
Text-to-SQL translation enables non-expert users to query relational databases using natural language, with applications in education and business intelligence. This study evaluates three lightweight transformer models - T5-Small, BART-Small, and GPT-2 - on the Spider dataset, focusing on low-resource settings. We developed a reusable, model-agnostic pipeline that tailors schema formatting to each model's architecture, training them across 1000 to 5000 iterations and evaluating on 1000 test samp...
ID: 2508.04623v1 cs.CL, cs.IR, 68T50 % Natural language processing (in Computer Science), I.2.7; H.2.3
Показано 131 - 134 из 134 записей