Jointly Generating and Attributing Answers using Logits of Document-Identifier Tokens

## Контекст В статье рассматривается проблема халтурности в работе Large Language Models (LLMs), которая становится критически важной для генерации ответов и их атрибуции. Халтурность приводит к недоверию пользователей и ограничивает эффективность приложений, использующих LLMs. Несмотря на выдающиеся результаты моделей, существуют ряд проблем, связанных с их ответственностью и надежностью. Ранее исследовались меры по улучшению корректности ответов и атрибуций, однако они часто не учитывают сам процесс генерации ответов. Целью данного исследования является разработка метода, который бы позволил LLMs фаильно генерировать ответы и их атрибуции, учитывая внутренние модельные сигналы. ## Метод Метод, предложенный авторами, называется LoDIT (Leveraging Document Identifier Tokens for Joint Generation and Attribution). Он основывается на двух основных этапах: (1) генерации ответов с привязкой к документам с помощью специальных токенов, отражающих идентификаторы документов, и (2) агрегации вклада каждого документа в ответ на основе логитов этих токенов. Метод использует так называемую "разметку документов", при которой каждый документ привязывается к определенным токенам в модели. В процессе генерации ответа эти токены активируются, и их логиты используются для определения вклада каждого документа в полученный ответ. Эта процедура позволяет явно отразить вклад каждого документа в ответ и обеспечивает транспарентную атрибуцию. ## Результаты Исследования проводились на наборе данных Trust-Align, состоящем из задач генерации ответов с атрибуцией. Модель LoDIT показала значительное превосходство по сравнению с состоянием искусства по нескольким метрикам, включая достоверность ответов, надежность атрибуций и эффективность в терминах затратных ресурсов. Авторы также провестили анализ времени выполнения и показали, что LoDIT эффективен в терминах затратных ресурсов, не прибегая к дополнительным вычислениям после генерации ответов. ## Значимость Предложенный подход имеет широкие перспективы в приложениях, требующих надежной и авторитетной генерации ответов с атрибуцией. Он может быть применен в сферах, где важно гарантировать целостность и достоверность ответов, например, в юридических, медицинских и финансовых системах. Благодаря своей транспарентности и эффективности, LoDIT может стать ключевым инструментом для развития доверительных моделей в AI. ## Выводы Статья представляет LoDIT, новый подход к генерации ответов с автоматической атрибуцией с помощью LLMs. Он демонстрирует высокую эффективность и надежность в тестируемых настройках. Будущие исследования будут сф