AIC CTU@FEVER 8: On-premise fact checking through long context RAG

## КОНТЕКСТ И ПРОБЛЕМАТИКА Фактчекинг является ключевой задачей в области обработки естественного языка, особенно в условиях распространения дезинформации в современном мире. Так как информация становится все более доступной, но не всегда точной или достоверной, необходимость в эффективных системах фактчекинга становится все более критичной. Традиционные подходы часто сталкиваются с проблемами, связанными с ограничениями вычислительных ресурсов, в том числе памяти и времени выполнения. Одной из ключевых проблем в области фактчекинга является необходимость обработки больших объемов текстовой информации из различных источников для проверки достоверности утверждений. Это требует моделей, которые могут эффективно обрабатывать длинные контексты и выполнять поиск доказательств в крупных корпусах текстов. Однако, многие существующие решения требуют значительных вычислительных мощностей, что может быть непрактично в реальных условиях. FEVER (Fact Extraction and VERification) — это одна из крупнейших соревнований, направленных на развитие систем фактчекинга. Многие участники соревнований стремятся создать модели, которые могут эффективно обрабатывать данные, но не всегда учитывают ограничения ресурсов. Таким образом, создание фактчекинговой системы, которая может работать в условиях ограниченных вычислительных ресурсов, является значительным достижением. В этой работе авторы представляют свою систему фактчекинга, которая достигла первого места в FEVER 8 shared task. Эта система была разработана с учетом ограничений ресурсов, включая одну NVidia A10 GPU, 23 ГБ графической памяти и время выполнения в 60 секунд на утверждение. Это представляет собой существенный шаг вперед в области эффективных и практически применимых решений для фактчекинга. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают фактчекинговую систему, основанную на двухэтапном подходе с использованием RAG (Retrieval-Augmented Generation). Эта система является развитием их предыдущего решения, использованного в прошлом году. Двухэтапная архитектура состоит из стадии поиска доказательств (retrieval) и стадии генерации ответов (generation). На стадии поиска доказательств система использует модель RAG для извлечения релевантной информации из большого корпуса текстов. Этот подход позволяет модели эффективно обрабатывать длинные контексты, что является ключевым фактором для точности фактчекинга. Для оптимизации производительности система была адаптирована для работы на одной NVidia A10 GPU, что позволяет обеспечить высокую скорость обработки в условиях ограниченных вычислительных ресурсов. На второй стадии, после извлечения доказательств, система использует модель генеративного моделирования для создания ответов на основе извлеченных фактов. Эта стадия также оптимизирована для обеспечения высокого качества ответов в условиях ограниченного времени выполнения (60 секунд на утверждение). Авторы также подробно описывают процесс развертывания системы на предприятии (on-premise), что демонстрирует практическую применимость их решения. Они показывают, что их система может достигнуть состояния-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-из-и