How Do LLM-Generated Texts Impact Term-Based Retrieval Models?

################################# ## Контекст ################################# В последние годы наблюдается значительный рост содержимого, сгенерированного бо LLM (Large Language Models, большие языковые модели). Этот рост повлиял на многие аспекты Интернета, включая информационные системы поиска (IR, Information Retrieval). Из-за этого стала возникать проблема, связанная с различием между текстами, написанными людьми, и текстами, сгенерированными моделями. Эта ситуация вызывает необходимость внедрения новых методов для точного идентифицирования и обработки контента. Существующие термин-ориентированные модели поиска (term-based retrieval models), такие как BM25, замечаются тем, что они ориентированы на тексты, написанные людьми. Недавние исследования указывают, что новые технологии, вроде моделей типа neural retrievers, могут предпочитать тексты, сгенерированные LLM. Это может привести к засухе в равномерной обработке контента, сгенерированного людьми и моделями. В данном исследовании мы рассматриваем эти проблемы, определяя, как LLM-generated text (текст, сгенерированный LLM) влияет на термин-ориентированные модели поиска, которые являются эффективными и хорошо универсальными в разных сферах. ################################# ## Метод ################################# Для изучения влияния LLM-generated text на термин-ориентированные модели поиска, мы приняли следующий подход: - **Модели и технологии**: Мы использовали несколько термин-ориентированных моделей, включая BM25, а также нейронные модели, оптимизированные для обнаружения текстов, сгенерированных LLM. - **Методы анализа**: Мы провели тщательный лексический и структурный анализ, сравнивая LLM-generated texts с текстами, написанными людьми. Для этого мы измеряли такие параметры, как Zipf-сложность (Zipf slope), терминозначимость (term specificity) и документ-уровневая разность (document-level diversity). - **Эксперименты**: Мы провели эксперименты на выборке данных, содержащей как тексты, написанные людьми, так и тексты, сгенерированные LLM. Мы измеряли, насколько эти модели отличают тексты на основе их источника и качества. ################################# ## Результаты ################################# Наши эксперименты показали следующие результаты: - **Выявленные тренды**: LLM-generated texts имеют более гладкие высокочастотные тенденции (Zipf slopes) и более резкие низкочастотные тенденции по сравнению с текстами, написанными людьми. Также они проявляют более высокую терминозность (term specificity) и документ-уровневую разность (document-level diversity). - **Источник-ориентированность моделей**: Мы обнаружили, что term-based retrieval models не проявляют сильного источника-ориентированного биаса (source bias). Эти модели более склонны выбирать документы, которые лучше соответствуют запросу, независимо от их источника. Эти результаты подсказывают