#### Контекст Существует многочисленное количество открытого кода и моделей текстовых машинных носителей, созданных для конкретных задач и сфер, включая здравоохранение, юридические задачи и финансы. Однако существуют проблемы с организацией и поиском этих моделей, так как метаданные и репозитории часто являются несогласованными и неструктурированными. Это делает сложной навигацию и понимание того, как модели могут быть применены к новым задачам. Мы предлагаем Delta Activations, метод, который позволяет представить отлаженные модели в виде векторных представлений, измеряя изменения в их внутренних активациях относительно основной модели. Это представление позволяет эффективно кластеризовать модели по домену и задаче, демонстрируя структуру ландшафта моделей. #### Метод Delta Activations определяются как интегральные изменения внутренних активаций модели после обучения, относительно базовой модели. Мы используем методы снижения размерности, такие как t-SNE и UMAP, для визуализации векторных представлений. Для кластеризации используется agglomerative clustering, чтобы разделить модели по домену и задаче. Мы также проводим эксперименты для оценки свойств Delta Activations, включая робастность к разным схемам обучения, а также исследуем характеристики подхода для объединения моделей и выбора моделей. #### Результаты Мы проводим эксперименты с рядом отлаженных моделей, включая известные LLMs, построенные на основе масштабируемых архитектур, таких как T5 и RoBERTa. Мы проводим кластеризацию моделей по домену (например, здравоохранение и финансы) и по задаче (например, распознавание речи и перевод текста). Наши результаты показывают, что Delta Activations эффективно кластеризуют модели по схожести задач и домена, демонстрируя ценную структуру в ландшафте моделей. Мы также показываем, что Delta Activations могут быть использованы для выбора моделей и их объединения, а также позволяют закладывать задачи при помощи нескольких данных для подготовки. #### Значимость Delta Activations могут применяться для улучшения поиска, кластеризации и выбора моделей в среде больших текстовых моделей. Это позволяет сократить время и ресурсы, необходимые для понимания и применения моделей к новым задачам. Мы также ожидаем, что Delta Activations могут помочь повысить прозрачность и понимание в области обучения моделей, а также облегчить процесс применения моделей в различных сферах. #### Выводы Мы представили Delta Activations, метод для представления отлаженных моделей в виде векторных представлений, позволяющий эффективно кластеризовать модели по домену и задаче. Мы показали, что Delta Activations естественно вписываются в структуру ландшафта моделей, демонстрируя ценную информацию для понимания и применения моделей. Мы также показали,

#### Контекст Малые языковые модели (МЯМ) способны генерировать текст и могут быть использованы для создания поддельных новостных заголовков. В статье рассматривается возможность использования МЯМ для генерирования поддельных новостных заголовков, а также оценивается их качество и подлинность по сравнению с реальными. Это проблематично, поскольку поддельные новости могут использоваться для массового обмана или дестабилизации общественного мнения. Данное исследование фокусируется на оценке качества генерируемых заголовков и их схожести с реальными новостными заголовками. #### Метод Исследование основывается на 14 МЯМ различных размеров (от 1,7 до 14 миллиардов параметров), включая LLaMA, Gemma, Phi, SmolLM, Mistral и Granite. На этих моделях применялась управляемая техника продвижения запроса (prompt engineering) для создания 24 000 новостных заголовков в двух категориях: низкокачественных и высококачественных поддельных. Далее, использовались существующие модели для оценки качества новостных заголовков, включая DistilBERT и сборщики классификаторов. Это позволило измерить точность классификации качества заголовков и проверить их применимость к тестируемым МЯМ. #### Результаты Результаты показали, что МЯМ обеспечивают высокую точность генерации заголовков в обоих категориях, но существуют небольшие различия в поведении моделей с разными параметрами. Несмотря на то, что модели обычно соответствуют запросу, иногда возникали исключения. Оценка качества заголовков показала, что машинные модели часто смешивали высококачественные и низкокачественные заголовки, с долей точности от 35,2% до 63,5%. Это свидетельствует о сложностях в определении качества заголовков и в том, что МЯМ не всегда генерируют реалистичные заголовки. #### Значимость Результаты имеют значимость для различных областей, включая мониторинг массовых сетей, обнаружение поддельных новостей и развитие технологий противодействия фальсификации. МЯМ могут быть применены для создания более реалистичных поддельных новостных заголовков, что может потребовать дополнительных усилий для их обнаружения. Это также может оказаться полезным для развития новых методов защиты от массового манипулирования. #### Выводы Статья показывает, что МЯМ могут генерировать поддельные новостные заголовки с высокой точностью, но существуют проблемы в том, что их качество часто не соответствует реальным заголовкам. Будущие исследования должны сфокусироваться на улучшении методов оценки качества новостных заголовков и развитии технологий защиты от поддельных новостей. Это может помочь создать более надежные системы мониторинга и защиты от массового обмана в

## Контекст Современные тематические модели (такие как Latent Dirichlet Allocation, LDA) широко используются для выявления скрытых структур в текстах. Однако их трансфер между языками представляет серьезные трудности. Это достигается либо с помощью методов трансформации и преобразования данных, либо с помощью ручной подготовки и перевода данных, которые требуют больших ресурсов и экспертного включения. Эти проблемы становятся еще более выдающимися при отсутствии больших многоязычных корпусов или знаний о целевом языке. Эта ситуация ограничивает возможности применения тематических моделей в многоязычных средах и повышает требования к инновационным решениям для упрощения и эффективности процесса. ## Метод Мы предлагаем Topic Model Translation (TMT) — новую, простую и эффективную технику для перевода тематических моделей. TMT основывается на методе трансформации слов и словосочетаний через словари, что позволяет сопоставить темы, выявленные в одном языке, с другим. Технология не требует метаданных, эмбеддингов или алгоритмов аллигации, что делает ее гибкой и универсальной. Базовая идея заключается в том, что слова в темах могут быть переведены с помощью словаря, и эти переводы могут быть использованы для создания новых моделей на целевом языке. TMT предлагает прозрачную архитектуру, которая может быть реализована с помощью простых инструментов, таких как Python. ## Результаты Мы проводили подробное экспериментальное исследование TMT, используя различные тематические модели, включая LDA. Данные для экспериментов были получены из многоязычных корпусов, включая русский, английский и немецкий языки. Мы использовали трансформацию слов и словосочетаний, чтобы оценить точность, значимость и семантическую фидбекку перевода тем. Результаты показали, что TMT значительно повышает эффективность и скорость трансформации тематических моделей, оставляя в то же время семантические свойства и консистентность. Также были проведены подробные квалитативные оценки, подтверждающие, что TMT создает логичные и смысловые темы на целевом языке. ## Значимость TMT может быть применен в различных областях, включая мониторинг медиа, лингвистический анализ, перевод текстов и многие другие. Он предоставляет несколько преимуществ, включая уменьшение трудоемкости, улучшение доступности тематических моделей для малых корпусов, а также улучшение качества перевода в сценариях, где ручной перевод невозможен. Этот алгоритм может существенно улучшить процесс взаимодействия с данными в многоязыч

#### Контекст Крупномасштабные языковые модели (LLM) набирают все большую популярность как эффективные текстовые внедряющие модели. Однако существующие подходы, основанные на эмбеддингах последнего токена (например, [EOS]), ограничивают потенциал моделей в задачах поиска и ре-ранкинга. Эти токены не предназначены для полноценного отражения контекста, что приводит к недостатку точности и релевантности в результатах внедрения. Наша мотивация заключается в улучшении этих моделей, обеспечивая более полное и точное представление контекста в тексте. #### Метод Мы предлагаем добавить дополнительный этап обучения, названный **Bidirectional Reconstruction**, прежде чем применять контрастное обучение. Этот этап включает два бинарных генеритивных задания: **Embedding-Based Query-to-Document (EBQ2D)** и **Embedding-Based Document-to-Query (EBD2Q)**. Они дополняют друг друга, акцентируя внимание на том, чтобы токен [EOS] эффективно анкорировал контекст. Модель задается взаимосвязью между [EOS], вопросами и ответами, чтобы обеспечить более точное эмбеддирование. #### Результаты Мы проверили наш подход на **Massive Text Embedding Benchmark (MTEB)**, используя различные модели LLM разного размера. Результаты показали, что добавление билатерального реконструктивного обучения существенно улучшает показатели на всем спектре задач текстового внедрения. Модели с нашим подходом показали значительное превосходство по метрикам ретриева и ре-ранкинга в сравнении с базовыми моделями и другими подходами. #### Значимость Наш подход открывает новые возможности для улучшения LLM в области текстового внедрения, сделав эти модели более точными и релевантными для задач поиска и рекомендации. Он может применяться в различных сферах, включая веб-поиск, личные помощники и анализ текстовых данных. Улучшение эмбеддингов приводит к повышению точности решения задач, снижению необходимости в дополнительных моделях и увеличению эффективности вычислений. #### Выводы Мы установили, что добавление билатеральной реконструкции в процесс обучения LLM значительно повышает их качество в качестве текстовых внедряющих моделей. Будущие исследования будут направлены на исследование других методов улучшения контекстного представления и расширение применений этого подхода в новых сферах.

#### Контекст Значительное внимание уделяется автоматизированной системе понимания и анализу взаимосвязей между документами. Эти взаимосвязи играют ключевую роль в таких областях, как новостные сервисы, анализ социальных сетей и литературный анализ. Однако, исследование и автоматизация понимания этого взаимодействия сталкиваются с рядом трудностей. В частности, существует ограниченность в методах создания высококачественных исходных данных для тренировки моделей. Также сложность заключается в том, чтобы эффективно поддерживать обучение и эффективное взаимодействие моделей между документами в различных доменах. Это приводит к необходимости разработки универсальных, модульных инструментов для эффективного контроля и понимания взаимосвязей между документами. #### Метод Мы предлагаем ABCD-LINK, новый гибкий фреймворк для выбора и выделения лучших стратегий по легкому созданию и анализу связей между документами в различных доменах. Фреймворк использует семи-синтетические наборы данных, созданные с помощью генеративных моделей. Эти данные позволяют проводить автоматический анализ и выделять наиболее эффективные гипотезы взаимосвязей. На основе этих данных, мы применяем различные стратегии поиска, включая традиционные методы и новые модели глубокого обучения. Используя эти технологии, мы проводим расширенное люди-в-кольце (human-in-the-loop) эксперименты, что позволяет проверить качество полученных результатов. #### Результаты Мы применяем наш фреймворк в двух различных доменах: литературном анализе и новостном сегменте. Мы проводим обширные эксперименты, в которых используются как синтетические данные, так и настоящие тексты для проверки качества. Мы выяснили, что комбинация моделей семантического поиска с глубокими нейронными моделями позволяет повысить точность выделения связей до 78%, что значительно превышает точность простых поисковых моделей. Эти результаты показывают, что наш фреймворк эффективно работает в различных сценариях и может быть применен в разных областях. #### Значимость ABCD-LINK представляет собой значительный шаг в области анализа взаимосвязей между документами. Мы доказали, что наш фреймворк позволяет эффективно поддерживать обучение моделей для различных доменов, включая новости, литературу и другие сферы. Благодаря этому, мы можем значительно улучшить методы анализа и структурирования информации. Мы также показали, что наш алгоритм может быть применен для таких задач, как сегментация новостных событий, разработка эффективных систем поиска и расширенный анализ медиа-текстов. #### Выводы Мы представили ABCD-LINK, новый

## Контекст Legal text classification является важной задачей в области естественного языкового процессинга (NLP), так как существенно влияет на эффективность управления и анализа юридических документов. Однако бенчмарк датасеты в этой области часто имеют длинный хвост распределения меток (long-tail label distribution), где многие метки представлены очень редко. Это приводит к низкой точности моделей при классификации редких классов. Существующие подходы, такие как общее расширение выборки (general data augmentation), требуют добавления внешних данных или изменений в архитектуре модели, что может привести к ухудшению качества или возникновению нежелательных побочных эффектов. Поэтому проблема требует разработки специализированных подходов, которые бы способствовали повышению точности классификации редких классов без негативного воздействия на качество классификации частых классов. Это и является мотивацией для исследования стратегии Selective Retrieval-Augmentation (SRA). ## Метод Selective Retrieval-Augmentation (SRA) представляет собой стратегию, которая сосредоточена на том, чтобы расширить обучающую выборку специальным образом для тех классов, которые редко встречаются в данных. SRA работает только с тренировочными данными, чтобы избежать возможных утечек информации и отсечки внешних корпусов. В этой стратегии используется механизм рекомендательных систем для поиска похожих примеров в тренировочной выборке. Эти примеры добавляются в выборку для классов с небольшим количеством примеров. Однако не добавляются примеры для классов с большим количеством примеров, чтобы не вводить лишних шумов в обучение. Это решение требует только одноразового обучения модели и не вносит изменений в её архитектуру. SRA протестирована на двух датасетах с длинным хвостом распределения меток: LEDGAR (для классификации одной метки) и UNFAIR-ToS (для классификации многомерных меток). ## Результаты Использованы данные из двух датасетов, при этом были сравнены результаты SRA с основными бенчмарками в сфере юридической классификации. Результаты показали, что SRA существенно повышает метрики micro-F1 и macro-F1 по сравнению с текущими лучшими результатами. Это свидетельствует о том, что SRA может эффективно уменьшить неравенство в классификации редких классов, улучшить общую точность и иметь более стабильный эффект по сравнению с другими подходами. ## Значимость SRA может быть применено в различных сферах, где существуют длинные хвосты распределения меток, таких как юридическая отрасль, медицина, финансы и другие. Основные преимущества SRA заключаются в его простоте, эффективности и отсутствии необходимости в дополнительных данных или изменения

#### Контекст Область крупномасштабного веб-поиска становится все более динамичной и требует эффективных способов обработки больших объемов данных. Реальному времени задачи Query-Driven Text Summarization (QDTS), предназначенной для формирования кратких и информативных сводок текстовых документов на основе запроса, приобретает важность для улучшения пользовательского опыта и облегчения принятия решений. Традиционные системы, основанные на исключающих моделях, имеют два основных недостатка: 1) многоэтапная архитектура часто приводит к убыточности информации и проблемам с производительностью; 2) они отстают в понимании семантического потенциала запросов и текстов, особенно в сложных поисковых поисковых запросах. #### Метод Фреймворк, предложенный в данной работе, использует генерирующие модели для QDTS в индустриальном веб-поиске. Он включает в себя такие техники, как дистилляция больших моделей, добавляющая значительную эффективность, подготовку на основе супервизованных данных, оптимизацию предпочтений и расширенные методы гомотопного декодирования. Базовый модельный характеристики 0.1B параметров был преобразован в эксперт для QDTS, проявляя выдающуюся точность и эффективность. #### Результаты Модель была проверена на нескольких индустриальных метриках и показала значительное превосходство перед базой производственной модели. Она отвечала за \textasciitilde50,000 запросов в секунду с средней задержкой в 55 мс на GPU NVIDIA L20. Это достижение отмечает новую точку высоты в сфере QDTS в отношении производительности и точности. #### Значимость Предложенная модель может быть применена в различных сферах, включая индустрию информационных сервисов, системы рекомендаций и веб-поиск. Основное преимущество заключается в своей способности предоставлять быстрые и точные сводки в реальном времени, что улучшает пользовательский опыт и поддерживает эффективность веб-сервисов. Будущие исследования будут сфокусированы на расширении модели для сложных сценариев и улучшении ее универсальности. #### Выводы Разработанная модель QDTS является первым примером эффективного применения генерирующих моделей в индустрии. Она достигла высокой точности и скорости работы, показав свое преимущество перед существующими моделями. Эти достижения открывают новые пути для исследований в области генерирующих моделей в сфере веб-поиска и других областях, требующих реального времени обработки текстовых данных.

#### Контекст Научное исследование ориентируется на область естественного языкового процессинга (NLP), а точнее, на задачу извлечения временных отношений событий (Event Temporal Relation Extraction, ETRE). Это задача, направленная на определение взаимосвязей между событиями в тексте, такими как предшествование, совпадение или последовалое следование. Несмотря на то, что языковые модели (LLMs) доказали свою эффективность в этой области, они сталкиваются с рядом проблем. Малые языковые модели (SLMs) страдают от ограниченного предварительно обученного знания, что приводит к неэффективности в работе с малочисленными классами в несбалансированных датасетах. Для LLMs применяются ручно сконструированные как стимулы (prompts), что может привести к лишней шумности и помехам в выводе модели, особенно при работе с зависимостями между событиями на больших расстояниях. Эти ограничения вдохновили разработку **GDLLM** — нового подхода, основанного на LLMs, который не только учитывает глобальные зависимости, но и повышает точность в работе с небольшими классами классификации. #### Метод Методология **GDLLM** основывается на двух ключевых компонентах. Во-первых, предлагается дистанционно-отзывчивая графовая структура, построенная на основе Graph Attention Network (GAT), которая позволяет языковой модели лучше учитывать зависимости на больших расстояниях. Во-вторых, введена парадигма обучения функций времени (temporal feature learning paradigm), основанная на мягком инференсе (soft inference). Она способствует лучшему распознаванию отношений событий, имеющих близкое расстояние, и интегрирует мощь пробабольных выводов LLMs в механизм множественного внимания (multi-head attention). Объединение этих компонентов обеспечивает эффективную обработку данных, улучшает восприятие далеких зависимостей и увеличивает точность работы модели, особенно в случае малочисленных классов. #### Результаты Выполнены эксперименты с использованием двух открытых датасетов: TB-Dense и MATRES. Замеры показали, что **GDLLM** обеспечивает значительное улучшение качества работы, особенно в сравнении с предыдущими моделями. Она показала свою эффективность в распознавании малочисленных классов в несбалансированных датасетах и, в целом, демонстрирует лучшую общую точность. Эти результаты подтверждают то, что **GDLLM** не только расширяет границы возможностей LLMs в задачах ETRE, но и становится значительным шагом в направлении более точного и универсального понимания текстов. #### Значимость Разработанный подход имеет широкое применение в различных областях, включая медицину, финансы, юриспруденцию и другие, где распознавание временных отношений явля

## Контекст Retrieval-Augmented Generation (RAG) представляет собой мощное решение для устранения ограничений Large Language Models (LLMs), таких как создание фантомных ответов и использование устаревшей информации. Однако внедрение RAG-based систем в Small and Medium Enterprises (SMEs) сталкивается с рядом проблем, включая ограниченные ресурсы и недостаток экспертного опыта в области естественного языкового процессинга (NLP). Несмотря на эти трудности, RAG может предоставить значительные преимущества для таких предприятий, улучшая доступ к знаниям и повышая эффективность работы. ## Метод EASI-RAG (Enterprise Application Support for Industrial RAG) представляет собой структурированный и адаптивный подход, разработанный для упрощения внедрения RAG-систем в индустриальных SMEs. Метод основывается на принципах method engineering и включает четко определенные роли, действия и техники. Его дизайн позволяет максимально эффективно использовать существующие ресурсы и знания предприятий, даже если у них нет опыта в NLP. Этот подход демонстрирует адаптивность и гибкость, необходимые для успешного внедрения RAG в различных контекстах. ## Результаты Эксперименты были проведены в реальном производственном севе, где была внедрена RAG-система для ответов на запросы операторов, основываясь на данных из операционных процедур. Система была разработана и развернута в течение одного месяца сотрудниками, которые до этого не имели опыта в RAG. Метод продемонстрировал высокую точность ответов и быстрое настройку. Использование EASI-RAG также положительно сказалось на доверии пользователей к системе и ее надежности. ## Значимость Метод EASI-RAG может быть применен в различных индустриальных сферах, где требуется быстрое внедрение RAG-систем, особенно когда ресурсы и экспертиза ограничены. Он обеспечивает быструю интеграцию, высокую доступность и точность ответов, что вносит важное значение для повышения эффективности рабочих процессов. Высокая адаптивность EASI-RAG делает его подходом выгодным для развития индустриальных предприятий. ## Выводы Результаты показали, что EASI-RAG успешно поддерживает быстрое внедрение RAG-систем в SMEs, даже при ограниченных ресурсах. Он включает в себя простой и адаптивный подход, позволяющий эффективно использовать технологии RAG. Будущие исследования будут направлены на увеличение общедоступности метода для различных использований и его интеграцию с лучшими практиками в области машинного обучения, такими как fine-tuning.

## Контекст Правильное понимание событий требует объединения различных точек зрения. Однако существующие системы поиска новостей стремятся к текстовой релевантности, что приводит к повторяющимся результатам и ограниченному количеству точек зрения. Это снижает качество понимания событий. Мы предлагаем NEWSCOPE — рамочную модель для разнообразного поиска новостей, которая улучшает комплексное понимание событий за счет учета семантической разнообразности на уровне предложений. ## Метод NEWSCOPE представляет собой двухступенчатую архитектуру. В первой стадии используется плотный поиск для нахождения топически относительных статей. Во второй стадии применяется кластеризация предложений и диверсифицирующий рейтинг для выделения дополнительных точек зрения. Для оценки разнообразия мы предлагаем три метрики: средняя парная разница, покрытие положительных кластеров и отношение информативности. Также мы создали две новые бенчмарки: LocalNews и DSGlobal, охватывающие параграфы. ## Результаты Наши эксперименты показали, что NEWSCOPE постоянно превосходит основные базовые системы, достигая высокой разнообразности без потерь в релевантности. Мы также провели сравнение с другими моделями, установив, что наш подход значительно улучшает понимание событий, уменьшая повторения и расширяя представление. ## Значимость Модель NEWSCOPE может применяться в поиске новостей, мониторинге событий и анализе массовых сообщений. Ее преимущества заключаются в повышении разнообразия результатов и полноты понимания событий. Будущие исследования будут сфокусированы на улучшении эффективности и многообразия алгоритмов кластеризации. ## Выводы Мы представили новую рамочную модель для поиска новостей, которая основывается на диверсификации на уровне предложений. Наши результаты показывают, что NEWSCOPE эффективно решает проблемы повторения и ограниченности точек зрения, способствуя полному пониманию событий.