## Контекст Последние годы стали особенно актуальным развитием искусственных нейронных сетей (ANN), которые нашли широкое применение в обработке естественного языка. Одним из важных технических заданий в этой области является named-entity linking (NEL), которое состоит в связывании сущностей в тексте с определенными семантическими сущностями в указанных справочниках (ontologies). Для многих областей, таких как медицина и юриспруденция, NEL является ключевым средством для обработки и анализа текстов. Единственной проблемой является то, что до сих пор нет моделей, которые могли бы выполнять NEL в сфере питания и продуктов питания с достаточной точностью. Таким образом, FoodSEM был создан как решение для этой цели. ## Метод FoodSEM является fine-tuned версией стандартной модели и использует процедуры инструкционно-ответного сценария (IR) для того, чтобы связать сущности в тексте с семантическими сущностями в справочниках. Модель была обучена на подготовленном корпусе данных в формате для инструкционного решения задач (IR). Корпус содержит текстовые примеры, которые были созданы специально для этой задачи. Модель FoodSEM может связывать сущности, такие как "сыр", "кукуруза" и "вино" с такими справочниками, как FoodOn, SNOMED-CT и Hansard taxonomy. Использованная технология включает в себя не только обучение с подкреплением, но и постобучение модели с использованием новых данных. ## Результаты Проведенные эксперименты показали, что FoodSEM выдает результаты с F1-мерой до 98% на некоторых датасетах и справочниках. В сравнении с нетюнированными моделями (zero-shot, one-shot и few-shot prompting), FoodSEM показала значительное преимущество. Это свидетельствует о том, что fine-tuning может значительно повысить точность решения задачи NEL в сфере питания. Использованные данные включили большой набор текстов, полученных из различных источников, что дало возможность модели учиться распознавать различные структуры текста и связывать их с соответствующими сущностями в справочниках. ## Значимость FoodSEM может быть применена в различных областях, таких как исследования питания, менеджмент продуктов питания и логистика сельскохозяйственных продуктов. Эта модель позволяет повысить точность в обработке текстов, связанных с продуктами питания, и сделать более надежным процесс семантического понимания. Например, FoodSEM может быть использована в системах управления складами продуктов питания, в системах подбора рецептов и даже в образовательных целях. За счет публикации FoodSEM и его ресурсов, модель может стать стандартом для будущих исследований в этой области. ## Выводы FoodSEM является первой моделью, которая способна выполнять named-entity

#### Контекст Персонализированная генерация отзывов помогает компаниям понять предпочтения пользователей. Однако большинство существующих подходов требуют обширных историй отзывов пользователя или дополнительной модели для тренировки. На практике часто возникают ситуации, когда доступен только небольшой объем данных, и оптимизация модели невозможна. Известно, что крупные языковые модели (LLM) могут работать в таких условиях, но их эффективность зависит от того, насколько аккуратно проработано их воспроизведение. #### Метод В работе предлагается метод **Conversational Prompting**, который преобразует отзывы пользователей в многократные диалоги. Первый вариант, **Simple Conversational Prompting (SCP)**, использует только отзывы пользователя, в то время как второй непосредственный вариант, **Contrastive Conversational Prompting (CCP)**, включает отзывы других пользователей или LLM в качестве ответов, затем заставляет модель исправить их, чтобы создать текст в стиле пользователя. Эта методика используется для подготовки текста, который будет лучше отражать пользователя. #### Результаты Исследования проведены на 8 продуктовых категориях и 5 моделях LLM. Наиболее распространенная неконструктивная модель тенденции, чтобы производить отзывы, в основном похожи на текст, написанный случайным пользователем. Оценки на основе текста (например, ROUGE-L и BERTScore) и задачей пользовательской идентификации или анализа тональности показали, что текст, сгенерированный методом SCP и CCP, более точно отражает стиль каждого пользователя, даже если были доступны только два отзыва. Контрастивный подход CCP демонстрирует сногсшибательные улучшения при использовании высококачественных качественных отрицательных примеров, в то время как SCP оптимален при отсутствии такого данного. #### Значимость Исследования показали, что **Conversational Prompting** может обеспечить эффективное решение для генерации отзывов в контексте недостаточных данных и невозможности модели прикрепления. Этот подход может быть применен в реальных приложениях для понимания пользовательских предпочтений и создания качественных отзывов, даже при ограниченных ресурсах. #### Выводы Результаты показали, что **Simple Conversational Prompting** и **Contrastive Conversational Prompting** значительно повысили качество генерирования отзывов по сравнению с традиционными моделями. Будущие исследования будут направлены на улучшение методики и расширение ее приложений в других сферах генерации текста.

## Контекст Поисковые системы, интегрирующие возможность поиска и генерации, стали мощным инструментом для выполнения информационных задач. Однако они часто не удаляются в полной мере в удовлетворении разнообразных потребностей пользователей. Эти потребности включают различные цели запросов, предпочтения по форме и функциональности ответа. Например, на запрос "заказать местное блюдо" может оказаться нужным ответ в виде ссылки на доставленное меню, а в другом случае – рецепт или информация об истории блюда. Предыдущие поисковые системы, такие как BERT и GPT, предлагали лишь ответы в виде текста, не учитывая требования пользователей к формату и контексту выдачи. Однако поисковые системы с расширенным сквозным поиском (search-augmented), такие как ChatGPT и Gemini, расширили возможности, включив в свою работу хранение и анализ пользовательских историй для формирования более персонализированных ответов. Несмотря на это, эффективность такой персонализации в системах поиска и генерации остается недостаточно изученной. Чтобы решить эту проблему, мы предлагаем BESPOKE, реалистичный бенчмарк для оценки персонализации в поисковых системах, использующихся в системах генерации. ## Метод BESPOKE (Benchmark for Evaluating Search-augmented Personalization via Key Evaluation) представляет собой бенчмарк, специально разработанный для оценки того, насколько хорошо поисковые системы приспосабливаются к персонализации с использованием данных, полученных от пользователей. Бенчмарк BESPOKE использует данные, собранные от пользователей через интерфейс с глубоким взаимодействием. Эти данные включают истории поиска и чат-сообщения, авторством которых стояли пользователи. Они содержат запросы, которые отражают различные цели, и ответы, которые подвергались оценке и диагностическому анализу пользователями. Разработка BESPOKE была основана на долгосрочном участии настоящих пользователей, которые разрабатывали запросы, описывали их потребности и анализировали результаты с использованием детальных показателей и постановок. Это делает BESPOKE одной из наиболее реалистичных и диагностически значимых моделей для оценки персонализированных поисковых систем. ## Результаты В ходе экспериментов с BESPOKE были проанализированы несколько моделей поиска с расширенным поиском. Мы использовали реальные данные, собранные из жизненного опыта пользователей, и проанализировали их с учетом полученных ответвлений и постановок. Наши результаты показали, что системы с поисковым расширением, использующие BESPOKE, выдают значительно более точные и персонализированные ответы по сравнению с системами без такого подхода. Мы также отм

#### Контекст Многомодальное извлечение семантических отношений (Relation Extraction, RE) является важной задачей в области естественного языка, нацеленной на выявление связей между сущностями в неструктурированном тексте. Обычно, эта задача решается с помощью классификационных подходов, где отношения представляются в виде дискретных меток. Тем не менее, существуют ограничения: структурные ограничения, такие как типы сущностей и позиционные признаки, часто не учитываются, и полученные метоки могут отсутствовать тонкость в понимании отношений. Эти проблемы подчеркивают необходимость развития более гибких и интерпретируемых подходов к многомодальному RE. #### Метод Мы предлагаем Retrieval Over Classification (ROC), уникальный подход, который преобразует задачу многомодального RE в задачу поиска информации. ROC включает в себя следующие компоненты: (1) объединение модальностей с помощью многомодального энкодера, (2) расширение меток отношений в естественно-языковые описания с помощью большого языкового модели, и (3) оценка семантической схожести между сущностями и отношениями с помощью обучения с подкреплением. Эта архитектура позволяет учитывать структурные ограничения, улучшает тонкость понимания отношений и обеспечивает большую гибкость и интерпретируемость. #### Результаты Мы проводили эксперименты на двух бенчмарк-датасетах MNRE и MORE. Результаты показали, что ROC превосходит существующие методы в метриках точности, скорости и общей точности. Благодаря интеграции семантических признаков и интерпретируемости, ROC показал лучший результат в 6,7% по METEOR-метрике и 2,3% по BLEU-4 по сравнению с конкурирующими моделями. #### Значимость ROC может быть применен в различных областях, таких как веб-сервисы, социальные сети и здравоохранение, где точное извлечение отношений между сущностями является критическим. Благодаря своему гибкому подходу и сильной интерпретируемости, ROC предоставляет значительные преимущества перед классическими классификационными подходами. Этот подход также открывает новые возможности для исследований в области многомодального обработки естественного языка. #### Выводы Мы представили Retrieval Over Classification (ROC), новую модель для многомодального извлечения отношений, которая преобразует задачу классификации в роль поиска семантически наиболее подходящих отношений. Эксперименты показали, что ROC превосходит существующие наилучшие решения в многомодальном RE. Мы также отметили, что ROC обеспечивает более высокую точность и интерпретируемость, что делает его привлекательным для прикладных задач. Наша работа открывает путь для будущих и

## Контекст Long-term разговорные системы, такие как голосовые помощники и агенты для бесед, сталкиваются с значительными проблемами при управлении большим объемом диалоговой истории. Это связано с ограниченной емкостью контекстных окней в современных технологиях, таких как large language models (LLMs). Хотя существуют методы, основанные на факт-выдержках или сводках, они не могут грамотно организовать и восстановить релевантную информацию в разных гранулярностях диалога (от тура до сессии). Это приводит к неэффективной работе моделей. Наша модель SGMem (Sentence Graph Memory) представляет диалог в виде графов на уровне предложений, позволяя лучше учитывать связи между разными уровнями контекста, что обеспечивает более точную генерацию ответов. ## Метод SGMem представляет диалог как граф, где каждое предложение является вершиной, а связи (edges) определяются на основе гранулярности контекста. Мы используем chunked units для разбиения диалога на сегменты, например, туры или сеансы, и применяем глубокую нейронную сеть для графов (Graph Neural Network, GNN) для извлечения связей. Модель сочетает в себе генерированную память (например, сводки или факты) с вводимым контекстом, обеспечивая LLMs более структурированный и значимый контекст для генерации ответов. ## Результаты Мы проверили SGMem на двух наборах данных: LongMemEval и LoCoMo. Эти наборы покрывают различные типы задач в диалоговой системе, включая контекстный QA (вопрос-ответ) и логическую консистентность. Результаты показали, что SGMem превосходит существующие базовые модели в долгосрочных задачах QA, улучшая точность и сокращая ошибки при восстановлении ключевой информации на 20-30%. Эти результаты подтверждают значительное улучшение в организации и получении контекста. ## Значимость SGMem может применяться в сферах, требующих долгосрочной памяти и точного восприятия диалога, например, в системах поддержки клиентов, здравоохранения и управления. Оно предлагает улучшенную способность управлять диалоговыми историями, уменьшая необходимость в постоянном обучении моделей. Это может привести к экономии ресурсов, повышению эффективности взаимодействия и улучшению пользовательского опыта в различных цифровых системах. ## Выводы SGMem представляет собой эффективное решение для управления контекстом в диалоговых системах. Мы доказали, что этот подход может значительно улучшить точность и качество генерированных ответов в долгосрочных диалогах. Будущие работы будут нацелены на повышение скорости обработки и расширение возможностей SGMem для более сложных и многоуровневых диалог

#### Контекст В последнее время граф-ориентированная восстановленная получение (Graph-based Retrieval-Augmented Generation, RAG) получила популярность в области технологий обработки естественного языка. Она обогащает большие языковые модели (LLMs) снаружиготовой знаниями для решения задач, требующих длинных контекстов и нескольких шагов рассуждений. Однако существующие методы сталкиваются с проблемой гранулярности: тонкому разбиению на сущности возникают высокие затраты на токены, что приводит к утере контекста, а крупномасштабные документы не удается полностью охватить статистические связи. Это конфликт приводит к неэффективности в области многошагового рассуждения. Для решения этой проблемы был предложен подход, ориентированный на запрос, который более эффективно обрабатывает запросы на основе графов с управляемой гранулярностью. #### Метод Методология QCG-RAG основывается на создании запроса-центричных графов с использованием Doc2Query и Doc2Query-{}{-}. Эти графы построены на основе запросов и структурных элементов документов, что позволяет управлять гранулярностью. Чтобы улучшить качество графа и его интерпретируемость, метод Doc2Query{-}{-} используется для более точного отображения контекста. Для выбора актуальных чанков входного запроса используется новая механика поиска с несколькими шагами, которая позволяет построить интерпретируемое и эффективное решение. Этот подход представляет собой новую модель для многошаговых рассуждений, обеспечивая улучшенное качество ответа. #### Результаты В экспериментах, проведенных на датасетовах LiHuaWorld и MultiHop-RAG, QCG-RAG показал существенные достижения в сравнении с другими подходами. Он улучшил точность ответов в задачах восстановления и многошагового рассуждения, показав свою эффективность в обработке запросов, требующих длинных контекстов. Эти результаты подтвердят преимущества QCG-RAG в сравнении с традиционными методами, устанавливая новую модель для решения задач в области многошагового обработки естественного языка. #### Значимость QCG-RAG может применяться в различных сферах, где требуются длинные контексты и многошаговые рассуждения, таких как распознавание речи, создание текста и вопрос-ответ-системы. Он обеспечивает улучшенную точность и интерпретируемость, что создает более эффективный подход к обработке естественного языка. Этот подход также может существенно повлиять на развитие технологий, обеспечивая более точную и эффективную обработку данных в различных приложениях. #### Выводы Исследование QCG-RAG устанавливает новую модель для многошагового рассуждения, показывая его п

#### Контекст Открытые версии больших языковых моделей (LLMs) постоянно совершают значительные прорывы в области ИИ. Наиболее современные модели, такие как DeepSeek-V3, уже достигли той же мощности, что и закрытые проприетарные модели. Это порождает вопрос о возможности замены проприетарных моделей открытыми версиями, особенно в сферах, где значительная точность и универсальность являются ключевыми факторами. Задача биомедицинского вопроса-ответа (Biomedical Question Answering) является одной из таких областей, где важность высокого качества ответа является критической. Мы исследуем возможность замены крупных закрытых моделей на открытые версии, сосредоточившись на работе в рамках 13-й биоплеяфазы BioASQ. #### Метод Мы проводили эксперименты с несколькими открытыми LLMs, включая DeepSeek-V3, DeepSeek-V4 и другие модели, которые были экспериментально протестированы на задаче биомедицинского вопроса-ответа. Для улучшения результатов, мы использовали следующие методы: (1) получение самых уместных сниппетов на основе векторного расстояния, (2) ин-контекстное обучение для конкретных задач, (3) структурированные выходные данные для точных ответов, и (4) стратегии отображения классов для оценки сложных ответов. Наша тактика включала использование энсемблирования, чтобы объединить различные модели для получения точных ответов на вопросы. #### Результаты Мы провели эксперименты с несколькими открытыми LLMs и сравнили их с топовыми проприетарными моделями, включая GPT-4o, GPT-4.1, Claude 3.5 Sonnet и Claude 3.7 Sonnet. Наши результаты показали, что открытые LLMs, такие как DeepSeek-V3, не только сопоставимы с проприетарными моделями, но и в некоторых случаях превзошли их, особенно при применении стратегий энсемблирования. Наши результаты показали, что открытые LLMs могут предоставлять очень высокое качество ответов в сфере биомедицинского вопроса-ответа. #### Значимость Наши результаты имеют значительное значение в области биомедицинского вопроса-ответа, так как показывают, что открытые LLMs могут заменить проприетарные модели в таких критически важных задачах. Они не только повышают точность ответов, но и предоставляют доступ к исходному коду, что повышает прозрачность и доступность. Эти модели могут использоваться в организациях, системах врачебного сопровождения и инструментах для поиска биомедицинской информации. #### Выводы Мы пришли к выводу, что открытые LLMs, такие как DeepSeek-V3, достигли той же мощности, что и проприетарные модели в задачах биомедицинского вопроса-ответа. Мы также выявили значительную пользу от применения стратегий энсемблирования для улучшения качества ответов. В будущем, нам нео

## Контекст **Область исследования**: Одним из ключевых вопросов в систематических обзорах и мета-анализах является эффективность информационного поиска в большом объеме литературы. Несмотря на высокую степень оптимизации процессов, существуют проблемы с прозрачностью и повторяемостью таких исследований. **Проблема**: В области медицинских исследований внедрение методов информационного поиска напрямую связано с повышением качества систематических обзоров. Однако некоторые аспекты, такие как дедупликация или оценка качества, по-прежнему требуют ручной работы и требуют дополнительных усилий. **Мотивация**: В данном исследовании используется случай ендометриоза, характеризующегося сложностью и неоднозначностью литературы. Основной целью является создание более эффективной, прозрачной и повторяемой системы для систематического обзора и мета-анализа. ## Метод **Общая постановка задачи**: Исследование основывается на интеграции PRISMA-протокола с информационно-поисковыми методами. Основная идея заключается в создании последовательности задач, позволяющих улучшить эффективность, прозрачность и повторяемость процесса систематического обзора. **Применение компьютерных методов**: В этом исследодовании используется дедупликация и автоматизированная фильтрация записей. Для устранения ошибок в юните анализа в многоканальных исследованиях использовался модифицированный метод разделения. **Процесс синтеза доказательств**: Обзор охватил 812 записей, выделив 7 рандомизированных клинических испытаний. Данные были обработаны с помощью случайного эффектавного моделирования. ## Результаты **Эксперименты и данные**: В ходе работы были изучены 812 записей, из которых были выделены 7 случайно разделенных клинических испытаний с участием 841 пациента из 4 стран. **Результаты мета-анализа**: Полученные результаты показали, что использование подкласса GnRH-a приводит к снижению риска рецидива ендометриоза. Уровень совместного риска (Risk Ratio, RR) составил 0,64 (95% CI: 0,48–0,86). Статистически значимая негативная ассоциация была обнаружена, с $I^2=0.00\%$, что указывает на отсутствие значимой внутренности. **Оценка качества и сенсорные анализы**: Запросы к данным были оценены международными стандартами, и все соответствующие критерии были выполнены. ## Значимость **Применение и преимущества**: Это исследование показывает, что информационно-поисковые методы могут быть эффективно интегрированы в медицинские исследования. Такой подход может ускори

#### Контекст Социальные медиа становятся важной платформой для открытия о личных борьбах с психологическими расстройствами. Это способствует раннему выявлению заболеваний, таких как депрессия и биполярное расстройство. Однако большинство исследований в области NLP ограничиваются одно-масштабным распознаванием расстройств. Для понимания мощности усовершенствованных методов NLP в многоклассовом классификационном задании, включающем несколько расстройств, необходимо проведение широкомасштабных экспериментов. #### Метод Для тестирования была сформирована база данных со статьями из Reddit, охватывающих шесть классов психологических расстройств, а также контрольную группу. Данные были тщательно подготовлены с применением статистического анализа и фильтрации для повышения качества аннотаций. Исследование включало сравнение ряда моделей на основе трансформеров (BERT, RoBERTa, DistilBERT, ALBERT, ELECTRA) и вариантов LSTM с использованием разных вариантов входных данных и архитектур. #### Результаты В ходе экспериментов было показано, что трансформеры в большинстве случаев превосходят LSTM-модели. Модель RoBERTa показала наивысшие показатели F1-меры и точности классификации, достигая 91–99% на всех классах. Особого внимания заслуживают LSTM-модели с аугментацией аттенцией и BERT-входными данными, которые показали почти одинаковые результаты с трансформерами, при этом обучались до 3.5 раз быстрее. Модели с использованием статических эмбеддингов, в свою очередь, становились менее эффективными. #### Значимость Результаты этих исследований могут использоваться в области раннего выявления питаний на социальных сетях, повышению эффективности медицинских систем и психологического консультирования. Особенно важным является то, что модели трансформеров представляют собой лучшую альтернативу для многоклассовой классификации психологических расстройств, учитывая свои более высокие показатели точности. #### Выводы В ходе работы было установлено, что трансформеры, в частности RoBERTa, являются лучшими выборами для задач многоклассовой классификации психологических расстройств. Будущие работы будут направлены на улучшение эффективности трансформеров для деплоя в реальных приложениях, например, в рамках более низких ресурсов и более высокой скорости выполнения.

#### Контекст Repository-level code completion предсказывает незавершенный код, основываясь на более широкой информации из репозитория. Несмотря на прогрессы в области Code Large Language Models (code LLMs), эти методы сталкиваются с проблемами, такими как неэффективная конструкция запросов, однопутевое поисковое восстановление и несоответствие между кодовым ретрайвером и кодовым LLM. Эти недостатки приводят к ухудшению точности и эффективности результатов. Многопутевые подходы и более глубокая интеграция ретрайвера и кодового LLM могут улучшить результаты. Наша мотивация заключается в разработке методологии, которая максимально эффективно идентифицирует и использует необходимую и актуальную информацию из репозитория для повышения качества результатов repository-level code completion. #### Метод Мы предлагаем CodeRAG — рамочный подход, состоящий из трёх ключевых компонентов. **Log probability guided query construction** позволяет создавать запросы на основе лог-вероятностей, что улучшает выбор информации из репозитория. **Multi-path code retrieval** вводит многопутевое поисковое восстановление, чтобы увеличить широту возможных результатов. **Preference-aligned BestFit reranking** применяет предпочтения пользователя для оптимизации списка полученных результатов. Метод использует предварительно обученные code LLMs для работы. Этот многоуровневый подход устраняет проблемы, связанные с традиционным подходом, и обеспечивает более точные и связанные с контекстом результаты. #### Результаты Мы провели эксперименты на двух бенчмарках: ReccEval и CCEval. Наши результаты показывают, что CodeRAG существенно превосходит состояние технологии в области repository-level code completion. Мы сравнили показатели, такие как BLEU, ROUGE и METEOR, получив значительное улучшение по сравнению с альтернативными методами. Кроме того, CodeRAG продемонстрировал лучшие результаты в задачах восстановления кода, сохраняя высокую скорость работы и качество. Эти результаты свидетельствуют о том, что наш подход эффективен в решении существующих проблем и может быть применен в реальных сценариях. #### Значимость CodeRAG может быть применен в различных сферах, включая программирование, автоматизацию разработки и автоматическое поддержание кодовых репозиториев. Он обеспечивает более точные и адаптивные результаты, позволяя разработчикам экономить время и увеличивать производительность. Отличительные особенности — усовершенствованный подход к построению запросов, многопутевое восстановление и статистический анализ предпочтений — делают CodeRAG более универсальным и мощным. Мы видим потенциал для дальнейшего использования в системах с автоматическим кодовым редактированием и предсказанием кода. #### Выводы Наша работа исследовала новый подход