#### Контекст Научные исследования в области текстового понимания и реактивного умственного анализа (RAG) сталкиваются с значительными вызовами при анализе длинных текстовых контекстов, таких как романы и художественные произведения. Эти тексты обусловлены сложными сюжетными линиями и дополнительными связями между героями и сущностями. Существующие методы теряются при выполнении длительных и связанных задач, так как ограничены в своей способности сохранять и эффективно использовать информацию из больших контекстов. Таким образом, есть потребность в разработке новых подходов, которые могли бы эффективно поддерживать stateful reasoning в длинных текстовых контекстах. #### Метод Как показано в работе, ComoRAG представляет собой итеративный подход к сбору и обработке информации, который подражает человеческому мышлению при работе с памятью. Взаимодействие происходит в динамической среде памяти, где каждая итерация включает следующие этапы: 1) генерация поисковых запросов для выявления новых связей; 2) получение новых данных из памяти; 3) обновление глобальной памяти с учётом новых сведений. Таким образом, ComoRAG может эффективно сохранять информацию о ключевых связях в течение долгого текста и выполнить stateful reasoning, являясь первым в своём классе. #### Результаты В ходе экспериментов на 200K+ токенов были протестированы современные методы RAG, включая и новый ComoRAG. На основе данных, полученных из 4 проведённых многозначных тестов, ComoRAG демонстрировал выдающиеся результаты. В сравнении с лучшим текущим RAG-методом, ComoRAG показал увеличение точности до 11% при решении сложных задач, в которых требуется глобальное понимание текста. Эти результаты указывают на высокую эффективность ComoRAG в обработке длинных текстов с глубоким контекстом. #### Значимость Помимо оптимизации существующих RAG-моделей, ComoRAG может быть применен в различных областях, включая литературный анализ, глубокий поиск и приложения в ИИ. Его преимущества включают более точное понимание текста, более эффективную обработку длинных текстов и высокую точность в решении тестов, требующих глобального контекста. Это может привести к новым возможностям в текстовом анализе, повышению качества ИИ-систем и повышению производительности в поле текстовых приложений. #### Выводы ComoRAG представляет собой прорыв в области stateful reasoning в текстовых контекстах. Его технология, основанная на принципах человеческого ума, позволила достичь изумительных результатов в тестировании на длинных текстах. На будущее планируется расширение функций ComoRAG, у

## Контекст Medication recommendation является ключевым заданием для поддержки врачей в принятии оперативных решений на основе длительных пациентских медицинских записей. Однако реальные данные из ЭМС часто представляют собой разнообразные и неполные записи, трудно поддающиеся полному пониманию. Несмотря на то, что модели, обученные на ЭМС, определяются высоким количеством пациентов, всё же сталкиваются с проблемами, например, с редкостью встречаемых медицинских кодов или с непредсказуемыми условиями. Это приводит к снижению точности рекомендаций в нестандартных ситуациях. Основной мотивацией для разработки HiRef является необходимость развития методов, которые способны выполнять рекомендации в различных условиях, включая нестандартные ситуации. ## Метод HiRef предлагается в качестве алгоритма, объединяющего два элемента: (i) классификация с использованием медицинской иерархии и (ii) усовершенствованные методы графа сущностей EHR. Он использует структуру верхнеуровневая иерархия в лечении, разработанную на основе медицинских наук, для более широкого усвоения знаний. Также гиперболическая семантическая структура применяется для поддержки **knowledge transfer** в иерархии. Обработка графа EHR-данных включает в себя расширенные регуляризационные схемы, чтобы уменьшить нагрузку от спутанных связей и поддерживать только клинически значимые. Этот подход позволяет HiRef достигать устойчивости в ситуациях с неизвестными кодами и смещенными данными. ## Результаты HiRef проверен на двух ключевых датасетах: MIMIC-III и MIMIC-IV. Модель показывает значительное улучшение в сравнении с другими моделями в ситуациях с неизвестными кодами. Результаты включают высокую точность и устойчивость в различных клинических условиях. Также проводились анализы, подтверждающие эффективность встроенных механизмов очистки графов и глубокой иерархической семантики. ## Значимость HiRef может быть применен в различных клинических задачах, таких как рекомендация лекарств и мониторинг медикаментозной терапии. Выделяются преимущества, такие как увеличение точности рекомендаций в условиях нестандартных данных и устойчивость к плохо представленным и новым кодам. Данный подход также может улучшить клинические решения и увеличить уровень доверия в рекомендациях, поддерживая большую роль в области медицины. ## Выводы Данная работа показывает эффективность HiRef в решении проблем, связанных с рекомендацией лекарств в условиях неполных данных и неизвестных кодов. Несмотря на высокую точность, модель столкнулась с ограничениями в ситуациях с очень редкими кодами. Буду

#### Контекст Одна из основных задач в области акустики и машинного обучения — удаление шумов из речи при сохранении естественности и четкости звука. Несмотря на прогресс в развитии сетей глубокого обучения, методы улучшения речи часто приводят к возникновению артифактов — лишних изменений в звуке, которые его ухудшают. Эти артифакты могут снизить качество разговорного звука, что становится критичным в приложениях, требующих высокого уровня акустической наглядности. Целью настоящей работы является разработка пост-процессинговой сети, которая будет устранять такие артифакты, сохраняя при этом высокое качество речи. #### Метод Мы предлагаем PuttNet — пост-процессинговую сеть, состоящую из двух этапов: "Approach" (основное улучшение речи) и "Putt" (корректировка результатов). Это модель основывается на аналогии с игрой в гольф, где "Approach" — это подход к цели, а "Putt" — точная корректировка, чтобы достичь максимального результата. Основная идея заключается в альтернативном применении этих двух этапов, чтобы уменьшить артифакты и повысить качество речи. Мы тренируем PuttNet на широком спектре аудиоданных, используя подходы, позволяющие оптимизировать как глубинные модели, так и пост-процессинговые нейросети. #### Результаты Мы используем метрики, такие как PESQ (Perceptual Evaluation of Speech Quality), STOI (Short-Time Objective Intelligibility) и CBAK (Background Noise Intrusiveness), для оценки качества речи. Эксперименты показали, что PuttNet превосходит сети, применяющие только "Approach" или "Putt" в одиночном режиме. Анализ на графиках показывает, что альтернативное применение этих моделей снижает артифакты и улучшает звучание. Это свидетельствует о том, что PuttNet может быть применена для решения проблемы артифактов в существующих системах улучшения речи. #### Значимость Предлагаемая модель PuttNet имеет широкое применение в различных сферах, где необходимо высокое качество речи, таких как видеоконференцсвязь, ассистенты на основе голоса, игры, аудио-издания. Устранение артифактов не только улучшает звучание, но и повышает удобство для пользователей. Мы также отмечаем, что наш подход может быть расширен для других задач, где требуется корректировка результатов нейросетевых моделей. #### Выводы Результаты экспериментов показали, что PuttNet эффективно устраняет артифакты, создаваемые сетями улучшения речи. Мы доказали, что альтернативный подход, сочетающий "Approach" и "Putt", дает лучшие результаты по сравнению с отдельным применением каждой модели. В будущем планируется провести исследования на более больших датасетах и рассмотреть возможности использования PuttNet для других акустических задач.

## Контекст Существующие системы-агенты, подключающиеся к инструментам для работы с радиологическими изображениями, сталкиваются с рядом проблем, которые ограничивают их применение в реальной практике. Эти проблемы включают в себя непрозрачность процесса принятия решений (черные ящики), что снижает доверие к системе и создает безопасностные риски. Кроме того, эти системы часто имеют низкую эффективность и сложность в интеграции многомодальных данных, которая критична для задач в области медицины. Целью нашей работы является разработка прозрачной, эффективной и адаптивной системы для обоснованного радиологического мониторинга, которая сможет адаптироваться к конкретным потребностям и предоставить понятные для конечного пользователя решения. ## Метод Мы предлагаем PASS (Probabilistic Agentic Supernet Sampling), первую мультимодальную систему, которая адаптирует работу агентных процессов над супернет-графом с несколькими средствами. PASS выбирает наиболее подходящий инструмент на каждом этапе работы, а также обеспечивает прозрачность решений, добавляя вероятности к каждому шагу. Эта система также использует развивающуюся персонализированную память для сжатия ключевых выводов и оптимизирует работу, используя трёхступенчатую процедуру обучения, включающую: начальное обогащение экспертными знаниями, сравнительный анализ путей и учёт экономического показателя работы. ## Результаты Мы оценили PASS на высокоинтерпретируемой задаче радиологического мониторинга, используя различные бенчмарки. Результаты показали, что PASS выделяется высокой точностью (accuracy), AUC, а также метриками, оценивающими качество работы системы в целом, такими как LLM-J. Кроме того, PASS отличается эффективностью, требуя меньше ресурсов для выполнения тяжёлых расчётов, чем многие современные алгоритмы. Это позволяет системе легко адаптироваться к различным медицинским задачам, предоставляя надежные и интеллектуальные решения. ## Значимость PASS может быть применён в различных областях, где необходимо обеспечить прозрачность и эффективность работы систем-агентов. Особенно важно его применение в медицине, где прозрачность решений так же важно, как и точность. Эта система может существенно повысить безопасность и эффективность работы с радиологическими данными, обеспечивая прозрачность и надежность решений. ## Выводы PASS представляет собой прорыв в области мультимодальных систем-агентов для радиологического мониторинга. Мы показали, что PASS не только превосходит существующие методы во многих аспектах, но и открывает новые возможности для развития безопасных, прозрачных и адаптив

#### Контекст В последние годы искусственный интеллект (ИИ) получил широкое распространение в области видеогенерации, позволяя создавать реалистичные и высококачественные видеопотоки. Однако существуют значительные проблемы, связанные с высокой сложностью вычислений и ресурсоемкостью процессов, особенно при работе с длинными видеопотоками. Одним из ключевых вызовов является неэффективность трансформеров с диффузионным подходом, которые применяются для повышения качества генерируемых видео. Эти модели требуют значительного вычислительного времени из-за итеративного процесса диффузии и высокой стоимости вычисления полного внимательного механизма (quadratic attention cost). Таким образом, целью настоящего исследования является разработка метода, который сможет эффективно уменьшить эти накладные расходы, не ухудшая качество генерируемых видео. #### Метод Мы предлагаем Video-BLADE, новую структуру для эффективной видеогенерации, которая объединяет два основных подхода: **Block-Sparse Attention (ASA)** и **Step Distillation (TDM)**. **ASA** позволяет адаптивно фокусировать ресурсы вычислений на самых важных спатспациотальных фичах, уменьшая необходимость в вычислениях. **TDM** позволяет обучать модель непосредственно с учетом спарсингости, не требуя дополнительных вычислительных затрат. Архитектура Video-BLADE включает сложную систему управления спарсингостью, которая динамически регулирует внимание к различным частям видеопотока. Такой подход позволяет сократить общую стоимость вычислений и увеличить эффективность модели. #### Результаты Мы проводили ряд экспериментов для проверки эффективности Video-BLADE. Мы использовали две модели для видеогенерации: **CogVideoX-5B** и **Wan2.1-1.3B**. Наши эксперименты показали, что Video-BLADE обеспечивает существенный ускорение вычислений. На модели Wan2.1-1.3B удалось достичь **14.10x** ускорения в окончательной скорости работы при использовании 50 шагов базовой модели. На модели CogVideoX-5B с короткими видеопотоками ускорение составило **8.89x**. Кроме того, **Video-BLADE** повысила точность моделей, как показано в **VBench-2.0**, где CogVideoX-5B показала улучшение с **0.534** до **0.569**, а Wan2.1-1.3B — с **0.563** до **0.570**. #### Значимость Мы видим возможности применения Video-BLADE в различных областях, таких как творческая индустрия, образование и медицина, где видеогенерация является ключевым компонентом. Наш подход обеспечивает значительные выгоды в скорости и качестве, что может привести к новым возможностям в робототехнике, автоматизации и развлекательных приложениях. Мы считаем, что наша работа открывает новые го

#### Контекст Область исследования, связанная с применением больших языковых моделей (LLMs) в качестве агентов последовательного стратегического принятия решений, является относительно новой, но уже привлекла внимание благодаря возможности эффективного использования LLMs в таких задачах. Однако существуют значительные ограничения: LLMs часто требуют огромных ресурсов для выполнения хорошо, что делает их менее практичными в реальных сценариях. Большинство методов пост-тренировки LLMs, ориентированных на решение этой проблемы, разработаны для задач с одной итерацией и не спроектированы для решения задач с несколькими этапами, где кредитное назначение (credit assignment) для каждой стадии является ключевым. Данная работа адресует эти проблемы, предлагая новый подход для улучшения поведения LLMs в задачах последовательного принятия решений. #### Метод Методом решения является Multi-Step Group-Relative Policy Optimization (MS-GRPO), алгоритм, разработанный для последовательного улучшения поведения LLMs в задачах с несколькими этапами. Этот алгоритм основывается на формальных моделях Text-Mediated Stochastic Game (TSMG) и Language-Agent Policy (LAP), которые позволяют ему аккуратно назначать кредит за каждый шаг в последовательном решении. Наша модификация включает в себя поиск стратегии оптимальной оценки того, какой шаг в задаче с несколькими шагами вносит больший вклад в окончательный результат. Для этого мы внедрили абсолютно-преимущественную стратегию взвешивания, которая учитывает весь эпизод в качестве размера присуждаемого кредита. Эта стратегия улучшает темп обучения и позволяет лучше справляться с нетривиальными задачами. #### Результаты Мы проверили наш подход на двух задачах: Snake и Frozen Lake. Для экспериментов использовались две модели языковых моделей разных размеров: 3 миллиардов параметров и 72 миллиардов параметров. Улучшенная модель 3 миллиардов параметров, полученная с помощью MS-GRPO, показала значительное улучшение в производительности, превосходя базовую модель 72 миллиардов параметров на 50% в задаче Frozen Lake. Эти результаты показывают, что целевая пост-тренировка может быть эффективным способом улучшения поведения LLMs в задачах последовательного принятия решений, даже при малом размере модели. #### Значимость Методы, представленные в нашей работе, могут привести к значительным преимуществам в области искусственного интеллекта, особенно в тех случаях, когда необходимо использовать упрощенные модели с меньшим размером. Это может привести к экономии ресурсов и увеличению эффективности в сценариях, где требуется быстрое решение. Кроме того, наши результаты могут открыть пути для дальнейших исследований в области по

#### Контекст Diffusion Language Models (DLMs) представляют собой развивающуюся область исследований в области естественного языка, которая становится все более важной в свете нехватки широкого использования моделей с авторегрессионным (AR) подходом. Изначально, AR-модели широко применялись в NLP-задачах, но они имеют ограничения, такие как высокая задержка при работе в реальном времени и неэффективность при обработке больших контекстов. DLMs, в свою очередь, выполняют генерацию токенов параллельно с использованием итеративного процесса дезоидеризации, что позволяет уменьшить задержку и улучшить качество генерации текста. Несмотря на то, что DLMs еще не достигли того же уровня качества, что и AR-модели, но они уже показывают свои преимущества в ряде задач. В этой работе мы осмысляем текущий состояние исследований в области DLMs, сравниваем их с AR-моделями и другими парадигмами, а также изучаем самые перспективные методы их применения. #### Метод Методология, применяемая в DLMs, основывается на процессе дезоидеризации, который работает в двух этапах: "сигнализация" и "дезоидеризация". В первом этапе, модель вычисляет шум, добавленный к оригинальному тексту, и воссоздает его, генерируя новый токен. Этот процесс повторяется, пока не достигнем исходного токена. Архитектура DLMs включает нейронные сети с аугментацией, которая позволяет модели значительно повысить скорость работы. Основные этапы развития DLMs включают решение задач в чистом тексте, последовательное расширение моделей, которые используют несколько моделей в их работе, и, наконец, многомодальные модели, которые способны обрабатывать не только текст, но и видео, изображения и звук. Кроме того, DLMs используют новые методы оптимизации, такие как параллельное декодирование, кэширование и повышение эффективности в реальном времени. #### Результаты Мы провели эксперименты с несколькими моделями DLMs, сравнивая их с AR-моделями и другими моделями генерации текста. Данными для экспериментов были взяты из открытых источников, включая наборы данных для тренировки и тестирования. Результаты показали, что DLMs демонстрируют высокую скорость генерации текста, сопоставимую с AR-моделями, при этом показывая свои преимущества в обработке больших текстовых контекстов. Были изучены варианты использования DLMs в различных NLP-задачах, включая генерацию текста, вывод смысла, перевод и другие. Особенно заметны преимущества DLMs в тех случаях, когда нужно быстро сгенерировать текст, например в ситуациях, когда необходима реальная-времени генерация. #### Значимость DLMs могут быть применены во многих областях,

## Контекст Эхо-статусные сети (Echo State Networks, ESN) — это вид рекуррентных нейронных сетей, которые широко применяются в задачах классификации и прогнозирования временных рядов. Однако их настройка требует значительного опыта, так как выбор параметров и архитектуры может сильно повлиять на их эффективность. Недостаток подробных руководств для быстрого входа в этот направление мотивирует разработку методов, позволяющих оптимизировать настройку ESN для различных проблемных областей. ## Метод Для изучения ESN, авторы использовали 4 различных бенчмарк-задачи, представляющие собой разные проблемные области: прогноз временных рядов, генерация шаблонов, прогноз чаотичных систем и классификация временных рядов. Каждая задача была реализована с использованием различных настроек архитектуры ESN и параметров. Подбор параметров производился с использованием экспериментов и анализа, чтобы определить лучшие практики для конфигурации ESN. ## Результаты Исследования показали, что правильный выбор параметров и архитектуры ESN влияет на ее точность и скорость обучения. На практических задачах было установлено, что настройка нейронной сети требует учета конкретных характеристик проблемного области. Такие параметры, как размер резервного компьютера, скорость затухания, толщина скрытого слоя и уровень временного разброса, оказали значительное влияние на производительность сети. ## Значимость Результаты могут быть применены в сферах, где требуется прогноз временных рядов или классификация данных. Этот подход облегчает настройку ESN для новичков в этой области, давая им базовые правила для выбора значений параметров. Полученные знания могут способствовать развитию новых методов оптимизации и улучшения точности прогнозов. ## Выводы Основным достижением является разработка руководств для настройки ESN, которые позволяют значительно сократить время подготовки для новичков. Будущие исследования будут направлены на усовершенствование алгоритмов настройки и расширение применений ESN в других проблемных областях.

## Контекст Large Language Models (LLMs) становятся все более популярными в силу их возможности генерировать текст на основе качественных запросов. Однако одной из серьезных проблем является халлуцинация, т.е. генерация текста, который либо не соответствует фактическим данным, либо является несогласованным с контекстом запроса. Такие недостатки могут привести к ошибкам, когда модель производит неточные или недостоверные ответы, отвлекаясь от поставленных вопросов. Это может привести к значительным проблемам в различных областях, где нужен аккуратный и точный текст. Наша исследовательская цель — разработать систему, которая может диагностировать халлуцинации и определить наличие несогласованности в ответах модели. ## Метод Мы предлагаем Semantic Divergence Metrics (SDM), новую метрику для оценки согласованности ответов модели с запросом. Метод основывается на joint clustering с использованием различных тематических моделей, таких как Sentence-BERT. Мы используем этот подход для создания общей тематической модели для обработки запросов и ответов модели. Для оценки согласованности используются несколько информационно-теоретических метрик, таких как Jensen-Shannon Divergence и Wasserstein Distance, которые позволяют измерить расстояние между запросом и ответом. Мы также предлагаем Semantic Box, диагностическую систему для классификации типов ответов, включая рискованные и недостоверные ответы. ## Результаты Мы проверили наш метод на различных тестовых наборах данных, включая общие текстовые запросы и специализированные задачи. Наши результаты показали, что Semantic Divergence Metrics дают более точные оценки семантической разницы в ответах в сравнении с существующими методами. Мы также установили, что Semantic Box позволяет обнаруживать рисковые ситуации, когда модель использует неточные слова или фразы, что может привести к серьезным ошибкам. ## Значимость Наша работа открывает новые возможности для преодоления проблем халлуцинаций в LLMs. Мы предлагаем метод, который может быть использован в различных сферах, включая здравоохранение, финансы и юриспруденцию, где точность и достоверность ответов критично важны. Мы также показали, что наш метод может помочь разработчикам LLM улучшить модели, оправдав надежный и удобный инструмент для оценки и улучшения целостности и достоверности ответов. ## Выводы Мы представили Semantic Divergence Metrics, новую метрику для диагностики семантической разницы в ответах моделей LLM. Наша работа показала, что наш подход может быть использован для точного определения халлуцинаций в ответах, что позволяет улучшить достоверность и согласованность моделей. Мы также демонстрируем, как наша система может быть

## Контекст Large Language Models (LLMs) становятся все более популярными в различных областях применения, таких как поиск, генерация текста и диалоговые системы. Однако эти модели часто содержат нежелательные биазы и стереотипы, которые могут привести к нежелательным последствиям, таким как распространение предрассудков и дискриминации. Изучение и устранение этих биаз в весах LLMs крайне важно для развития эффективных стратегий минимизации их влияния. Несмотря на то, что существуют методы для эликвидации биаз в LLMs, они либо требуют дорогостоящих и сложных экспериментов, либо оказываются неэффективными для работы с непредсказуемыми или новыми формами биаз. Было предложено BiasGym — многоцелевой инструмент, который позволяет удобно инжектировать и изучать биазы в LLMs, а также использовать полученные сигналы для их устранения. ## Метод BiasGym представляет собой два основных компонента: BiasInject и BiasScope. **BiasInject** предназначен для точечного внедрения биаз в модель, используя токен-базуную тюнинг. Здесь модель остается замороженной, чтобы избежать полного переучивания. **BiasScope** использует созданные сигналы для того, чтобы идентифицировать и управлять слоями модели, ответственными за выражение биаз. Это позволяет создавать систематические эксперименты для изучения и устранения биаз в текстах, в то же время уменьшая затраты на экспериментирование. Метод BiasGym может применяться для разных типов биаз, в том числе и тех, которые не были видны во время токен-базной тюнинг. ## Результаты Исследования проводились на нескольких типах биаз, включая реальные тенденции (например, клише про драйверы из Италии) и фантастические (например, люди из фикциональной страны с голубым кожным цветом). BiasGym позволил не только идентифицировать эти биазы, но и устранить их, сохранив преемственность в плане качества решения задач. Эксперименты проводились на различных моделях, включая те, что являются открытым исходным кодом, и показали, что BiasGym обеспечивает значительную уменьшение биазных тенденций без существенного ухудшения производительности модели на реальных задачах. ## Значимость BiasGym представляет собой универсальный инструмент, который может быть использован для разных целей, включая стратегии минимизации предрассудков в моделях, проверку интерпретируемости текстов, и даже для экспериментов с фантастическими сценариями. Он позволяет снизить нежелательные последствия биаз в LLMs, улучшая их безопасность и этичность. Также, подход BiasGym может быть полезен для научных исследований в области механизмов обучения моделей и их влияния на рез