## Контекст Оценка индивидуальных лечебных эффектов из исследовательских данных представляет сложность, ограниченную неизмеренными конфундирующими факторами и структурными склейками. Методы машинного обучения для выявления причинных связей, такие как деревья причинно-следственных связей и удвоенно-надежные оценки, позволяют приблизительно оценивать условные средние эффекты лечения. Однако, в реальных условиях, особенно при наличии неизвестных конфундирующих факторов или когда конфундирующие факторы описаны неструктурированными данными, эти методы оказываются неэффективными. Более того, поиск и интерпретация конфундирующих факторов часто требует вклада специалистов, что приводит к высоким затратам на аннотацию и ограниченной масштабируемости. В данной работе мы предлагаем использовать Large Language Model (LLM)-based агентов для автоматической выявления конфундирующих факторов и анализа подгрупп в рамках методов статистической выявления причинных связей. Наш предложенный подход интегрирует LLM-based агентов в цепочку методов машинного обучения для выявления причинных связей, уменьшая зависимость от экспертов и сохраняя понимание механизмов работы системы. ## Метод Мы разработали рамочный подход, который использует LLM-based агентов в качестве компонентов системы для выявления конфундирующих факторов и анализа подгрупп в статистической выявлении причинных связей. Наш подход включает два основных этапа: выявление конфундирующих факторов и анализ подгрупп. Первый этап использует LLM-based агентов для автоматического выявления тем, которые могут служить конфундирующими факторами в данных, исходя из семантического контекста и паттернов в данных. Второй этап использует эти выявленные конфундирующие факторы для уточнения подгрупп, используя методы условных оценок, таких как деревья причинно-следственных связей и удвоенно-надежные оценки. Этот подход использует мощь LLM-based агентов для автоматизации задач, которые раньше требовали ручного вмешательства экспертов, избавляя от затрат и ограничений масштабирования. ## Результаты Мы провели эксперименты на реальных медицинских данных, включая данные по лечению рака и заболеваний сердца. Мы сравнили нашу методику с существующими подходами к выявлению конфундирующих факторов и оценке индивидуальных лечебных эффектов. Наши эксперименты показали, что LLM-based агенты обеспечивают более точную оценку индивидуальных лечебных эффектов, сужая доверительные интервалы и выявляя незамеченные ранее конфундирующие факторы. Особенно выдающимся было

#### Контекст Современные рекомендательные системы сталкиваются с ограничениями при определении пользовательских предпочтений и предложении подходящих рекомендаций. Одной из важных задач является интеграция дополнительного знания, чтобы улучшить точность рекомендаций. В этом контексте, большие языковые модели (LLMs) становятся полезными источниками знаний. Однако, применение данных от LLMs непосредственно в рекомендательных моделях часто приводит к проблемам, таким как генерация неточных сведений (hallucination), дублирование контента или повторение информации (content redundancy), а также снижению разнообразия рекомендаций (information homogenization). Необходимо разработать методы, которые позволят выборочно использовать высококачественные знания из LLMs, чтобы повысить эффективность рекомендательных систем. #### Метод Предлагается **Knowledge Selection & Exploitation Recommendation (KSER)** фреймворк, который состоит из двух основных модулей. **Модуль фильтрации знаний (Knowledge Filtering Module)** использует Embedding Selection Filter Network (ESFNet) для присвоения адаптивных весов различным кусочкам знаний в различных областях знаний. **Модуль выравнивания пространств эмбеддингов (Embedding Spaces Alignment Module)** применяет архитектуру на основе внимания (attention-based) для выравнивания семантических эмбеддингов, полученных от LLMs, с пространством признаков, используемым в рекомендательных моделях. Это методология позволяет повысить качество рекомендаций, обеспечивая выборку и эффективное использование высококачественных знаний. #### Результаты В экспериментах были изучены различные данные, включая рекомендательные задачи с разными наборами данных. Метод KSER показал существенные повышения показателей качества рекомендаций по сравнению с базовой моделью. Наборы данных, использованные в экспериментах, были включены в различные сценарии применения. Результаты подтвердили то, что модули фильтрации и выравнивания знаний не только улучшают точность, но и обеспечивают разнообразие рекомендаций. #### Значимость Предлагаемый подход имеет широкие практические применения в рекомендательных системах, поисковых системах, и других областях, где необходимо оперировать высококачественным знанием. Он позволяет улучшить качество рекомендаций, обеспечив точность и разнообразие, а также обеспечивает увеличение его полезности в различных случаях. Кроме того, данный подход может стать основой для будущих исследований в области знаний в рекомендательных системах. #### Выводы Результаты экспериментов подтвердили эффективность KSER-фреймворка в выборе и использовании высококачественных знаний из LLMs. Он демонстрирует значительное повышение эффективности рекомендательных моделей и может быть применен в различных сферах. Будущие исследования будут сосредоточены на улучшении

#### Контекст Обучение с отклонениями от целей является ключевым аспектом модернизации индивидуализированного обучения. Несмотря на развитие методов, включая интервальное распознавание, глубокое обучение и управляемые модели, нет единого подхода, который бы учитывал отклонения от целей в виде мистек восприятия. Это приводит к ограниченности существующих теоретических моделей в понимании и корректировке таких проблем. Более того, нет инструментов, которые бы сочетали оценку учеников, диагностику проблем, создание ресурсов и оптимальное распределение заданий. На основе этих проблем авторы предлагают EDGE — новую теоретическую модель, которая соединяет различные аспекты обучения, включая оценку мозгового работу, коррекцию ложных представлений и оптимальный планирование. #### Метод EDGE представляет собой комплексный подход, состоящий из четырех этапов: оценка (определение возможностей и статуса ученика), диагностика (идентификация проблемных мест в понимании), генерация (создание пользовательских ресурсов) и выполнение (оптимальное распределение заданий). Модель сочетает теории поведения, контрастирующих заданий, нейросетевые технологии и управляемые распределения. Отдельное внимание уделяется формализации понятий "реаднесс", который описывает готовность ученика к теме, и "EdgeScore", который моделирует монотонность и липшицеву непрерывность. Для решения задач используются методы нейронного кодирования, статистические модели и математическая индукция, чтобы поддерживать модель в условиях сильного вариативности данных. #### Результаты Проводились эксперименты, в которых был протестирован подход EDGE на разных выборках. Было проанализировано влияние различных моделей и показано, что EDGE демонстрирует высокую точность в определении отклонений и распределении ресурсов. Также была проверена степень подходящества решений, имеющихся в EDGE, и проанализирована эффективность в разных условиях. Данные поддерживают гипотезу о том, что EDGE может оказаться более эффективным, чем существующие методы, в обработке отклонений от целей. #### Значимость Работа EDGE имеет значительные потенциальные применения в образовательных процессах, где требуется персонализированный подход к обучению. Одной из основных преимуществ является возможность моделировать и корректировать отклонения от целей в реальном времени. Благодаря этому можно повысить эффективность обучения, уменьшить время, необходимое для достижения целей, и обеспечить гибкость в реализации программ обучения. Данные разработки могут повлиять на развитие интеллектуальных си

## Контекст Колдость (cold start) — одна из самых острых проблем в индустриальных системах рекомендаций. Новые элементы, такие как видео, продукты или услуги, часто не имеют существующей истории взаимодействий, что затрудняет их показ пользователям в личностной форме. Обычные модели, основанные на совместном фильтрировании (collaborative filtering), сталкиваются с проблемой недостатка данных о пользовательских взаимодействиях. Заточенные на содержимое (content-based) модели, в свою очередь, не учитывают специфику пользователя. Мы предлагаем SocRipple, двухэтапную систему, специализированную на распространении новых элементов на социально-графовых платформах. Эта система адресует основные вызовы колдости за счет учитывания социальных связей создателей и использования ранних сигналов взаимодействий для распространения рекомендаций. ## Метод SocRipple состоит из двух этапов. В первом этапе, мы используем социальные связи создателя, чтобы дать начальную экспозицию новым видео. Это достигается путем целенаправленного распространения видео среди пользователей, которые исторически взаимодействовали с контентом этого создателя. Во втором этапе, мы используем ранние сигналы взаимодействий (например, просмотры и рейтинги) для обучения стабильных пользовательских представлений. Затем эти представления используются в KNN-поиске для распространения видео среди пользователей с аналогичными предпочтениями. Это двухэтапный подход позволяет эффективно обрабатывать проблему колдости, сочетая целевую экспозицию и персонализацию. ## Результаты Мы провели значительные эксперименты на большом видеопортале, используя реальные данные пользователей и видео. Результаты показывают, что SocRipple увеличивает распространение новых видео на +36% по сравнению с существующими методами, при этом сохраняя высокий уровень участия пользователей в этих видео. Модель также позволяет повысить эффективность распространения новых видео без существенного снижения качества рекомендаций для пользователей. Эти результаты подтверждают способность SocRipple эффективно решать проблему колдости без ущерба для качества пользовательского опыта. ## Значимость SocRipple может применяться в различных областях, где возникают проблемы колдости, таких как видеорекомендации, магазины продуктов и услуг. Особый потенциал этой модели виден на социально-графовых платформах, где создатели контента могут быстро набрать популярность, и у пользователей есть желание получать актуальный и персонализированный контент. Основное преимущество SocRipple заключается в способности ему быстро и эффективно распространять

## Контекст Поиск рекомендаций в неизвестных областях (Out-of-Distribution, OOD) является важной задачей в области технологий рекомендаций. Одним из ключевых исходящих беспокойств в этой области является выбор достоверных негативных примеров (негативное семплирование). Многие существующие методы рекомендаций, такие как heuristic negative sampling, выбирают негативные примеры из ограниченных кандидатских пулов, чтобы направить модель на обучение точных границ решений. Однако, эти методы опасны в том случае, если кандидатские пулы содержат условия искажения, такие как популярность или экспозиция. Такие условия могут привести к ложноположительным "ложно-тяжелым" негативным примерам (FHNS), что, в свою очередь, может вызвать спуриозные зависимости в модели и снизить ее устойчивость к сдвигу распределений. Данная статья адресует эту проблему, предлагая метод Causal Negative Sampling via Diffusion (CNSDiff), который стремится создать более устойчивые и точные негативные примеры для OOD-рекомендаций. ## Метод CNSDiff вводит метод синтеза негативных примеров в латентном пространстве с помощью процесса условной диффузии. Этот процесс позволяет сэмплировать негативные примеры непосредственно из латентного пространства, а не из предварительно определенных кандидатских пулов. Это снижает влияние ложноположительных "ложно-тяжелых" негативных примеров (FHNS), так как негативные примеры становятся более точными и не зависят от популярности или экспозиционных факторов. Для улучшения устойчивости к сдвигу распределений, CNSDiff добавляет к модели каскадное регулирование, которое основывается на принципах гипотезы причинности (causal regularization). Это регулирование минимизирует влияние популярности и экспозиции в кандидатских примерах, чтобы сделать модель более устойчивой к сдвигу распределений. Таким образом, CNSDiff способствует более точному и устойчивому обучению модели, способной работать в условиях сдвигов распределений. ## Результаты Для оценки эффективности CNSDiff проводились широкие эксперименты под управлением четырех различных сценариев сдвига распределений. Использовались данные из реальной среды рекомендаций, чтобы эмулировать реальные ситуации сдвига распределений. Результаты показали, что CNSDiff обеспечил средний улучшение в 13.96% по всем оценочным метрикам по сравнению с состоянием технологии (SOTA) методами для OOD-рекомендаций. Эти результаты подтверждают то, что CNSDiff не только улучшил точность модели, но и увеличил ее устойчивость к сдвигу распределений, установив новый стандарт в рекомендательных системах. ## Значимость CNSDiff имеет широкие области применения в OOD-рекомендации, вк

## Контекст Открытый мир (open-world) — это многопрофильная область исследований, которая направлена на обнаружение и обработку неизвестных классов в данных. Открытый мир отличается от стандартных сценариев, где модели обучаются только на известных классах. В открытом мире необходимо обнаруживать неизвестные классы и обновлять модель в режиме реального времени. Существующие методы, такие как OOD-обнаружение и инкрементное обучение, сталкиваются с проблемами: OOD-обнаружение не обновляет знания модели, а инкрементное обучение требует наличия меток для новых классов, что не соответствует открытому миру. Наличие этих проблем подчеркивает необходимость разработки универсального подхода, который мог бы объединить OOD-обнаружение, обнаружение новых классов и инкрементное обучение в единое целое. ## Метод OpenHAIV представляет собой инновационный фреймворк, который решает вышеуказанные проблемы. Он состоит из трех основных компонентов: 1. **OOD-обнаружение (Out-of-Distribution Detection):** Этот компонент позволяет модели определять новые классы в данных. 2. **Обнаружение новых классов (New Class Discovery):** Этот модуль использует OOD-обнаруженные данные для выделения и обработки новых классов. 3. **Инкрементное обучение (Incremental Continual Fine-tuning):** Этот модуль обновляет модель, используя обнаруженные новые классы, и позволяет ей продолжительно обучаться в открытом мире. Технология OpenHAIV лежит в основе модели представления, объединяющей эти компоненты в единую целостную систему. ## Результаты Эксперименты проводились на стандартных датасетах, в том числе CIFAR-100, ImageNet или TinyImageNet. Открытый мир был воспроизведен, добавляя неизвестные классы во время выполнения. Результаты показали, что OpenHAIV превосходит существующие методы в обнаружении неизвестных классов, в новом классе обнаружения и сохранении модели на протяжении длительного времени. Открытый код и результаты доступны на сайте https://haiv-lab.github.io/openhaiv . ## Значимость OpenHAIV открывает новые возможности в широких областях применения, таких как робототехника, медицина, анализ данных и мониторинг сетей. Он позволяет моделям не только распознавать данные, но и адаптироваться к новым условиям в реальном времени. Это предоставляет потенциал для улучшения производительности в сложных интеллектуальных системах. ## Выводы OpenHAIV представляет собой новую модель, которая объединяет OOD-обнаружение, обнаружение новых классов и инкрементное обучение. Это решение развивает открытый мир, расширяя возможности моделей в реальном времени. Будущие исследования будут направлены на улучшение эффективности фреймворка, а также на расширение его применения в разли

## Контекст В последние годы появились большие модели языка, которые обладают высокой точностью в обработке текстовых данных. Однако в сфере распознавания речи эти модели часто сталкиваются с проблемами, связанными с недостаточным пониманием контекста и паралюнгвистических признаков, таких как эмоциональные оттенки или тональность. Это ограничивает их применение в сценариях, требующих эмоционального рассуждения, таких как взаимодействия с клиентами или помощь людям с ограниченными функциями языка. Необходимо развить методы, которые позволят моделям лучше понимать и реагировать на эти паралюнгвистические сигналы, улучшая их эмоциональную интеллектуальность. ## Метод Мы предлагаем два подхода для включения контекста и паралюнгвистических признаков в обучение больших моделей речевого понимания. **Первый подход** — это прямое использование паралюнгвистической метаинформации, такой как аннотации эмоций, напрямую в процессе обучения модели. **Второй подход** — это автоматическое генерирование вопросов-ответов (QA-пар) на основе категориальных и димиенциональных аннотаций эмоций, а также речевых транскрипций. Этот подход позволяет модели не только получить информацию о контексте, но и сформировать самостоятельные мысли об эмоции, улучшая ее углубленное понимание. ## Результаты Мы провели эксперименты с применением двух подходов на корпусе QA-пар с человеческими аннотациями эмоций. Эксперименты показали, что **автоматическое генерирование QA-пар повышает точность модели на 38.41% в сравнении с базовой версией LLM**. Когда оба подхода (explicit и implicit) объединяются, результаты улучшаются до **46.02%**, что демонстрирует эффективность комбинированного подхода. Также мы проверили надежность LLM-judge, обнаружив высокую корреляцию с классическими методами оценки качества моделей. ## Значимость Наши результаты доказывают, что модели с поддержкой контекста и паралюнгвистических признаков могут значительно улучшиться в задачах, требующих эмоционального рассуждения. Это открывает широкие перспективы для использования в сферах, таких как клиентская служба, медицинское обслуживание и социальная поддержка. Преимущества нашего подхода также заключаются в том, что он может быть интегрирован в уже существующие модели без внесения значительных изменений в архитектуру и обучение. Это делает его привлекательным для практического применения. ## Выводы Мы успешно продемонстрировали, что интеграция контекста и паралюнгвистических признаков в модели речи-языка может значительно улучшить их эмоциональное понимание. Нашей

#################### ## Контекст #################### В последние годы повышается внимание к оценке и мониторингу ментального здоровья в реальном времени, особенно в условиях увеличения спроса на психологические услуги. Однако традиционные методы оценки не всегда эффективны, так как требуют много времени или не обеспечивают точности в диагностике многообразных трансдиагностических симптомных профилей. Большие языковые модели (LLM) обещают решать эти проблемы, предлагая интерактивные и скалярные способы оценки. Однако использование LLM в сфере оценки ментального здоровья также имеет свои недостатки: постоянное задавание вопросов может напрячь пользователя и оказаться неэффективным. Необходимо разработать метод, который бы уменьшил количество запросов, сохранив точность диагностики. #################### ## Метод #################### Мы предлагаем MAQuA (Adaptive Question-Asking), новую адаптивную систему для вопрошения, основанную на теории ответа на запросы (IRT) и анализе факторов. Этот подход оптимизирует порядок вопросов, учитывая необходимость максимального получения информации для оценки множества ментальных здоровья показателей одновременно. Обучение системы происходит на основе многорезультатного моделирования языковых ответов и анализа факторов с помощью IRT. Машинное обучение использует сложные модели, чтобы выбирать вопросы, которые приведут к наиболее информативным ответам на текущем шаге. Это позволяет снизить бесполезные запросы и увеличить точность диагнозирования. #################### ## Результаты #################### Мы провестили эксперименты на новой коллекции данных, охватывающей разные аспекты ментального здоровья. Результаты показали, что MAQuA уменьшает количество запросов, необходимых для достижения стабильности результатов, на 50-87% в сравнении с системами, использующими случайный порядок вопросов. Например, используя MAQuA, можно достичь стабильных результатов в диагностике депрессии с 71% меньшим количеством вопросов. Еще MAQuA демонстрирует робастные результаты в диагностике обоих типов симптомов: внутренних (депрессия, тревожность) и внешних (наркотическое зависимость, приступы еды). Благодаря стратегиям раннего остановки, MAQuA также уменьшает время, необходимое пользователю для прохождения оценки. #################### ## Значимость #################### MAQuA может быть применен в различных сферах, включая клиническую практику, образовательные учреждения и индивидуальные исследования. Он предоставляет следующие преимущества: повышение точности диагноза, уменьшение времени и усилий, необходимых для оценки, и улучшение пользовательского опыта. Этот подход открыва

#### Контекст В последние годы глубокие нейронные сети (DNNs) стали одним из наиболее эффективных инструментов для решения задач классификации изображений, текстов и аудио. Однако у них существует значительный недостаток: недостаточная понятность интерпретации результатов. Это ограничивает их применение в критических областях, таких как медицина и юриспруденция, где требуется понятная интерпретация решений. Одним из подходов к разъяснению внутренних представлений сетей является Activation Maximization (AM) — метод, нацеленный на синтез входных данных, вызывающих сильные ответы от нейронов сети. Несмотря на то, что AM был применен ранее, основные исследования фокусировались на последних слоях сверточных нейронных сетей (CNNs). Наша мотивация заключается в расширении этого подхода на внутренние слои и использовании его для разных архитектур, включая Vision Transformers (ViTs). #### Метод Мы предлагаем обобщенную фреймфорк для визуализации функций, который может быть применен к CNNs и ViTs. Наш метод строится на идее максимизации активации нейрона, используя градиентный подъем по многомерному пространству входов. Для того чтобы расширить применение метода на внутренние слои, мы применяем локальные ограничения, чтобы генерировать входы, которые активируют конкретные нейроны внутри этих слоев. Для ViTs мы используем трансформерские блоки для уточненной визуализации. Эта архитектура позволяет проводить эксперименты не только с выходными слоями, но и с промежуточными, что дает более полное представление о внутреннем устройстве сетей. #### Результаты Используя наши методы, мы провели эксперименты на популярных базах данных, таких как CIFAR-10 и ImageNet. Мы сравнивали наши результаты с текущими методами визуализации и показали, что наш подход дает более ясные и точные представления о внутренних представлениях. Мы также проверили эффективность нашего подхода в создании адверсарных примеров, показав, что он может эффективно использоваться для выявления уязвимостей DNNs. Выполненные эксперименты указывают на широкую применимость нашего подхода к разным типам нейронных сетей. #### Значимость Наш подход может быть применен в системах, требующих понятной интерпретации результатов, таких как медицинские системы диагностики и системы безопасности. Он также может стать полезным для отладки моделей и выявления уязвимостей, что может привести к более надежным системам. Более широкое применение включает в себя исследования в области обучения с подкреплением и моделирования внимания, где понимание внутренних представлений ключевое значение имеет. #### Выводы М

## Контекст В последние годы становится все яснее, что электроэнцефалограмма (EEG) представляет собой мощный инструмент для изучения динамики мозговой деятельности. Однако, несмотря на свои возможности, использование EEG в области обучения машин для оценки уровня нагрузки на мозг (cognitive load state) сталкивается с рядовыми проблемами. Одна из основных проблем заключается в том, что существующие модели часто не могут точно отличить между такими сигналами, как "Rest" (отдых) и "Load" (нагрузка). Это ограничивает потенциальные применения технологий в области здравоохранения, робототехники и интеллектуальных систем. Для улучшения точности оценки нагрузки на мозг определенные исследователи принимают во внимание взаимосвязь между EEG-сигналами и микростатусами мозга (microstates). Эти микростаты — это короткие, стабильные состояния мозговой активности, которые могут сигнализируть о разных уровнях когнитивных процессов. Изучение этой связи может помочь в создании более точных моделей для оценки уровня нагрузки на мозг. Несмотря на это, существующие подходы недостаточно эффективны или недостаточно гибки для решения этой проблемы. В данном исследовании предлагается использовать микростатусы EEG в качестве источника данных для тонкой настройки (fine-tuning) Больших Моделей Языка (LLMs), чтобы улучшить их возможности в дифференциации уровней когнитивной нагрузки. Этот подход имеет значительный потенциал для развития области классификации когнитивных состояний и интеллектуальных технологий в целом. ## Метод Для достижения поставленных целей была разработана систематическая методология, состоящая из четырех запланированных этапов. **Первый шаг** — сбор и предварительная обработка данных. Для экспериментов была использована подготовленная выборка EEG, которая уже была связана с определенными уровнями когнитивной нагрузки ("Rest" и "Load"). Эта выборка была пройдена тщательной обработкой для удаления шума и исключения неточных сигналов. **Второй шаг** — сегментация EEG-сигналов и восстановление микростатусов (EEG backfitting). Микростаты были определены и использованы для создания конкретных фичей, которые могут быть использованы во время процесса обучения модели. **Третий шаг** — выделение признаков и оптимизация предложений (prompt engineering). Извлеченные микростатусы были задействованы при формировании предложений, которые были представлены модели для обучения. Эти предложения были специально сконструированы для того, чтобы обеспечить наиболее точную классификацию уровней нагрузки. **Четвертый шаг** — выбор и тонкая настройка модели. Была проведена серия экспериментов с различными моделями Больши