## Контекст Вопрос-ответ (QA) симуляторы — это модели, которые емулят поведение учащихся и предсказывают их правильность ответов на вопросы. Они широко используются в технических системах рекомендаций в образовательных системах. Традиционные методы, такие как LLM-free, применяют последовательные модели для преобразования истории вопросов-ответов в векторное представление и далее производят предсказания. LLM-based методы используют доменные знания и возможности рассуждений языковых моделей (LLM) для улучшения точности предсказаний. Однако LLM-free методы, хотя и быстры в инференсе, часто дают менее точные результаты. Лем-based методы требуют больших ресурсов, но обеспечивают лучший результат. В этом исследовании предлагается новая модель LLM Distillation based Simulator (LDSim), которая комбинирует достижения LLM-based методов с улучшенной скоростью и эффективностью. ## Метод LDSim основывается на методе дистилляции доменного знания и рассуждений из большой языковой модели (LLM) в более мелкую модель. Мы используем LLM для создания сложных вопросов и ответов, а затем эти данные используются для обучения меньшей модели, которая может эффективно предсказывать правильность ответов. Мы также внедряем техники, такие как квантование весов и индексация, для оптимизации производительности. Эта модель позволяет получать результаты, которые продемонстрировали высокую точность в предсказании ответов, при этом потребляя меньшие ресурсы. ## Результаты Мы провели эксперименты на двух различных датасетах, оценивая точность предсказаний в обоих задачах: вопрос-ответ и трассинга знаний. Наши результаты показали, что LDSim достигает чувствительности в 87.3% и специфичности в 88.1% при задаче предсказания правильности ответов. Это значительно превосходит результаты основных алгоритмов, таких как LLM-free и LLM-based. Кроме того, мы проверили LDSim в задаче квази-носителя контекста в рекомендательных системах и также доказали его эффективность в скорости и качестве. ## Значимость Модель LDSim может быть применена в различных областях, включая образовательные системы, системы мониторинга прогресса учеников и системы для оценки уровня знаний. Она предлагает более быстрый и эффективный подход к подготовке модели, что позволяет снизить затраты на ресурсы GPU и улучшить скорость работы. Помимо этого, LDSim может помочь улучшить качество рекомендаций, снизить вероятность негативных рекомендаций, что вносит положительный вклад в обучение учеников. ## Выводы Мы представили LDSim, модель, которая эффективно дистиллирует доменные знания и рассуждения из больших язы

## Контекст Обработка и классификация отчетов об инцидентах на рабочем месте является важной задачей, способствующей повышению безопасности и эффективности анализа рисков. Однако классические аналитические модели сталкиваются с ограничениями при работе со специализированными и несбалансированными данными, где редкие, но критически важные классы инцидентов часто недооцениваются. Это влечет за собой ухудшение качества моделей и препятствует созданию надежных систем автоматической классификации. Наша мотивация заключается в развитии метода, который удастся справиться с этими проблемами, обеспечивая высокую точность и общую универсальность. ## Метод Мы предлагаем ABEX-RAT — рамочную модель, которая сочетает два ключевых подхода: генерирование синтетических данных и тренировку с учитыванием атак адверсарных примеров. Сначала используется шаг абстрактного усиления (ABEX), где большая модель естественного языка выделяет ключевые элементы отчетов, а затем генерируется новый синтетический датасет с помощью современного текстового моделирования. Второй этап — тренировка с использованием алгоритма лосса градиентов атак (RAT), который улучшает модель, не требуя большого вычислительного затрат. Наша архитектура легковесная, эффективна и может использоваться в различных стихийных задачах классификации. ## Результаты Мы проверили ABEX-RAT на публичном датасете OSHA, сравнив результаты с лучшими существующими моделями. Наш алгоритм показал новую скорую F1-меру (90.32%) и показал существенную выигрыш в надежности. Эти результаты доказывают эффективность нашего подхода в решении проблем сбалансированности классов и повышения общей точности моделей. Отличительные особенности — высокая скорость, низкий потребление ресурсов и устойчивость к имбалансу классов. ## Значимость Наш метод может применяться в сферах, где требуется точная классификация специализированных данных, таких как безопасность на рабочем месте, мониторинг рисков и анализ сложных ситуаций. Он значительно превосходит конкурентные подходы в своей эффективности и универсальности. Мы также отмечаем возможность расширения ABEX-RAT для работы с другими специализированными классификационными проблемами, что делает его заявленным новым стандартом в области автоматической обработки текстов. ## Выводы Мы доказали, что ABEX-RAT — эффективный и гибкий подход к решению проблем классификации специализированных данных. Наши результаты показали, что этот подход может стать новой этапом в развитии моделей для реальной жизни. Наш

## Контекст В последние годы стоит возрастающее внимание на исследованиях, связанных с визуализацией и исследованием взаимосвязей в различных типажах данных. Одним из актуальных направлений является визуализация системных взаимоотношений в зонах хетерогенных доменов, где элементы различных типов (например, лексические единицы или сущности) могут быть взаимосвязаны по некоторым признакам. Такие исследования имеют широкие приложения в области естественного языка, медицины, инженерии и многих других. Единственной проблемой является трудность визуализировать сильно асимметричные зависимости между элементами, тем более при условии многообразия отношений. Мотивация для этого исследования заключается в развитии метода, который позволит эффективно интерактивно исследовать такие сложные взаимосвязи. ## Метод Метод предлагает построение шкалы нормализованной взаимной информации, которая позволяет визуализировать сильные взаимосвязи между элементами различных типов, даже если они асимметричны. Идея заключается в том, чтобы элементы из различных зон были представлены в 2D-пространстве, чтобы можно было визуализировать их зависимости. Для этого используется метод векторного представления, который применяет нормализованные коэффициенты взаимной информации для каждого парного элемента. Таким образом, элементы могут быть легко проанализированы в трёх или более доменах, с учетом взаимоотношений взаимной информации. Для отображения взаимосвязей используется цветовая шкала, которая позволяет пользователям интерактивно увидеть сильные и слабые зависимости в данных. ## Результаты Эксперименты проводились на трех различных наборах данных. На первом наборе данных слов (adjective-noun) был продемонстрирован то, как метод может визуализировать динамические зависимости между глаголами и их аджективами. На втором наборе (NeurIPS) был показан мощный анализ, включая взаимосвязи между терминами и их применениями. На третьем наборе (subject-verb-object) были визуализированы сложные связи между субъектами, глаголами и объектами в тексте. Результаты показали, что метод эффективно визуализирует сильные зависимости, даже в случае сильной асимметрии, и имеет значительный потенциал для визуального исследования информации. ## Значимость Метод предлагается для применения в широком круге областей, где требуется визуализация взаимосвязей между различными типажами данных. Он позволяет раскрыть сильные и слабые взаимосвязи, которые могут быть трудноочевидными при использовании

## Контекст Conversion Rate (CVR) prediction является ключевым компонентом системы онлайн-рекламы, определяющим успех конверсии пользователя. Однако существующие модели CVR используют только один атрибуционный механизм (например, First-Click или Last-Click) для генерации меток и оптимизации модели. Это ограничивает модель, не позволяя ей принимать во внимание дополнительные сигналы от альтернативных механизмов атрибуции. Эти сигналы, хотя и не являются приоритетными для отчетности, могут содержать полезные информационные паттерны. Бизнес-требования, однако, требуют моделей, ориентированных на оптимизацию по ключевому механизму CVR (например, последнего клика). Это создает конфликт между широким представлением данных и индивидуальной оптимизацией. ## Метод Мы предлагаем Multi-Attribution Learning (MAL) — новую архитектуру, которая интегрирует сигналы из нескольких атрибуционных перспектив для улучшения предсказания CVR. Фреймворк MAL состоит из двух модулей: Аggregator Attribution Knowledge (AKA) и Primary Target Predictor (PTP). AKA агрегирует знания из различных методов атрибуции, обучаясь на множестве комбинаций меток атрибуции. PTP, в свою очередь, генерирует вероятности конверсии, ориентированные на системно-критичный механизм атрибуции (например, последний клик). Для улучшения AKA, мы предлагаем CAT (Cartesian Attribution Training) — новую стратегию тренировки, которая использует Cartesian product всех комбинаций меток. Это позволяет значительно расширить объем супервайзда сигналов и улучшить качество следования модели к тем меткам, которые требуются для оптимизации. ## Результаты Мы провели эксперименты на индустриальных данных, сравнивая MAL с одноатрибуционными базовыми моделями. На offline metrics, таких как GAUC, MAL показала +0.51% улучшение. Онлайн-эксперименты показали, что использование MAL привело к +2.6% увеличению ROI (Return on Investment). Эти результаты демонстрируют, что MAL не только улучшает качество оценки важности каждого атрибуционного метода, но и сохраняет совместимость с потребностями системы. ## Значимость Предложенная модель MAL может быть применена в различных индустриальных системах, где несколько методов атрибуции используются вместе. Она позволяет улучшить качество предсказания, при этом сохраняя совместимость с критически важными механизмами атрибуции. Выгоды от интеграции нескольких методов включают более точные предсказания, улучшенную оптимизацию рекламных кампаний и повышенную эффективность рекламных бюджетов. ## Выводы Мы представили новую Multi-Attribution Learning (MAL) архитектуру для CVR prediction, которая позволяет использовать сигналы из нескольких методов атрибуции для улучшения

## Контекст Рекомендательные системы, особенно в сфере коротких видео, играют ключевую роль в современных цифровых платформах. Одной из основных метрик, используемых для оценки качества рекомендаций, является продолжительность просмотра (watch time). Однако существуют многие факторы, затуманяющие этот показатель. Например, продолжительность видео, его популярность, а также поведения конкретных пользователей могут исказить настоящие предпочтения пользователя и привести к системным ошибкам в рекомендациях. Этот эффект называется "заблуждением конфундирующих факторов" (confounding bias). Недостаточный акцент на корректировке таких факторов может привести к неэффективным рекомендациям и ухудшению пользовательского опыта. Наша работа стремится устранить этот биаз, предлагая новый подход к корректировке watch time. ## Метод Мы предлагаем **Relative Advantage Debiasing (RAD)** — метод, корректирующий продолжительность просмотра, сравнивая ее с измеренными референсными распределениями, учитывающими пользовательские и элементские группы. RAD использует **количественную оценку приоритетов** (quantile-based preference), что позволяет перейти от непрерывных watch times к дискретным приоритетам. Для удобного параметрирования распределений мы вводим **распределенные эмбеддинги**, которые эффективно хранят информацию о quantiles без необходимости онлайн-семплирования или хранения исторических данных. Архитектура RAD является двухэтапной: первый этап оценивает распределения, а второй учит предпочтения, что обеспечивает гибкость и точность. ## Результаты Мы проводили эксперименты на двух датасетах: **YouTube-Small** и **Million Song**. РАД показал существенное улучшение в точности рекомендаций по сравнению с базовыми методами, такими как **DebiasMF** и **DBTF**. Эксперименты показали, что наш подход эффективно устраняет биазы в watch time и добавляет достоверность в рекомендации. Кроме того, мы проверили влияние различных компонентов нашей модели, установив, что оба этапа — оценка распределений и учет предпочтений — необходимы для достижения лучших результатов. ## Значимость Наш подход может быть применен в различных рекомендательных системах, где заблуждение конфундирующих факторов может исказить результаты. RAD не только улучшает точность рекомендаций, но также демонстрирует значительную устойчивость к изменениям в распределении данных. Это делает его привлекательным для платформ, где регулярно обновляются тенденции пользователей и контента. Будущие исследования будут ориентированы на расширение модели для более сложных сценариев, таких как мульти-пользовательские сценарии или кросс-платформенные системы. ## Выводы Мы

#### Контекст Fashion industry сегодня находится в условиях быстрого развития, что приводит к возрастающему количеству товаров и сложностям в поиске совместимых предметов на e-commerce платформах. Рекомендационные системы являются ключевым инструментом для улучшения пользовательского опыта, позволяя фильтровать неподходящие товары и предлагать подходящие решения. Однако решение проблемы совместимости прически и личностной рекомендации остается сложной задачей. До сих пор большинство исследований рассматривают эти аспекты отдельно, не учитывая сложные взаимодействия между предметами и пользовательскими предпочтениями. Данная работа предлагает новую модель Hybrid-Hierarchical Fashion Graph Attention Network (FGAT), которая использует графовые нейронные сети и ататнетные механизмы для динамического улучшения рекомендаций. #### Метод FGAT предлагает трехуровневую архитектуру графа, включающую пользователей, наборы (outfits) и элементы (items). Каждый уровень графа содержит визуальные и текстовые признаки, интегрированные для представления общей модели. Граф-аттенционный механизм используется для динамического весообразования узлов в процессе передачи представлений. Это позволяет лучше учитывать взаимосвязи между предметами и личными предпочтениями. Эта модель также учитывает степень важности каждого узла в графе, чтобы генерировать точные представления, как для пользователей, так и для наборов. Таким образом, FGAT может одновременно учитывать и совместимость наборов и личные предпочтения. #### Результаты Работа была оценена на датасете POG. Модель FGAT демонстрирует значительные улучшения по отношению к существующим моделям HFGN в целях рекомендаций. Она показывает лучшие результаты в предложении наборов, высшую точность (precision), hit rate (HR), recall, NDCG и accuracy. Эти результаты доказывают, что интеграция визуальных-текстовых признаков с трехуровневой архитектурой и ататнетными механизмами может значительно повысить точность и эффективность рекомендаций в сфере моды. #### Значимость Фреймворк FGAT может использоваться в различных сферах, таких как стиль, одежда и одежда для разных настроений. Его основное преимущество заключается в способности более точно рассматривать индивидуальные предпочтения пользователей в контексте совместимости во время рекомендации. Это может повысить качество рекомендаций, улучшить опыт пользователей и увеличить лояльность к торговым платформам. Будущими направлениями исследований являются расширение модели для обработки более больших датасетов и интеграция динамических факторов, таких как тренды и сезонность. #### Выводы FGAT доказывает, что ататнетные механизмы и в

## Контекст Область исследования — анализ и улучшение рекомендательных систем, которые играют ключевую роль в различных сферах, от электронной коммерции до социальных сетей. Одна из основных проблем рекомендательных систем — это наличие незаметных факторов, которые влияют на обеих: объекты (например, товары или контент) и пользователей. Эти факторы могут существенно сбивать с толку оценку эффекта рекомендаций, делая их менее достоверными. В статье рассматривается, как стандартные практики, такие как модуляризация, A/B-тестирование и feature engineering, могут привести к ошибкам в оценке эффектов рекомендаций, делая системы менее эффективными. ## Метод Статья использует методологию симуляционных экспериментов для иллюстрации проблемы незаметного конфундинга в рекомендательных системах. Авторы строят модели, которые демонстрируют, как различные практики, такие как использование подмножеств данных и изменение весов при оценке рекомендаций, влияют на полученные результаты. Также в статье приводится анализ существующих рекомендательных систем, показывающий, как эти эффекты могут оказаться реальной проблемой в практических системах. ## Результаты Авторы проводят эксперименты, показывающие, как незаметные факторы могут приводить к существенным ошибкам в оценке эффектов рекомендаций. На основе моделей, строящихся на различных сценариях, в статье продемонстрировано, что даже если все видимые факторы учтены, незаметные могут исказить результаты. Результаты показывают, что это может привести к несоответствию рекомендаций желаемым пользовательским предпочтениям и менее эффективной работе системы в целом. ## Значимость Проблема конфундинга может повлиять на многие практические области, включая экономику, медицину, информационные системы. Рекомендательные системы, основывающиеся на модуляризации, могут стать уязвимыми, если некоторые факторы не учитываются. Устранение этой проблемы позволит улучшить точность рекомендаций и, в конечном счете, повысить качество работы систем в реальном мире. Это также открывает пути для будущих исследований в области улучшения методов оценки эффектов в рекомендательных системах. ## Выводы Статья показывает, что незаметный конфундинг — это реальная проблема для работы рекомендательных систем, даже если полностью заметные факторы учтены. Авторы предлагают несколько стратегий для уменьшения эффекта конфундинга, такие как более тщательный анализ данных и использование моделей, учитывающих незаметные факторы. Будущие исследования могут направляться на развитие более точных методов оценки и коррекции эффекто

## Контекст Auto-bidding широко используется в рекламных системах для оптимизации бюджета, помогая рекламодателям добиться лучших результатов. Он позволяет автоматизировать процесс выставления ставок на показ рекламных объявлений, увеличивая эффективность рекламных кампаний. Несмотря на свои преимущества, существуют некоторые ограничения. Многие существующие подходы основываются на reinforcement learning, но они имеют свои ограничения в планировании длительных горизонтов. Generative bidding, в свою очередь, позволяет решать такие проблемы благодаря более гибкому и сильному планированию. Однако оптимальность генерируемых последовательностей не всегда гарантируется, так как поиск оптимальных решений часто происходит без учета персонализированной структуры данных. Кроме того, т-шаговый авторегрессионный механизм в diffusion models может привести к задержкам. Это исследование фокусируется на развитии более эффективного и персонализированного подхода к generative bidding. ## Метод Мы предлагаем **Expert-Guided Diffusion Planner (EGDP)** – метод, основанный на diffusion modeling, который включает в себя гибридную стратегию обучения с базой оптимальных экспертных траекторий и механизмом skip-step sampling. Экспертные траектории используются для создания начальных предложений для обучения, а skip-step sampling позволяет ускорить процесс генерации, уменьшая количество шагов, необходимых для достижения цели. Модель адаптивно учитывает персонализированные предпочтения и структуру данных, чтобы генерировать более оптимальные решения. Также мы разрабатывали архитектуру, которая обеспечивает рост эффективности в процессе генерации, ограничивая риски задержек в авторегрессионной модели. ## Результаты Мы проводили обширные offline и online тестирования, используя данные из реальных рекламных систем. В offline экспериментах мы сравнили нашу модель с двумя современными алгоритмами. Результаты показали, что EGDP превосходит конкуренты, достигая более высокой точности и оптимальности решений. В online A/B-тестировании, проведенном на продвинутом рекламном сервисе, EGDP показал следующие результаты: повышение конверсии на 11.29% и увеличение дохода на 12.35% по сравнению с базовым подходом. Эти результаты подтверждают эффективность нашего подхода в реальной среде. ## Значимость Предлагаемый подход может быть применен в различных областях, где необходимо быстрое и оптимальное планирование, таких как реклама, финансы, логистика и другие. Он предлагает следующие преимущества: улучшенная точность генерации, эффективность в процессе работы и ликвидность решений. Потенциальное влияние заключается в том, что наш подход может повысить производительность и эффек

#### Контекст Time series forecasting играет ключевую роль в различных областях, таких как прогнозирование погоды, финансовые рынки и рынки недвижимости. Точные прогнозы позволяют принимать обоснованные решения и снижать риски. Однако существующие модели часто не учитывают важную составляющую временных рядов — временно замедленные кросс-корреляции между последовательностями. Эти корреляции помогают понять сложные взаимоотношения в данных. Наша работа решает эту проблему, предлагая Time-Lagged Cross-Correlations-based Sequence Prediction (TLCCSP), которая улучшает точность прогнозирования, используя временно замедленные корреляции. #### Метод Мы предлагаем расширенную архитектуру TLCCSP, включающую два основных модуля: SSDTW (Sequence Shifted Dynamic Time Warping) и CLE (Contrastive Learning Encoder). Сначала SSDTW определяет временно замедленные корреляции в последовательностях, а затем CLE эффективно приближает эти замедленные корреляции с помощью метода обучения с подкреплением по контрасту. Это решение позволяет улучшить точность прогнозов и сократить вычислительные затраты. #### Результаты Мы проверили TLCCSP на временных рядах погоды, финансовых данных и недвижимости. Результаты показали, что метод SSDTW уменьшает MSE (Mean Squared Error) в значительной степени. В сравнении с односерийными методами, SSDTW снизил MSE на 16.01% для погодных данных, на 9.95% для финансовых данных и на 21.29% для недвижимости. Благодаря CLE, MSE уменьшился еще больше — на 17.88% для погодных данных, на 6.13% для финансовых данных и на 8.62% для недвижимости. Также CLE снизил вычислительные затраты SSDTW приблизительно на 99%. #### Значимость Наше решение может быть применено в различных сферах, где временные ряды играют ключевую роль. TLCCSP не только повышает точность прогноза, но и сокращает вычислительные затраты, что делает его привлекательным для сценариев, требующих реального времени. Это улучшение можно использовать в прогнозировании погоды, финансовых рынках и динамике недвижимости, что повысит качество решений и снизит риски. #### Выводы Мы успешно предложили TLCCSP, показав его эффективность в улучшении прогнозирования временных рядов. Наши результаты показывают, что временно замедленные корреляции играют важную роль в повышении точности. В будущем мы планируем расширить TLCCSP для поддержки более сложных задач и применить его в интеллектуальном анализе данных.

## Контекст В последние годы, в связи с ростом внимания к сохранению частной жизни, рекомендационные системы приходят к использованию Федеративного Обучения (Federated Learning, FL) — методу, позволяющему обучать модели на основе данных, не вынося его за пределы устройств пользователей. Федеративная рекомендация (FedRec) стала популярной в этой области, так как она обеспечивает защиту конфиденциальности без потери качества рекомендаций. Однако, существующие FedRec-методы сталкиваются с проблемами в случае, когда данные имеют нестационарный характер, что приводит к ухудшению качества рекомендаций в процессе обучения. С другой стороны, методы Непрерывного Обучения (Continual Learning, CL) рекомендаций (CLRec) способны адаптироваться к изменению предпочтений пользователя, но обычно предполагают централизованный доступ к данным, что несовместимо с ограничениями FL. Наша работа рассматривает эту проблему, предлагая новый подход, который объединяет FedRec и CLRec — **Federated Continual Recommendation (FCRec)**. Мы предлагаем F3CRec — рамочный подход, который решает эту проблему, сохраняя качество рекомендаций в течение времени в условиях FL. ## Метод Мы предлагаем F3CRec — рамочный подход, который решает проблему FCRec, объединяя лучшее из FL и CLRec. Основными компонентами этого подхода являются два ключевых элемента. **Adaptive Replay Memory** — это механизм, работающий на устройстве пользователя, который выбирает и сохраняет прошлые предпочтения пользователя на основе определенных критериев, таких как пользовательские изменения в предпочтениях. **Item-wise Temporal Mean** — это серверный механизм, который интегрирует новые данные, сохраняя при этом информацию из прошлых периодов. Эти компоненты работают вместе, чтобы обеспечить баланс между сохранением предыдущих знаний и адаптацией к новым данным. Наша архитектура гарантирует, что FedRec не только сохраняет конфиденциальность, но и обеспечивает высокое качество рекомендаций в течение длительного периода. ## Результаты Мы провели ряд экспериментов, используя реальные данные рекомендаций, такие как MovieLens и Yahoo! Music. Мы сравнили F3CRec с существующими FedRec и CLRec-методами, измеряя качество рекомендаций в течение времени. Наши результаты показывают, что F3CRec не только превосходит существующие методы в качестве рекомендаций, но и обеспечивает более стабильную производительность в процессе изменения предпочтений пользователей. Эти эксперименты подтверждают, что наш подход эффективно решает проблему нестационарности данных в FL-системах, сохраняя качество рекомендаций в течение многих итераций. ## Значимость Предложенная рамочная модель F3CRec может быть применена в различных областях, таких как элек