## Контекст Тест-time reinforcement learning (TTRL) предлагает эффективные способы самооптимизации для моделей языковых моделей (LLM), используя псевдо-меток, сгенерированных самими моделями. Это позволяет моделям самостоятельно совершенствовать свои ответы в процессе работы, не требуя постоянного вмешательства или дополнительных данных. Однако существуют серьезные проблемы, такие как высокий затратный расход ресурсов на вывод и сильное переобучение, которое приводит к ограниченной диверсии ответов и ухудшению качества. Эти ограничения становятся большой преградой для использования TTRL в продвинутых задачах рассуждения, таких как математика и программирование. Именно эти задачи и требуют новых подходов, которые бы сбалансировали эксплорейшн и эксплойтайшн для улучшения результатов. ## Метод Мы предлагаем метод, основанный на механизме энтропии, чтобы решить проблему эффективного баланса между эксплорейшн и эксплойтайшн в TTRL. Основные компоненты нашего подхода: **Entropy-fork Tree Majority Rollout (ETMR)** и **Entropy-based Advantage Reshaping (EAR)**. ETMR позволяет создавать дерево решений, где каждое направление исследования имеет разный уровень энтропии, что уменьшает влияние сильной оценки на раннем этапе. EAR, в свою очередь, адаптирует веса выбора для каждого роллаута, чтобы сохранять разнообразие ответов. Модель LLM (Llama3.1-8B) используется в качестве основы для этих методов. Эти предложенные методы были протестированы на AIME 2024 benchmark, чтобы оценить их эффективность. ## Результаты Результаты экспериментов показывают, что наш метод обеспечивает значительные улучшения в сравнении с базовыми моделями. Так, Llama3.1-8B с нашим подходом показала +68% relative improvement в Pass@1 метрике на AIME 2024 benchmark, при этом используя лишь 60% от обычного бюджета роллаутов. Это показывает, что энтропийный подход существенно улучшает точность вывода, разнообразие ответов и эффективность модели в условиях ограниченных ресурсов. Эти результаты подтверждают нашу методику как эффективное решение для балансировки проблем эксплорейшн и эксплойтайшн в TTRL. ## Значимость Наши исследования могут быть применены в различных областях, где необходима самооптимизация моделей языковых моделей в условиях ограниченных данных. Например, в сфере программирования, математических задач, а также в любых ситуациях, где требуется высокая адаптивность и возможность самостоятельного улучшения. Этот подход также может сыграть ключевую роль в создании более стабильных и надежных моделей, уменьшая риск переобучения и повышая точность ответов. Будущие исследования будут ско

#### Контекст Электроэнцефалограмма (EEG) — важный инструмент в области мониторинга нейрофизиологических процессов и интеллектуальных технологий. Однако, применение EEG в системах Brain-Computer Interface (BCI) сталкивается с значительными вызовами, в том числе существенной индивидуальной различием (inter-subject variability) и недостатком представительных репрезентаций, которые могут быть эффективно использованы в кросс-субъектной моделировании. Нехватка эффективных методов, позволяющих выделить инвариантные для всех пользователей задачи, затрудняет получение точных и переносимых результатов. Мотивация для данного исследования заключается в развитии методов, которые могут обеспечить интерпретируемость и надежность моделей для кросс-субъектного EEG-декодирования, учитывая особенности нейрофизиологической активности каждого пользователя. #### Метод PTSM (Physiology-aware and Task-invariant Spatio-temporal Modeling) представляет собой инновационный подход к моделированию нейрофизиологических сигналов. Он включает **двух ветвленную механизм масок**, который отдельно учитывает персонализированные и общие (для всех субъектов) характеристики спектро-временных фрагментов сигнала. Эти маски используются для модификации значимых слоев нейронной сети, позволяя удерживать индивидуальные особенности, такие как расположение электродов и нейропатологии, при этом извлекая общие для задачи признаки. Более того, PTSM внедряет информационно-теоретические ограничения, разделяющие представления в независимые подпространства, относящиеся к задаче и к субъекту. Это позволяет сократить кросс-субъектные ошибки и улучшить общую точность модели. Модель тренируется с помощью многообъективного подхода, который позволяет максимизировать точность классификации, поддерживать контрастные представления, и обеспечивать разделение персонализированных и общих признаков. #### Результаты Для оценки PTSM, авторы проводили исследования на нескольких многоперсоновых датасетах, связанных с задачей кросс-субъектного моторного воображения. При сравнении с состоянием технологии, PTSM показал существенное улучшение в перекрестном декодировании, подтвердив свою способность достигать значительного улучшения в переносимости и точности. Благодаря дисентгалированным представлениям, PTSM обеспечивает высокую гибкость в моделировании нерегулярных и нестационарных нейрофизиологических сигналов. Эксперименты показали, что PTSM способен обеспечить нулевую-темпу обучения и превосходить существующие методы в задаче переносимости. #### Значимость Предложенный подход PTSM имеет широкие перспективы применения в об

## Контекст Decision-focused learning (DFL) — это методология, нацеленная на обучение машинного обучения (ML) модели для предсказания параметров оптимизационных задач, чтобы напрямую минимизировать регрет решения (то есть, максимизировать качество решения). Одна из основных проблем DFL заключается в том, что для многих типов оптимизационных проблем, таких как линейные программы (LP), градиент от регрета по полученным предсказаниям примерно везде равен нулю. Это сделает традиционные градиентно-слоистые DFL-подходы неэффективными. Однако существуют два основных подхода для обхода этой проблемы: (а) сглаживание LP с помощью квадратичного регуляризатора, чтобы достичь дифференцируемого оптимизационного проблемы и уменьшить регрет, и (б) минимизация суррогатных потерь, которые имеют информативные (под)градиенты. Несмотря на эти подходы, все равно остаются проблемы с эффективностью и точностью. Цель нашей работы — проанализировать эти проблемы и предложить новую модель, которая бы улучшила результаты DFL. ## Метод Мы предлагаем метод, основанный на минимизации суррогатных потерь, даже при использовании дифференцируемых оптимизационных слоев. Мы показываем, что суррогатные потери могут быть эффективно использованы для регрета в DFL, даже если регрет находится в крупных квази-статичных регионах. Наш метод использует модификации суррогатных потерь, позволяющие вычислять градиенты и минимизировать регрет. Мы также используем DYS-Net, недавно предложенный метод для дифференцируемой оптимизации LP, который использует аппроксимативные решения и градиенты. Мы продемонстрируем, что наш подход позволяет достичь результатов, сопоставимых или лучших, чем суррогатно-потери-ориентированные DFL-методы. Кроме того, мы покажем, что DYS-Net может быть эффективно использован для минимизации суррогатных потерь, снижая требования к вычислительным ресурсам и улучшая эффективность. ## Результаты Мы проводим эксперименты с различными данными и оптимизационными задачами, включая линейные программы. Мы сравниваем наш подход с суррогатно-потерями-ориентированными DFL-методами, а также с традиционными градиентными DFL-подходами. Наши результаты показывают, что минимизация суррогатных потерь позволяет DYS-Net достичь регрета, сопоставимого с лучшими методами, но с значительной экономией ресурсов. Также мы продемонстрировали, что наш подход эффективен для различных типов оптимизационных задач и позволяет получить более точные результаты с меньшим временем обучения. Эти результаты подтверждают значительные преимущества нашего подхода в

#### Контекст Large Language Models (LLMs) широко применяются в различных областях, но часто требуют дополнительной настройки для повышения точности или подстройки поведения под конкретные задачи. Основные подходы к этой настройке — **Supervised Fine-Tuning (SFT)** и **Reinforcement Learning (RL)** — имеют свои преимущества и ограничения. SFT эффективен в закреплении конкретных знаний, но может потерять гибкость. RL, в свою очередь, позволяет формировать поведение в процессе интерактивных задач, но может сталкиваться с проблемами оптимизации и переобучением. Недостаток существующих подходов заключается в риске разрушения уже установленных модельных шаблонов или переобучении к экспертным данным в сценариях интеграции SFT и RL. Мотивирует эту работу желание создать метод, который бы использовал преимущества обеих парадигм, сохраняя стабильность и эффективность. #### Метод Мы предлагаем CHORD — **Controllable Harmonies of On- и Off-Policy Reinforcement Learning via Dynamic Weighing**. Это фреймворк, который представляет SFT не как отдельный этап, а как динамически весовый вспомогательный цель в процессе RL. Основной идеей является анализ влияния off-policy экспертных данных на модель как на глобальном, так и на токенном уровне. Основные компоненты CHORD: 1. **Глобальный коэффициент**: управляет переходом от имитационной стратегии RL к эксплорейторской. 2. **Токен-wise weighting function**: позволяет модели учиться от экспертных данных на токенном уровне без нарушения всего процесса. Этот подход стабилизирует обучение и позволяет эффективно использовать off-policy данные, не подвергаясь риску переобучения. #### Результаты Мы провели эксперименты на популярных бенчмарках для оценки CHORD. Использовались различные модели LLMs и наборы данных для оценки. Результаты показали, что CHORD достигает **высокой стабильности** и **эффективности** в обучении, существенно превосходя базовые модели и другие подходы к интеграции SFT и RL. Мы также обнаружили, что динамический вес приводит к более точной адаптации модели к задачам, при этом избегая рисков разрушения уже установленных шаблонов. #### Значимость CHORD может быть применен в сценариях, где требуется высокая точность и гибкость LLMs, таких как NLP-задачи, генерация кода, интерактивные системы и приложения в сфере ИИ. Преимущества CHORD включают: - Уменьшение риска переобучения к экспертным данным. - Гармоничное интегрирование SFT и RL. - Увеличение эффективности и стабильности обучения. Мы видим потенциал CHORD в оптимизации LLM для сложных задач, где требуется компромисс между гибкостью и стабильностью. #### Выводы CHORD достигает значительных улучшений в интеграции SFT и RL, показывая его эффективност

## Контекст В современном машинном обучении возникла необходимость в понимании и объяснении решений, принимаемых моделями. Локальные алгоритмы пост-хок (post-hoc) объяснений получили широкое применение для разгруппировки работы сложной модели и получения интуитивно понятных обоснований её действий. Однако существуют существенные ограничения: большинство теоретических гарантий получены только для простых моделей, в то время как теория информативности подобных методов для сложных моделей остается неизясненной. Эта проблема имеет практическое значение, так как многие приложения, такие как аудит моделей и регулирование, требуют доказательства того, что работа модели имеет понятное обоснование и может быть проверена с помощью пост-хок алгоритмов. В данной работе мы предлагаем новую формализацию термина "информативность" для таких методов и проверяем её на популярных алгоритмах. ## Метод Мы предлагаем новый формализм информативности, основанный на теории обучения. Информативность определяется как способность алгоритма уменьшить комплексность пространства возможных решений. Мы используем этот формализм для анализа широкого круга алгоритмов, включая gradient explanations, counterfactual explanations, SHAP, и anchor explanations. Наши эксперименты проводятся на синтетических и реальных данных, а результаты оцениваются с помощью теоретического анализа и сравнения взаимодействия алгоритмов с различными моделями. ## Результаты Мы показали, что многие популярные алгоритмы объяснений не информативны в отношении сложности моделей. Например, gradient explanations и counterfactual explanations не могут уменьшить комплексность пространства различных моделей, если эти модели являются различными выпуклыми штрафами. То же самое касается SHAP и anchor explanations при работе с моделями деревьев решений. Наши результаты демонстрируют, что для того, чтобы алгоритм стал информативным, требуются сильные дополнительные ограничения на модели и данные. ## Значимость Наши результаты показывают, что локальные пост-хок объяснения не могут гарантировать информативность для сложных моделей. Это имеет значительные последствия для широкого круга применений, включая аудит моделей, регулирование и приложения, требующие высокой надёжности. Мы также обсуждаем, как могут быть модифицированы существующие методы, чтобы стать информативными, и показываем, что это влечёт за собой существенные усложнения алгоритмов. ## Выводы Наше исследование сформулировало новый формализм информативности для объяснений, а также дало первые оценки того, насколько сложно достичь информативности в сложных моделях. Это подчеркивает необходимость более глубокого понимания интуити

#### Контекст Объяснимость графовых нейронных сетей (Graph Neural Networks, GNNs) является важной задачей для их безопасного и справедливого применения. Многие текущие подходы сосредоточены на формировании индивидуальных объяснений для каждого классифицированного объекта. Однако, значительное внимание уделяется необходимости разработки самообъясняющихся моделей, которые бы способствовали классному уровню объясняемости. Несмотря на то что некоторые работы предложили самообъясняющиеся GNNs, вырабатывающие классовые прототипы, они ограничены исключительно индивидуальным уровнем объяснения. Таким образом, неясно, являются ли эти прототипы значимыми для классов в целом. Наша мотивация заключается в разработке метода, который бы способствовал надежной и структурированной объясняемости на классовом уровне, включая мотивацию и эффективность такого подхода. #### Метод Мы предлагаем **GraphOracle**, новый фреймворк для самообъясняющихся GNN, который сочетает в себе классификатор GNN с сетью, описывающей структурно спарсеные подграфы, значимые для каждого класса. Этот фреймворк эффективно обучается при помощи интегрированного подхода, который фиксирует зависимости между графом, подграфами и классификацией. Мы предлагаем маскированную стратегию оценки, позволяющую проверить надежность классного уровня объяснений. В отличие от предыдущих подходов, включая ProtGNN и PGIB, GraphOracle использует легковесные случайные прогулки и энтропийно-регулируемую отборку подграфов, что делает его более эффективным и масштабируемым. #### Результаты Мы проводили эксперименты на нескольких различных графовых базах данных, включая DD, PROTEINS и IMDB-BINARY. Наши результаты показывают, что GraphOracle превосходит существующие методы, включая ProtGNN и PGIB, на показателях точности, вычислительной эффективности и способности формировать достоверные классно-уровневые объяснения. Мы также проводили эксперименты на предыдущих моделях, оценивая их достоверность на классном уровне, и показали, что GraphOracle значительно превосходит их в этой области. Было также проверено, что наша модель эффективно масштабируется на больших графах и требует меньшего вычислительного времени по сравнению с такими методами, как Monte Carlo Tree Search. #### Значимость Наш подход имеет широкие применения в областях, где требуется надежность и прозрачность моделей GNN, таких как моделирование биологических сетей, социальных сетей и анализ конкурентных процессов. Наши результаты показывают, что GraphOracle обеспечивает более высокую точность и эффективность при формировании классных

#### Контекст Искусственный интеллект (ИИ) становится важной частью науки и промышленности, но многие пользователи его моделей всё ещё видят как "чёрные ящики". Обычные методы explainable artificial intelligence (XAI) раскрывают только индивидуальные прогнозы, не учитывая важные этапы процесса анализа данных, которые влияют на доверие к результатам. Из этого возникают проблемы с точностью, целостностью и понятностью результатов. Для решения этой проблемы предлагается Holistic Explainable Artificial Intelligence (HXAI) — полностью центрированный на пользователя фреймворк, который встраивает объяснения на каждом этапе данного процесса и адаптирует их к потребностям конкретных пользователей. #### Метод HXAI представляет собой широкомасштабную систему, включающую в себя шесть основных компонентов: данные, настройка анализа, процесс обучения, вывод модели, качество модели и канал связи. Эти элементы уже находятся в рамках новой таксономии, которая связывает их с потребностями различных групп пользователей, таких как данные эксперты, аналитики и специалисты по ИИ. Эта таксономия определяет 112 вопросов, которые помогают определить, что нужно объяснить и почему. Основываясь на литературе, теориях восприятия и результатах изучения пользователей, HXAI создаёт понятную структуру для понятий объяснения, уменьшая терминологическую неоднородность и давая возможность полной оценки существующих инструментов. Также рассматривается использование AI-агентов, включающих технологии генеративных моделей текста, для создания специфичных на практике и структурированных объяснений. #### Результаты На процессе экспериментов использовались разные наборы данных, включая общедоступные и специально созданные для исследования. На основе данных было проведено построение моделей, после чего проводилась оценка качества их объяснений с помощью нового фреймворка. Результаты показали, что HXAI увеличивает понятность, делает данные моделей более доступными и включает в себя специфичные для конкретной группы пользователей объяснения. Например, в одном из экспериментов показано, как AI-агент, основанный на LLMs, может преобразовать технические данные в легко понятные для экспертов в специфических областях рекомендации, повышая надежность решений. #### Значимость Разработанная система может быть применена во многих областях, включая медицину, финансы и промышленность, где точность и понятность решений являются критичными. HXAI объединяет в себе преимущества классических методов с новыми технологиями, такими как генеративные модели, что даёт новый уровень центрированности на поль

## Контекст В настоящее время анализ временных рядов представляет собой ключевую область исследований, особенно в рамках обработки данных, связанных с МТС (многомерные временные ряды). Традиционные модели временных рядов, такие как ARIMA и другие статистические модели, хотя и эффективны в моделировании тенденций и циклов, часто игнорируют семантическую информацию, которая заложена в названиях переменных и описательных текстах. Эти тексты, хотя могут казаться достаточно простыми, содержат ценную информацию, особенно в области науки, техники и бизнеса. Недостаток в использовании такой информации приводит к недооценке значимости информации, что в свою очередь сказывается на точности и интерпретируемости результатов моделирования. Таким образом, введение текстовой информации в моделирование временных рядов может значительно улучшить качество отклика и понимание результатов. ## Метод TimeMKG — это многомодальный фреймворк, который включает в себя моделирование знаний и рассуждений по причинно-следственным соотношениям в области временных рядов. Он использует большие языковые модели (LLM) для выделения семантического контекста из названий переменных и других текстовых описаний. Для построения Multivariate Knowledge Graph (MKG), который представляет собой структурированный визуальный подход к описанию взаимосвязей между переменными, TimeMKG применяет процедуры семантического анализа и связывания знаний. Эта структура позволяет выделить взаимосвязи между переменными, чтобы понять влияние одной переменной на другую. Фреймворк также включает в себя двухмодальный кодировщик, который моделирует индивидуальные характеристики как семантические вызовы, так и статистические характеристики. Cross-modality attention функция используется для синхронизации и объединения этих двух моделей, что позволяет формировать целостное представление временных рядов. ## Результаты В ходе экспериментов, проведенных в рамках TimeMKG, были использованы ряд данных из различных сфер, включая медицину, финансы и промышленность. Эти данные были обработаны с использованием TimeMKG в качестве модели, а результаты были сравнены с другими топовыми моделями, такими как LSTMs и Transformer-based модели. Обнаружено, что TimeMKG демонстрирует значительное улучшение в прогнозировании, а также позволяет добиться более высокой точности и интерпретируемости результатов. Результаты показывают, что интеграция знаний на уровне переменных способствует лучшей понимаемости результатов и способствует более точному моделированию временных рядов. ## Значимость TimeMKG широко может быть применен в различных областях, таких как прогноз

## Контекст Мониторинг здоровья скота и оптимизация производительности являются ключевыми вызовами для дальнерного сектора, особенно в условиях растущей сложности управления большими скотными скотными кластерами. Несмотря на развитие технологий, традиционные методы мониторинга часто ограничиваются в объёме и точности данных. Данная работа раскрывает возможности современных машинного обучения (ML) методов для обеспечения более точных, прозрачных, и эффективных методов мониторинга здоровья скота. Значимость данного исследования также усиливается ростом требований к стратегиям управления, которые будут соответствовать стандартам устойчивого развития в сельском хозяйстве. ## Метод Исследование основывается на использовании датчиков трех-осевых акселерометров для постоянного сбора данных о движении скота. Эти данные, представленные в виде временных рядов, были обработаны с использованием различных методов технического анализа, включая выделение статистических характеристик, сигнальной обработки, и техники скользящих окон. Обучение моделей ML осуществлялось с помощью таких алгоритмов, как K-Nearest Neighbour (KNN), с оптимизацией гиперпараметров. Многоуровневая архитектура использовала технологии Bluetooth-IoT датчиков и 4G сетей для потоковой передачи и моментальной обработки данных. Для гарантии прозрачности использовалась технология Explainable AI (SHAP) для обоснования выбора фич и их важности. ## Результаты Использование KNN с оптимальными гиперпараметрами оказалось наиболее эффективным, показав AUC в 0.98 на обучающем наборе данных и 0.99 на тестовом. Эксперименты проводились на данных, собранных в реальных условиях скотных ферм, что позволило проверить модели на реальных таксономических и активностных классификациях. Особое внимание было уделено интерпретации результатов с помощью SHAP, что позволило понять значимость каждой фичи в процессе классификации. Также был проведён стабильностный анализ отбора фич, что подтвердил достоверность выбранных моделей. ## Значимость Результаты данного исследования могут быть применены в сельском хозяйстве для автоматизации мониторинга здоровья скота, оптимизации питания и стратегии лечения. Особенно ценными являются улучшения в прозрачности и понятности рекомендаций, полученных с помощью ML-моделей. В стабильных и аккуратных выводах могут полагаться земледельцы и зооветераны для принятия обоснованных решений. Этот подход может стать основой для улучшения уровня ухода за скотом и увеличения производительности сельскохозяйственных предприятий. ## Выводы Разработанный подход устанавливает

## Контекст Высокая значимость звукового анализа в работе со звуковыми данными, включая текстовый анализ, характеризуется своей важностью в исследованиях, которые используют такие данные. Одна из главных проблем в этой области заключается в том, что анализ звука часто требует значительных вычислительных ресурсов и обработки больших объемов данных, что может ограничивать эффективность и точность выводов. Ранее предпринятые методы звукового анализа часто недостаточно эффективны, негибки и не полностью учитывают важность уникальных характеристик каждого звукового сигнала. Эти ограничения могут привести к неточности в выявлении звуковых объектов, что негативно сказывается на качестве исходных данных и результатах анализа. ## Метод Чтобы улучшить эффективность и точность звукового анализа, в настоящей работе предлагается современный подход, основанный на обработке звуковых сигналов с использованием статистических и характеристических параметров. Метод включает в себя несколько шагов: 1. **Предобработка данных**: Исходные звуковые сигналы проходят чистку от шума и применяются методы усиления звукового сигнала. 2. **Извлечение характеристик**: Извлекаются статистические характеристики, такие как максимальное и минимальное значение, среднее арифметическое, дисперсия и др., для каждого звукового сигнала. 3. **Использование метода ХММ**: Метод Хафа-Мартина (ХММ) используется для формирования спектрального анализа и определения главных компонент звукового сигнала. 4. **Классификация звуковых сигналов**: Извлеченные характеристики используются для классификации сигналов с помощью метода k-средних. 5. **Оценка результатов**: Оценивается точность классификации с помощью метрик, таких как precision, recall и F1-мер. ## Результаты Для проверки эффективности предложенного подхода проводились испытания на выборке звуковых сигналов, собранных с различных источников. Результаты показали, что вариант с использованием метода ХММ и классификации методом k-средних показал самые высокие результаты в точности классификации. Значение F1-мер достигло 0.95, что значительно превышает результаты других методов. Эти результаты подтверждают, что предлагаемый подход эффективен для точного и быстрого анализа звуковых сигналов. ## Значимость Предложенный подход может быть применен в различных областях, где требуется точный анализ звуковых сигналов, такие как аудио-идентификация, звуковой мониторинг, звуковая сценария и др. Он также может применя