## Контекст Максимально монотонное включение (MMI) широко применяется в задачах оптимизации с ограничениями. Однако найти его выпрямленную форму часто трудно или невозможно. Алгоритмы, работающие с MMI, должны обеспечивать эффективность, сходимость и универсальность. Однако существующие подходы, такие как метод Альтернативных Директив Множителей (ADMM), не всегда подходят для решения всех форм задач. Было предложено Bregman Douglas-Rachford Splitting (BDRS), который шире ADMM и эффективен для решения MMI. Этот подход является новым в литературе и может быть использован для решения задач оптимального транспорта (OT) на дискретных пространствах. ## Метод BDRS — это алгоритм, основанный на принципе Додсона, который ускоряет сходимость решения MMI за счет использования Bregman дистанции в качестве меры расстояния. Алгоритм состоит из двух этапов: шаг Douglas-Rachford и шаг Bregman. В шаге Douglas-Rachford используется проекция на подпространство, а в шаге Bregman — применяется регуляризация. В случае разрешимости MMI, BDRS гарантирует устойчивость и сходимость. Для решения дискретной OT-задачи, BDRS может быть применен к двойственной форме задачи, представленной в виде MMI. ## Результаты Исследователи провели эксперименты с данными, связанными с задачей оптимального транспорта на дискретных пространствах. Было показано, что BDRS и его вариант Bregman Peaceman-Rachford Splitting (BPRS) эффективно решают задачу, даже для сложных случаев. Для сравнения были проведены эксперименты с другими методами, такими как ADMM. Результаты показали, что BDRS обеспечивает более стабильную и быструю сходимость. Несмотря на это, требования к выполнению одного из предположений не применимы к задаче оптимального транспорта, что является ограничением. ## Значимость BDRS является универсальным способом решения максимально монотонных включений и может использоваться в различных областях, таких как машинное обучение, анализ данных и оптимальный транспорт. Особенно важно его применение в задачах оптимального транспорта на дискретных пространствах, где ADMM не всегда применим. Благодаря своей гибкости, BDRS может общий подход для решения MMI в различных задачах. ## Выводы BDRS является важной дальнейшей разработкой в области методов решения монотонных включений. Он показал значительную эффективность в решении дискретной задачи оптимального транспорта. Однако требование к одному из предположений, не применимо к этой задаче, является ограничением. В будущем стоит рассмотреть возможность уточнения условий сходимости для данного случая и расширение BDRS для решения других задач, где ADMM не применим.

## Контекст Многие современные задачи в области машинного обучения требуют не только точного классификационного или регрессионного решения, но и возможности оценивать неопределенность и вариативность данных. Традиционные нейронные сети, основанные на векторно-векторных вычислениях, лишаются возможности логической интерпретации результатов. Это приводит к ограниченности в их применении в области глубокого узнавания, где задачи часто требуют учета не только центральных тенденций, но и разнообразия данных. Угодновая форматированная структура моделей, которая учитывает не только линейные, но и нелинейные многообразия, является ключевым мотивационным фактором для развития более универсальных моделей, которые могут управлять многослойным безупречным восприятием в задачах с многомодальностью. ## Метод В этой работе представлена Univariate Gaussian Mixture Model Neural Network (uGMM-NN) — полностью новая архитектура нейронных сетей, в которой каждая нейронная единица основывается на алгоритме гауссовской смеси. Это означает, что значения нейронов параметризуются не только с помощью суммы весов с фиксированным нелинейным преобразованием, но и параметрами неопределенности, представленными смешанными гауссовыми оценками. Это позволяет модели учитывать не только центральную тенденцию, но и вариативность в данных. Архитектура основывается на взаимодействии множества гауссовых моделей, которые вместе формируют более устойчивую и точную модель. Это предложение не только позволяет добавлять некоторую неопределенность в вычисления, но и улучшает гибкость и расширяет возможности нейронных сетей в области не только классификации, но и распознавания непредсказуемости в данных. ## Результаты В ходе экспериментов, проведенных на различных данных, показано, что uGMM-NN показывает значительные выигрыши в точности и стабильности в сравнении с традиционными нейронными сетями. Также, она удачно учитывает не только центральную тенденцию, но и такие аспекты, как различение вариантов ответов и неопределенность в данных. Эксперименты проводились на наборах данных, относящихся к различным задачам, включая задачи классификации и регрессии, где уGMM-NN показала заметные преимущества по сравнению с другими моделями, в том числе моделями стандартных нейронных сетей и гауссовых смешанных моделей. ## Значимость Модель uGMM-NN может быть применена в различных задачах, включая распознавание речи, обработку изображений и другие проблемы, где необходимо учитывать не только точность классификации, но и неопределенность в данных. Это модель позволяет добиться более точных результатов, тем самым

## Контекст Современные системы машинного обучения подвержены широкому спектру атак, включая вредоносные вмешательства в обучающие выборки. Одной из наиболее опасных тенденций является **targeted data poisoning**, при котором атакующий стремится изменить предсказание модели для конкретного тестового примера. Эта угроза отличается от "сырейших" атак на общую точность модели, ведь в целях атаки выделяется конкретный пример, на который атакующий нацеливается. Это особенно актуально для систем, где предсказание для отдельно взятого объекта имеет высокий значение, например, в здравоохранении или финансовых системах. Мы исследуем, что делает некоторые примеры более уязвимыми для таких атак, открывая пути к эффективным методам защиты. ## Метод Наше исследование основывается на выявлении свойств примеров, которые делают их более уязвимыми для целенаправленных атак на загрязнение данных. Мы проводим подробное экспериментальное исследование, изучая влияние трех ключевых факторов: 1. **Ergodic prediction accuracy** — это метрика, основанная на том, как модель изменяет свои предсказания во время обучения на чистых данных. Она помогает оценивать устойчивость модели к вмешательству в обучающих выборках. 2. **Poison distance** — измеряет разницу между чистым примером и точкой, до которой модель "направлена" при атаке. Это фактор, определяющий, насколько легко достичь целевого предсказания. 3. **Poison budget** — определяет размер отрезка данных, который атакующий может использовать для вредоносных изменений. Наши эксперименты охватывают различные модели и сценарии, чтобы проверить эффективность этих метрик на реальных данных. ## Результаты Проведенные эксперименты показали, что прогностические метрики, основанные на вышеуказанных факторах, эффективно предсказывают то, какие примеры становятся более уязвимыми к targeted data poisoning. Мы выявили, что примеры с высокой **ergodic prediction accuracy** и малым **poison budget** являются чрезвычайно уязвимыми. Эти метрики работают последовательно, позволяя прогнозировать вероятность успешности атаки даже при ограниченных возможностях атакующего. Наши результаты демонстрируют, что эти характеристики позволяют значительно улучшить анализ рисков и гибкость в проектировании защитных методов. ## Значимость Полученные результаты открывают пути к новым подходам в области защиты от целенаправленных атак на индивидуальные тестовые примеры. Например: - **Практическое применение**: Метрики могут помочь практикам оценивать уровень уязвимости отдельных примеров и принимать меры для их защиты. - **Выгоды**: Это позволяет сократить возможные последствия атак, таких как недосто

#### Контекст Комплексный интеграционный подход к работе квантовых и классических вычислительных систем является ключевым элементом полнофункциональных квантовых алгоритмов. Одним из эффективных подходов является метод "классических тени" (classical shadows), позволяющий эффективно извлекать классическую информацию из квантовых состояний для оценки многих свойств квантовых систем с минимальным количеством измерений. Однако, при работе с небольшим числом высоко-нелинейных операторов или при ограниченных возможностях классического пост-процессинга, этот подход может быть не оптимальным. На примере некоторых ситуаций, мы целевой подход к сравнению классических теней с "квантовым фильмом" (quantum footage) — принципиально другому подходу, который предполагает непосредственное квантовое измерение. Наши работы демонстрируют, что для задач большого масштаба, когда относительно много операторов и их взаимодействия описаны матричными структурами, классические тени могут быть более эффективными, но это зависит от конкретной конфигурации параметров. #### Метод Метод "классических теней" построен на идее создания сэмплов квантовых состояний с помощью классических моделей представления, позволяющих эффективно получать классические характеристики. Мы рассматриваем другой подход — "квантовый фильм", который основывается на непосредственных квантовых измерениях и позволяет обрабатывать широкий класс квантовых оператов. Наш анализ охватывает различные сценарии: от работы с малым числом высоко-нелинейных операторов до работы с большим числом матричных операторов. Мы формулируем условия, при которых каждый из подходов становится эффективнее, и определяем области "оптимальности" в зависимости от параметров задачи, таких как число квантовых битов, число измерений, спарситет операторов и точность расчета. #### Результаты Мы проводим сравнение ресурсов (трудоемкости и ресурсоемкости) между двумя методами в различных сценариях. Наши эксперименты показывают, что для операторов в виде линейных комбинаций Pauli-матриц, когда число измерений $M$ и число битов $n$ достаточно велики, но небольшой размерности Pauli-матриц, классические тени проявляют выигрыш в эффективности. Для операторов в виде великой спарситетной матрицы, классические тени становятся более эффективными в случае достаточно высокого числа битов, матричной спарситетности и определенного количества измерений. Мы также проводим сравнение ресурсов на разных типах квантовых компьютеров, определяя точки равновесия, где один из подходов становится более эф

## Контекст Персональность, как набор характеристик и поведенческих тенденций, широко исследована в контексте человеческого поведения. Она используется для прогнозирования поведения, принятия решений и взаимодействия в различных сферах. В последние годы, с развитием бо LLM, возникло интересное взаимосвязи между личностью и их поведением. Однако, существуют значительные проблемы в изучении этого взаимодействия. Люди часто оценивают свою личность с помощью самооценочных методов, которые могут быть неточными. Боты LLM также могут отображать личностную иллюзию, где их самосвертка не точно отражает свой поведенческий вывод. Это наблюдение поднимает вопросы о точности и надежности использования личностных характеристик для предсказания поведения в LLMs. ## Метод Для изучения этой проблемы была разработана систематическая методология, состоящая из трех основных этапов: 1) характеристика личностных характеристик в разные стадии тренировки LLM; 2) проверка того, насколько самооценка личности соответствует фактическому поведению в задачах; 3) изучение эффекта целенаправленных вмешательств, таких как персонализация, на самосвертку и поведение. Данные для экспериментов были получены с помощью различных моделей LLM, включая обученные с использованием методов руководящего ожидания (RLHF) и инструкционной тюнинг. Модели были протестированы на поведенческих задачах, связанных с саморегуляцией и согласованностью. Это позволило изучить, насколько личностная самосвертка влияет на поведение и насколько точно она может предсказывать реальное поведение. ## Результаты Из исследования выяснилось, что инструкционное рвение (RLHF) и инструкционная тюнинг стабилизируют выражение личности в LLM и усиливают корреляции между самосверткой и поведением. Однако самосвертка не точно предсказывает поведение, и наблюдаемые связи часто отличаются от тех, которые встречаются в человеческих данных. При этом персонализация эффективно управляет самосверткой в нужном направлении, но оказывает мало или непоследовательное влияние на самосвертку и поведение. Эти результаты показывают, что личность в LLMs может быть отображена на поверхности, но не всегда отражает реальное поведение. ## Значимость Полученные результаты имеют значимость в нескольких областях. Во-первых, они могут быть использованы для улучшения методов оценки индивидуальных личностных характеристик в LLMs, чтобы более точно предсказывать поведение. Во-вторых, они могут применяться в области разработки более согласованных и предсказуемых личностных моделе

## Контекст В поисках эффективных способов решения задач байесовского вывода, важное место занимает поиск методов, позволяющих точно приблизить затруднительно вычислительно определяемые постериорные распределения. Известно, что для построения приближений постериорных распределений, в частности для обработки смешанных (дискретно-непрерывных) переменных, применяются методы вариационного байеса и сэмплинга. Однако, существующие подходы часто сталкиваются с проблемами, например, неэффективностью при работе с высокоразмерными пространствами параметров или сложностью в настройке параметров симуляции. Необходимость более простых и универсальных способов сэмплинга привела к развитию методов, таких как гамильтоновы монте-карло (HMC) для непрерывных переменных и марковские цепи Монте-Карло (MCMC) для дискретных. Однако, Bouncy Particle Sampler (BPS), который использует линейный ход и стохастическую отражательную механику для сэмплинга, представляет собой альтернативу, имеющую преимущества в настройке и эффективной работе с многорежимными распределениями. ## Метод BPS объединяет линейный движущийся ступенчатый движитель и стохастическое отражательное движение, чтобы обеспечить эффективное приближение распределений. В этой работе, мы ввели параллельный темpering (PT) в BPS, что позволяет ускорять сходимость постериорных распределений. Для случая, когда кросс-обмен среди температур происходит без ограничений, мы разработали новую версию BPS, способную эффективно сэмплировать из многорежимных постериорных распределений, даже при высокой сложности. Архитектура метода включает в себя многопоточную реализацию, распараллеливающую сэмплинг для ускорения вычислений и увеличения устойчивости. ## Результаты Мы провели ряд экспериментов, используя различные многорежимные распределения, чтобы проверить эффективность предложенного метода. Данные для экспериментов были сгенерированы синтетически, чтобы контролировать поведение распределений и убедиться в качестве результатов. Результаты показали, что предложенный метод, BPS с бесконечным обменом температур (Infinite Exchanging Parallel Tempering), эффективно приближает постериорные распределения, даже в случае высокой многорежимности и сложности. Это демонстрируется с помощью метрик, таких как Вариационный Доверитель интервал (Variational Confidence Interval) и норма скаляра. ## Значимость Предложенный подход имеет широкие области применения в байесовском выводе, в частности, в задачах оценки классификаторов, моделировании данных и регуляризации. Он предлагает выгоды по сравнению с существующими методами в своей универсаль

## Контекст Рефинирование тренировки роботов на основе улучшенной обратной связи с человеком (RLHF) стало ключевым инструментом для обучения моделей поведения в различных приложениях. Однако, традиционные методы, такие как формирование общей модели предпочтений на основе всех отзывов (Uniform-reward RLHF), не учитывают различия в предпочтениях разных групп пользователей. Это может привести к несправедливости и неэффективности, так как модель может нести склонность к предпочтениям более значительных подгрупп. Чтобы устранить эту проблему, MaxMin-RLHF был предложен, который выделяет группы пользователей и оптимизирует для самой неудовлетворенной группы. Однако, этот подход оказывается неэффективен для малогокатегориальных или малочисленных подгрупп. SharedRep-RLHF отправляется в путь, чтобы решить эти недостатки, объединяя принципы общего и группового подхода. ## Метод SharedRep-RLHF предлагает новую методологию, которая использует общие свойства в поведении пользователей, а не отдельные модели для каждой группы. Это достигается за счет обучения модели, которая учитывает общие тренды в фидбэке от разных групп, а не обособляет их. Технически, SharedRep-RLHF использует архитектуру, состоящую из нескольких слоев, объединяющих общие признаки в разных стадиях обучения. Это позволяет модели быть более устойчивой к малочисленным группам и более точно представлять их предпочтения. Базовая идея заключается в том, что общие признаки в данных пользователей могут быть более эффективно использованы, чем разделение на отдельные модели. ## Результаты Эксперименты проводились на различных естественно-языковых задачах, включая синтез речи и понимание текста. Обучение производилось с использованием различных групп пользователей, как более крупных, так и малочисленных. Результаты показали, что SharedRep-RLHF превосходит MaxMin-RLHF в ситуациях, когда малокатегориальные группы являются менее удовлетворенными. В среднем, SharedRep-RLHF повысил "win rate" до 20%, показывая более эффективное учету разнообразия в пользовательских предпочтениях. Это улучшение достигается благодаря уменьшению влияния малокатегориальных групп на общую модель предпочтений и более точном представлении общих границ предпочтений. ## Значимость SharedRep-RLHF может быть применен в различных областях, где необходимо учитывать разнообразие предпочтений, таких как создание диалоговых систем, сервисы поддержки и рекомендательные системы. Он обеспечивает более справедливое и эффективное обучение, уменьшая разрыв между разными подгруппами. Это может привести к менее склонности к несправедливость, повысить до

## Контекст Область исследования связана с исследованием личностных характеристик и их влияния на поведение, обсуждаемых как в человеческих, так и в искусственных системах. Несмотря на долгое время исследования личности, существуют проблемы в том, как эффективно измерить и предсказать поведение на основе личностных характеристик. Одной из главных причин этому является несоответствие между самооценками личности и фактическим поведением. Это проблема дополнительно усиливается при изучении искусственных систем, таких как Большие Лингвистические Модели (LLM), которые могут отображать похожие личностные тренды, но их поведение может отличаться от людей. Это приводит к необходимости понять, насколько характеристики в LLM зеркалируют реальность и на сколько они влияют на поведение. ## Метод Для исследования LLM личности, авторы применяют систематический подход, состоящий из трех основных измерений. Во-первых, они выясняют, как личностные характеристики возникают и меняются во время обучения модели. Во-вторых, оценивается, насколько самооценка личности соответствует фактическим поведенческим задачам. И, наконец, в третьих, исследуется то, как целенаправленные интервенции, такие как "инъекция личности", влияют на оба аспекта - самооценку и поведение. Была использована методология тренировки модели с использованием различных вариантов инструкций и стимулов, чтобы выявить сильные и слабые стороны взаимосвязи личности и поведения. ## Результаты Исследование показало, что инструкционное выравнивание (например, Reinforcement Learning from Human Feedback, инструкционное тюнинг) стабилизирует выражение личностных черт и укрепляет их корреляции. Однако, несмотря на то, что самооценка личности может быть успешно "вдохновлена" целевой инъекцией, она часто не сильно влияет на фактическое поведение модели. И, что может быть еще более важно, полученные результаты показали, что различные личностные характеристики могут отличаться по вероятности их появления в LLM, но это не всегда соотносится с поведенческими задачами, в которых модель принимает участие. Это означает, что, несмотря на то, что LLM может выражать личностные характеристики, она часто не демонстрирует соответствующего поведения. ## Значимость Набор полученных результатов имеет значительное значение для широкого спектра областей. Во-первых, полученные результаты могут быть применены в разработке более человечных интерфейсов, где LLM могут отображать личностную сторону, но с учетом реального поведения. Во-вторых, эти находки могут быть полезны в области проверки

## Контекст Градиент-ориентированные методы открывают новые возможности для выявления причинно-следственных связей в данных, обеспечивая эффективность и масштабируемость. Однако они могут быть чувствительны к распределенияльным биасам в исходных данных, которые могут исказить выводы о причинно-следственных структурах. Эти биасы могут возникнуть из-за неоднородности распределений в данных, что требует глубокого понимания их источника и влияния. Например, в бивариатных категориальных случаях, где структуры зависимостей могут быть неявными, распределенияльные аспекты играют ключевую роль. В данном исследовании мы фокусируемся на изучении этих проблем и на поиске способов их контроля в рамках градиентных методов. ## Метод Мы используем синтетические данные с Дирихлевскими предварительными распределениями для моделирования распределенияных биасов. Два простых моделирования были разработаны для изучения влияния этих биасов: модель, оптимизирующая маргинальные распределения, и модель, оптимизирующая условные распределения. Использование градиентных методов в этих моделях позволяет изучить как выявление причинно-следственных связей, так и уязвимость этих моделей к распределенияльным аспектам. Методы тестирования включали синтетические эксперименты с контролируемыми условиями, чтобы изучить точность и стабильность моделей в разных сценариях. ## Результаты Наши эксперименты показали, что оба рассматриваемые биаса могут иметь значительное влияние на результаты градиентных методов. Мы обнаружили, что Marginal Distribution Asymmetry приводит к неравномерному влиянию на факторизацию, в то время как Marginal Distribution Shift Asymmetry может привести к чрезмерной скорости изменения в некоторых переменных. Мы также показали, что эти эффекты могут быть существенно уменьшены при настройке параметров модели и применении специальных мер контроля распределений. Эти находки подтверждают, что удаление конкуренции между различными причинно-следственными факторизациями может сделать модели более устойчивыми к этим распределенияльным аспектам. ## Значимость Наше исследование имеет практическое значение для разработки более надежных градиентных методов в области причинно-следственных отношений. Оно может быть применено в различных областях, таких как машинное обучение, биология и социальные науки, где распределенияльные аспекты могут исказить выводы. Значительное преимущество нашей работы заключается в том, что она предоставляет конкретные рекомендации для снижения влияния распределенияльных биасов, что может улучшить достоверность исследований в этих областях. ## Выводы Мы установили, что распре

## Контекст Оценка связи между переменными, такими как климатические параметры и распространение заболеваний, является ключевой задачей во многих научных и практических областях. Особенно актуальной она становится в сфере общественного здравоохранения, где необходимо провести анализ связи между погодными условиями, окружающей средой и распространением заболеваний. Однако существующие методы часто страдают от непрактичных предположений, таких как непреднамеренная ошибка моделирования или непредставимость меток в пространстве. Эти ограничения приводят к недостоверным выводам и недооценке неопределенности. Целью настоящей работы является развитие более точных и реалистичных методов оценки связей в пространстве, учитывая эти сложности. ## Метод Мы предлагаем новую методологию для оценки пространственных связей между ковариатом и дискретным ответом, таким как бинарный или счетно-валентный результат. Метод основывается на сочетании нескольких технических усовершенствований. Во-первых, мы учитываем пространственно разнородную неточность, которая часто присутствует в данных. Во-вторых, мы предлагаем проверку любой модели на подходящую априорную теоретическую модель. В-третьих, мы применяем дельта-метод с центральным предельным теоремой Ляпунова для обоснования корректности наших интервалов доверия. Наша методика является универсальной и применима к различным ситуациям, в том числе непредварительной модели и произвольной структуре пространственных данных. ## Результаты Мы провели эмпирические эксперименты на демонстрационных данных, сравнив нашу новую методику с существующими. Наши результаты показали, что стандартные подходы часто дают недостоверные интервалы доверия, которые могут даже ошибочно определять сигнатуру связи. Наш метод, напротив, стабильно дает надежные интервалы, которые полностью соответствуют теоретическим ожиданиям. Мы также провели симуляционные эксперименты, показывающие, что наш метод выполняет лучше в ситуациях с пространственно сгенерированными данными и пространственно несимметричными условиями. ## Значимость Наша работа демонстрирует значительный потенциал для усовершенствования оценок в области пространственных связей, особенно при работе с дискретными данными. Это имеет важное значение для общественного здравоохранения, экологии и других научных направлений, где пространственное распределение данных имеет ключевое значение. Благодаря нашему подходу, ученые могут более надежно оценивать и интерпретировать связи, даже при пространственных и моделировате