#### Контекст В последние годы появилось большое количество современных генеративных моделей языка, известных как Огромные Лингвистические Модели (LLM). Однако большинство этих моделей требуют специального финетюнинга или тренировки на основе ретроспективной оценки, чтобы выравниваться с потребностями человека. Одним из популярных подходов является Reinforcement Learning from Human Feedback (RLHF). Однако этот подход сложен в реализации и подвержен риску развития стохастических эффектов. Улучшение методов тренировки моделей, предназначенных для соответствия человеческим предпочтениям, является ключевым заданием в развитии интеллектуальных систем. #### Метод Мы предлагаем новую теоретически обоснованную функцию потерь для выравнивания Огромных Лингвистических Моделей с человеческими предпочтениями. Наше решение основывается на оптимальном условии теории работы агента в Реклабстрептивной Оптимизации (RLHF). В отличие от предыдущих подходов, таких как Direct Preference Optimization (DPO), наша функция потерь не стремится к неограниченному максимизации разницы в логитах. Вместо этого она оптимизирует конечное значение этой разницы, которое определяется внешним весом в формате реального штрафа. Используя градиентный подход, мы доказали, что наш подход избавляется от проблемы высоких градиентов, которые могут привести к устойчивости тренировки и уменьшению ошибок в случае отрицательных ответов. Мы также провели эксперименты на модели Qwen2.5-7B, чтобы проверить эффективность нашего подхода в реальных условиях. #### Результаты Мы применили нашу новую функцию потерь к модели Qwen2.5-7B в ходе серьезных экспериментов. Мы сравнили полученные результаты с базовым подходом Direct Preference Optimization (DPO) и другими экспериментальными подходами. Наши эксперименты показали, что новая функция потерь значительно повышает устойчивость тренировки и позволяет достичь высокого уровня конвергенции. Мы также проверили, насколько наш метод эффективен в сравнении с моделями большего размера, такими как Llama-3.1-8B. Наш результат достиг рекордного уровня совместимости, при этом низкого уровня восприятия нежелательных ответов и высокой устойчивости к выходам за семантический контекст. #### Значимость Наш подход широко может применяться в сфере развития интеллектуальных систем, в которой необходимо выявлять и вознаграждать пользовательские предпочтения в реальном времени. Одним из основных преимуществ нашего подхода является его стабильность и эффективность в сравнении с другими методами. Мы также отмечаем, что наше решение может способствовать более точному выравниванию моделей

#### Контекст В современной информационной среде, где широко распространяются глубоко обученные языковые модели (LLM), гарантия их адекватного поведения и соответствия заданным целям является критическим аспектом информационной безопасности. Однако многие существующие методы защиты от адверсарных атак и яйлбрейков над LLM не успевают адаптироваться к новым угрозам, приводят к снижению качества ответов на благонамеренные запросы или оказываются сложными для масштабирования. Данная статья адресует эти проблемы, предлагая решение в виде самоподстраивающегося модератора, который в реальном времени реагирует на появляющиеся угрозы, сохраняя небольшой функциональный и ресурсозатратный штрих. #### Метод Предлагаемая модель основывается на самоподстраивающемся модераторе (RTST), который использует адаптивные механизмы выявления и ответа на адверсарные модификации запросов. Основные элементы методики включают в себя динамическое определение характеристик запроса, сравнение с предыдущими модерациями и принятие решения о необходимости корректировки ответа. Архитектура легковесна и включает в себя небольшой набор гиперпараметров, что позволяет минимизировать затраты на обучение и обеспечить быструю работу в реальном времени. Модель тренируется на основе тестовых наборов с различными типами адверсарных модификаций, что позволяет эффективно аппроксимировать разнообразные атаки. #### Результаты В экспериментах были проанализированы работы модели на Google Gemini LLM. Модель RTST показала высокую точность в угадывании адверсарных модификаций, достигая отличительного результата в сравнении с традиционными подходами, такими как методы традиционного бинарного классификатора или тяжеловесного fine-tuning. Исследователи также заметили, что RTST значительно менее влияет на качество ответов на благонамеренные запросы, чем существующие алгоритмы. Экспериментальные результаты подтверждают, что RTST может быть эффективно применен в реальном времени, обеспечивая достаточное сохранение производительности и безопасности. #### Значимость Полагаясь на самоподстраивающуюся архитектуру, RTST может быть применен в различных сферах, включая информационную безопасность, системы управления контентом и взаимодействие с клиентами. Одним из основных преимуществ является способность быстро адаптироваться к новым видам атак без необходимости периодического переучивания. Это делает RTST более масштабируемым и эффективным в сравнении с другими методами. Также, его легковесная архитектура позволяет его исполь

## Контекст Low-precision training является ключевым подходом для сокращения вычислительных и памятных затрат в обучении больших моделей глубокого обучения. Однако, преобразование градиентов в низкопрецизионном формате приводит к уменьшению их магнитуды и введению аддитивного шума. Эти изменения могут значительно повлиять на сходимость алгоритма стохастического градиентного десцендента (SGD). В данной работе исследуется вопрос сходимости SGD в ситуации, когда градиенты изменяются в зависимости от шага $\mu_k$ и подвергаются шуму в формате quantization. Эта модель позволяет лучше понять, как эти изменения влияют на сходимость градиентного спуска и как ее можно оптимизировать при использовании низкопрецизионных вычислений. ## Метод Мы используем теоретический подход к анализу сходимости SGD, основываясь на модели шага $\mu_k$ и шума quantization. Для этого предполагается, что каждый градиент заменяется на его масштабированную версию с коэффициентом $q_k \in (0,1]$, который отражает преобразование в низкопрецизионном формате. Шум quantization добавляется как нулевое-среднее шум, который моделирует ошибки в преобразовании. Мы анализируем, как эти модификации влияют на соотношение скорости сходимости и погрешности, а также рассматриваем стандартные теоретичные условия, такие как гладкость и ограниченная дисперсия градиентов. Это позволяет понять, какие факторы влияют на уменьшение скорости сходимости и как ее можно контролировать. ## Результаты Мы проводим эксперименты, подтверждающие теоретические выводы, используя различные модели глубокого обучения и наборы данных. Для этого мы измеряем, как изменение шага $\mu_k$ и наличие шума quantization влияют на скорость сходимости и качество результатов. Полученные результаты показывают, что низкопрецизионное обучение все же может сходиться, но с меньшей скоростью в сравнении с полнопрецизионным градиентным спуском. Однако, при этом возрастает асимптотическая погрешность, которая связана с шумом quantization. Эти результаты позволяют понять, как можно компенсировать эти потери, выбирая оптимальные значения $q_k$ и $\mu_k$. ## Значимость Наша работа имеет значительное значение для развития низкопрецизионного обучения, которое широко применяется в практических задачах, таких как обучение моделей на устройствах с ограниченными ресурсами, такими как мобильные устройства и граничные вычисления. Мы показываем, что low-precision SGD можно применять с оптимальными параметрами, чтобы поддерживать высокую скорость обучения и качество решений. Это может привести к значительным экономиям в вычислительных ресурсах для масштабных моделей. Кроме того, наши

## Контекст Automatic Speech Recognition (ASR) — это технология, которая позволяет компьютерам переводить речь на текст. Она используется во многих областях, от смартфонов до систем оперативной поддержки. Однако недостаточно внимания уделяется проблеме справедливости в ASR. Несправедливость в ASR может возникать, когда система плохо распознает речь отдельных групп людей, например, носителей нестандартных диалектов. Это может привести к недостатку доверия к технологиям и даже к дискриминации. Авторы статьи предлагают рассмотреть эту проблему с позиции философии, чтобы понять, как ASR может укреплять существующие исторические несправедливости. ## Метод Авторы используют философский анализ, чтобы изучить проблему справедливости в ASR. Они различают два типа дискриминации: нейтральную классификацию (discriminate1) и вредную дискриминацию (discriminate2). Дискриминация в ASR относится к вредному типу, когда система постоянно неверно распознает речь нестандартных диалектов. Также они идентифицируют три этических аспекта, влияющих на справедливость ASR: 1. **Темпоральная нагрузка** (temporal taxation) — это нагрузка, которая предлагается носителям нестандартных диалектов, когда они должны постоянно повторяться или исправлять распознанный текст. 2. **Разрыв в диалогах** (conversational disruption) — когда ASR неправильно распознает речь, это может нарушить диалог и вызвать неудобство. 3. **Подкрепление идентичности** (identity reinforcement) — речь является сильным идентификатором личности и культуры, поэтому неправильное распознание может привести к чувству неуважения. ## Результаты Авторы проанализировали существующие ASR-системы и показали, как они могут поддерживать и усиливать существующие неравенства в языковых стандартах. Например, системы часто лучше работают с английским, но стараются распознать речь отдельных сообществ, например, афроамериканских диалектов. Это приводит к темпоральной нагрузке и неприятным ощущениям для носителей таких диалектов. Также было проанализировано, как ASR может повлиять на конфликты в диалогах и нарушить поток разговора. ## Значимость Эта работа имеет значимость в следующих областях: 1. **Технологии распознавания речи** — показано, как справедливость ASR может повлиять на пользователей и повысить доверие к технологиям. 2. **Социальная справедливость** — теоретические выводы могут помочь избежать дискриминации в технологиях и создать более социально честные системы. 3. **Культурная политика** — это подход может помочь учитывать разнообразие языков и культур в разработке технологий. ## Выводы А

#### Контекст Предсказание движения пешеходов является критическим аспектом планирования маршрутов и управления движением автономных транспортных средств. Несмотря на то, что развивающиеся методы становятся все более точными, одной из проблем является недостаточная учета потенциальных целей движения пешеходов. Без точного моделирования поведенческих интентов может возникать неточность в прогнозировании. Это приводит к нежелательным ситуациям, таким как непредвиденные столкновения или неточное планирование маршрутов. Наша мотивация заключается в создании модели, которая не только точно предсказывает движение, но и учитывает семантические аспекты, такие как цели и интенты пешеходов. #### Метод Мы предлагаем рамоку Intention-Aware Diffusion Model, которая интегрирует семантическое моделирование поведения пешеходов. Шорт-терм интент представляется с помощью резидуального полярного представления. Это позволяет разделить направление и масштаб движения, чтобы лучше передать локальные модели движения. Для лонг-терм интента используется токен-базированный предиктор конечной точки, который вырабатывает несколько возможных целей со связанными вероятностями. Это позволяет учесть многомиодальность и контекстуальные аспекты предсказания. Дополнительно, мы улучшаем процесс диффузии с помощью адаптивного руководства и резидуального шумового предиктора, улучшающего степень точности денойсинга. #### Результаты Мы проверяли нашу модель на трех ключевых датасетах: ETH, UCY, и SDD. Наши результаты показали, что Intention-Aware Diffusion Model превосходит состояние технологии по метрикам FDE (Final Displacement Error) и ADE (Average Displacement Error). Мы также проверили точность предсказания интентов, показав, что наша модель эффективно моделирует как локальные, так и глобальные цели движения. #### Значимость Модель имеет широкие перспективы применения в автономных системах, например, в дорожном трафике, робототехнике и мультимедийном контроле. Она позволяет улучшить точность предсказания, уменьшить непредвиденные ситуации и повысить безопасность в интеракции автомобилей с пешеходами. Модель также предоставляет новые возможности для продвинутого моделирования поведенческих интентов, которые могут быть применимы в других областях, таких как коммерческие системы прогнозирования потребления. #### Выводы Мы успешно применили технологии диффузии для моделирования поведенческих интентов пешеходов. Наша модель демонстрирует высокую точность в предсказании интентов и движения в целом. Будущие исследования будут направлены на расширение модели для поддержки более сложных сценариев и увеличение

## Контекст Advanced Air Mobility (AAM) представляет собой перспективный направление развития ра TRANSPORTATION, нацеленное на создание удобных, эффективных и безопасных систем транспорта в воздушном пространстве. Однако этот сектор сталкивается с рядом сложных вызовов, включая требования к регулированию, оптимизации операций и обеспечение безопасности. Нейросимволическая искусственная интеллект (Neurosymbolic AI) предлагается как потенциальное решение этих проблем. Эта технология объединяет прочные модели узкоспециализированных нейронных сетей с символическим рассуждением, обеспечивая гибкость и точность в решении задач. Однако нейросимволическая AI еще не полностью реализована в AAM, и существуют проблемы в области масштабируемости, надёжности и соответствия авиационным стандартам. Этот статус затянутости регулярной транспортной системы, в сочетании с потребностью в безопасности и эффективности, делает АИ Нейросимволическую привлекательной для исследования и развития. ## Метод Нейросимволическая AI объединяет методы нейронных сетей и символического рассуждения, чтобы обеспечить гибкость и точность в решении задач. Методология включает в себя несколько шагов: (1) **выбор моделей**: выбор неньронных сетей (например, глубоких нейронных сетей) для обработки нелинейных задач; (2) **символическое моделирование**: описание проблемы с помощью символьных представлений, таких как логические выражения или системы правил; и (3) **совмещение**: объединение нейронных и символических моделей в единую систему для достижения оптимального решения. Эта архитектура позволяет сталкиваться с проблемами в сложных средах, таких как AAM, где требуется сбалансированный подход. Данный подход решает проблемы, такие как неполнота данных, неопределённость в данных и сложная регулирования. ## Результаты Качество исследования продемонстрировано в ряде экспериментов, применяясь к различным областям AAM. Например, в рамках Demand Forecasting (прогнозирования спроса), Neurosymbolic Reinforcement Learning (Нейросимволическая Учительская Обучение) был применен для оптимизации трафика воздушных транспортных средств, что привело к увеличению эффективности и снижению задержек. В Aircraft Design (дизайне самолетов), Neurosymbolic AI было использовано для оптимизации дизайна самолетов, решая задачи, такие как минимизация потребления топлива и улучшение безопасности. В реальном времени, в Air Traffic Management (управлении воздушным движением), Neurosymbolic AI позволило обеспечить более быстрые и удачные решения в условиях нестабильных ситуаций. Результаты этих экспериментов показали высокую точность, масштабируемость и надежность с

#### Контекст Многосеквентное магнитное резонансное исследование (МРИ) является важной методикой в радиологии, позволяющей различать разные типы тканей благодаря использованию различных секвенций. Однако, несмотря на свою гибкость, данная методика сталкивается с значительными проблемами в области генерализуемости динамических моделей, особенно в случае с изменением параметров активации. Эти модели часто сталкиваются с проблемой недостаточной универсальности при применении к разнородным данным, что затрудняет их адаптацию к различным клиническим задачам. Большинство существующих моделей не включают в свой кадр различные секвенции МРИ, что приводит к потерям в общей универсальности и стабильности моделей. Таким образом, существует необходимость в разработке моделей, которые могут объединить различные секвенции МРИ, чтобы обеспечить лучшую прогностическую способность, активность и общую генерализуемость. #### Метод Мы предлагаем PRISM (PRe-trained with large-scale multI-Sequence MRI) как основную модель с предварительной обученной сетью, которая подразумевает расширенную многосеквентную обработку MRI. Мы собрали большую коллекцию данных из 64 различных наборов данных, включая 8 публичных и 26 частных датасетов, содержащих видео изображения, полученные с различных секвенций МРИ. Для построения основной модели мы использовали 336,476 вольтровных МРИ-сканов, различающихся по типу тканей и исследовательским подходом. Предлагаемая модель включает в свой архитектурный подход два основных момента: 1. Отделение анатомически независимых функций от последовательностей, связанных с МРИ. 2. Обеспечение высокоуровневых семантических представлений, которые могут быть использованы для различных задач в клинической практике. Мы использовали нелинейные модели, которые были обучены с помощью данных с различных секвенций, чтобы сформировать общую модель, удовлетворяющую требованиям многозначной клинической аналитики. #### Результаты Мы проводили эксперименты для оценки модели PRISM на 44 различных клинических задачах, включая задачи диагностики, сегментации изображений, регистрации, прогноза течения заболевания и генерации текстовых отчетов. Модель была проверена на 32 публичных и 5 частных когортных данных. Результаты показали, что PRISM стабильно выполняет лучше остальных непредварительно обученных моделей и даже некоторых существующих основных моделей. Она достигла победы с статистически значимыми улучшениями в 39 из 44 задач, что демонстрирует ее высокую генерализуемость и устойчивость к различным секвенци

## Контекст Задача поиска наиболее выделенного объекта в изображении, называемая **salient object detection (SOD)**, широко используется в области компьютерного зрения, включая обнаружение объектов, сегментацию изображений и анализ сцен. Однако, эффективная и точная интерпретация изображений чрезвычайно зависит от возможности эффективного извлечения особенностей на разных масштабах. Несмотря на то, что существуют многослойные сети, они часто сталкиваются с проблемами, такими как высокий центровой вес, большое количество параметров и высокий уровень вычислительных затрат. Данная работа посвящена разработке **lightweight** сети, которая может эффективно извлекать многомерные особенности не подвергаясь упомянутым проблемам. ## Метод Методология предложенной работы основывается на разработке **Lightweight Multi-Scale Feature Extraction Layer (LMF)**. Этот слой использует **depthwise separable dilated convolutions** в сочетании с **fully connected** структурой. Это позволяет эффективно извлекать многомерные фичи на разных масштабах, при этом сокращая количество параметров и вычислительных затрат. Для построения **LMFNet** (сеть для SOD), **LMF** слои интегрируются в сеть, чтобы достичь лучшей точности в **salient object detection**. Эта методология значительно сокращает вес сети, сохраняя высокую точность. ## Результаты **LMFNet** была протестирована на пяти различных бенчмарк-датасетах, включая **DUTS**, **ECSSD**, **HKU-IS**, **PASCAL-S** и **SOD**. Результаты показывают, что **LMFNet** достигает **state-of-the-art** или сопоставимых результатов на этих датасетах с **0.81M** параметрами. Эта сеть существенно превосходит традиционные модели по **Efficiency** и **Accuracy**. Таким образом, **LMFNet** эффективно решает проблему **multi-scale feature extraction** в **lightweight** сетях. ## Значимость **LMFNet** может применяться в разных областях **image processing**, таких как **salient object detection**, **video processing** и даже в **medical imaging**. Её преимущества заключаются в **high efficiency**, **low computational cost** и **state-of-the-art performance**. Данная работа открывает новые возможности для **lightweight architectures** в области **computer vision** и может быть применена в будущих исследованиях, связанных с **multi-scale feature extraction**. ## Выводы Разработанная сеть **LMFNet** демонстрирует эффективность в **lightweight multi-scale feature extraction** для **salient object detection**. Она исправляет ранее существующие проблемы, связанные с **efficiency** и **accuracy** в **lightweight networks**. **LMFNet** не только показывает новый подход к **multi-scale feature extraction**, но и открывает пути для будущих исследований в области **image processing** и более широких **computer vision** задач.

#### Контекст Подробное описание области исследования, существующих проблем и мотивации ==================================================================== Создание точных персонализированных новостных заголовков является ключевым заданием в сфере рекомендательных систем. Это позволяет улучшить пользовательское вовлечение, увеличить удовлетворение и, в итоге, повысить производительность системы. Основной проблемой в данной области является то, что существующие методы часто не учитывают "шумные" поведенческие данные, которые могут искажать профиль пользователя. Эти "шумные" данные возникают из-за неисключительного интереса пользователя к конкретным новостным материалам, что приводит к неточной характеристике его интересов. Эти ошибки могут привести к генерированию неточных или несоответствующих заголовков, что снижает качество рекомендаций и пользовательский опыт. #### Метод Детальное описание методологии, технических решений и архитектуры ================================================================= Предлагаемый подход, названный **Personalized Headline Generation via Denoising Fake Interests from Implicit Feedback (PHG-DIF)**, включает несколько ключевых шагов. Во-первых, **двойной фильтр** удаляет "шумные" данные из исторических кликов, определяя их по коротким продолжительностям просмотра и аномальным кликам. Во-вторых, **мультиуровневая временная фузирование** позволяет динамически профилировать многомерные интересы пользователя, учитывая их эволюцию во времени. Это позволяет создавать более точные и актуальные новостные заголовки. Фреймворк PHG-DIF также включает в себя архитектуру, основанную на **transformer-based models**, которая обеспечивает эффективное профилирование пользователей и новостных событий. #### Результаты Описание экспериментов, используемых данных и полученных результатов ==================================================================== Чтобы проверить эффективность PHG-DIF, авторы провели эксперименты на новой б BENCHMARK-датесете **DT-PENS**, который содержит данные о кликах 1000 пользователей и почти 10000 аннотированных новостных заголовков. Результаты показали, что PHG-DIF значительно улучшает качество новостных заголовков, повышая как прирост кликов, так и степень точности рекомендаций по сравнению с современными методами. Эти результаты подтверждают, что PHG-DIF способен эффективно удалять "шумные" данные и динамически профилировать интересы пользователей, что приводит к более точным и персонализированным рекомендациям. #### Значимость Области применения, преимущества и потенциальное влияние ======================================================== Предложенный подход может быть применен в различных сферах, включая новостные системы рекомендаций, социальные сети и персонализированные рекламные системы. Он предлагает несколько преимуществ, включая улучшенное качество рекомендаций

## Контекст В современных предприятиях развитие enterprise data pipelines становится все более сложным в связи с использованием множества языков программирования, сложных преобразований данных и многоязычностью. Эти факторы приводят к "семантическому расхождению" (semantic drift) между оригинальными метаданными и окончательными данными, что снижает эффективность таких систем, как Retrieval-Augmented Generation (RAG) и Text-to-SQL. Без точного понимания структуры и преобразований в пайплайнах, предприятия сталкиваются с трудностями в управлении данными, гарантировании их реплицируемости и соблюдении нормативных требований. Наша мотивация заключается в разработке автоматизированных методов для извлечения информации о схеме (schema lineage) из мультиязычных пайплайнов, что позволит устранить эту проблему и обеспечить более точное управление данными. ## Метод Мы предлагаем многоязычный фреймворк для извлечения детальной схемы линейки (schema lineage) из скриптов пайплайнов. Методология основывается на четырёх основных компонентах: source schemas (исходные схемы), source tables (исходные таблицы), transformation logic (логика преобразований) и aggregation operations (агрегационные операции). Метод определяет структурные и семантические аспекты каждого компонента, превращая их в стандартизированный вид, который достаточно точен для анализа и управления. Также мы представляем новую метрику Schema Lineage Composite Evaluation (SLiCE) для оценки качества извлечённых данных с целью проверки их структурной и семантической точности. ## Результаты Мы провели эксперименты с использованием 1,700 manuаlly аnnotated lineages из реальных промышленных скриптов. Наши тесты отражают как структурную точность, так и семантическую фаильность. Мы разбили эксперименты на 12 языковых моделей, начиная от small language models (SLMs) с 1.3B параметров до large language models (LLMs), таких как GPT-4o и GPT-4.1. Результаты показывают, что более крупные модели с большим количеством параметров показывают лучшие результаты, особенно в смешанных условиях с различным размером данных и сложностью задач. Особенно заметны преимущества 32B open-source model, который, используя один резолюционный трасс, может достичь результатов, сравнимых с GPT-series, при использовании стандартных методов подсказок (prompting techniques). ## Значимость Наше решение открывает широкие возможности для применения в сферах, таких как Retrieval-Augmented Generation (RAG), Text-to-SQL, и другие системы, требующие точного понимания данных. Оно обеспечивает улучшенную транспарентность пайплайнов, повышает эффективность гуманных ресурсов, значительно уменьшая время, потраченное на поиск и устранение ошибок. Это также может сыграть ключевую роль в обес