## Контекст Искусственный интеллект (AI) становится все более важной частью современных технологий, особенно в области развития ло LLM (large language models). Одной из основных задач в этой области является улучшение моделей с помощью reinforcement learning (RL). Однако, применение RL к LLM может приводить к нежелательным последствиям, таким как уменьшение разнообразия в полученных ответах, которое становится критически важным для реального применения моделей в сценариях, где требуется широкий диапазон ответов. Это проблема особенно заметна в задачах, требующих высокого уровня логической рассуждений, таких как математические задачи. Этот феномен подчеркивает необходимость развития эффективных методов RL, которые могут улучшить точность ответов без потери разнообразия. ## Метод Мы предлагаем новую методологию, выступающую в виде **outcome-based exploration**, чтобы улучшить точность LLM в решении задач и избежать потери разнообразия. Мы определяем две ключевые проблемы: (i) распространение деградации разнообразия на нерешенные задачи из уже решенных и (ii) ограниченный объем результатов в реальных задачах логического моделирования. Для решения этих проблем, мы предлагаем два новых алгоритма. Один алгоритм, **historical exploration**, прибегает к UCB-стилю бонусов для стимулирования редких решений. Второй алгоритм, **batch exploration**, вводит поправки на фактор разнообразия внутри подвыборки, чтобы повысить разнообразие результатов в тестировании. Наша архитектура RL взаимодействует с LLM в ходе пост-обучения, приложа подходы из области RL для оптимизации поведения модели в целях улучшения точности и разнообразия. ## Результаты Мы проводили эксперименты с LLM-моделями, такими как Llama и Qwen, чтобы проверить эффективность наших методов. Наши результаты показали, что использование outcome-based exploration позволяет повысить точность модели, даже при ограниченном разнообразии ответов. Была проведена серия экспериментов на задачах математического рассуждения, где оба алгоритма (historical и batch exploration) показали значительное улучшение в точности решения задач, при этом уменьшив риск потери разнообразия ответов. Это позволило улучшить реальную эффективность моделей в сценариях, где требуется поддержка разнообразия ответов. Таким образом, наши результаты подтверждают значимость нашего подхода в решении проблемы уменьшения разнообразия в логическом моделировании. ## Значимость Наш подход имеет широкие перспективы применения в различных областях, где требуется высокая точность в решении задач, но при этом необходимо сохранение разнообразия ответов. Например, в сфере ответа на вопросы, генерации текста, диагностике и машинного обучения. Мы показали

## Контекст Transformer-подобные модели достигли революционных успехов в области обработки естественного языка, изображений, аудио и других задач. Однако их ключевым ограничением является высокое вычислительное время, которое пропорционально квадрату длины последовательности, что делает их сложновесомым для длинных входных секвенсов. Этот аспект ограничивает их применение в задачах, требующих обработки длинных контекстов. Для устранения этой проблемы было предложено несколько инновационных архитектур, но многие из них либо снижают точность, либо не достаточно эффективны. Об этой проблеме и попытке её решения идет речь в данной статье. ## Метод DTRNet (Dynamic Token Routing Network) предлагает новую архитектуру, которая использует динамическое маршрутирование токенов для сокращения вычислительных затрат. Главной идеей является то, что токены могут "пропускать" квадратичный скросс-миксинг с другими токенами, подвергаясь только линейному обновлению. Несмотря на это, каждый токен по-прежнему получает прямое обновление, что сохраняет точность. Архитектура включает в себя MLP-модуль для обновления токенов, а также уменьшает объём вычислений для самоп paуя распределяя токены между квадратичным и линейным обновлением. Это позволяет DTRNet эффективно обрабатывать длинные последовательности, сохраняя высокую точность. ## Результаты DTRNet была проверена на задачах обработки текста, включая генерацию текста и классификацию текста. Для экспериментов использовались данные из научных баз и реальных приложений. Результаты показали, что DTRNet достигает точности, соответствующей стандартным моделям Transformer, при этом уменьшая вычислительные затраты. На длинных последовательностях DTRNet показала существенное сокращение FLOPs, что делает её более эффективной для задач, требующих обработки длинных входов. Например, в текстовой генерации DTRNet снизила FLOPs на ~30%, при этом сохранив точность на уровне Transformer. ## Значимость DTRNet предлагает решение для проблемы высоких вычислительных затрат в трансформерах, которое может быть применено в различных областях, таких как глубокое обучение, NLP, речевые технологии и дальнейшее развитие AI. Её ключевое преимущество заключается в том, что она сочетает высокую точность с значительным сокращением вычислительных затрат. Это делает её привлекательной для использования в реальных приложениях, где необходимо быстро обрабатывать длинные входные данные. Будущие исследования могут сфокусироваться на улучшении метода маршрутизации, а также её применении в других областях, таких как видео- и аудио-процессинг. ## Выводы DTRNet представляет

## Контекст Оценка сложности данных является ключевым аспектом в экспериментах по сравнению различных алгоритмов решения задач, включая задачи классификации и многоклассовой классификации. Для оценки и сравнения моделей классификации в задачах, связанных с знаниями (knowledge graphs, KGs), необходимо измерить сложность данных, так как сложность может существенно влиять на результаты моделей. Однако существуют проблемы с выбором подходящих метрик сложности, которые могут не справляться с задачей из-за необходимости ручной оптимизации или неточности мер. Эта проблема становится еще более актуальной в задачах многоклассовой классификации, таких как прогнозирование связей в KGs. ## Метод В данном исследовании рассматривается метрика сложности данных, известная как Кумулятивная Градиентная Мерна (Cumulative Spectral Gradient, CSG). Данная метрика определяется как проблематическая мерная функция, которая зависит от расстояния в эмбеддинг-пространстве и использует спектральный кластеринг для определения сложности. CSG измеряется в зависимости от двух параметров: количество Monte Carlo сэмплов (M) и количество ближайших соседей в пространстве эмбеддингов (K). Эти параметры оптимизируются для получения наилучшего подхода к оценке сложности. ## Результаты Проведены эксперименты на нескольких стандартных датасетах, включая FB15k-237 и WN18RR, для подтверждения свойств CSG. Было проанализировано ее зависимость от параметров M и K, а также сравнены результаты с метриками, такими как Mean Reciprocal Rank (MRR) и другими. Эксперименты показали, что CSG не является стабильной и не является независимой от конкретных значений K. Также было выявлено, что в некоторых случаях CSG не сильно коррелирует с установленными метриками, такими как MRR, что означает, что CSG может некорректно оценивать сложность данных в задачах прогнозирования связей. ## Значимость Оценка CSG может применяться в качестве меры сложности для прогнозирования связей в KGs, но в рамках этого исследования были выявлены факторы, которые могут снизить достоверность данной меры. Эти результаты могут помочь разработчикам моделей и оценщикам данных для поиска более надежных и независимых методов оценки сложности данных для прогнозирования связей. ## Выводы Мы показали, что CSG не является надежной мерой сложности для задач прогнозирования связей в KGs. Несмотря на оригинальные утверждения, CSG оказалась сильно зависимой от выбора параметров K и не сильно коррелирует с установленными метриками. Наше исследование подчеркивает необходимость разработки более устойчивых и классификаторно независимых методов оценки сложности данных в задачах прогнозирования связ

## Контекст Область исследования сосредоточена на развитии моделей для мониторинга и модерирования поведения пользовательских чатботов. Существующие модели, такие как LlamaGuard, ограничены в своих возможностях, так как они распознают только предопределенные, статические категории вредоносного поведения. Это ограничение приводит к неэффективности в применении моделей к различным прикладным областям, где политики могут быть более сложными и динамически изменяемыми. Наша модель DynaGuard предлагает расширенные возможности, обеспечивая динамическую оценку текста на основе пользовательских политик. Мы исследуем, как эта модель может быть использована в сферах, где стандартные модели не могут дать полного ответа, и выявляем ее потенциальное влияние на обеспечение безопасности и модерирование контента. ## Метод Мы предлагаем динамическую модель DynaGuard, которая динамически оценивает текст на основе пользовательских политик. Модель может работать в двух режимах: быстрой оценки для быстрого выявления нарушений политик и методом пошаговой рассуждений (chain-of-thought reasoning), который объясняет и обосновывает результаты. Мы использовали комбинацию методов машинного обучения и глубокого обучения для построения модели, которая может анализировать текст с высокой точностью. Также, мы разработали архитектуру модели, позволяющую легко адаптироваться к разным доменам приложений, реагируя на пользовательские политики в реальном времени. ## Результаты Мы проверили DynaGuard на различных наборах данных, включающих общие тексты и специальные сценарии приложений. Модель показала высокую точность в определении нарушений динамических политик, чему она успешно соответствует возможностям моделей статических полиций. Также, мы проверили ее возможность выполнять chain-of-thought reasoning, и она демонстрировала аналогичную точность с frontier reasoning моделями, но заметно быстрее. Эксперименты показали, что DynaGuard может быть эффективно применена в сферах, где требуется быстрая реакция на политические нарушения, без потери точности. ## Значимость Модель DynaGuard может применяться в различных сферах, таких как модерирование содержимого, видеомониторинг, медицинский контент мониторинг и другие приложения, где необходимо оценивать текст в режиме реального времени. Основные преимущества модели включают ее универсальность, мобильность и высокую скорость. Мы видим, что DynaGuard может положительно сказаться на обеспечении безопасности и управлении содержимым в различных цифровых средах, предоставляя более гибкие и эффективные инструменты для мониторинга. ## Выводы Наша модель DynaGuard демонстрирует перспективу динамических моделей в мониторинг

## Контекст Повышение эффективности обучения моделей взаимодействия с окружением (reinforcement learning, RL) является ключевым вызовом в современных искусственных интеллектах. Одним из проблематичных аспектов является недостаточная эффективность обучения в контексте RL с верифицируемыми наградами (RLVR), которая требует больших объемов данных и ресурсоемких вычислений. Это приводит к взрыву затрат на обучение и ограничению потенциала эффективного использования моделей в реальной жизни. Более того, традиционные подходы часто не учитывают разнообразие, важность и сложность выборки данных, что делает процесс обучения менее эффективным. ## Метод DEPO (Data-Efficient Policy Optimization) представляет собой новую архитектуру для более эффективного использования данных в RLVR. В оффлайн-фазе, DEPO применяет методы критериев выбора, основанных на разнообразии, важности и сложности выборки. Это позволяет формировать высококачественный подвыбор данных, который способствует более эффективной оптимизации политики. Во время онлайн-обучения с RLVR, DEPO вводит метрику объяснимости выбора, которая анализирует возможность дополнительной эксплуатации выбора. Более того, DEPO использует механизм реплея для подвыбора недообученных выборок, чтобы обеспечить более глубокое и эффективное обучение модели. ## Результаты Проведенные эксперименты показали, что DEPO выигрывает над традиционными подходами в значительной степени. Например, на бенчмарках AIME24 и AIME25, DEPO показал скорость обучения, 1.85 и 1.66 раз выше соответственно по сравнению с GRPO, но используя только 20% обучающих данных. Это свидетельствует о высокой эффективности DEPO в условиях ограниченных ресурсов и высоких требований к качеству обучения. ## Значимость Результаты DEPO открывают новые возможности в области RLVR, позволяя увеличить эффективность обучения в ситуациях, где данные и ресурсы ограничены. Это может иметь значительное применение в сферах, где модели RLVR используются в реальных средах, например, в игровых системах, моделях социальных интерфейсов, а также в робототехнике. Благодаря DEPO, модели становятся более дешевыми в обучении и более точными в прогнозировании, что может способствовать их распространению в широких областях. ## Выводы DEPO продемонстрировал свою силу в обучении моделей RLVR с более эффективным использованием данных. Открытые проблемы, такие как улучшение методов выбора данных и отказоустойчивость моделей, остаются актуальными для будущих исследований. Дальнейшие исследования могут сфокусироваться на расширении применимости DEPO к различным бизнес-ситуациям и

#################### ## Контекст #################### Постепенное внедрение методов развития точек (RL) в область бо LARGE LANGUAGE MODELS (LLMs) позволило достичь значительных успехов. В частности, в LLMs обнаружены неожиданные, часто противоречивые явления, которые отличаются от устойчивых закономерностей в традиционных методах RL. Например, один учебный пример может дать тот же результат, что и целый набор данных, точность сигнала награды не является критичной, и даже только с отрицательными образцами можно достичь эквивалентных или лучших результатов, чем при использовании сложных методов на основе наград. Однако определенные условия, при которых эти явления происходят, и ситуации, когда они идентифицируются, до сих пор остаются неясными. Наша работа призвана выявить основные факторы, отличающиеся в RL-задачах, а также понять, почему они влияют на результаты. #################### ## Метод #################### Мы выполнили многочисленные эксперименты с различными моделями и задачами, чтобы идентифицировать условия, в которых RL-методы демонстрируют противоречивые результаты. Для изучения этих явлений, мы определили новый показатель — Model-Task Alignment — определяющий степень совпадения модели и задачи. Этот показатель измеряется с помощью pass@k, где k — доля правильных ответов модели на задаче. Мы проводили эксперименты по вводу моделей разных архитектур, с различными уровнями начального сходства с задачей, и сравнивали их поведение в зависимости от уровня Model-Task Alignment. Наша методология позволяет визуализировать, какие явления происходят в ситуации с высоким и низким сходством. #################### ## Результаты #################### Мы получили следующие основные результаты: 1. Методы RL показали согласованные и доступные результаты, независимо от применения, если показатель Model-Task Alignment был низкий. 2. Когда Model-Task Alignment был высоким, мы наблюдали появление противоречивых явлений, таких как улучшение подавляющего большинства ответов при помощи одного учебного примера, а также результаты, при которых аккуратность сигнала награды не играла роли. 3. Наблюдения показали, что в ситуациях с высоким Model-Task Alignment, традиционные методы RL становятся чрезмерно сложными и накладывают дополнительные ограничения на модель, что приводит к снижению эффективности. 4. Мы также проверили эти результаты на разных моделях и задачах, чтобы убедиться в стабильности и надежности наших выводов. #################### ## Значимость #################### Установленные нами выводы имеют значительное значение для применения RL в LLMs. Наша работа помогает понять, когда и почему неожиданные результаты возникают в RL-задачах, что поможет значительно повысить уровень зрелости и эффективности применения RL в текстовых задачах. Это также открывает возможно

## Контекст Логические языки программирования (LLP) широко применяются в различных областях, включая системы принятия решений, моделирование и анализ данных. Однако применение LLP в сложных задачах, таких как финансовое моделирование или финансовое кредитование, сталкивается с рядом проблем. Несмотря на высокую точность и скорость работы, LLP часто сталкиваются с проблемами управления риском, несоответствием и недостаточной точностью. В результате, корпоративные модели LLP часто не удовлетворяют потребности в гибкости и точности, что приводит к нарушению бизнес-целей. Это ставит перед исследователями задачу создания моделей LLP, которые были бы как можно более точными и надежными при принятии решений в критичных областях. ## Метод Мы предлагаем методологию, основывающуюся на использовании глубоких нейронных сетей для построения моделей LLP. В ходе работы мы разрабатываем нейросетевую архитектуру, которая может обрабатывать большие объемы данных, включая текстовые, числовые и временные ряды. Мы используем методы добавочного обучения (continual learning), позволяющие модели изучать непрерывно новые данные без потери предыдущих знаний. Также мы внедряем механизмы для управления риском и оценки точности решений. Метод также включает в себя методы оптимизации, направленные на уменьшение времени обучения и увеличение точности модели. ## Результаты Мы проводим эксперименты на реальных данных из различных сфер применения LLP, включая финансы, здравоохранение и управление рисками. Мы сравниваем нашу модель с традиционными LLP и другими нейросетевыми моделями. Результаты показывают, что наша модель демонстрирует значительно более высокую точность и скорость работы. Например, на данных по финансовому моделированию наша модель показывает ошибку по наименьшей квадрату значительно ниже, чем другие модели. Также мы показываем, что наш метод уменьшает риск ошибочных решений и повышает уровень надежности. ## Значимость Мы применили нашу модель в сфере финансовых услуг, где она заметно улучшила качество моделей LLP. Мы также исследуем возможности применения нашего подхода в здравоохранении и управлении рисками. Наша модель позволяет улучшить процесс принятия решений, уменьшая ошибки и увеличивая уровень точности. Это может привести к значительным экономическим и социальным пользе, особенно в сферах, где качество решений имеет критический значение. ## Выводы Мы доказали эффективность нашей модели LLP в различных сферах применения. Наша работа открывает новые пути для улучшения моделей LLP, позволяя им более точно и надежно решать задачи в критических областях. Мы планируем продолжать развитие нашей

## Контекст Область исследования, связанная с применением бо LLM для решения задач классификации в табличных данных, характеризуется особенностями, связанными с трудностями, вызванными разнообразием структур подаваемых данных. Установлено, что традиционные модели часто сталкиваются с трудностями при обработке таких данных из-за необходимости ручного подготовки подходящих классификаторов. Высокая сложность и низкая универсальность методов увеличивают риск ошибок и неэффективности. Название работы "Summarize-Exemplify-Reflect: Data-driven Insight Distillation Empowers LLMs for Few-shot Tabular Classification" отражает фокус на использовании техник сбора и анализа данных для повышения универсальности и точности LLMs. Основной мотивацией является развитие более эффективных и универсальных подходов для обработки табличных данных с минимальным вводом ручных данных. ## Метод Метод, описанный в статье, фокусируется на создании нового фреймворка InsightTab, в котором используются принципы разделения задач на части, подхода "сначала простое" и техники отражения инсайтов. Этот подход включает в себя несколько этапов: 1) сбор и разбиение табличных данных на составляющие части, 2) использование глубокого обучения для построения сводки инсайтов, 3) генерация стратегических примеров для демонстрации модели, 4) обратная связь и рефлексия для повышения точности. Основные технические решения включают использование глубокого нейронного анализа, генерации подходящих примеров и улучшение моделей с помощью рефлексии инсайтов. Этот подход позволяет LLMs более эффективно использовать небольшие обучающие выборки для классификации. ## Результаты Для оценки эффективности InsightTab проводились несколько экспериментов на 9 разных датасетах, включая как стандартные табличные данные, так и более сложные структурированные данные. Модель показала значительную улучшение результатов по сравнению с состоянием искусства в классификации. Особенно выдачные результаты были получены при использовании небольших обучающих выборок. Анализы также показали, что InsightTab подходит для различных ситуаций и имеет высокую точность при классификации даже в условиях несовершенства данных. Также использовались ablation studies для проверки отдельных компонентов фреймворка, что подтвердило его эффективность. ## Значимость Полученные результаты демонстрируют значительный потенциал InsightTab в нескольких областях, включая клиническую практику, финансовый анализ и другие области, где необходима эффективная классификация в табличных данных. Основное преимущество InsightTab заключается в его универсальности и мощи при работе с небольшими обучающими выборками. Это не только повышает эффективно

## Контекст Самостоятельное самостоятельное предварительное обучение (self-supervised pre-training) широко используется в машинном обучении для извлечения представлений из необъединенных данных. Однако существующие подходы, основывающиеся на объединении всех данных и минимизации общей потери, часто неэффективны, когда данные являются гетерогенными или имеют разные характеристики. В этом контексте возникает необходимость разработки более точных и эффективных методов, которые могут адаптироваться к разным типам данных и повысить качество представлений для последующего супервизованного обучения. ## Метод Мы предлагаем новую модель self-supervised pre-training, основанную на объединении биливел-оптимизации и локальных оптимумов для каждого источника данных. В этом подходе, вместо минимизации общей потери, мы используем дополнительные ограничения равновесия, чтобы убедиться, что модель достигает локальных оптимумов для каждого источника данных после $K$-шагового градиентного спуска. Это модель формулируется как биливел-оптимизация, и мы используем метод первого приближения для его решения. Наш подход имеет сильные связи с моделью-агностическим мета-обучением (MAML), но имеет уникальные особенности, присущие самостоятельному предварительному обучению. ## Результаты Мы провели эксперименты с помощью многодоменных и многоязыковых данных, чтобы оценить эффективность нового подхода. Результаты показали, что наш метод значительно повышает адаптивность предварительно обученной модели к задачам супервизованного оптимизации. Такие высокие результаты достигаются благодаря более точному учету локальных особенностей каждого источника данных, что позволяет повысить качество представлений и улучшить результаты на задачах последующего супервизованного обучения. ## Значимость Наш подход может быть применен в различных областях машинного обучения, включая трансформативные исследования в области многоязыковой моделирования, мультидоменного обучения и других. Он демонстрирует высокую эффективность при работе с гетерогенными данными, что может существенно улучшить результаты в супервизованных задачах. Это делает наш подход ключевым инструментом для развития самостоятельного предварительного обучения и его применения в реальных ситуациях. ## Выводы Мы предложили новый подход к self-supervised pre-training, который использует ограничения равновесия для достижения локальных оптимумов для каждого источника данных. Эксперименты показали высокую эффективность этого подхода в улучшении адаптивности моделей к задачам супервизованного обучения. Будущие исследования будут нацелены на расширение этого подхода для работы с другими типами данных

## Контекст В настоящее время предварительно обученные языковые модели (LLMs) широко используются в различных приложениях, но остаются уязвимыми к опасным атакам типа "возвратный угон" (backdoor attacks). Такие атаки заключаются в том, что злоумышленник внедряет в модель скрытые "триггеры", которые могут вызывать нежелательное поведение при подаче конкретных входных данных. Например, триггер может привести к неправильному ответу модели на определенные запросы или даже привести к выдаче вредоносной информации. Особенно трудно обнаружить такие атаки, так как триггеры могут быть размещены внутри модели с использованием незаметных синтаксических или стилистических изменений. Кроме того, ранее предложенные методы защиты от таких атак требуют доступа к знаниям о триггере или специально обученном модели, называемой "чистым" модели. Это ограничивает применение таких методов в реальной жизни, где пользователи часто не имеют доступа к таким данным. В этом исследовании мы исследуем момент, когда можно обойтись без таких знаний, рассматривая методы упрощения модели, которые могут защитить ее от таких атак. ## Метод Мы предлагаем исследовать ряд методов упрощения моделей, называемых "грунджинг" (pruning), которые могут оптимизировать модель, удаляя ненужные части, не влияя на ее функциональность. Мы рассматриваем шесть различных стратегий грунджинга: 1. **Градиентная оптимизация грунджинга** (Gradient-based pruning): Эта стратегия удаляет части модели, которые не приносят большого вклада в точность модели. 2. **Уровневая переменная грунджинга** (Layer-wise variance pruning): Удаляются те части модели, которые меняются меньше всего в процессе обучения. 3. **Градиентная оптимизация с L1/L2 спарсификацией** (Gradient-based pruning with structured L1/L2 sparsification): Удаляются ненужные части модели, которые могут быть известны заранее, как например, слои с малым вкладом в обучение. 4. **Рандомизированный переменный переменный грунджинг** (Randomized ensemble pruning): Множество моделей разного класса упрощаются одновременно, что позволяет выделить лучшие части каждой модели. 5. **Рейнфорсмент-применение грунджинга** (Reinforcement-learning-guided pruning): Используется специальный алгоритм, который учитывает взаимодействия между моделями, чтобы определить, какие части модели могут быть удалены. 6. **Байесовская неопределенность грунджинга** (Bayesian uncertainty pruning): Удаления частей модели, которые не достаточно уверенные в своих ответах. Каждая из этих стратегий модифицирует модель, удаляя менее важные части, при этом следит за влиянием этих изменений на качество модели, чтобы избежать полного удаления полезных частей.