## Контекст Многомодальные большие языковые модели (МЛЛМ) широко применяются в различных областях, но их способность решать задачи, требующие способностей пространственного рассуждения, остается недостаточно развитой. Эти способности включают визуализацию и преобразование фигур, ментальную поворотную трансформацию объектов, оценку относительных позиций и заполнения, а также оценку количественных свойств. Такие ограничения моделей становятся причиной проблем в задачах, которые требуют геометрического мышления. Для решения этой проблемы, авторы предлагают использовать разрешительную геометрию в качестве структурного средства для улучшения пространственных способностей МЛЛМ. Характеристики задач геометрии, такие как логика и многоступенчатая выводимость, позволяют моделям развивать способности, которые могут быть применены к различным пространственным ситуациям. ## Метод Для решения этой проблемы была разработана мультимодальная датасет Euclid30K, содержащая примерно 30 000 задач геометрии, включающих плоскую и твердотельную геометрию. Для обучения моделей использовалась групповая оптимизация политики (Group Relative Policy Optimization, GRPO), которая позволяла моделям приобретать и применять геометрические принципы Евклида. Модели были настроены на выполнение задач, таких как идентификация форм, подсчет элементов и многоступенчатый вывод, используя принципы Евклида. Это позволило моделям развивать геометрические способности, которые могут быть использованы в других задачах, включая смежные задачи смыслового понимания. ## Результаты Проведенные эксперименты показали, что модели, настроенные на датасет Euclid30K, демонстрируют существенный показательный прирост в производительности на 4 различных бенчмарках пространственного рассуждения: Super-CLEVR, Omni3DBench, VSI-Bench и MindCube. Особый успех был показан в VSI-Bench, где увеличение точности в среднем составило 5.5 процентных единиц, набрав до 40.5%. Здесь RoboBrain2.0-Euclid-7B достиг 49.6% точности, превзойдя предыдущую скор лидера Spatial-MLLM. Эти результаты являются первым доказательством того, что геометрический анализ может стать сильным средством для улучшения пространственных способностей МЛЛМ. ## Значимость Результаты исследования открывают новые возможности для применения геометрического подхода в области мультимодальных языковых моделей. Датасет Euclid30K предоставляет широкие возможности для отработки пространственных задач, а методология GRPO позволяет моделям приобретать геометрические навыки, которые могут быть использованы для решения различных задач пространственного мышления. Это не то

## Контекст Одним из ключевых аспектов развития бо LARGE LANGUAGE MODELS (LLMs) является их логическое рассуждение, которое тесно связано с качеством и структурой тренировочных данных. Несмотря на последние достижения, большинство исследований по-прежнему сосредотачиваются на преобразовании форматов данных, отдавая меньшее внимание логической сложности и внутренней структуре примеров. Это приводит к тому, что потенциал данных в логических задачах остается недооцененным. Наша мотивация заключается в том, чтобы измерить и оптимизировать логическую сложность примеров тренировочных данных, чтобы лучше использовать LLM's cognitive potential. ## Метод Мы предлагаем **Data Reasoning Intensity (DRI)** — новую метрику, которая измеряет логическую сложность примеров тренировочных данных путем декомпозиции и агрегации их логических структур. DRI позволяет измерить, насколько хорошо LLM использует логические сигналы в данных и выявить потенциальные проблемы с сильным расходом между потенциалом данных и модели. Кроме того, мы предлагаем **Re-cognizing Optimization Strategy** ( ReOS ), которая систематически улучшает логическую сложность примеров тренировочных данных, чтобы лучше выравнивать их с логическим рассуждением модели. Метод не увеличивает объем данных, а скорее оптимизирует существующие примеры, выравнивая их с логическим пределом модели. ## Результаты Мы проводим плотные эксперименты с множеством характеристик данных, чтобы проверить DRI и ReOS. Использованы такие данные, как **MATH-SHORT**, **MASTRO** и **RACE**. Наши результаты показывают, что **ReOS** существенно улучшает логическое рассуждение LLMs, обеспечивая значительные повышения в производительности и общей универсальности в сравнении с другими data-centric методами. Мы также проверяем нашу модель в reinforcement learning фреймворке, показывая, что оптимизация логической сложности примеров данных оказывается ключевым фактором для повышения логического рассуждения LLMs. ## Значимость Наша работа имеет значительное значение в области обучения LLMs. Она показывает, что логическая сложность примеров в тренировочных данных играет определяющую роль в улучшении логического рассуждения моделей, а не просто в объеме или структуре данных. Это открывает возможности для задач, где LLM должен принимать решения на основе логического рассуждения. Мы также показываем, что наш подход может быть применен в различных областях, включая образование, робототехнику, медицину и другие, где логическое рассуждение играет ключевую роль. ## Выводы Мы доказали, что **DRI** и **ReOS** являются эффективными стратегиями для улучшения логического рассуждения LLMs. Они позволяют лучше использовать потенциал

## Контекст Контекст этого исследования заключается в оптимизации технологий глубокого обучения, которые используются для общения с человеком в реальном времени. На сегодняшний день, большинство моделей обучаются с помощью предварительно подготовленных данных, где человек оценивает или корректирует поведение модели. Однако, этот подход имеет ряд ограничений, включая невозможность адаптироваться в реальном времени к отзывам пользователя. Задача исследования — рассмотреть возможность обучения моделей непосредственно из потока реальных пользовательских интеракций, чтобы улучшить их личностную принадлежность и возможность выполнения инструкций. ## Метод Исследователи предлагают подход, называемый Reinforcement Learning from Human Interaction (RLHI). Основная идея заключается в том, что модель должна выучиваться непосредственно из пользовательских диалогов, используя навыки глубокого обучения, основанных на подкреплении (Reinforcement Learning). Метод включает две основные компоненты: (1) **RLHI с User-Guided Rewrites**, который использует пользовательские ответы для редактирования неудовлетворительных модельных ответов, и (2) **RLHI с User-Based Rewards**, который учитывает историю взаимодействия пользователя для оптимизации модели. Эти методики связывают длительную индивидуальность пользователя (персона) с его предпочтениями на уровне отдельных ответов. Эксперименты проводятся с использованием данных WildChat, в которых собраны многочисленные диалоги пользователей. ## Результаты Проведенные эксперименты показали, что оба варианта RLHI показали значительное улучшение в параметрах personalization (персональности ответов) и instruction-following (выполнение инструкций). Также, оба метода показали неплохой результат на решении различных логических задач (reasoning benchmarks). В частности, RLHI с User-Based Rewards показал свою эффективность в том, как модель может изучить индивидуальные предпочтения пользователя на основе его истории взаимодействий. Эти результаты зарекомендовали данные методики как сильные альтернативы существующим подходам, основанным на предварительно подготовленном гуманском знании. ## Значимость Результаты этого исследования могут иметь значительное значение в различных областях. Во-первых, это позволит создавать модели, которые будут более естественно взаимодействовать с пользователями, учитывая их индивидуальные особенности и привычки. Во-вторых, это демонстрирует возможность научить модели непосредственно из реальных диалогов, что может упростить процесс их обучения и улучшить их качество. В-третьих, это может оказаться критически важным для создания систем, которые могут быть использованы в различных сферах, включая образовательные технологии, помощь в решении задач, и даже в здравоохранении. ## Выводы В итоге

## Контекст Программное тестирование и верификация являются ключевыми задачами в обеспечении надёжности и качества программного обеспечения. Одна из самых сложных задач в этой области — выявление циклических структур («инвариантов»), необходимых для доказательства поведения программы. Исследователи неоднократно сталкивались с проблемой, что автоматические методы выявления инвариантов часто неэффективны или неточны. Для улучшения этих процессов в последние годы набирают популярность глубоко обученные лингвистические модели (LLMs), которые, по мнению авторов, могут ускорить процесс выявления инвариантов. Тем не менее, пока недостаточно широко изучено, насколько эффективны LLMs в этой области и какие модели являются наиболее продвинутыми. ## Метод Для решения проблемы авторов предлагают фреймворк InvBench, который использует технологии глубокого обучения для выявления инвариантов в программах. Фреймворк основывается на свёрточной модели глубокого обучения, которая может работать напрямую с высокоуровневым представлением программ. InvBench включает не только синтез инвариантов, но и проверку их корректности. Для этих целей разработчики использовали стандартную подсистему верификации, чтобы обеспечить формальную гарантию корректности выявленных инвариантов. Таким образом, InvBench не только анализирует, но и оценивает эффективность полученных решений. ## Результаты В ходе экспериментов авторы проверили семь современных LLMs, включая модели Qwen3-Coder-480B и Claude-sonnet-4, в сравнении с традиционным способом UAutomizer. Эксперименты показали, что LLM-based verifiers могут приближаться к эффективности UAutomizer, но пока не могут предложить существенное преимущество. Наиболее заметные различия были замечены в моделях с разным потенциалом, что указывает на важность моделирования. Кроме того, авторы проверили два метода улучшения результатов: supervised fine-tuning и Best-of-N sampling. Например, fine-tuning на 3589 экземплярах повысил процент скоростного ускорения для Qwen3-Coder-480B с 8% до 29.2%, тогда как Best-of-N sampling с N=16 повысило процент успеха Claude-sonnet-4 с 8.8% до 22.1%. ## Значимость Исследование показывает, что InvBench может быть применимо в различных областях, таких как автоматизация программного обеспечения, анализ систем надежности, а также в обучении новых моделей с помощью LLMs. Одним из главных преимуществ является возможность ускорения процесса верификации, что может существенно уменьшить время и стоимость разработки программного обеспечения. Также InvBench открывает пути для дальнейшего исследования методов улучшения текущих моделей и их применения в реальных задачах. ## Выводы InvBench —

#### Контекст В последние годы визионно-языковые модели (VLMs) получили широкое применение в различных областях, таких как анализ изображений, генерация текста и семантический поиск. Однако существующие модели страдают от высоких затрат на вычисления при работе с высокорезольвентными изображениями, что ограничивает их эффективность в реальном времени. Эта проблема усиливается с развитием моделей " thinking with images", которые расширяют область научного исследования с текста на визуальные данные. Наша мотивация заключается в создании более эффективной модели для решения этих задач, оптимизируя процесс работы с высокорезольвентными изображениями. #### Метод Мы предлагаем ERGO (Efficient Reasoning & Guided Observation), метод, основанный на двухступенчатой "коарсе-то-файн" (грубая до строгой) пипейлни. В первой стадии сокращается разрешение изображения, чтобы выделить задачу-применимые области, а во второй стадии обрабатываются только эти области с полным разрешением. Для того чтобы отличить релевантные области, мы предлагаем решение, основанное на мультимодальном контексте, которое учитывает не только текстовую информацию, но и визуальную. Это позволяет управлять перцептивной неопределенностью, расширяя область обработки для ответа на запросы. Мы используем фреймворк реинфорсментного обучения для оптимизации этого процесса. #### Результаты Мы провёряли нашу модель на нескольких датасетах, включая V*, и сравнили её с оригинальной моделью и другими конкурентными подходами. ERGO достигла значительного улучшения производительности с меньшими затратами на вычисления. Например, на V* она превосходит Qwen2.5-VL-7B на 4.7%, при этом используя только 23% визуальных токенов и получая 3x ускорение в инференсе. Это демонстрирует эффективность нашего подхода в решении задач высокорезольвентного визуального понимания. #### Значимость Исследования ERGO могут применяться в различных областях, включая автоматизированный контент-анализ, робототехнику и системы опоры на реальном времени. Основное преимущество заключается в снижении вычислительных затрат, что особенно критично для мобильных устройств и реального времени. Наш подход также может расширить возможности визуально-языковых моделей, улучшив их точность и скорость работы. Это делает нашу модель привлекательной для применения в реальном мире. #### Выводы Мы представляем ERGO, метод, который эффективно решает проблему высоких затрат на работу с высокорезольвентными изображениями в визуально-языковых моделях. Наш подход демонстрирует высокую точность и эффективность, достигнутые за счёт двухступенчатого принципа обработки. Мы планируем дальней

## Контекст Модели языка на основе Mixture-of-Experts (MoE) позволяют обрабатывать большие объемы данных, обладая высокой эффективностью и точностью в решении различных задач. Однако, несмотря на их мощь, эти модели все еще сталкиваются с проблемами в логической рассуждении, особенно при использовании Test-Time Scaling (TTS). TTS позволяет увеличить вычислительные ресурсы во время выполнения, чтобы улучшить результаты модели. Несмотря на это, существующие подходы к TTS ориентированы на уровне выходных данных и не учитывают архитектуру модели. В работе обнаружено, что количество активированных экспертов в MoE моделях может способствовать разнообразию решений. Это открывает возможность использовать новую стратегию, Dynamic Experts Search (DES), для динамического управления активным количеством экспертов на этапе выполнения. DES способствует улучшению точности и стабильности решений в различных задачах, включая математические, программирование и семантические задачи. Это подтверждает важность архитектурно-ориентированного подхода в TTS и показывает, как можно улучшить рассуждение в LLMs. ## Метод Dynamic Experts Search (DES) — это стратегия, ориентированная на динамическое управление количеством активных экспертов в модели Mixture-of-Experts (MoE) во время выполнения. DES включает два основных компонента: (1) Dynamic MoE — модификация механизма активации экспертов, которая позволяет напрямую управлять количеством активных экспертов во время выполнения, что приводит к разным решениям, без дополнительных затрат. (2) Expert Configuration Inheritance — механизм, который пропускает количество активных экспертов в рамках одной логической цепочки, но дает возможность изменять количество экспертов в других реализациях одной задачи. Это позволяет сбалансировать две важные характеристики: стабильность решений и разнообразие. DES модифицирует архитектуру MoE во время выполнения, чтобы улучшить результаты в задачах, требующих высокого уровня логического рассуждения, без значительных изменений в основной модели. ## Результаты Чтобы проверить эффективность DES, проведены тщательные эксперименты на различных моделях MoE, включая GLaM и Chinchilla, а также на различных специализированных подсистемах. Основные бенчмарки, использованные в экспериментах, включали задачи математического моделирования, программирования и семантического понимания. Результаты показали, что DES повышает точность решений и улучшает стабильность в сравнении с традиционными TTS-методовыми подходами. Также были проведены эксперименты с различными наборами данных для математических задач и программирования. В результате, DES демонстрирует превосходство в области логических рассуждений, стаб

## Контекст Недавние развития в области глубокого обучения и реинфорсментного обучения (RL) позволили значительно улучшить планировочные возможности больших языковых моделей (LLM). Однако теоретическая природа этих улучшений остается не полностью понятной. В данной работе мы проводим исследование преимуществ и ограничений RL с помощью графовой абстракции, которая позволяет изучить ситуации, где RL может быть эффективным, а также где могут возникнуть проблемы. Эта модель позволяет сравнивать методы RL, таких как policy gradient (PG) и Q-learning, с другими моделями, такими как предварительно приточенные (supervised fine-tuned, SFT) модели, и выявлять преимущества и недостатки каждого подхода. ## Метод В этой работе используется графовая абстракция, которая представляет задачи планирования в виде состояний и действий на графе. Мы изучаем, как RL-методы, такие как PG и Q-learning, взаимодействуют с этой абстракцией и как они могут решать задачи планирования. Мы также проводим сравнение с SFT-моделями, которые обучаются с помощью Supervised Learning. Затем мы проводим эксперименты, используя реальные задачи планирования, такие как Blocksworld, в которых мы можем сравнить результаты настоящих данных с теоретическими выводами. ## Результаты Наши эксперименты показали, что SFT может привести к проблеме спуруосных решений, которые возникают из-за взаимосвязи входных данных, но не всегда корректно решают задачу планирования. RL, в свою очередь, более эффективно решает эти задачи, особенно благодаря эксплорерским поведениям, которые позволяют RL-системам улучшать свою общезначимость. Однако мы также выявили, что PG может привести к "уплотнению диверсификации" (diversity collapse), когда диверсификация решений уменьшается на протяжении обучения, даже если система достигает идеальной точности. Мы также показали, как Q-learning может стать более диверсифицированной, но только при условии правильного дизайна наград. ## Значимость Наши результаты имеют значительное значение для развития RL в области планирования языковых моделей. Мы показали, что RL может быть эффективным для решения задач планирования, но необходимо внимательно проектировать наградные функции для избежания проблем, таких как "уплотнение диверсификации". Мы также показали, что Q-learning может показаться более гибким и диверсифицированным в контексте RL. Эти результаты могут быть применены в различных областях, где требуется планирование и проектирование решений, таких как машинное обучение, игровые системы и управление. ## Выводы Мы получили значительные теоретические и практические выводы о преимуществах и ограничениях RL в задачах планирования. Мы выявили, что RL мо

## Контекст Reinforcement learning with human feedback (RLHF) является важной парадигмой для выравнивания больших языковых моделей (LLM) с целями и приоритетами человека. Однако в RLHF существуют сложности с эффективным исследованием окружения, которые необходимо решить для улучшения качества получаемых моделями решений. Основной проблемой является недостаточная эффективность сбора новых данных о предпочтениях, что приводит к плохой оптимизации политики и недостаточной информативности модели награды. Это сказывается на практической реализации RLHF, где необходимо минимизировать стоимость сбора данных и повысить эффективность оптимизации. ## Метод Мы предлагаем новую методологию для эффективного исследования окружения в среде RLHF. Алгоритм строится на основе оптимистических принципов исследования, но в отличие от существующих подходов, он направляет предпочтения в направлениях, которые максимально сильно влияют на повышение качества политики. Для этого мы предлагаем новую схему оптимизации, которая минимизирует неопределенность в отношении различий в наградах, связанных с наиболее важными действиями. Это подход не только улучшает эффективность сбора данных, но и позволяет избежать высокой стоимости сбора данных, которая характерна для ранее использовавшихся методов. ## Результаты Мы провели эксперименты на синтетических и реальных данных, которые подтвердили высокую эффективность нового подхода. На практических задачах, таких как выравнивание больших языковых моделей, наши результаты показали существенное повышение качества модели в сравнении с традиционными методами. Мы также показали, что уменьшение неопределенности в различиях наград приводит к более точному определению политики, что улучшает стабильность и эффективность RLHF. ## Значимость Наш подход может быть применен в различных областях применения RLHF, включая настройку больших языковых моделей, управление роботами и другие приложения, требующие эффективного управления сложными окружениями. Он позволяет снизить стоимость сбора данных, улучшить качество решений и уменьшить время обучения модели. Это открывает пути к более эффективной и практичной реализации RLHF в практических приложениях. ## Выводы Мы предложили новую методологию для эффективного исследования окружения в RLHF, которая позволяет уменьшить неопределенность в различиях наград. Наши результаты показали, что этот подход эффективен и может применяться в различных приложениях RLHF. Мы также обсудили перспективы будущих исследований в этой области, в частности, исследования новых стратегий эффективного исследования для более сложных задач.

## Контекст Проблема стохастической природы вывода текста существующих Лангид (LLM, Large Language Models), даже при использовании очень высококачественных данных, является одной из ключевых проблем в области ИИ. Хотя Лангиды показали свою эффективность в многих задачах, их работа под влиянием высокой нагрузки на кеш-мент (Context Saturation) и переключениях задач (Attentional Residue) остается недостаточно раскрытой. Особенно это актуально при работе с задачами многошагового рассуждения (multi-hop reasoning). Этот рабочий процесс подчеркивает необходимость разработки более тщательных методов оценки и моделирования выполняемых задач Лангидов. ## Метод В данной работе рассматривается новая методология, основанная на формальной теории компьютерной нагрузки (computational cognitive load), которая позволяет определить уровень выполнения задач в условиях сильной нагрузки. Методом бенчмаркинга (benchmarking) использовалась интерактивная оценка (Interleaved Cognitive Evaluation, ICE), которая позволяет по одному шагу систематически увеличивать нагрузку на модель, используя различные варианты многошаговых задач. Это позволяет оценить точность работы моделей при возрастающей степени нагрузки. Для экспериментов использовались данные из различных источников, включая стандартные тестовые наборы, а также новые адаптированные наборы данных, созданные специально для этого исследования. ## Результаты На основе экспериментов была проведена систематическая оценка того, как различные Лангиды справляются с задачами многошагового рассуждения, при увеличивающейся нагрузке. Были проанализированы результаты работы пяти моделей, включая Лангиды с открытым исходным кодом и сильно улучшенные модели с лучшим обучением. Наиболее высококачественные модели с повышенным общим ресурсом (например, Gemini-2.0-Flash-001), показали более высокую устойчивость к нагрузке, однако и у них были заметные погрешности при высоком уровне контекстной нагрузки. Более слабые модели, такие как Llama-3-8B-Instruct и Mistral-7B-Instruct-v0.2, показали значительные проблемы в производительности, даже при минимальной нагрузке. ## Значимость Результаты экспериментов демонстрируют, что Лангиды, хотя и могут проявлять высокую точность в статичных задачах, в более сложных задачах требуют большего внимания к учету когнитивной нагрузки. Это важно для адаптации моделей к реальному миру, где задачи часто требуют выполнения в условиях высокой нагрузки. Эти результаты могут быть применены в развитии более надежных методов тестирования и моделирования выполняемых задач. Также, полученные результаты могут способствовать развитию новых архитектур Лангидов, которые будут более усто

## Контекст Phishing — это подмена авторитетного источника со склонностью к мошенничеству, направленная на извлечение чувствительных данных от пользователей. Несмотря на развитие технологий, phishing-атаки остаются одной из самых активных угроз в интернет-безопасности. Они направлены как на физические, так и на юридические лица. Данное исследование фокусируется на разработке эффективных методов по детектированию phishing-атак. Основная проблема заключается в том, что существующие методы часто недостаточно точны и не обладают транспарентностью, что снижает их надежность. Это компрометирует их применение в реальных ситуациях. Мотивация заключается в разработке моделей, которые обеспечат высокую точность, гибкость и понятность решений. ## Метод Для детектирования phishing-атак используются модели, оперирующие на уровне символов (character-level). Три модели, использованные в исследовании, включают: CharCNN (Convolutional Neural Network), CharGRU (Gated Recurrent Unit) и CharBiLSTM (Bidirectional Long Short-Term Memory). Модели адаптированы для анализа текста на уровне символов. Использованная для обучения и тестирования датасет состоит из электронных писем, собранных из различных источников. Эталонные модели сравниваются в трех сценариях: (i) стандартном обучении и тестировании, (ii) обучении стандартными данными и тестировании с адверсарными атаками и (iii) обучении с адверсарными примерами и тестировании. Для оценки вычислительной эффективности используется строгая ограниченная модель, которая может быть реализована в виде браузерного расширения. ## Результаты Для стандартного сценария все модели показали высокую точность, но CharGRU (Char-GRU) проявил себя как самая удачная модель в последних двух сценариях. Все модели оказались восприимчивы к адверсарным атакам, но повышение результатов при добавлении адверсарного обучения позволило значительно улучшить их устойчивость. Для улучшения понимания решений моделей, внедрена техника Gradient-weighted Class Activation Mapping (Grad-CAM), позволяющая визуализировать вклад каждого символа в вывод модели. Эта возможность дает пользователям большее уверенность в работе моделей. ## Значимость Результаты имеют большое значение для различных областей, включая безопасность интернета, технологии мониторинга и автоматического анализа электронной почты. Детальный подробный анализ позволяет понять, какие аспекты каждого письма влияют на вывод моделей. Этот подход может быть применен в браузерных расширениях, предотвращающих phishing-атаки, и дает возможность лучшего понимания стратегий атак. Этот подход повышает потенциал для создания более надежной системы безопасности для пользователей