## КОНТЕКСТ И ПРОБЛЕМАТИКА Комплектация графов знаний (Knowledge Graph Completion, KGC) является ключевой задачей в области знаний, особенно в открытых областях, где данные постоянно изменяются. Существующие подходы к KGC часто основываются на предобученных языковых моделях, предварительно созданных запросах или однократном поиске информации. Однако эти методы сталкиваются с существенными ограничениями, особенно когда речь заходит о неизвестных или растущих сущностях, которые часто не представлены в предобученных моделях. Такие сущности могут включать новые личности, компании, события, которые появляются в новостных потоках или других динамических источниках. Традиционные подходы к KGC требуют значительных ресурсов для обучения и часто не могут эффективно адаптироваться к динамическим средам. Они могут некорректно обрабатывать непопулярные или новые сущности, что приводит к неполным или неточным графам знаний. Эта проблема становится особенно критичной в условиях быстро меняющихся информационных сред, где необходимо обеспечить актуальность и полноту графов знаний. Одной из ключевых проблем является невозможность многих существующих методов эффективно использовать динамические и непредсказуемые источники данных, такие как новостные статьи, блоги или социальные сети. Эти источники часто содержат важную информацию о новых сущностях, которая может быть недоступна в предобученных моделях. Таким образом, необходимо разработать новые подходы, которые могут динамически интегрировать информацию из различных источников и обеспечить более полное представление знаний о новых сущностях. ## ПРЕДЛОЖЕННЫЙ МЕТОД В статье предлагается новый фреймворк под названием AgREE (Agentic Reasoning for Emerging Entities), который использует агентское мышление для комплектации графов знаний. Основная идея AgREE заключается в использовании итеративного поиска и многошагового рассуждения для динамического построения троек знаний (knowledge graph triplets). Агентский подход позволяет системе динамически адаптироваться к новым и неизвестным сущностям, используя стратегический поиск информации и рациональное мышление. AgREE работает в несколько этапов. Сначала, агент выполняет поисковые запросы для получения информации о новой сущности. Затем, он проводит многошаговое рассуждение на основе полученных данных, чтобы сформировать новые тройки знаний. Этот процесс позволяет AgREE динамически обновлять граф знаний, не требуя предварительного обучения на конкретных данных. Ключевой особенностью AgREE является его способность обрабатывать непопулярные или недавно появившиеся сущности, которые могут быть не представлены в предобученных моделях. Используя итеративный поиск и многошаговое рассуждение, AgREE может собирать информацию из различных источников и формировать более полные и актуальные графы знаний. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели ряд экспериментов, чтобы оценить эффективность AgREE по сравнению с существующими методами KGC. Эксперименты были проведены на новом бенчмарке, созданном для оценки качества комплектации графов знаний на неизвестных сущностях. Для экспериментов использовались данные из различных источников, включая новостные статьи и веб-страницы. Результаты показали, что AgREE значительно превосходит существующие методы в контексте работы с неизвестными и непопулярными сущностями. В частности, AgREE показал лучшие результаты в построении троек знаний для сущностей, которые не были видны во время предварительного обучения языковых моделей. Повышение качества достигало 13,7% по сравнению с лучшими существующими подходами. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод AgREE имеет широкое применение в областях, требующих поддержания актуальности и полноты графов знаний. Например, в сфере новостей, социальных сетей или электронной коммерции, где необходимо быстро реагировать на появление новых сущностей и информации. AgREE может быть использован для создания более динамических и адаптивных систем знаний, которые могут эффективно интегрировать новую информацию из различных источников. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ AgREE представляет собой новый подход к комплектации графов знаний, который сочетает агентское мышление и стратегический поиск информации. Этот подход демонстрирует высокую эффективность в работе с неизвестными и непопулярными сущностями, что является важной проблемой в современных системах знаний. Будущие исследования могут сосредоточиться на дальнейшей оптимизации метода и его интеграции с другими системами обработки знаний.

--- title: МЕТОДЫ И ПРИНЦИПЫ РАБОТЫ --- ### message ## КОНТЕКСТ И ПРОБЛЕМАТИКА Улучшение способностей рационализации Больших Языковых Моделей (БЯМ) с помощью обучения с подкреплением (Reinforcement Learning, RL) стало важной проблемой в области искусственного интеллекта. Одним из последних достижений в этой области является DeepSeek R1, который демонстрирует эффективность использования правил для вычисления функций преимущества (advantage functions) и руководства оптимизации политик. Однако существует серьезная проблема, связанная с тем, что когда несколько выборок (samples), полученных под одним призывом (prompt), приводят к одинаковым результатам, правильным или неправильным, групповое преимущество (group-based advantage) становится нулевым. Это приводит к исчезновению градиентов (vanishing gradients) и делает такие выборки бесполезными для обучения, что снижает эффективность обучения и результаты в конечных задачах. Данная проблема вызывает ограничения в обучении, особенно когда речь идет о высокой внутренней согласованности (intra-group consistency) модели. Для решения этой проблемы необходимо разработать метод, который может обеспечить значимые сигналы обучения даже в случаях высокой согласованности результатов, чтобы поощрять генерацию правильных и самосогласованных путей рассуждений (reasoning paths). ## ПРЕДЛОЖЕННЫЙ МЕТОД В статье предлагается метод COPO (Consistency-Aware Policy Optimization), который вводит концепцию согласованности (consistency-awareness) в процесс оптимизации политик. Основная идея заключается в том, чтобы использовать глобальную структуру наград (global reward structure), основанную на согласованности результатов, чтобы обеспечить значимые сигналы для обучения даже в случае высокой внутренней согласованности модели. Ключевым элементом COPO является механизм глобальной потери (global loss), который учитывает согласованность выходных данных модели. Это гарантирует, что даже когда результаты выборок показывают высокую внутреннюю согласованность, процесс обучения по-прежнему получает полезные сигналы, что поощряет модель генерировать правильные и самосогласованные пути рассуждений. Кроме того, в COPO используется механизм энтропийного смягчения (entropy-based soft blending), который адаптивно балансирует между локальным оцениванием преимуществ (local advantage estimation) и глобальной оптимизацией. Этот механизм позволяет динамически переходить между эксплорацией (exploration) и конвергенцией (convergence) в течение процесса обучения, что является важной особенностью для повышения эффективности. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для проверки эффективности предложенного метода проведены эксперименты на нескольких математических задачах рассуждений (mathematical reasoning benchmarks). Результаты показывают значительные улучшения в производительности модели при использовании метода COPO. Особенно выделяется то, что метод позволяет модели генерировать более правильные и самосогласованные пути рассуждений, что является ключевым фактором успеха в таких задачах. Было продемонстрировано, что использование глобальной структуры наград и механизма энтропийного смягчения позволяет модели достичь лучших результатов по сравнению с традиционными методами обучения с подкреплением. Эти результаты подтверждают робастность и общую применимость метода COPO в различных задачах рассуждений. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Метод COPO имеет широкое применение в областях, требующих высокого уровня рассуждений и согласованности, таких как математические задачи, логические выводы и другие комплексные проблемы. Благодаря его способности обеспечить значимые сигналы обучения даже в условиях высокой согласованности результатов, COPO может быть использован для улучшения эффективности обучения моделей в различных приложениях. Преимущества COPO заключаются в том, что он повышает эффективность обучения, позволяя моделям генерировать более точные и согласованные результаты. Это может быть особенно полезно в задачах, где важно получить не только правильные ответы, но и согласованные пути рассуждений. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В работе представлен метод COPO, который решает проблему ваньшинга градиентов (vanishing gradients) в обучении с подкреплением, связанную с высокой согласованностью результатов. Этот метод предлагает новую структуру наград и механизм энтропийного смягчения, которые обеспечивают значимые сигналы обучения и повышают эффективность процесса. Будущие исследования могут быть направлены на дальнейшее улучшение методов обучения с подкреплением для БЯМ, включая разработку более эффективных методов решения проблем связанных с согласованностью и генерацией правильных путей рассуждений. Также, можно рассмотреть возможность применения метода COPO в других областях, требующих высокого уровня рассуждений и согласованности.

--- title: КОНТЕКСТ И ПРОБЛЕМАТИКА --- ### message ## КОНТЕКСТ И ПРОБЛЕМАТИКА В последнее время продвинутые языковые модели (LLMs) позволили создать автономных веб-агентов, которые могут выполнять задачи в веб-приложениях. Такие модели действуют как моментальные бэкенды доменной модели, консультируясь с веб-задачами и соответствующим состоянием приложения. Однако ключевой проблемой является сериализация состояния приложения, так называемый "снапшот". Существующие веб-агенты опираются на "уземлённые" GUI-снапшоты, то есть скриншоты с визуальными подсказками, чтобы представлять состояние пользовательского интерфейса (UI). Этот подход приближает процесс к человеческому восприятию, и изображения представляют собой относительно дешевый формат ввода для моделей. Однако, визуальное восприятие LLMs ещё недостаточно развито в сравнении с их способностью интерпретировать код. Другой подход заключается в использовании DOM-снапшотов, которые структурно похожи на HTML и могут быть более эффективными. Тем не менее, большой размер входных токенов в DOM-снапшотах препятствует их эффективному использованию в веб-агентах. Эта проблема становится особенно актуальной, учитывая, что LLMs должны обрабатывать большие объёмы данных в рамках своего контекстного окна. ## ПРЕДЛОЖЕННЫЙ МЕТОД В данной статье предлагается новый алгоритм под названием D2Snap – первый в своем роде алгоритм для сжатия DOM-снапшотов. D2Snap основан на бэкенде GPT-4o и разработан для сокращения размера входных данных, сохраняя при этом ключевую информацию о пользовательском интерфейсе. Алгоритм спроектирован таким образом, чтобы сократить количество токенов, необходимых для представления DOM-снапшота, при этом сохраняя его структурные особенности. D2Snap выполняет "доуменьшение" DOM-снапшотов, сохраняя их иерархическую структуру, которая является важной особенностью для LLMs. Это позволяет модели эффективнее обрабатывать входные данные, не превышая пределы контекстного окна модели. Благодаря этому, D2Snap может быть интегрирован в веб-агентов для выполнения задач, связанных с веб-приложениями. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности D2Snap авторы провели серию экспериментов на основе датасета Online-Mind2Web. В этих экспериментах были использованы задачи, где LLMs должны были выполнять различные действия на основе веб-интерфейса. Результаты показали, что D2Snap-сжатые DOM-снапшоты достигают успешности в 67% случаев, что соответствует базовому уровню успешности GUI-снапшотов (65%), но с меньшим количеством токенов входных данных (порядок величины 1e3). Кроме того, были исследованы различные конфигурации D2Snap, и один из них, который использовал немного больше токенов, но все еще помещался в контекстном окне модели, показал лучшие результаты, превосходя базовый GUI-снапшот на 8%. Это подтверждает, что иерархическая структура DOM является важной особенностью для LLMs и может быть эффективно использована для повышения точности выполнения задач. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предлагаемый метод D2Snap имеет значительный потенциал для практического применения в области веб-агентов. Благодаря своей способности сокращать размер DOM-снапшотов, D2Snap позволяет LLMs более эффективно обрабатывать данные веб-интерфейсов, не превышая ограничений контекстного окна модели. Это может быть особенно полезно в ситуациях, когда необходимо выполнять сложные задачи, требующие обработки больших объёмов данных. Кроме того, D2Snap может быть использован в различных приложениях, где необходимо автоматизировать взаимодействие с веб-приложениями, таких как автоматизация тестирования, мониторинга и анализа веб-страниц. Его эффективность в уменьшении размера входных данных также может быть полезна в ситуациях, где требуется быстрое и эффективное взаимодействие с веб-приложениями. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В рамках данного исследования было показано, что D2Snap является эффективным алгоритмом для сжатия DOM-снапшотов, позволяющим LLMs обрабатывать веб-задачи с высокой точностью. Будущие исследования могут фокусироваться на дальнейшем улучшении алгоритма, в частности, на оптимизации его производительности и расширении его применимости к более широкому кругу задач. Также, исследование может быть расширено для включения более сложных веб-интерфейсов и более разнообразных задач, чтобы проверить широкую применимость D2Snap в реальных условиях.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Современное развитие искусственного интеллекта приблизило человечество к реализации мечты о создании универсальных цифровых ассистентов, подобных J.A.R.V.I.S из киновселенной Marvel. Традиционные подходы к автоматизации задач ограничивались узкоспециализированными решениями, способными выполнять лишь предопределенный набор операций в строго контролируемых средах. Однако появление мультимодальных больших языковых моделей ((M)LLM) открыло принципиально новые возможности для создания агентов, способных взаимодействовать с вычислительными устройствами через стандартные интерфейсы пользователя, такие как графические интерфейсы (GUI). Ключевая проблема заключается в том, что современные операционные системы и приложения разработаны для человеческого взаимодействия, а не для машинной автоматизации. Это создает ряд фундаментальных вызовов: необходимость понимания визуального контента экрана, интерпретации семантики элементов интерфейса, планирования сложных многошаговых задач и адаптации к изменениям в интерфейсах различных приложений. Существующие решения либо требуют специализированного программирования под каждое приложение, либо обладают ограниченной обобщающей способностью. Особенно остро стоит проблема "grounding" - способности агента связать высокоуровневые инструкции на естественном языке с конкретными действиями в интерфейсе. Например, команда "отправь отчет менеджеру по электронной почте" требует понимания, где находится приложение почты, как прикрепить файл, как выбрать нужного получателя и множества других контекстно-зависимых действий. Эта проблема усугубляется разнообразием операционных систем, версий приложений и индивидуальных настроек пользователей. ## ПРЕДЛОЖЕННЫЙ МЕТОД Статья предлагает комплексную системную методологию создания OS Agents - агентов, способных автономно управлять вычислительными устройствами через стандартные интерфейсы операционных систем. Методология базируется на трех фундаментальных компонентах: среда наблюдения, пространство действий и архитектура агента. Среда наблюдения представлена как мультимодальное пространство, включающее визуальную информацию экрана (screenshots), структурное представление интерфейса (accessibility tree), текстовый контент и историю взаимодействий. Для обработки этой информации используются специализированные MLLM, обученные на синтетических и реальных датасетах, содержащих пары "screenshot-описание-действие". Пространство действий охватывает все возможные способы взаимодействия с GUI: клики мышью, клавиатурный ввод, прокрутка, перетаскивание, а также системные действия (запуск приложений, переключение между окнами). Для обеспечения надежности действий используется двухуровневая система: высокоуровневое планирование генерирует последовательность абстрактных действий, которые затем конкретизируются на уровне grounding в конкретные координаты и типы взаимодействий. Архитектура агента включает четыре ключевых модуля: модуль понимания (переводит наблюдения в семантическое представление), модуль планирования (разбивает высокоуровневые задачи на последовательность действий), модуль grounding (сопоставляет действия с конкретными элементами интерфейса) и модуль исполнения (выполняет действия и контролирует их результат). Для эффективного обучения используется комбинация обучения с подкреплением, имитационного обучения и самостоятельного улучшения через взаимодействие со средой. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Оценка эффектiveness OS Agents проводилась на 15 специализированных бенчмарках, охватывающих различные сценарии использования: веб-навигация (Mind2Web, WebArena), работа с офисными приложенияами (OfficeBench), управление мобильными устройствами (AndroidControl) и сложные многоприложные сценарии (OSWorld). На бенчмарке Mind2Web, включающем 2000 задач веб-навигации, лучшие OS Agents достигли 65.2% точности, что на 23% превышает предыдущие методы. В более сложной среде WebArena с динамическими веб-сайтами достигнута точность 38.7%, приблизившись к человеческому уровню в 45.2%. Особенно впечатляющие результаты показаны в задачах многошаговой автоматизации: в среднем агенты справлялись с задачами, требующими 8-12 последовательных

## КОНТЕКСТ И ПРОБЛЕМАТИКА Современные веб-ориентированные географические информационные системы (WebGIS) стремятся к максимальной автоматизации и упрощению взаимодействия с пользователем. Традиционные интерфейсы WebGIS требуют от пользователя знания специализированных инструментов и терминологии, что существенно ограничивает доступность систем для широкой аудитории. В ответ на эту проблему развивается новое направление — автономные веб-ориентированные географические информационные системы (AWebGIS), способные выполнять геопространственные операции на основе естественно-языковых запросов. Основная проблема, стоящая перед разработчиками AWebGIS, заключается в необходимости обеспечить точное понимание и исполнение сложных пространственных запросов в условиях ограниченных вычислительных ресурсов. Большинство современных решений полагаются на облачные большие языковые модели (LLM), которые, несмотря на высокую точность, имеют ряд критических недостатков. Во-первых, они требуют постоянного подключения к интернету, что делает невозможным работу в офлайн-режиме. Во-вторых, централизованная обработка на серверах создает серьезные проблемы масштабируемости при увеличении числа пользователей. В-третьих, передача персональных данных и геолокационной информации в облако вызывает обоснованные опасения относительно конфиденциальности пользователей. Существующие offline-решения, основанные на классических алгоритмах машинного обучения, демонстрируют недостаточную точность интерпретации сложных пространственных запросов и не способны адаптироваться к новым типам задач без переобучения. Это создает технологический разрыв между потребностями пользователей в интуитивном и приватном взаимодействии с геоинформационными системами и возможностями существующих технологий. Необходимость разработки эффективного решения, способного работать локально без потери функциональности и точности, стала ключевым мотиватором проведенного исследования. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают революционный подход к созданию AWebGIS, основанный на использовании мелких языковых моделей (SLM), специально обученных для обработки геопространственных запросов в браузерной среде. В качестве базовой модели выбран T5-small — компактная версия архитектуры Text-to-Text Transfer Transformer, отличающаяся оптимальным соотношением между размером модели (60 миллионов параметров) и качеством обработки естественного языка. Процесс fine-tuning включал несколько этапов. На первом этапе был создан обширный датасет из 50 тысяч примеров естественно-языковых запросов и соответствующих им пространственных операций на языке SQL-геозапросов. Датасет охватывал разнообразные типы операций: фильтрацию по местоположению, расчет расстояний, определение пересечений, буферизацию, пространственные соединения и агрегацию данных. Каждый пример прошел ручную валидацию экспертами в области ГИС для исключения ошибок и неоднозначностей. На втором этапе модель была адаптирована под специфику геопространственного домена через технику instruction tuning. Добавлены специальные токены для обозначения типов геометрий (точка, линия, полигон), координатных систем и пространственных отношений. Архитектура модели была модифицирована для работы в браузерной среде через WebAssembly и TensorFlow.js. Для оптимизации производительности применены техники квантования (8-битное целочисленное представление весов) и последовательного выполнения операций для минимизации использования оперативной памяти. Третий этап включал интеграцию скриптов пред-обработки запросов для нормализации географических названий через локальный геокодер и обработку неоднозначностей в запросах. Модель также обучена генерировать не только SQL-запросы, но и метаданные о типе ожидаемого результата (карта, таблица, график), что позволяет системе автоматически выбирать оптимальный способ визуализации данных. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности предложенного метода была разработана комплексная экспериментальная методология, включающая сравнение трех подходов к реализации AWebGIS. Первый подход представлял собой полностью автоматизированную онлайн-систему с использованием облачной LLM Cohere Command. Второй подход использовал офлайн-классификаторы на основе SVM и Random Forest для отображения естественно-языковых запросов в пространствен

```yaml ## КОНТЕКСТ И ПРОБЛЕМАТИКА Искусственные интеллектуальные (ИИ) агенты в области здравоохранения обладают большим потенциалом для улучшения диагностики и лечения. Однако существующие решения характеризуются существенными ограничениями. Традиционные ИИ-агенты работают на основе статичных, предопределённых стратегий, что ограничивает их способность адаптироваться к сложным, непредвиденным ситуациям. Это приводит к тому, что агенты могут эффективно использовать инструменты, но не могут развивать стратегическое мышление, необходимое для решения сложных задач в области здравоохранения. Проблематика заключается в том, что современные фреймворки ИИ недостаточно адаптивны для динамических и сложных сред, таких как клинические исследования и обработка электронных медицинских карт (ЭМК). Это ограничение становится критичным в контексте решения задач, требующих высокого уровня автономии и адаптивности. Таким образом, необходимо разработать методологии, позволяющие ИИ-агентам не только улучшать свои навыки взаимодействия с инструментами, но и развивать высокоуровневые стратегические навыки. ## ПРЕДЛОЖЕННЫЙ МЕТОД В статье представлен HealthFlow, фреймворк, основанный на концепции конформально-ориентированного управления множеством агентов (ConfAgents). HealthFlow предлагает новую методологию, которая позволяет агентам развиваться самостоятельно на мета-уровне. Это достигается за счёт механизма мета-эволюции, который позволяет агентам анализировать свои собственные успехи и неудачи в решении задач, формируя на их основе прочную стратегическую базу знаний. Архитектура HealthFlow включает в себя несколько ключевых компонентов: 1. **Мета-уровень эволюции**: Агенты используют мета-оптимизацию для адаптации своих стратегий на основе прошлых опытов. 2. **Динамическая адаптация**: Агенты могут модифицировать свои поведенческие модели в реальном времени, основываясь на новых данных и обратной связи. 3. **Интеграция с клиническими данными**: Фреймворк предназначен для работы с реальными клиническими данными, включая данные из электронных медицинских карт. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности HealthFlow авторы разработали новый бенчмарк под названием EHRFlowBench. Этот бенчмарк содержит реалистичные клинические задачи, основанные на данных из пиер-ревьюированных исследований. Эксперименты показали, что HealthFlow значительно превосходит современные фреймворки ИИ в сложных задачах анализа клинических данных. Ключевые результаты: - **Превосходство в стратегическом планировании**: HealthFlow достигает высокого уровня автономии и эффективности в решении сложных клинических задач. - **Адаптивность и самостоятельное обучение**: Агенты, основанные на HealthFlow, показали значительно более высокие показатели адаптивности по сравнению с традиционными подходами. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Предложенный метод имеет широкий спектр применений в области здравоохранения. HealthFlow может быть использован для: - **Оптимизации диагностики**: Автоматизация процесса диагностики на основе данных ЭМК. - **Персонализация лечения**: Адаптация лечебных стратегий к конкретным пациентам на основе их медицинской истории. - **Улучшение исследовательских процессов**: Автоматизация анализа данных в клинических исследованиях, что позволяет ускорить процесс научных открытий. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ HealthFlow является пионерским фреймворком, который сдвигает фокус с создания ИИ-агентов-инструментов на разработку самостоятельно эволюционирующих систем. Это открывает новые возможности для автономных и эффективных решений в области здравоохранения. Будущие исследования могут фокусироваться на дальнейшей оптимизации методологии мета-эволюции и расширении области применения HealthFlow в других сферах медицинских исследований. ```

## КОНТЕКСТ И ПРОБЛЕМАТИКА Развитие ИИ привело к появлению мощных Large Language Models (LLMs), которые могут выполнять сложные задачи резонанса и логического вывода. Однако, несмотря на их способность к общению и решению задач, эти модели ограничены тем, что их обучение требует больших объемов человеческих данных, включая тщательно отмеченные наборы данных и человеческие образцы. Это создает серьезную проблему для развития ИИ, поскольку создание таких данных требует значительных ресурсов и человеческого вмешательства. Традиционные подходы, такие как fine-tuning и reinforcement learning, хорошо работают для доработки моделей, но они не могут обеспечить полностью автономное развитие моделей. Это становится ключевым ограничением для достижения супер-интеллектуальных систем, которые могли бы развиваться самостоятельно, не завися от человеческого вмешательства. Более того, большинство существующих подходов к обучению LLMs ограничены использованием данных, созданных человеком, что ограничивает возможности моделей в решении задач, которые выходят за рамки представленных данных. Мотивацией для разработки R-Zero является необходимость преодоления этого ограничения. Исследователи стремятся создать систему, которая может создавать, оптимизировать и улучшать свои собственные данные, без необходимости во внешних источниках. Такой подход может позволить LLMs развиваться в независимости от предоставленных человеком данных, что, в свою очередь, может привести к более сильным и автономным ИИ-системам. ## ПРЕДЛОЖЕННЫЙ МЕТОД R-Zero представляет собой новый фреймворк для автономного обучения LLMs, основанный на концепции самоэволюции. Он включает в себя два независимых модели: Challenger и Solver. Обе модели инициализируются на основе одной базовой LLM, но имеют разные роли. Challenger отвечает за генерацию задач, которые находятся на границе возможностей Solver, тогда как Solver пытается решить эти задачи. Процесс обучения основан на механизме взаимодействия между Challenger и Solver. Challenger получает награду за генерацию задач, которые Solver не может решить, но которые находятся на пределе его способностей. Это побуждает Challenger создавать все более сложные задачи. С другой стороны, Solver получает награду за успешное решение этих задач, что стимулирует его к постоянному улучшению. Этот процесс создает автономный куррикулум, который позволяет моделям эволюционировать вместе. Благодаря этому, R-Zero может работать без необходимости во внешних наборах данных, поскольку она генерирует свои собственные данные в процессе взаимодействия. Это позволяет моделям совершенствоваться в решении задач, которые имеют отношение к резонансу и логическому выводу, не требуя никаких внешних меток или человеческого вмешательства. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Исследователи провели эксперименты, чтобы оценить эффективность R-Zero. Они использовали разные базовые модели LLMs, включая Qwen3-4B-Base, для проверки улучшений в решении задач резонанса и логического вывода. Результаты показали, что R-Zero значительно улучшил результаты моделей в различных задачах. Например, на математических задачах резонанса, Qwen3-4B-Base показала улучшение на +6.49 по сравнению с базовой моделью. Также, на задачах общего домена, улучшение составило +7.54. Эти результаты демонстрируют, что R-Zero эффективен в улучшении способностей резонанса моделей, даже при отсутствии внешних данных. Это подтверждает, что метод самоэволюции может быть использован для повышения способностей LLMs в решении сложных задач, не требуя больших наборов данных или человеческого вмешательства. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ R-Zero имеет потенциал применения в различных областях, где необходимо улучшение способностей резонанса и логического вывода LLMs. Также, он может быть использован в задачах, где требуется автономная разработка данных или обучение моделей в условиях отсутствия внешних источников данных. Это может быть полезно в таких областях, как образование, медицина, финансы и другие сферы, где необходимо решать сложные задачи, не имея доступа к большим наборам данных. Преимущества R-Zero в том, что он позволяет создавать модели, которые могут развиваться самостоятельно, не требуя больших инвестиций в создание данных. Это может существенно упростить процесс разработки и обучения моделей, особенно в ситуациях, где человеческие ресурсы ограничены. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ R-Zero является важной шагом в развитии автономных LLMs, которые могут развиваться без необходимости во внешних данных. Он показывает, что самоэволюция может быть эффективным методом для улучшения способностей моделей в решении задач резонанса и логического вывода. Будущие исследования могут фокусироваться на дальнейшем улучшении этой методологии, включая расширение ее применимости к другим типам задач и моделей, а также исследование возможностей для применения этого подхода в реальных ситуациях.

--- title: КОНТЕКСТ И ПРОБЛЕМАТИКА --- ### message ## КОНТЕКСТ И ПРОБЛЕМАТИКА Интеграция пространственных данных представляет собой ключевую задачу в области геоинформатики и городского планирования. Традиционные подходы, основанные на правилах, не в состоянии охватить все случаи на практике, что приводит к необходимости ручной проверки и исправления. Методы машинного обучения также сталкиваются с трудностями, требуя сбора и аннотирования больших объемов зависимых от задачи данных. В этой связи Large Language Models (LLMs) становятся перспективным решением, способным обрабатывать гетерогенные и шумные пространственные данные. Однако до сих пор неясно, насколько эффективно LLMs могут выполнять пространственное рассуждение и интегрировать данные на макро- и микроуровнях. В данном исследовании авторы сосредоточились на понимании способности LLMs к пространственному рассуждению, особенно в контексте взаимосвязей между элементами городской среды, такими как дороги и тротуары. Целью было оценить, могут ли LLMs эффективно интегрировать пространственные данные, связанные с человеческим опытом, и какие проблемы могут возникнуть при этом. Исследование также рассматривает возможности улучшения результатов при использовании дополнительных функций и методов, таких как подход "проверить и уточнить". ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предложили методологию, основанную на использовании LLMs для интеграции пространственных данных. Исследование включает в себя анализ способности LLMs к рассуждению о пространственных отношениях, особенно тех, которые возникают в городских средах. Для этого использовались запросы, описывающие связи между различными элементами городской инфраструктуры. При обнаружении несоответствий или логических противоречий в ответах LLMs, исследователи применили метод "проверить и уточнить". Этот подход позволяет исправлять ошибочные первоначальные ответы, сохраняя точные результаты. Архитектура метода включает в себя пошаговую модификацию запросов, чтобы снизить зависимость LLMs от пространственного рассуждения и увеличить точность результатов. Дополнительно, исследование рассматривает возможности интеграции многомодальных данных и поддержки различных форматов данных в реальных приложениях. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ В исследовании были проведены эксперименты на базе различных пространственных наборов данных, охватывающих городские среды. Результаты показали, что LLMs обладают определенными пространственными способностями к рассуждению, но сталкиваются с трудностями при попытке соединить макро- и микроуровни данных. Например, LLMs могут продемонстрировать понимание связей между дорогами и тротуарами, но затрудняются в выполнении точных вычислительных задач, связанных с геометрией. При использовании дополнительных функций, таких как геометрические данные и контекстуальные описания, LLMs показали высокую эффективность в создании результатов. Метод "проверить и уточнить" также демонстрирует высокую эффективность в исправлении ошибок, сохраняя при этом точные ответы. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ Исследование показывает, что LLMs могут стать ценным инструментом для интеграции пространственных данных в реальных приложениях. Они предлагают гибкую альтернативу традиционным правилам и подходам машинного обучения, которые требуют большого объема ручной работы. Это может быть особенно полезно в областях городского планирования, геоинформатики и управления пространственными данными. Преимущества LLMs заключаются в их способности адаптироваться к различным форматам данных и обрабатывать шумные, неструктурированные данные. Кроме того, метод "проверить и уточнить" может быть использован для повышения точности и надежности результатов. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ Исследование показывает, что LLMs имеют большой потенциал для интеграции пространственных данных, но требуют дополнительных улучшений для решения проблем, связанных с пространственным рассуждением. Будущие исследования могут фокусироваться на разработке методов пост-обучения, интеграции многомодальных данных и поддержке различных форматов данных. Эти усовершенствования могут позволить LLMs стать еще более эффективными инструментами для решения сложных пространственных задач в различных прикладных областях.

--- title: КОНТЕКСТ И ПРОБЛЕМАТИКА --- ### message ## КОНТЕКСТ И ПРОБЛЕМАТИКА Современные конвейеры больших языковых моделей (LLM) становятся все более похожими на данные, управляемые системы. Они извлекают внешний контекст, компонуют промежуточные результаты, проверяют выводы и адаптируются в зависимости от отзывов, полученных во время выполнения. Однако ключевым элементом, руководящим этим процессом, является **промпт** (запрос или контекст, передаваемый модели), который часто остается хрупким и непрозрачным. Промпты часто представляют собой неструктурированные строки, которые не интегрированы с окружающим процессом выполнения. Это создает серьезные ограничения на возможности повторного использования, оптимизации и управления процессом в реальном времени. Проблема заключается в том, что традиционные подходы к управлению промптами не обеспечивают достаточной гибкости и контроля над их динамическим поведением. В результате разработчики сталкиваются с трудностями при модификации промптов в ответ на изменяющиеся условия выполнения, такие как низкая уверенность модели, высокая задержка или отсутствие необходимого контекста. Кроме того, отсутствие структурированного управления промптами затрудняет их версионирование, отладку и анализ. Предлагаемое решение должно решить эту проблему, превратив промпты в **структурированные, адаптивные и первоклассные компоненты** конвейера выполнения. Такой подход позволит динамически изменять промпты в зависимости от сигналов, полученных во время выполнения, а также обеспечит возможность их структурированного хранения и оптимизации. ## ПРЕДЛОЖЕННЫЙ МЕТОД Решение, предложенное в работе, называется **SPEAR** — язык и среда выполнения, предназначенные для заполнения пробела в управлении промптами. SPEAR делает промпты структурированными, адаптивными и первоклассными элементами модели выполнения. SPEAR вводит **алгебру промптов**, которая определяет правила построения и адаптации промптов в конвейере. Эта алгебра поддерживает различные режимы уточнения (ручной, помощью пользователя и автоматический), обеспечивая баланс между контролем разработчика и автоматизацией процесса. Ключевыми компонентами SPEAR являются: 1. **Динамическая адаптация промптов**: SPEAR позволяет модифицировать промпты в реальном времени в ответ на сигналы, такие как низкая уверенность модели, высокая задержка или отсутствие контекста. Это обеспечивает более гибкое и реактивное поведение конвейера. 2. **Структурированное управление промптами**: SPEAR организует фрагменты промптов в версионируемые представления (views), которые могут быть инспектированы и записаны в логи. Это облегчает отладку, версионирование и повторное использование промптов. 3. **Оптимизации на уровне промптов**: Используя структурированный подход, SPEAR позволяет применять оптимизации, такие как слияние операторов (operator fusion), кэширование префиксов и повторное использование представлений, что повышает эффективность конвейера. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели эксперименты для оценки эффективности SPEAR в сравнении с традиционными статическими промптами и агентскими повторными попытками (agentic retries). Результаты показали, что динамическая адаптация промптов позволяет значительно повысить точность и эффективность конвейера. Кроме того, эксперименты показали положительное влияние оптимизаций, таких как слияние операторов и кэширование префиксов, на производительность системы. Результаты демонстрируют, что SPEAR не только повышает качество вывода моделей, но и позволяет оптимизировать время выполнения и ресурсы. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ SPEAR имеет широкое применение в областях, требующих высокого уровня адаптивности и контроля над промптами. Это может включать: - **Конвейеры обработки естественного языка**: Где необходима динамическая модификация запросов в зависимости от контекста. - **Автоматизированные системы**: Где критична оптимизация времени выполнения и ресурсов. - **Системы с открытым контекстом**: Где важна возможность интеграции внешних данных и их динамического использования. Преимущества SPEAR включают в себя повышенную эффективность, улучшенную отладку и повторное использование кода, что делает его привлекательным для разработчиков сложных систем на основе LLM. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ SPEAR предлагает передовой подход к управлению промптами, превращая их в структурированные и адаптивные компоненты конвейера выполнения. Это позволяет решить многие проблемы, связанные с традиционными неструктурированными промптами, такие как низкая повторяемость, сложность отладки и ограниченные возможности оптимизации. Будущие исследования могут фокусироваться на расширении SPEAR для поддержки более широкого спектра режимов адаптации и оптимизации, а также на интеграции с другими системами управления данными для создания еще более гибких и эффективных конвейеров.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Преодоление сложностей навигации в веб-среде является ключевым тестом для искусственного общего интеллекта (Artificial General Intelligence, AGI). Окружения веб-навигации отличаются высокой энтропией, динамичностью и экспоненциально быстрым ростом возможных действий, что делает их крайне сложными для автономных агентов. Существующие подходы в этой области разделяются на две категории: офлайн обучение подразумевает имитацию поведения на основе предварительно собранных данных, тогда как онлайн-исследования фокусируются на динамическом поиске решений в реальном времени. Однако ни один из этих подходов не успешно интегрирует оба парадигмы, что является ключевым ограничением для создания эффективных веб-агентов. Эта проблема вдохновила исследование, основанное на двойной системе когнитивных процессов, известной как двойная система человеческого мышления. Эта теория подразумевает существование двух типов когнитивных процессов: быстрый, интуитивный «Система 1» и медленный, рациональный «Система 2». Такой подход может помочь в создании агентов, способных адаptive переключения между интуитивными реактивными реагированиями и рациональными, плановыми действиями в зависимости от сложности задачи. Это открывает путь к более эффективной и адаптивной навигации в веб-средах, но до сих пор не было предпринято попыток реализовать эту идею в практическом агентском фреймворке. ## ПРЕДЛОЖЕННЫЙ МЕТОД Для решения этой проблемы авторы предлагают фреймворк CogniWeb, основанный на принципах двойной системы когнитивных процессов. Этот фреймворк состоит из двух основных компонентов: System 1, отвечающий за быстрое, интуитивное реагирование на внешние стимулы, и System 2, который выполняет более глубокий анализ и планирование. Архитектура CogniWeb построена таким образом, чтобы эти два компонента могли работать вместе, адаптируясь к сложности задачи. System 1 основан на моделях обучения с имитацией, которые позволяют агенту быстро реагировать на распространенные ситуации. Этот компонент использует предварительно обученные модели для выполнения простых задач без необходимости глубокого анализа. С другой стороны, System 2 использует более сложные модели, такие как модели планирования и принятия решений, которые позволяют агенту анализировать ситуацию более тщательно и выбирать оптимальный путь действий в более сложных ситуациях. CogniWeb также включает в себя механизм адаптивного переключения между System 1 и System 2. Этот механизм основан на оценке сложности задачи и выборе наиболее подходящего подхода. Например, если задача относительно простая, агент может использовать System 1 для быстрого решения. Если же задача требует более сложного анализа, агент переключается на System 2 для более глубокого рассмотрения. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности CogniWeb авторы провели серию экспериментов на платформе WebArena, которая представляет собой симулятор веб-навигации с высокой сложностью и динамическими условиями. В эксперименте были использованы различные сценарии навигации, включая простые и сложные задачи. Результаты показали, что CogniWeb достиг 43,96% успешности в выполнении задач, что является конкурентноспособным результатом по сравнению с другими методами. Однако основным достижением было значительное сокращение использования токенов (то есть ресурсов, необходимых для обработки данных) на 75% по сравнению с другими подходами. Это говорит о более эффективном использовании ресурсов и потенциальной экономии вычислительной мощности. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ CogniWeb имеет широкое применение в области автономных веб-агентов. Его способность эффективно переключаться между интуитивным и рациональным мышлением делает его подходящим для решения задач с различным уровнем сложности. Это может быть использовано в различных приложениях, таких как поисковые системы, рекомендательные системы и автоматизированные сервисы навигации. Преимущества этого подхода заключаются в более эффективном использовании ресурсов, снижении времени выполнения и повышении точности принятия решений. Это может привести к значительному улучшению производительности веб-агентов и повышению их пригодности для реального мира. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В результате исследования было показано, что фреймворк CogniWeb предлагает эффективный способ решения проблем навигации в веб-средах, используя принципы двойной системы когнитивных процессов. Этот подход не только показал высокую эффективность в решении задач, но также открыл новые возможности для дальнейших исследований в области AGI. Будущие исследования могут фокусироваться на дальнейшем улучшении архитектуры CogniWeb, включая оптимизацию механизма переключения между System 1 и System 2, а также расширение его применимости к более широкому кругу задач. Также важно исследовать возможности интеграции этого подхода с другими методами AGI для создания еще более мощных и адаптивных систем.