**Резюме** Современные горячие языковые модели (LLMs) показывают высокую эффективность на общих тестах, таких как HumanEval, но слабо выполняются на специализированных задачах, таких как ParEval. Данная статья рассматривает, является ли это ограничением в достаточности доменных знаний LLMs или недостаточностью детализации запросов (prompts). Для этого авторы представляют PartialOrderEval — метод, который добавляет полю тестирования новый аспект: прослеживание изменения производительности (pass@1) при увеличении детализации запросов, от минимального до максимального. Эксперименты проводились на HumanEval, а также на подвыборках ParEval (серийные и OpenMP). Результаты с LLMs типа Llama-3.x и Qwen2.5-Coder показали различия в чувствительности к детализации запросов в зависимости от типа задачи. Квалитиативный анализ выявил, что ключевые факторы, влияющие на улучшение производительности, являются четкое указание ввода-вывода, тестирование на крайних случаях и разбиение задачи на пошаговые этапы.

Развитие AI-драйвенных кодинг-ассистентов, таких как GitHub Copilot, достигает новых высот, но их безопасность в высокорисковых сферах, таких как кибербезопасность, остается нерешительной. Большинство существующих средств red-teaming ограничены фиксированными бенчмарками или артефактами, не отражающими реальных сценариев использования. Мы представляем ASTRA — систему автоматизированных агентов, разработанную для точечного выявления уязвимостей в AI-системах кода и рекомендаций по безопасности. ASTRA работает в трех этапах: строит доменно-специфические знаний-графы для моделирования задач и известных уязвимостей, проводит онлайн-выявление уязвимостей через спациальную и темпоральную проверку взаимодействия модели, и генерирует реалистичные, воздействующие на эффективность тестовые случаи. В отличие от предыдущих подходов, ASTRA использует реалистичные запросы разработчиков и оптимизирует знаний-графы в реальном времени. Оно выявило 11–66% больше уязвимостей по сравнению с конкурентами и улучшило обучение модели на 17%, демонстрируя свою практическую значимость для улучшения безопасности AI-систем.

Большие языковые модели (LLMs) являются мощными инструментами в AI, но их развертывание сталкивается с ограничениями при ресурсах и ограниченных знаниях. Данная работа предлагает стратегию для улучшения эффективности LLMs с помощью оптимизации данных, обучения и моделирования. Основываясь на магистерской работе, автор определил критерии для сбора надежных данных, проверил различные конфигурации и методы обучения, а также измерил результаты по критериям качества, скорости ответа и безопасности. Эксперименты показали, что сочетание стратегического датасета с уточненными методами моделирования позволяет повысить эффективность LLMs в ресурсозависимых средах и в условиях ограниченных знаний. Эти результаты подтверждают возможность создания более эффективных и безопасных моделей с помощью целенаправленного подхода.

**Резюме** В статье предлагается Human Fooling Rate (HFR) — метрика, оценивающая вероятность того, что машинно-генерируемое речью может быть путана с речью человека. Авторы проводят широкомасштабное тестирование открытых и коммерческих TTS-систем и выявляют ключевые проблемы: (i) теории о «человеческом качестве», основанных на CMOS, часто не проходят человеческий тест на обман, (ii) для точного бенчмаркинга TTS следует использовать данные, где звучание человека достигает высокого HFR, так как сравнение с маловыразительными референсами снижает степень требований, (iii) коммерческие модели подходят к человеческому уровню в zero-shot сценариях, в то время как открытые системы сложностями страдают при работе с естественным разговорным языком, (iv) тестирование на высококачественных данных улучшает реализм, но не полностью приближает результаты к уровню человеческого. Основной вывод — необходимо развивать более реалистичные, человеко-центричные методы оценки в дополнение к субъективным тестам.

**Резюме** В статье рассматривается задача хиерархической классификации текстов (HTC), связанная с проблемами нехватки данных и высокой сложности моделей. Предлагается использовать блэк-боксные Large Language Models (LLMs), доступные через API, в качестве альтернативы стандартным методам машинного обучения, требующим больших объемов меток и вычислительных ресурсов. Авторы экспериментировали с тремя стратегиями подсказок (prompting): Direct Leaf Label Prediction (DL), Direct Hierarchical Label Prediction (DH) и Top-down Multi-step Hierarchical Label Prediction (TMH) в zero-shot и few-shot режимах. Результаты на двух наборах данных показали, что few-shot повышает точность классификации по сравнению с zero-shot. Хотя традиционные методы классификации показали высокую точность на данных с широкой легкодоступной иерархией, LLMs, особенно с DH, показали лучшие результаты на глубокой иерархии. Однако API-затраты на DH высоки из-за большого количества токенов. Таким образом, авторы выделяют торговление между улучшением точности и трудоемкостью выполнения. Наблюдается перспектива LLMs в HTC, но требуется оптимальный выбор стратегий для баланса точности и затрат.

**Резюме** В статье рассматривается проблема эффективности мультимодальных рекомендательных систем, которые используют различные типы содержимого (например, текст и изображения) для повышения точности рекомендаций. Авторы задают вопрос: природа получаемого выигрыша заключается лишь в усложнении модели или в истинном понимании мультимодальности? Для разрешения этой проблемы предлагается использовать Large Vision-Language Models (LVLMs), которые генерируют эмбеддинги, разработанные специально для мультимодальных задач. Эти эмбеддинги обеспечивают семантическую целостность и взаимное выравнивание между модальностями без необходимости дополнительных стратегий объединения. Эксперименты показали, что LVLMs не только улучшают точность рекомендаций, но и демонстрируют способность создавать понятные для людей структурированные тексты, демонстрирующие мультимодальное понимание системы. Этот подход устанавливает новый акцент на семантические репрезентации в рекомендательных системах и демонстрирует перспективу LVLMs в качестве основы для создания более значимых и эффективных мультимодальных моделей.

**Резюме** Статья рассматривает проблемы, возникающие при генерации RTL-кода с использованием БОЛЬШИХ языковых моделей (LLM), а именно несоответствие результатов предсказаний к задаче и недостаточный уровень знаний в области RTL-программирования. Авторы проводят подробный анализ ошибок и выделяют их основные причины: недостаточное знание RTL-программирования, непонимание понятий цифровых схем, неясность в описании дизайна и неверное восприятие мультимодальных входных данных. Чтобы улучшить качество генерации, предлагается использовать методы вспомогательной генерации (RAG), основанные на дополнительных знаниях RTL-программирования, нормализации входных данных с помощью специальных правил редактирования и использованием инструментов для преобразования мультимодальных данных в удобный для модели формат. Для оставшихся ошибок предлагается использовать итеративное дебагирование (симуляция, локализация и исправление ошибок). Основным выводом является, что внедрение этих технологий в LLM-фреймворк улучшает точность генерации RTL-кода до 91.0% на VerilogEval, что значительно превышает базовую модель. Это подтверждает эффективность предложенных методов.

**Резюме** В статье представлена HealthFlow — самоэволюционная AI-система с метапланированием, разработанная для решения проблем статических, предопределенных стратегий в AI-агентах, применяемых в сложных областях, таких как здравоохранение. Агенты, ориентированные на использование инструментов, способны улучшаться в работе с конкретными задачами, но не обладают возможностью адаптировать свои высокоуровневые подходы к решению задач. HealthFlow решает эту проблему, автоматически оптимизируя свои стратегии на базе процедурных успехов и неудач, формируя терминологическую базу для последующих задач. Для изучения и оценки производительности HealthFlow был разработан бенчмарк EHRFlowBench, имитирующий реальные задачи анализа клинических данных. Исследование показало, что HealthFlow превосходит современные AI-фреймворки в сфере здравоохранения, демонстрируя высокую эффективность в самоэволюции. Это работа устанавливает новый подход к AI, перейдя от создания улучшенных инструментов к разработке самоэволюционных систем, способных управлять задачами самостоятельно и эффективно.

**Резюме** Проблема: Развитие tool-augmented Large Language Models (LLMs) привело к фрагментации экосистемы, требуя от разработчиков умения взаимодействовать с различными протоколами, определять схемы вручную и управлять сложными рабочими процессами. Решение: Мы предлагаем протокол-агностичный подход к интеграции инструментов, абстрагирующийся от протоколов, чтобы оптимизировать выполнение задач. Наше решение включает автоматическое генерирование схем, двойной режим эксплуатации, позволяющий одновременно использовать различные инструменты, и упрощенный менеджмент множества источников. Выводы: Эксперименты показали снижение объема кода при интеграции в 60–80%, увеличение производительности до 3.1 раз благодаря оптимизации конкурентности, и полную совместимость с существующими стандартами функционального вызова. Этот подход обеспечивает эффективные и простой в использовании решения для разработки LLM-приложений.

## КОНТЕКСТ И ПРОБЛЕМАТИКА Современные веб-ориентированные географические информационные системы (WebGIS) стремятся к максимальной автоматизации и упрощению взаимодействия с пользователем. Традиционные интерфейсы WebGIS требуют от пользователя знания специализированных инструментов и терминологии, что существенно ограничивает доступность систем для широкой аудитории. В ответ на эту проблему развивается новое направление — автономные веб-ориентированные географические информационные системы (AWebGIS), способные выполнять геопространственные операции на основе естественно-языковых запросов. Основная проблема, стоящая перед разработчиками AWebGIS, заключается в необходимости обеспечить точное понимание и исполнение сложных пространственных запросов в условиях ограниченных вычислительных ресурсов. Большинство современных решений полагаются на облачные большие языковые модели (LLM), которые, несмотря на высокую точность, имеют ряд критических недостатков. Во-первых, они требуют постоянного подключения к интернету, что делает невозможным работу в офлайн-режиме. Во-вторых, централизованная обработка на серверах создает серьезные проблемы масштабируемости при увеличении числа пользователей. В-третьих, передача персональных данных и геолокационной информации в облако вызывает обоснованные опасения относительно конфиденциальности пользователей. Существующие offline-решения, основанные на классических алгоритмах машинного обучения, демонстрируют недостаточную точность интерпретации сложных пространственных запросов и не способны адаптироваться к новым типам задач без переобучения. Это создает технологический разрыв между потребностями пользователей в интуитивном и приватном взаимодействии с геоинформационными системами и возможностями существующих технологий. Необходимость разработки эффективного решения, способного работать локально без потери функциональности и точности, стала ключевым мотиватором проведенного исследования. ## ПРЕДЛОЖЕННЫЙ МЕТОД Авторы предлагают революционный подход к созданию AWebGIS, основанный на использовании мелких языковых моделей (SLM), специально обученных для обработки геопространственных запросов в браузерной среде. В качестве базовой модели выбран T5-small — компактная версия архитектуры Text-to-Text Transfer Transformer, отличающаяся оптимальным соотношением между размером модели (60 миллионов параметров) и качеством обработки естественного языка. Процесс fine-tuning включал несколько этапов. На первом этапе был создан обширный датасет из 50 тысяч примеров естественно-языковых запросов и соответствующих им пространственных операций на языке SQL-геозапросов. Датасет охватывал разнообразные типы операций: фильтрацию по местоположению, расчет расстояний, определение пересечений, буферизацию, пространственные соединения и агрегацию данных. Каждый пример прошел ручную валидацию экспертами в области ГИС для исключения ошибок и неоднозначностей. На втором этапе модель была адаптирована под специфику геопространственного домена через технику instruction tuning. Добавлены специальные токены для обозначения типов геометрий (точка, линия, полигон), координатных систем и пространственных отношений. Архитектура модели была модифицирована для работы в браузерной среде через WebAssembly и TensorFlow.js. Для оптимизации производительности применены техники квантования (8-битное целочисленное представление весов) и последовательного выполнения операций для минимизации использования оперативной памяти. Третий этап включал интеграцию скриптов пред-обработки запросов для нормализации географических названий через локальный геокодер и обработку неоднозначностей в запросах. Модель также обучена генерировать не только SQL-запросы, но и метаданные о типе ожидаемого результата (карта, таблица, график), что позволяет системе автоматически выбирать оптимальный способ визуализации данных. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Для оценки эффективности предложенного метода была разработана комплексная экспериментальная методология, включающая сравнение трех подходов к реализации AWebGIS. Первый подход представлял собой полностью автоматизированную онлайн-систему с использованием облачной LLM Cohere Command. Второй подход использовал офлайн-классификаторы на основе SVM и Random Forest для отображения естественно-языковых запросов в пространствен