#### Контекст Современные User Interfaces (UI) становятся все более сложными, включая в себя не только текстовую информацию, но и изображения, звук и видео. Это приводит к росту сложности их понимания и генерации, что требует развития эффективных методов. Однако существующие Multimodal Large Language Models (MLLMs) часто сталкиваются с проблемами точности и качества при работе с UI-задачами. Эти ограничения мотивируют разработку специализированных моделей, которые бы сбалансировали точность и скорость работы, а также смогли бы повысить качество генерации интерфейсов. #### Метод Мы предлагаем UI-UG — модель, которая объединяет возможности понимания и генерации UI в единой структуре на основе Multimodal Large Language Models. Для понимания UI используется **Supervised Fine-tuning (SFT)** в сочетании с **Group Relative Policy Optimization (GRPO)**, что позволяет улучшить точность и мелкогранулярность понимания. Для генерации UI применяется **Direct Preference Optimization (DPO)**, чтобы модель могла сгенерировать интерфейсы, соответствующие предпочтениям пользователей. Также мы предлагаем **LLM-friendly DSL** (доменно-специализированный язык), **оптимизированные стратегии обучения**, процессы рендеринга и подробные **метрики оценки**, чтобы улучшить производительность в реальных условиях. #### Результаты В экспериментах мы проверили модель UI-UG на различных датасетах по пониманию и генерации UI. Модель показала **state-of-the-art (SOTA)** результаты в понимании UI, превосходя как более крупные general-purpose MLLMs, так и модели специализированные на UI, но с меньшим компьютерным воздействием. В генерации UI UI-UG показала результаты, сравнимые с крупными MLLMs, при значительно меньших затратах ресурсов. Мы также продемонстрировали, что объединение понимания и генерации UI может улучшить качество как понимания, так и генерации. Результаты были получены с использованием **данных из сети** и **задачных наборов**, чтобы продемонстрировать реальную эффективность модели. #### Значимость Модель UI-UG имеет многочисленные применения в области UI-дизайна, в том числе в создании интерактивных приложений, генерации UI-компонентов, анализе и модернизации существующих интерфейсов. Одним из основных преимуществ является способность модели работать со сложными UI-данными, оптимизировав как понимание, так и генерацию. Это приводит к повышению качества и точности в оба направления. Будущие исследования будут направлены на улучшение скорости работы, уменьшение потребления ресурсов и расширение доменных моделей, чтобы сделать модель UI-UG еще более универсальной и эффективной. #### Выводы Разработанная модель UI-UG доказывает свою эффективность в области понимания и генерации интерфейсов.

#### Контекст Область робототехники в медицине становится все более важной для обеспечения безопасности и эффективности в динамичных клинических средах. Необходима внедрение развитых возможностей мультимодального понимания и рассуждения для адекватного взаимодействия роботов с окружающим миром. Несмотря на прогресс в области Vision-Language Models (VLMs), они до сих пор имеют ограничения в области логического и временного рассуждения, оценки неопределенности, а также в поддержке структурированных выводов, необходимых для точного робототехнического планирования. Эта статья предлагает новую модель, способную работать с видео и текстом и обеспечивающую структурированный вывод, чтобы улучшить понимание клинических сценариев в робототехнике. #### Метод Предложенная модель сочетает в себе Qwen2.5-VL-3B-Instruct с моделью SmolAgent. Модель Qwen2.5-VL-3B-Instruct обеспечивает сильную обработку текста и изображений, а SmolAgent добавляет свойства агентской модели, включая цепочки мыслей (chain-of-thought) и динамичную вызов функций. Модель включает гибкую систему восстановления информации, позволяющую адаптироваться к различным видам аналогичных данных. Кроме того, она использует гибридную систему смысловой разборки, которая позволяет строить структурированные графы сцены и анализировать видео поток в реальном времени. Эта архитектура позволяет роботу выполнять более точные и адаптивные операции в клинических условиях. #### Результаты На платформе Video-MME и на определенной клинической выборке, модель показала высокую точность и стабильность в сравнении с современными VLMs. Она существенно улучшила способность робота понимать видео-сценарии в реальном времени, оценивать неопределенность, и применять структурированные выводы для точного планирования действий. Результаты показывают, что модель превосходит текущие модели по метрикам точности и устойчивости в клинических условиях. Это указывает на сильный потенциал модели в применении к робототехнике в медицине, включая роботов-хирургов и системы мониторинга пациентов. #### Значимость Предлагаемая модель имеет широкие возможности применения в медицинской робототехнике, в том числе в таких областях, как роботовая хирургия, мониторинг пациентов и поддержка клинических решений. Ее особенностью является возможность гибкого интерактивного взаимодействия, что позволяет роботу еще более эффективно участвовать в клинических процессах. Модель также может повысить безопасность и эффективность в клинической практике, особенно при работе с нестандартными или неоднозначными ситуаци

## Контекст Боязнь ловкости (arachnophobia) — одна из наиболее распространенных фобий, влияющая на качество жизни и мотивацию к лечению у большинства пациентов. Обычно для снижения этой боязни используется классическая терапия, но выявление эффективных визуальных стимулов и их динамическое настройирование в процессе лечения могут ускорить процесс. Экспозурная терапия, воспользовавшись структурированным набором визуальных стимулов, может быть оптимизирована, если модели ИИ смогут точно предсказывать потенциальное потребление страху от изображений. В настоящем исследовании мы исследовали возможность использования предобученных зрения-моделей для точного предсказания человеческих оценок страха от спидер-связанных изображений. ## Метод Мы использовали три различных предобученные компьютерно-визуальные модели, которые были дообучены для предсказания человеческих оценок страха от спидер-связанных изображений (на шкале от 0 до 100). Модели были обучены с использованием переобучения (transfer learning) на наших данных. Мы провели кросс-валидацию, чтобы оценить точность предсказаний. Для анализа интерпретируемости моделей мы провели оценки, показав, какие части изображений влияют на предсказания. Для категорий-ошибок мы проанализировали условия, приводящие к высоким ошибкам (например, дальние виды, изображения с артефактами). ## Результаты Мы достигли среднего значения матожидания абсолютной ошибки (MAE) в пределах от 10.1 до 11.0. Наши результаты показали, что уменьшение размера обучающей выборки значительно повлияло на точность модели, но при увеличении данных не было значительных улучшений. Изучение зрения отдельных категорий показало, что модели становятся менее точными при дальних видах и изображениях с артефактами. ## Значимость Наши результаты указывают на потенциал использования предобученных моделей зрения для предсказания страха от визуальных стимулов в целях лечения. Это может позволить повысить эффективность терапии, предоставив данные для динамического регулирования террапийных материалов. Ценность этого подхода также заключается в том, что модели могут быть объяснены, что значительно улучшает доверие к их результатам. ## Выводы Мы показали, что предобученные модели зрения могут точно предсказать человеческие оценки страха в отношении спидер-связанных изображений. Наши результаты подкрепляют роль моделей зрения в клинических приложениях, связанных с терапией страха. Мы также выделили необходимость увеличивать размер обучающих данных для повышения точности и улучшать модели с учетом