## Контекст Large language models (LLMs) видятся не только как мощные инструменты для обработки естественного языка, но и как специализированные помощники, способные упростить процесс решения разнообразных задач. Однако, существующие системы часто ограничены линейным форматом общения в виде запросов и ответов, что может сделать интерактивные задачи, особенно те, которые требуют многократного обмена информацией, менее эффективными. Мы предлагаем Generative Interfaces for Language Models, новую парадигму, в которой LLMs не только отвечают на запросы, но и активно создают пользовательские интерфейсы (UI), позволяющие более эффективно интерактивно работать с задачами. ## Метод Мы предлагаем новую архитектуру Generative Interfaces for Language Models, которая использует структурированные представления интерфейсов, специфичные для каждой задачи, и итеративные рефинаменты. Модель преобразует пользовательский запрос в задачу, а затем адаптирует пользовательский интерфейс для поддержки эффективного решения. Мы также разработали многомерный фреймворк для оценки, который позволяет сравнивать generative и conversational interfaces по функциональным, интерактивным и эмоциональным критериям. Это позволяет оценить качество работы модели в разных сценариях и для разных типов задач. ## Результаты Мы проводили эксперименты с LLMs на различных задачах, включая те, которые требуют многократного обмена информацией и поддержки интерактивности. Мы сравнивали generative и conversational interfaces по данным, полученным от пользователей. Результаты показали, что generative interfaces не только выполняют задачи быстрее, но и пользователи предпочитают их в более чем 70% случаев. Эти результаты демонстрируют потенциал generative interfaces в улучшении человеко-компьютерных взаимодействий. ## Значимость Generative Interfaces for Language Models могут быть применены в различных сферах, включая консультирование, анализ данных, и конструирование программного обеспечения. Они предлагают более эффективное и интерактивное взаимодействие с большими моделями языка, улучшая как качество решения задач, так и пользовательский опыт. Этот подход может иметь значительное влияние на развитие human-AI interaction, в том числе в области сложных интерактивных задач. ## Выводы Мы установили, что generative interfaces представляют собой эффективный подход к улучшению взаимодействия с большими моделями языка. Наши результаты показывают, что люди предпочитают их в сложных задачах, и мы планируем дальнейшие исследования для того, чтобы улучшить их эффективность и применимость в различных сферах применения.

## Контекст Программирование является ключевым аспектом развития современной цифровой экономики. Одним из основных элементов развития программного обеспечения являются кодовые языковые модели (CodeLLMs), которые используются для различных задач в области программирования, таких как перевод кода, завершение кода и его сводка. Однако традиционные CodeLLMs обучаются только на основе машинного внимания, которое определяет важность токенов во входном тексте на основе их зависимости от выходных токенов. Это подход не учитывает того факта, что люди, написавшие код, имеют интуитивное понимание того, какие токены важнее других, и это влияет на их принятие решений. Несмотря на то, что интуиция нельзя точно определить, визуальное внимание людей может служить показателем того, какие токены более важны. Мы предлагаем EyeMulator, новая техника, которая позволяет обучить CodeLLMs так, чтобы они могли мимикрировать зависимостью визуального внимания человека во время обучения. ## Метод EyeMulator представляет собой метод, который модифицирует традиционные CodeLLMs в ходе их обучения. Для этого мы используем данные, полученные во время экспериментов по экспериментам с потоком сознания (eye-tracking experiments), проведенными ранее в области программирования. Эти данные позволяют определить, какие токены привлекают внимание человека во время просмотра кода. Мы добавляем эти данные в loss function во время тренировки модели. Это означает, что мы придаем больше важности тем токенам, на которые человек больше всего смотрит. Кроме того, в EyeMulator мы не требуем использования eye-tracking данных во время инференса (применения модели), так как веса для каждого токена были уже учтены в ходе обучения. ## Результаты Мы провели ряд экспериментов, используя EyeMulator вместе с несколькими CodeLLMs на различных задачах в области кода: перевод кода, завершение кода и его сводка. Мы сравнили EyeMulator с сильными базовыми моделями, такими как CodeLLMs и CodeGPT. Наши результаты показали, что EyeMulator значительно превосходит эти модели по метрикам качества, таким как BLEU, ROUGE и CodeBLEU. Это доказывает, что EyeMulator действительно улучшает качество результатов, используя метод мимикрирования визуального внимания человека. Также мы провели анализ абляции (аблиационное исследование), который показал, что улучшение происходит благодаря тому, что модели учились мимикрировать зависимость визуального внимания. ## Значимость EyeMulator может применяться во многих областях, в которых требуется повышение качества работы с кодом, такие как программирование, тестирование, документация и другие. Он привносит дополнительные преимущества, так как учитывает желания людей, быстрее и точнее реагировать на важные токены

## Контекст Современные исследования в области нейросигнальных данных, основанных на электроэнцефалографии (EEG), находятся в стадии быстрого развития. Это дисциплина, применяемая в медицинской диагностике, динамическом мониторинге состояния здоровья, улучшении интеллектуальных технологий и других направлениях. Однако наблюдается фрагментация в систематических оценках моделей фаундациональных моделей EEG (EEG-FM), что существенно затрудняет сравнение моделей и направленное научное развитие. Эта проблема возникает из-за отсутствия стандартизированных бенчмарков, а также порождает неэффективность в исследованиях. Целью данной работы является снятие этого ограничения, предоставление сообществу стандартизированной платформы для сравнения и развития моделей EEG-FM. ## Метод Разработка EEG-FM-Bench заключается в нескольких ключевых этапах. Во-первых, мы сформировали разнообразный набор задач и данных из классических парадигм EEG, включая задачи классификации, регрессии и детектирования. Все данные были обработаны стандартизированным процессом, чтобы гармонизировать их для обучения и оценки моделей. Во-вторых, мы реализовали протоколы оценки в унифицированном фреймворке, чтобы обеспечить последовательность и повторяемость экспериментов. В-третьих, мы оценили значимость базовых моделей с помощью этих протоколов, чтобы установить стандартные базовые результаты для последующих сравнений. ## Результаты В рамках этого исследования мы провели систематические эксперименты с известными моделями EEG-FM, включая ALBERT, BERT и другие. Данные были проанализированы с использованием нашего фреймворка, чтобы определить ключевые факторы, влияющие на точность моделей. Мы получили доказательство того, что модели, использующие сложные спектро-временные признаки, показывают более высокую общую точность и гибкость по сравнению с более простыми архитектурами. Также было замечено, что многозадачное обучение и интеграция психонервных принципов могут способствовать улучшению моделей. ## Значимость EEG-FM-Bench предлагает несколько ключевых преимуществ. Во-первых, он обеспечивает стандартизированную оценку моделей, что позволяет легко сравнивать разнообразные модели. Во-вторых, он призван ускорить развитие новых архитектур, обеспечивая научной сообщности рабочую среду для эффективных исследований. В-третьих, результаты нашего исследования демонстрируют возможность моделей для решения сложных задач в области нейросигналы, включая диагностику заболеваний и мониторинг состояния мозга. ## Выводы Мы представили EEG-FM-Bench, первы

## Контекст Deep learning (DL) сделал переломный прорыв в области компьютерного зрения (CV), достигнув впечатляющих результатов в таких задачах, как классификация, сегментация и другие. Теперь эти AI-базированные системы CV распространяются на различные сферы, включая медицинское изображение, технологии слежения и безопасность. Однако современные модели CV, такие как ленивые сверточные сети (CNNs) и трансформеры для видюх (ViTs), часто относятся к "черным ящикам", т.к. их решения остаются непонятными, что затрудняет понимание и ответственное использование. Хотя в последнее время развивается область explainable AI (XAI), её применение в производстве CV до сих пор ограничено. Основной причиной является отсутствие интегрированных решений, которые объединяли бы XAI-техники с системами управления знаниями и мониторинга. Это является фундаментальной проблемой, которую мы пытаемся решить с помощью Obz AI. ## Метод Obz AI представляет собой инновационную платформу, которая объединяет XAI-технологии и мониторинг в реальном времени в унифицированном экосистеме. Её центральная часть — Python client library, позволяющая интегрировать XAI-методологии, такие как SHAP, LIME, и Grad-CAM, прямо в ваши DL-модели. Далее, платформа предлагает мощный аналитический дашборд, работающий в реальном времени, для отображения результатов XAI, анализа outlier detection и мониторинга производительности моделей. Отдельно отметим архитектуру, основанную на микросервисных технологиях, что обеспечивает высокую масштабируемость и надежность. Эти инструменты позволяют ML-инженерам не только понять работу своих моделей, но и отслеживать их в процессе работы, что обеспечивает доверие и ответственность в их развёртывании. ## Результаты Мы проводили эксперименты с различными моделями CV, включая CNNs и ViTs, чтобы оценить эффективность Obz AI в ряде сценариев. Использовались данные с различных источников, включая ImageNet и наборы данных медицинской импедиметрии. Результаты показали, что Obz AI обеспечивает повышенную транспарентность в решениях моделей, улучшает отслеживаемость процесса обучения, и позволяет отслеживать временные шкалы поведения моделей на живых данных. Например, использование Grad-CAM в сочетании с Obz AI позволило выявить нестандартные сценарии в данных, связанные с outliers, что демонстрирует важность нашего подхода в реальном мире. ## Значимость Obz AI имеет широкое применение в различных областях, где XAI и мониторинг важны для успешного развёртывания AI-систем. Например, в медицинской импедиметрии, модели могут объяснить свои решения, что повышает доверие врачей. В слеженческих систем

#### Контекст Оценка и улучшение usability (пользовательской доступности) пользовательских интерфейсов (UI) являются критически важными для создания эффективных и понятных программных решений. Однако существующие методы оценки, такие как тестирование usability и проверки на соответствие требованиям, требуют больших затрат времени и ресурсов, а также постоянного участия экспертов. Это делает эти методы менее доступными для небольших организаций и ограничивает их возможности внедрять эффективные улучшения. Недавние достижения в области мультимодальных широкомасштабных языковых моделей (LLMs) открывают новые перспективы для автоматизации процессов оценки usability. Эти модели могут анализировать различные аспекты программных интерфейсов, включая текстовые, визуальные и структурные компоненты. Наша исследовательская цель заключается в исследовании того, могут ли мультимодальные LLMs стать эффективным инструментом для рекомендации улучшений usability, а также определить их потенциальное влияние на упрощение процесса и сокращение затрат. #### Метод Мы привлекли мультимодальную LLM для решения задачи рекомендации улучшений usability с использованием мультимодальных данных, включающих текст, визуальную структуру и другие связанные данные. Модель была обучена идентифицировать и структурировать usability issues, а затем классифицировать их по степени серьёзности. Мы разработали архитектуру, позволяющую модели анализировать не только отдельные аспекты интерфейса, но и их взаимосвязи. В качестве данных использовались реальные примеры программных интерфейсов, а также оценки этих интерфейсов, полученные от экспертов в области usability. Модель производила рекомендации, сравнивая их с оценками экспертов, чтобы оценить точность и эффективность. #### Результаты В ходе экспериментов модель LLM демонстрировала высокую точность в определении severity улучшений usability. Мы сравнили LLM-рекомендации с оценками экспертов по usability и обнаружили, что модель показала близкие результаты, а в некоторых случаях даже превосходила экспертов в скорости и точности определения наиболее критичных проблем. Мы также обнаружили, что модель эффективно анализирует и объединяет мультимодальные данные, что позволяет ей предлагать комплексные рекомендации. Таким образом, наш результат подтверждает, что модель может стать эффективным инструментом для оценки и рекомендации улучшений в usability. #### Значимость Полученные результаты открывают новые возможности для упрощения и автоматизации процесса оценки usability. Это делает инструмент доступным для небольших компаний и организаций, не имеющих достаточного количества экспертных ресурсов. Модель также

## Контекст Область исследования связана с оценкой уровня развития и самостоятельности искусственного интеллекта (ИИ). Существующие методы, такие как Turing Test, фокусируются на моделировании человеческих общений, но не рассматривают значимость развития ИИ в качестве самостоятельной субьектности. Это привело к появлению мотивации для разработки нового подхода, который бы оценивал не только выполнение задач, но и естественное "развитие" ИИ. Такой подход требуется для адекватной оценки новых концепций ИИ, таких как роботы и грандиозные модели языка, которые не только выполняют задачи, но и вырабатывают собственные стратегии и решения. ## Метод Методология GROW-AI (Growth and Realization of Autonomous Wisdom) основывается на системе шести основных критериев (C1–C6), каждый из которых оценивается через специфические "игры". Эти "игры" разделены на четыре арены, которые исследуют как человеческую субьектность, так и ее транспонирование в сфере ИИ. Действия и решения субъекта записываются в AI Journal, главный источник для вычисления композитных оценок. Оценка производится с применением метода экспертных оценок для установления исходных весов. Глобальный показатель — Grow Up Index — вычисляется как арифметическая средняя всех оценок, с использованием порогов для интерпретации уровней взросления. Методика гарантирует компаративность и трассируемость всех результатов. ## Результаты Исследование проверялось на различных типах ИИ, включая роботы, программные агенты и грандиозные языковые модели. Набор экспериментов демонстрирует, что GROW-AI позволяет эффективно оценивать уровень "развития" ИИ независимо от его формы. Многоигровая структура позволяет выявлять сильные и слабые стороны, тогда как Журнал ИИ гарантирует трассируемость всех решений. Эксперименты показали, что модели с высоким Grow Up Index также проявляют более естественное и самостоятельное поведение. ## Значимость GROW-AI имеет широкие области применения, включая роботизацию, разработку ИИ для критических систем и оценку моделей глубокого обучения. Он предоставляет преимущества в формате единого языка для сравнения разных видов ИИ, а также гарантирует соблюдение этичных стандартов. Этот подход может влиять на развитие новых нормативных и технических подходов, которые будут способствовать устойчивому и эффективному интегрированному развитию ИИ. ## Выводы GROW-AI представляет собой уникальный подход к оценке развития ИИ, который идеально сочетает в себе критерии квалитативного и количественного анализа. Он открывает новые горизонты в развитии ИИ и может стать осново

## Контекст Руко-предметное взаимодействие и трехмерное воспроизведение сцен являются ключевыми аспектами в приложениях для человеко-роботного взаимодействия и иммерсивных AR/VR-опытов. Однако, трехмерное воспроизведение рук и предметов на основе RGB-видео становится сложной задачей из-за различной геометрии объектов, слабых текстур, и руко-предметных оккультаций. Наиболее распространенным подходом является двухэтапная модель, включающую 3D-трекинг руки и предмета, а затем много birds-eye-view 3D-воспроизведение. В настоящее время, существующие методы полагаются на детекторы ключевых точек, такие как Structure from Motion (SfM) и руко-ключевая оптимизация, которые страдают от недостатка гибкости, нестеганности и ограниченной общимости. Мы предлагаем HOSt3R, первый технологический подход к руко-предметному трехмерному воспроизведению без использования ключевых точек, который обеспечивает широкую гибкость и улучшенную общимость для различных приложений. ## Метод Чтобы справиться со сложностями трехмерного воспроизведения руки и предмета, мы предлагаем HOSt3R, новый класс методов, основанный на детектировании 3D-трансформаций руки и предмета без использования ключевых точек. Мы используем сильно нейросетевые архитектуры для автоматического выявления руки и предмета в каждом кадре. Далее, мы реализуем много birds-eye-view 3D-воспроизведение, используя последовательность изображений. Мы интегрируем наши модели с общедоступным SHOWMe-benchmark-датасетом, а также нашей собственной моделью тренировки, которая позволяет проверить нашу подходную модель в нескольких сценах. Наше 3D-моделирующее решение выдает гораздо точные и гибкие результаты по сравнению с другими методами. ## Результаты Мы проверили нашу модель на двух открытых датасетах: SHOWMe и HO3D. Мы проводили эксперименты с различными руко-предметными сценами, включая нестандартные объекты и сильно оккультирующие руки и предметы, чтобы проверить гибкость и общимость наших методов. Мы получили результаты, которые превосходят существующие методы в трехмерном воспроизведении рук и предметов, используя только RGB-изображения без дополнительных сенсоров. Наш предложенный подход показал самые высокие показатели точности и обобщаемости по сравнению с другими текущими системами. ## Значимость Наш подход имеет широкие применения в области человеко-роботного взаимодействия, иммерсивных AR/VR-технологий и даже в сфере глубокого обучения. Наш метод освобождает пользователей от требовани

## Контекст Область исследования связана с поиском новых подходов к регулированию искусственного интеллекта (AI), которые учитывают технологические, экономические и философские аспекты его развития. Существующие фреймворки, такие как Responsible AI, сталкиваются с проблемами в глубине жизненного цикла AI, где данные и их интерпретация становятся важными. AI-системы, основанные на машинном обучении, характеризуются схожим циклом действий: от сбора данных до их обработки и использования в реальных ситуациях. В этом контексте возникают новые вопросы о взаимосвязи данных, обработки и предсказаний, которые остаются недооцененными в существующих моделях. Фундаментальная проблема заключается в том, что политические и технические меры не учитывают динамику становления, определяющую внутреннюю логику и экономический потенциал AI. ## Метод Для развития нового подхода используются теоретические и практические анализы из различных дисциплин, включая технологии, философию и юридический анализ. Ключевым подходом является интерпретация жизненного цикла AI с точки зрения техно-философского анализа. Одним из основных инструментов является концепция "футурити" (futurity), которая описывает самоподдерживающуюся динамику в AI, где каждая стадия жизненного цикла (например, сбор данных, обучение модели, развертывание) взаимодействует с другими стадиями, генерируя непрерывный поток знаний и ресурсов. Этот подход позволяет осмыслить возможности и ограничения текущих моделей, а также раскрыть недооцененные вопросы, такие как влияние "технологических олигоархий" на распределение ресурсов и политическую силу. ## Результаты Выполнен анализ жизненного цикла AI с использованием методов связанных с Simondonian'ом философией технологии. Был предложен концептуальный анализ, охватывающий все стадии жизненного цикла AI, от сбора данных до их развертывания и обогащения. Были выявлены определенные "белые пятна" в представлении, особенно в отношении динамики хранения и обработки данных. Исследование показало, что технологические и экономические модели AI, основанные на recursion (возврат к предыдущим стадиям), создают новые мощности, но также усиливают технологические ассимметрии. Было предложено создать систему течевых трассировок и аудитов, которые позволят отслеживать и контролировать потоки данных и ресурсов в жизненном цикле AI. ## Значимость Результаты исследования имеют значительное значение для развития политик, которые смогут учитывать не только текущие проблемы, но и

## Контекст Современное общество сталкивается с постоянным ростом интеграции искусственного интеллекта (ИИ) в различные сферы жизнедеятельности, включая финансовые услуги, управление трафиком и даже творческое писььмо. Несмотря на это, академическая литература в основном сосредоточена на описании рисков и вредных последствий, связанных с использованием ИИ. Это создает необходимость в подробном изучении реальных сценариев развертывания ИИ и его государственных механизмов. Fabric — это открытый репозиторий, представляющий собой источник живых примеров развертывания ИИ в реальных условиях. Этот проект нацелен на изучение существующих практик, моделей управления и создания инструмента для изучения эффективности управления ИИ в различных сферах. ## Метод Методология проекта Fabric основывается на собеседованиях с практиками в области развертывания ИИ, стремящихся понять, какие методы используются на практике для государственного управления. В ходе собеседований, проводимых в формате полуструктурированных интервью, собираются данные о 20 разных сценариях развертывания ИИ. Также, в сотрудничестве с практиками, были разработаны визуальные диаграммы, отображающие рабочие процессы ИИ. Интервью позволяют понять, какие меры государственного управления и защитных механизмов применяются в реальных условиях для обеспечения безопасности и эффективности развертываемых ИИ-систем. ## Результаты Репозиторий Fabric содержит визуальные диаграммы, описывающие рабочие процессы ИИ в различных сферах, а также подробные описания каждого сценария развертывания. Эксперименты показали, что существует различные формы государственного управления и защитных механизмов, применяемых в разных контекстах. Наиболее распространенными практиками являются: мониторинг, аудит и ограничения ресурсов. Эти методы позволяют управлять рисками и оптимизировать эффективность развертывания ИИ-систем. Были выявлены общие закономерности в практиках управления ИИ, включая частое применение ручных процессов в мониторинге и аудите систем. ## Значимость Представленный репозиторий Fabric может быть использован в различных областях, включая научные исследования по оценке эффективности государственного управления ИИ, разработку новых моделей управления и создание инструментов для анализа существующих практик. Он выделяет главные проблемы в сфере государственного управления ИИ и предоставляет инструментарий для их решения. Кроме того, Fabric может способствовать развитию новых практик и стратегий для обес

## Контекст Область исследований Human-Robot Interaction (HRI) становится все более значимой в связи с развитием робототехники и ИИ. Одной из ключевых проблем является понятие "социальный контекст", которое используется в разных контекстах и может приводить к непониманию между учеными. Это создает затруднения при создании и проверке моделей поведения роботов. Мотивация для этого исследования заключается в том, чтобы улучшить понимание такого значимого аспекта и создать модель, которая поможет взаимодействовать с роботами в разных социальных ситуациях. ## Метод Для изучения социального контекста HRI была проведена литературная серверная запись, рассмотрев существующие работы и определения. Затем был разработан концептуальный модель, который описывает социальный контекст взаимодействия. Образцами исследования стали различные данные, включая исследования, эксперименты, а также практические приложения. Методы включали анализ документов, моделирование ситуаций, а также симуляционные эксперименты для исследования поведения роботов в различных социальных условиях. ## Результаты Исследование выявило различные аспекты социального контекста, включая роль социальных знаний, ситуационных условий и личных отношений. На основе модели было проведено несколько экспериментов, где системы были протестированы на возможности взаимодействия в различных социальных ситуациях. Результаты показали, что модель может улучшить понимание поведения роботов и предоставить инструменты для разработки более эффективных моделей взаимодействия с людьми. ## Значимость Результаты имеют широкое применение в разработке роботов для социальных задач, таких как помощь в старческих домах, обучение, новости и поиск. Одним из основных преимуществ является улучшение моделей взаимодействия, что позволяет роботам лучше понимать и реагировать на поведение человека. Это также может повысить эффективность роботов в решении реальных проблем в социальных ситуациях. ## Выводы Основные достижения исследования заключаются в том, что была разработана модель социального контекста, которая может применяться в различных ситуациях. На будущее, необходимо продолжить работу над совершенствованием моделей, в том числе расширение моделей с целью улучшить понимание неявных сигналов и учета разнообразия социальных факторов. Будущие исследования также должны сосредоточиться на тестировании моделей в реальных условиях для доказательства их эффективности в реальных постановках.