#### Контекст Современные языковые модели (LLM) обладают возможностью генерировать тексты, которые, как полагается, должны быть более творческими, чем те, которые предлагаются в исходной модели. Одна из метрик, наиболее часто используемой для оценки творчества текста, — n-gram novelty. Она определяет то, насколько уникален текст по сравнению с текстами, известными модели. Однако теоретические работы по творчеству подчеркивают, что n-gram novelty недостаточно, так как не учитывает две ключевые составляющие творчества: **новизну** (originality) и **прагматичность** (appropriateness). Это делает n-gram novelty неполной метрикой для оценки творчества. Мы исследуем эту проблему, используя огромное количество экспертных аннотаций (7542), которые оценивают не только новизну, но и значение текста владельцам языка — прагматичность и сочетательность. #### Метод Мы разработали специальный корпус данных, включающий тексты, генерируемые как людьми, так и ЛЛМ. Эти тексты были аннотированы экспертами-писателями, которые оценивали каждый текст по трем критериям: **новизна** (новизна выражения), **прагматичность** (то, насколько выражение соответствует логике и контексту) и **сочетательность** (то, насколько текст естественно звучит). Эти аннотации позволяют нам изучить, насколько хорошо n-gram novelty соответствует экспертным оценкам. В этом исследовании мы также проверяем, насколько хорошо модели себя чувствуют, определяя творческие или непрагматичные выражения. #### Результаты Мы обнаружили, что n-gram novelty была положительно связана с высокими оценками экспертов по творчеству, но существуют существенные ограничения. В частности, примерно 91% текстов, наиболее высоко оцененных по n-gram novelty, не были расценены как творческие. Это указывает на то, что n-gram novelty не может быть использовано в качестве однозначной метрики для творчества. Мы также обнаружили, что более высокая n-gram novelty в LLMs приводит к низкой прагматичности. Таким образом, ЛЛМ могут генерировать оригинальные тексты, но их выражения часто не соответствуют контексту. Наши эксперименты показали, что frontier LLMs способны выделять такие выражения, но их результаты остаются недостаточно точными. #### Значимость Этот результат имеет значение для области текстовой генерации и творчества. Наше исследование показывает, что творчество не может быть оценено только через n-gram novelty, и что для того, чтобы модели LLM становились более творческими, необходимо улучшить их возможности различить непрагматичные выражения. Мы также показываем, что модели LLM могут быть использованы для оценки творчества, но их моделируемое поведение пока не достигает у

## Контекст Последние годы стали определяющими для развития глубокого обучения, в частности, лингвистических моделей (LLM). Эти модели предоставляют возможность естественного взаимодействия с пользователями, обеспечивая поддержку различных задач, от принятия решений до порождения текста. Однако существуют существующие проблемы, связанные с необходимостью запускать специальные приложения, выполнять конкретные запросы и ожидать ответа. Это приводит к неэффективности, особенно в ситуациях, где нужна оперативная помощь. Мотивация для исследования заключается в рассмотрении альтернативных подходов, которые могут упростить интерактивность и сделать ее более интегрированной в повседневные действия пользователя. ## Метод В этом исследовании рассматривается новый подход, называемый "overhearing agents", где LLM-модели непосредственно не взаимодействуют с пользователем, но активно отслеживают и анализируют его окружающую активность. Методология основывается на анализе поведения и возможностей таких систем, включая исследование существующих экспериментов и моделей. Также включается разработка схемы взаимодействия, определение ключевых характеристик и точек взаимодействия, что позволяет структурировать потенциальные применения этого подхода. ## Результаты Эксперименты показали, что overhearing agents могут эффективно работать в ситуациях, где требуется простая поддержка, такие как обсуждение логистики задач, автоматическое оформление документов и контекстная поддержка в образовательной среде. Использовались данные из реальных сценариев взаимодействия, такие как медицинские консультации и учебные занятия. Получены результаты, демонстрирующие высокую точность в распознавании контекста и своевременность вступления в обмен. ## Значимость Подход "overhearing agents" может быть применен в областях, где требуется непрерывная поддержка в процессе работы, например, в здравоохранении, образовании, бизнесе и домашних целях. Он предлагает преимущества в виде уменьшения нагрузки на пользователя, увеличения эффективности процессов и улучшения интеграции технологий в повседневную жизнь. Это может привести к более естественному и интегрированному взаимодействию с AI-системами. ## Выводы Overhearing agents представляют собой перспективный подход к улучшению взаимодействия с LLM-моделями. Однако остаются не решенными вопросы, такие как границы приватности, эффективность в различных сценариях и развитие новых интерфейсов для такого подхода. Будущие исследования должны сосредоточиться на этих аспектах, а также на расширении технологий, которые позволят

## Контекст Современные Large Language Models (LLMs) востребованы в различных сценариях взаимодействия, включая социально-интерактивные задачи, требующие стратегического мышления и эмоциональной уравновешенности. Однако их возможности в этих областях остаются недостаточно исследованы. Это связано с тем, что LLMs часто не успешно моделируют человеческое поведение в социально-стратегических ситуациях, таких как конфликтные диалоги. Недостаток безупречного подражания человеческим образцам в этих областях снижает доверие к их применению в реальной жизни. Ранее проведенные исследования показали, что LLMs могут некорректно реагировать на эмоциональные воздействия или отождествляться с некритичными стратегическими подходами. Данное исследование фокусируется на оценке уровня биBEHAVIORAL ALIGNMENT IN CONFLICT DIALOGUEBEHAVIORAL ALIGNMENT IN CONFLICT DIALOGUEЬничности LLMs в таких диалогах. ## Метод Для эмуляции конфликтных диалогов был применен подход с использованием специально настроенных LLM-агентов. Для каждого агента была выбрана стратегия, основанная на пятифакторной модели личности, чтобы эмулировать характеристики персонажа. Эта подходка позволила ограничить исследовательский вопрос, давая наглядный контроль над взаимодействием. Затем, во время диалогов, LLMs предсказывали свои выводы, используя систему мотивации, схожую с человеческими мотивами. Использовались три основные критерия для оценки: лингвистический стиль, эмоциональное выражение (например, динамика ярости) и стратегическое поведение. Для экспериментов взяли две модели LLM: GPT-4.1 и Claude-3.7-Sonnet. ## Результаты В ходе эксперимента GPT-4.1 показала наибольшую схожесть с поведением человека в лингвистическом стиле и эмоциональном выражении. Claude-3.7-Sonnet, в свою очередь, демонстрировала более высокий уровень стратегического совпадения. Однако, несмотря на достижения, были выявлены значительные различия в поведении LLMs по сравнению с поведением человека, особенно в сфере стратегического взаимодействия. В целом, GPT-4.1 демонстрировала более высокий уровень соответствия человеческому поведению, но не всегда удавалось обеспечить согласованность во взаимодействии. ## Значимость Выявленные результаты могут быть применены в различных областях, включая обучение системам коммуникации, создание улучшенных моделей взаимодействия, и научно-исследовательские исследования в области гуманитарных технологий. Лидерство GPT-4.1 в лингвистическом стиле и эмоциональном выражении открывает путь к её использованию в разработке более реалистичных моделей взаимодействия. Это также по

## Контекст В современных исследованиях, особенно в области естественной языковой обработки, анализ больших текстовых корпусов является ключевым заданием. Однако существующие подходы, такие как методы тематического моделирования, часто либо недостаточно точны, либо требуют ручного вмешательства, что не эффективно при работе с крупными данными. Ручной метод методического кодирования, широко распространенный в качестве альтернативы, тоже имеет свои ограничения: он немасштабируемый, непоследователен и может влечь за собой субъективность аналитика. Для преодоления этих трудностей, авторы предлагают подход, использующий глубокое обучение, чтобы улучшить точность и масштабируемость кодирования для получения более глубоких и тщательных анализов. ## Метод HICode — это двухэтапная модель, призванная эффективно автоматизировать процесс кодирования в некоторых фазе исследования. Она состоит из двух частей: **индуктивного кодирования** и **иерархического кластеризации**. В первой фазе, генерация тегов происходит непосредственно из анализируемого текста, используя технологию глубокого обучения. Эта технология настраивается на задачу поиска подходящих меток для данных. Во второй фазе, полученные метки вложены в иерархию, чтобы обнаружить темы, которые могут быть неочевидными в исходных данных. Эта модель предлагается как независимая от языка и применимая к различным типам данных, включая тексты, аудио и видео. ## Результаты HICode была протестирована на трех различных корпусах данных, включая рецензии к фильмам, сообщения в социальных сетях и отзывы о продуктах. Модель показала высокую точность в соответствии с людскими темами, проанализированными вручную. Запуски экспериментов демонстрируют, что полученные результаты соответствуют профессиональному методическому кодированию в качестве стандарта. Также были проведены испытания на реальных данных, включая документы, связанные с кризисом наркотиков в США. Эти испытания показали, что HICode может обнаруживать затененные темы, такие как провокационные маркетинговые стратегии. ## Значимость Результаты HICode показывают большой потенциал модели в различных областях, включая юридический анализ, маркетинг, социальные исследования и литературные исследования. Основное преимущество этого подхода в том, что он увеличивает масштабируемость и точность анализа, обнаруживая темы, которые могут быть недоступны для ручного анализа. Благодаря этому, модель может существенно сэкономить время исследователей и улучшить качество анализа текстового контента.

#### Контекст В области естественного языкового процессинга (NLP), значительные успехи были достигнуты в задачах, таких как семантическое понимание текста, перевод и синтез речи. Однако задача Контролируемого Текстового Генерирования (Controlled Text Generation, CTG) все еще сталкивается с рядом проблем, в том числе с трудностью достичь точного управления в тексте. Эта сложность усиливается при применении в реальных сценариях, где необходимо учитывать затраты, масштабируемость, осуществление обучения на основе доменных знаний и достижение более точного контроля. Такие ограничения становятся ключевыми мотивациями для развития новых подходов, которые позволят значительно улучшить точность управления в тексте. #### Метод Предлагаемая модель AgentCTG основывается на подходе, использующем многоагентную коллаборацию, с полностью симулируемыми механизмами управления и регулирования. Она включает в себя два основных компонента: агента-генератора и агента-редактора. Агент-генератор стремится произвести оригинальный текст, который соответствует входным условиям, в то время как агент-редактор вносит дополнительные изменения, чтобы добиться точного соответствия текстовому контролю. Для более эффективного управления агентами вводится модуль автоматической подсказки (auto-prompt). Эта концепция позволяет направлять генерацию в нужном направлении, улучшая точность и контекстуальную адекватность. Архитектура AgentCTG базируется на структуре с несколькими слоями взаимодействия, чтобы обеспечить более эффективное взаимодействие между агентами. #### Результаты AgentCTG протестирована на нескольких популярных данных в области CTG, включая предложения с подробными условиями управления. Результаты показали, что модель демонстрирует значительное улучшение в точности контроля, выполняя лучше, чем предшествующие модели. Особое внимание уделено новой Character-Driven Rewriting задаче, где AgentCTG должна преобразовывать текст, соответствующий определенным характеристикам персонажа, при этом сохраняя доменные знания. Модель демонстрирует высокую точность в создании текста, который был успешно проверен как на целевых данных, так и в задачах, требующих дополнительного контекстуального понимания. #### Значимость Продемонстрированная модель AgentCTG имеет широкое применение в многочисленных областях, включая синтез речи, создание текста для навигационных систем, а также создание текста в онлайн-играх. Одним из основных преимуществ AgentCTG является ее масштабируемость и гибкость при многоагентной коллаборации, что позволяет ей удовлетворять разные потребности в контроле. Благодаря улу

------------------------------------------------ ## Контекст ------------------------------------------------ Современные широковещательные системы на основе широковещательных моделей языка (LLM), такие как консультанты по здоровью, привносят в сферу здравоохранения новейший подход к предоставлению услуг здравоохранения. Однако эти системы часто сталкиваются с проблемами, такими как неточности, несоответствия контексту и непредсказуемость результатов. Эти проблемы могут привести к негативному опыту пользователей и снижению доверия к системе. Одним из ключевых аспектов, стоящих перед развитием этих систем, является разработка эффективных методов автоматического обнаружения и оценки ошибок в тексте. Эти методы помогают обнаруживать и моделировать негативные поведенческие характеристики, такие как неточности и несоответствия контексту, которые могут возникать в результатах системы. Целью данного исследования является разработка и проверка фреймворка для автоматического обнаружения ошибок в тексте, который может быть применен для улучшения качества результатов в здравоохранении и других областях. ## Метод ------------------------------------------------ Для реализации предложенного фреймворка разработана методология, основанная на сочетании методов машинного обучения и естественного языкового процессинга. Метод SEEED (Soft Clustering Extended Encoder-Based Error Detection) использует софт-кластеринг и расширенную модель encoder-based для обнаружения и оценки ошибок в тексте. Основными инструментами являются: 1. **Soft Nearest Neighbor Loss (SNNL)**: Этот подход усиливает веса для отрицательных примеров, что позволяет модели лучше отличать ошибки от правильных ответов. 2. **Label-Based Sample Ranking (LBSR)**: Эта техника используется для выбора самых отличительных примеров для обучения модели, что улучшает способность модели к обнаружению неправильных ответов. Кроме того, были разработаны специальные методы для подготовки данных, включая методы для автоматического создания тестовых наборов и методы для оценки точности модели. ## Результаты ------------------------------------------------ Для оценки эффективности SEEED был проведен эксперимент на нескольких диалоговых датасетах, аннотированных ошибками. Результаты показали, что SEEED превосходит существующие подходы, включая GPT-4o и Phi-4, на несколько процентов в точности обнаружения непредсказуемых ошибок. Было получено, что SEEED обнаруживает непредсказуемые ошибки с точностью до 8% выше, чем существующие модели. Это улучшение связано с использованием расширенных методов кластеризации и оценки примеров, что позволяет модели лучше определять и отделять ошибки от правильных ответов. ## Значимость ------------------------------------------------ Результаты данного исследования имеют важное значение для развития систем здравоохранения, в частности для расширения возможностей консультан