📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Tsuyoshi Iwata, Guillaume Comte, Melissa Flores, Ryoma Kondo, Ryohei Hisano

## Контекст Отчисления социального, экологического и управленческого характера (ESG) приобретают все большее значение в регулировании, анализе инвестиций и управлении рисками. Тем не менее, адекватное представление таких данных в международных фреймворках, таких как ООН Глобальный Компакт или Целевые Объекты Устойчивого Развития (СОУР), представляет собой серьезную проблему. Нестандартизированность направлений ESG-репортинга, а также их несовпадение с нормативными методологиями приводят к трудностям в анализе и сравнении данных. Мотивация для данного исследования заключается в развитии методов для нормативного анализа ESG-данных, полученных из неструктурированных новостных источников, с целью создания интерпретируемых и международно алгонизированных представлений рисков. ## Метод Метод представляет собой семиавтоматическую конструкцию знаний, основанную на легковесной конструкции онтологии, моделировании формальных паттернов и технологии глубокого обучения. Нормативные принципы ESG-контроверсий извлекаются из новостных статей и преобразуются в шаблоны в формате RDF (Resource Description Framework). Для этого используется семантическое моделирование и глубокие семантические модели языка. Эти шаблоны позволяют автоматически сопоставлять доказательства несоответствия нормативным принципам, формируя значимые связи в графе знаний. Такой подход обеспечивает транспарентность и масштабируемость анализа. ## Результаты В ходе экспериментов были применены новостные данные, связанные с контроверсиями ESG, для построения знаний в графе. Использовались методы семантического моделирования и глубокого обучения для выделения информации. Результаты показали высокую точность в сопоставлении новостных событий с принципами ESG. Шаблоны RDF позволили создать граф, где каждое событие связано с определенным принципом, обеспечивая прозрачность и доказуемость результатов. ## Значимость Полученный подход может применяться в регуляторных, инвестиционных и управленческих контекстах для анализа рисков и соответствия нормативным принципам. Он обеспечивает интерпретируемость и международную алгонизацию данных, что увеличивает надежность взвешивания рисков. Также, подход может быть использован для создания отчетов о устойчивости, а также для мониторинга и анализа ESG-контроверсий в реальном времени. ## Выводы Данное исследование приложило новый подход к структурированию ESG-данных, обеспечивая их международное выравнивание и интерактивность. Будущие исследования будут сфокусированы на улучшении моделей, включени
Annotation:
The growing importance of environmental, social, and governance data in regulatory and investment contexts has increased the need for accurate, interpretable, and internationally aligned representations of non-financial risks, particularly those reported in unstructured news sources. However, aligning such controversy-related data with principle-based normative frameworks, such as the United Nations Global Compact or Sustainable Development Goals, presents significant challenges. These framework...
ID: 2509.10922v1 cs.CL, cs.CY
Авторы:

Kun Li, Lai-Man Po, Hongzheng Yang, Xuyuan Xu, Kangcheng Liu, Yuzhi Zhao

## Контекст Область исследования связана с подтверждением того, что Multimodal Large Language Models (MLLMs) все чаще используются в Personalized Image Aesthetic Assessment (PIAA), как эффективный аналог экспертных оценок. Однако, необходимость оценивать их биазы и убедиться в том, что их результаты соответствуют реальным житейским предпочтениям, стала ключевой проблемой. Эта необходимость возникает из-за потенциальных скрытых биаз, возникающих в моделях в зависимости от таких факторов, как гендер, возраст и уровень образования. Методом решения этой проблемы выступает AesBiasBench, бенчмарк, ориентированный на измерение не только стероитпных биаз, но и на оценку того, насколько модели соответствуют реальным предпочтениям пользователей. ## Метод AesBiasBench включает в себя три подзадачи: Aesthetic Perception, Assessment и Empathy. Он предлагает структурированные метрики IFD, NRD, AAS для измерения стероитпных биаз и уровня соответствия моделей реальным людям. Метрики IFD и NRD измеряют насколько биаз отражается в этических и нейрологических компонентах, а AAS является метрикой, которая позволяет измерить то, насколько эти модели похожи на житейские предпочтения. Использовались 19 моделей, включая GPT-4o, Claude-3.5-Sonnet, InternVL-2.5 и Qwen2.5-VL. Модели были оценены на 3000 изображениях с помощью 1000 демографических групп. ## Результаты Из результатов оказалось, что меньшие модели демонстрируют более сильные стероитпные биазы, в то время как более крупные модели ближе выражают житейские предпочтения. Модели, которые используют информацию об идентичности, показали сильные стероитпные биазы, особенно в задаче Emotional Judgment. Например, лучшие результаты по этическому компоненту были показаны более крупными моделями, такими как GPT-4o, которая показала более точное соответствие реальным пользовательским предпочтениям. Однако эти модели показали сильные стероитпные биазы в задаче Emotional Judgment. ## Значимость AesBiasBench может быть применен в различных сферах, включая личностный аудит моделей, улучшение этимологических моделей, и создание более точных алгоритмов в PIAA. Он предоставляет новые технические решения и метрики для оценки биаз и алignment, которые могут быть использованы для улучшения моделей в сфере PIAA. Благодаря этому бенчмарку можно улучшить понимание как стероитпных биаз, так и возможностей MLLMs в сложных визуально-языковых задачах. ## Выводы Основные достижения включают разработку AesBiasBench, который позволяет проводить полную оценку MLLMs в PIAA с учетом стероитпных биаз и соответствия реальным предпочтениям. Бенчмарк показал, что более крупные модели вы most closely align with human preferences, но сильно демонст
Annotation:
Multimodal Large Language Models (MLLMs) are increasingly applied in Personalized Image Aesthetic Assessment (PIAA) as a scalable alternative to expert evaluations. However, their predictions may reflect subtle biases influenced by demographic factors such as gender, age, and education. In this work, we propose AesBiasBench, a benchmark designed to evaluate MLLMs along two complementary dimensions: (1) stereotype bias, quantified by measuring variations in aesthetic evaluations across demographi...
ID: 2509.11620v1 cs.CL, cs.CY
Авторы:

Helene Tenzer, Oumnia Abidi, Stefan Feuerriegel

**Резюме** В статье рассматривается проблема того, насколько хорошо текущие модели языковых моделей (LLMs) подходят для культурно чувствительной коммуникации, в частности, при переводе рабочих электронных писем с английского на японский. Несмотря на то, что LLMs способны генерировать близкие к идеалу транскрипции слов, остается неясным, насколько эффективно они поддерживают культурно верную коммуникацию. Авторы выполнили эксперимент с использованием различных стилей вывода (традиционный "просто перевести", указание культуры получателя, инструктивные стили с оговорками о нормах японского общения) и проанализировали влияние этих подходов на культурную адекватность трансляции. Основной методом исследования была смешанная модель. Результаты показали, что использование конкретных подсказок для настройки на культуру может значительно улучшить культурную соответствие трансляции. На основе этих выводов авторы дают рекомендации для разработки культурно инклюзивных LLMs, которые могут быть эффективными в многоязычных контекстах.
Annotation:
Large language models (LLMs) are increasingly used in everyday communication, including multilingual interactions across different cultural contexts. While LLMs can now generate near-perfect literal translations, it remains unclear whether LLMs support culturally appropriate communication. In this paper, we analyze the cultural sensitivity of different LLM designs when applied to English-Japanese translations of workplace e-mails. Here, we vary the prompting strategies: (1) naive "just translate...
ID: 2509.11921v1 cs.CL, cs.CY, cs.HC
Авторы:

Brittany Harbison, Samuel Taubman, Travis Taylor, Ashok. K. Goel

## Контекст В современном образовательном пространстве, вопросы социальных связей и их влияния на обучение приобретают все большую важность. Участие в социальных группах способствует мотивации, более глубокому пониманию материала и развитию коммуникативных навыков. Однако в онлайн-образовательных платформах сложности с формированием таких групп связаны с отсутствием природных взаимодействий, которые естественно возникают в физических классах. SAMI (Socially Aware Matchmaking Interface) предлагается как решение этой проблемы. Она использует алгоритмы матчмейкинга для создания социальных групп на основе интересов и учебных целей. Однако SAMI стремится к созданию ментальной модели учащихся, но лишь частично учитывает их личностные особенности. Наличие личностной характеристики может сказаться на качестве совпадений и эффективности социальных рекомендаций. Это исследование призвано исследовать этот аспект. ## Метод Мы предлагаем модель детектирования личности, основанную на технологии нулевого выстрела GPT. Модель использует тексты вступительных сообщений учащихся, обычно написанных в форумах курсов, для определения пяти основных личностных характеристик (Big-Five). Для оценки производительности нашей модели проводились сравнительные эксперименты с использованием существующих моделей, которые также предлагаются в открытом доступе. Эта модель была добавлена в SAMI в качестве компонента, расширяющего ее существующие механизмы подбора социальных пар на основании личностных качеств. Эта интеграция позволяет SAMI делать социальные рекомендации, учитывая личностные особенности, и дает возможность изучить их влияние на эффективность системы. ## Результаты Мы провели исследования с использованием данных об учащихся из нескольких курсов. Модель детектирования личности показала высокую точность в определении Big-Five личностных характеристик, сравниваясь с другими моделями. Интеграция этой модели в SAMI позволила делать социальные рекомендации, учитывая личностные особенности. Эксперименты показали, что учет личности улучшает качество совпадений и может привести к более глубинным социальным взаимодействиям. Однако полное влияние этого подхода на увеличение участия учащихся и качестве совпадений будет требовать дальнейшего исследования. ## Значимость Применение модели детектирования личности в SAMI может оказаться полезным в различных областях образования, где социальная поддержка играет ключевую роль в знакомстве и мотивации учеников. Данный подход может быть использован для создания более точных и эффективных социальных рекомендаций, которые учитывают
Annotation:
Social connection is a vital part of learning, yet online course environments present barriers to the organic formation of social groups. SAMI offers one solution by facilitating student connections, but its effectiveness is constrained by an incomplete Theory of Mind, limiting its ability to create an effective mental model of a student. One facet of this is its inability to intuit personality, which may influence the relevance of its recommendations. To explore this, we propose a personality d...
ID: 2509.09583v1 cs.CL, cs.CY, cs.HC, cs.LG, cs.SI
Авторы:

Ihsan A. Qazi, Zohaib Khan, Abdullah Ghani, Agha A. Raza, Zafar A. Qazi, Wassay Sajjad, Ayesha Ali, Asher Javaid, Muhammad Abdullah Sohail, Abdul H. Azeemi

## Контекст М MODERN INFORMATION SOCIETY FACES A SIGNIFICANT CHALLENGE: THE RAPID SPREAD OF MISINFORMATION. Точность и достоверность в сфере информации становятся крайне важными, особенно в свете последствий распространения ложных сведений во времена кризисов и политических событий. Факт-чеккинг, традиционно выполняемый человеком, требует больших ресурсов и знаний, что делает его масштабированием дорогостоящим и неэффективным. AI-помогающие технологии, в частности, large language models (LLMs), предлагают выход из этой ситуации, обеспечивая автоматизацию процесса верификации фактов. Однако остается неясно, насколько эффективны эти модели в разных географических и культурных контекстах. В данном исследовании рассматриваются эти проблемы, а также проводится оценка того, насколько эти модели могут обеспечить достоверность и эксплуатируемость в разных странах и регионах. ## Метод В ходе исследования использовались 9 established LLMs различных категорий: от open-source до closed-source, от малых моделей до больших, с разными архитектурами и функциями умственного моделирования. Тестировались 5,000 фактов, проверенных ранее 174 профессиональными организациями в 47 языках. Методы включали в себя test generalizability на claims, не входящих в обучающие данные, и использовались four prompting strategies, чтобы эмулировать работу как обычных пользователей, так и профессиональных fact-checkers. Для подтверждения результатов использовались 240,000 human annotations в качестве ground truth, чтобы подтвердить анализ и выявить системные ошибки и модельные погрешности. ## Результаты Открытые модели с меньшим размером показали высокую уверенность в своих ответах, но со слабой точностью. Более крупные модели, в свою очередь, демонстрировали точность, но испытали проблемы с уверенностью в своих выводах. Эти результаты подтвердили неожиданное явление, похожее на Dunning-Kruger effect: small models ошибаются чаще, но с уверенностью, а large models могут быть точными, но с растратой на уверенность. Заметные различия замечены в области нон-английских языков и claims из Global South, что указывает на потенциальное усиление информационных неравенств. ## Значимость Эти результаты могут быть применены в разных сферах, включая media literacy, policy-making и global information equality. Изученный эффект подчеркивает риски, связанные с использованием небольших моделей в ресурс-constrained организациях, что может привести к неточным выводам в целом. Набор данных и тесты могут служить benchmark для последующих исследований в области AI-помогающих технологий в fact-checking. ## Выводы Изученные модели LLMs демонстрируют противоречивые результаты в зависимости от размера и архитектуры. Smaller models выдают высокую уверенность, но низку
Annotation:
The rise of misinformation underscores the need for scalable and reliable fact-checking solutions. Large language models (LLMs) hold promise in automating fact verification, yet their effectiveness across global contexts remains uncertain. We systematically evaluate nine established LLMs across multiple categories (open/closed-source, multiple sizes, diverse architectures, reasoning-based) using 5,000 claims previously assessed by 174 professional fact-checking organizations across 47 languages....
ID: 2509.08803v1 cs.SI, cs.AI, cs.CL, cs.CY
Авторы:

Aida Kostikova, Ole Pütz, Steffen Eger, Olga Sabelfeld, Benjamin Paassen

## Контекст Миграция является одной из кллючевых проблем в политических дебатах Германии, от десятков миллионов мигрантов в послевоенный период до рабочих миграций в 20-е годы XX века и недавних рефугеев. Исследование политического языка в этой области требовало широкого использования ручных аннотаций, что ограничивало объемы анализируемых данных. Возникшие недавно технологии Больших Лингвистических Моделей (LLMs) приглашаются как альтернатива для автоматизации таких задач. В настоящей статье описывается использование LLMs для анализа (анти-)солидарности в Германском бундестаге в течение последних 150 лет, с фокусом на последние 10 лет. Эта работа является одним из первых подробных исследований использования LLMs в этой области. ## Метод Для анализа были использованы данные из Германского бундестага за последние 150 лет, включая тексты дебатов, заседаний и вопросов. Для автоматизации аннотаций была использована Большая Лингвистическая Модель (LLM), которая ставилась в соответствие с ручным аннотированием, проведенным в течение года. Архитектура LLM была уточнена с помощью различных подходов, включая настройку (fine-tuning) и изменение команд (prompting). Были проведены эксперименты с разной модельной архитектурой, размером модели и уровнем предобучения. Также были исследованы систематические ошибки и ограничения моделей. ## Результаты Анализ показывает, что миграционные дебаты в послевоенном периоде характеризовались высоким уровнем солидарности с мигрантами. Однако в последних 10 лет, особенно после 2015 года, произошел поворот в сторону анти-солидарности. Эти изменения могут быть связаны с увеличением числа мигрантов, политическими изменениями и социальными динамиками. Лингвистические модели показали высокую точность в определении (анти-)солидарности, но имели систематические ошибки, особенно в контексте исторических данных. ## Значимость Результаты имеют важное значение для политических и социальных исследований. Они подчеркивают важность темы миграции в Германии, от компенсационной солидарности в послевоенном периоде до недавних политических изменений. Эти находки могут помочь понять динамику политических отношений в Германии и во всем мире. Большие Лингвистические Модели демонстрируют возможность автоматизации анализа политической речи, что открывает новые возможности для исследований в области политологии и нейротекстологии. ## Выводы В ходе исследования было установлено, что Большие Лингвистические Модели могут эффективно автоматизировать анно
Annotation:
Migration has been a core topic in German political debate, from millions of expellees post World War II over labor migration to refugee movements in the recent past. Studying political speech regarding such wide-ranging phenomena in depth traditionally required extensive manual annotations, limiting the scope of analysis to small subsets of the data. Large language models (LLMs) have the potential to partially automate even complex annotation tasks. We provide an extensive evaluation of a multi...
ID: 2509.07274v1 cs.CL, cs.CY, cs.LG
Авторы:

Quinten Steenhuis

## Контекст Поиск юридической помощи часто вызывает значительные трудности для индивидуумов, которые сталкиваются с системой правосудия. Несколько миллионов людей годностью обращаются за помощью к юридическим горячим линиям, помесячно в юридические страховые страны, более 80% тем не менее не получают юридической помощи. Это связано с тем, что проблемы с юридическим характером часто неоднозначны, и без подробного разбора могут быть неправильно сформулированы или недостаточно детализированы. Неверно направленные запросы могут привести к потере важных сроков, физической травме, утере жилья или даже дочернего попустительства. В настоящей статье мы предлагаем и исследуем машинно learning-модель FETCH, которая используется для классификации юридических запросов. Наша цель – создать модель, которая поможет юридическим организациям эффективнее принимать и относить запросы к соответствующим ресурсам. ## Метод Методология FETCH основывается на сочетании двух подходов: сборки генерируемых текстов и методов классификации. Мы используем энсембл из нескольких моделей (LLM с трансформерской архитектурой и машинного обучения) для обработки запросов. Также мы разработали алгоритм, который автоматически генерирует дополнительные вопросы, чтобы уточнить запросы и улучшить точность классификации. Мы провели исследования на небольшом датасете из 419 реальных запросов к юридическим горячим линиям. Мы разработали и тестировали две главные классификационные техники: гибридную модель (LLM + ML) и модель с автоматической генерацией вопросов. ## Результаты Мы сравнили нашу модель с наиболее современными моделями, включая GPT-5. Наши результаты показали, что FETCH может классифицировать запросы с точностью 97,37%, используя модели, которые значительно дешевле и менее требовательные к ресурсам, чем GPT-5. Мы также показали, что автоматическая генерация вопросов увеличивает точность классификации на 12,34%, что делает нашу модель еще более эффективной. Модель FETCH предлагает новый подход к классификации юридических запросов, позволяя юридическим организациям понимать тип проблемы и обеспечивать помощь за меньшее время и с меньшими затратами. ## Значимость Модель FETCH может быть применена в различных юридических сферах, включая горячие линии, юридические страховые страны, юридические доски объявлений и даже клиентские сервисы. Улучшение точности классификации и уменьшение затрат на обработку запросов позволят юридическим сервисам рабо
Annotation:
Each year millions of people seek help for their legal problems by calling a legal aid program hotline, walking into a legal aid office, or using a lawyer referral service. The first step to match them to the right help is to identify the legal problem the applicant is experiencing. Misdirection has consequences. Applicants may miss a deadline, experience physical abuse, lose housing or lose custody of children while waiting to connect to the right legal help. We introduce and evaluate the FETCH...
ID: 2509.07170v2 cs.AI, cs.CL, cs.CY
Авторы:

Anya Ji, Claire Augusta Bergey, Ron Eliav, Yoav Artzi, Robert D. Hawkins

#### Контекст В области исследований взаимодействия человека и технологий возникает вопрос: как люди устанавливают связи между незнакомыми объектами и словами? Одна группа ученых утверждает, что это происходит благодаря установлению случайных арбитражных связей, которые не могут расширяться за их исходный контекст. Другая группа предлагает, что установление общего понимания происходит благодаря ширейному алignment понятий, который может повлиять на семантическое пространство каждого участника, чтобы обеспечить новые связи. Мы исследуем эти гипотезы с помощью диадического эксперимента, используя данные KiloGram, содержащие многочисленные абстрактные изображения. #### Метод В эксперименте участвовали 302 человека, разделенные на пары. Они должныли установить общие ссылочные значения для абстрактных изображений, используя разные способы общения. Затем мы измерили возможность генерлизовать эти значения для новых изображений. Использовались данные KiloGram со списком разных абстрактных танграм-изображений. Эта операционная среда позволяла изучить возможность общего понимания для новых объектов. #### Результаты Участники показали сильную общую алигнментный подход при создании новых ссылок. Этот подход был наиболее эффективен для изображений, которые отличались сильно по визуальным характеристикам. Эти результаты были постоянными для разных уровней назначенных имен именованных изображений. Это указывает на то, что общее понимание объектов не случайно, а является результатом широкого концептуального alignment. #### Значимость Наши результаты подтверждают, что выработка общих именований не происходит случайно, а является результатом широкого и целенаправленного концептуального понимания. Эти знания могут быть использованы для создания более мощных технологий глубокого обучения, которые могут более эффективно работать с новыми данными в реальном времени. #### Выводы Мы показали, что общее понимание взаимодействия возникает в результате глубокого концептуального кодирования, которое может быть использовано для успешного общения. Наши результаты могут быть использованы в развитии технологий, которые могут более эффективно обрабатывать новые объекты и ситуации. Будущие исследования будут сосредоточены на углублении понимания того, как люди устанавливают связи между новыми объектами и языком.
Annotation:
How do people talk about things they've never talked about before? One view suggests that a new shared naming system establishes an arbitrary link to a specific target, like proper names that cannot extend beyond their bearers. An alternative view proposes that forming a shared way of describing objects involves broader conceptual alignment, reshaping each individual's semantic space in ways that should generalize to new referents. We test these competing accounts in a dyadic communication study...
ID: 2509.05566v1 cs.CL, cs.CY
Авторы:

Haywood Gelman, John D. Hastings, David Kenley

#### Контекст Обнаружение инсайдерских угроз является важной проблемой для организаций, так как эти угрозы часто основываются на технических и поведенческих элементах, которые сложно выявить. Достаточно большой объем исследовательских работ посвящен данной проблеме с учетом технических, психологических и образовательных аспектов. Однако многие из этих исследований ограничены данными, доступными только для частичного использования, что приводит к затруднениям в развитии моделей, способных адаптироваться к изменениям. Данное исследование предлагает новую, этически обоснованную модель, основанную на большом языковом модели (LLM) Claude Sonnet 3.7. Эта модель динамически синтезирует системные журналы (syslog), включающие индикаторы инсайдерских угроз. Эти журналы имитируют реальные распределения данных, при этом внутри них инсайдерские угрозы представлены в небольшом проценте (1%). #### Метод Методология исследования основывается на технологии Claude Sonnet 3.7, которая применяется для синтеза системных журналов с индикаторами инсайдерских угроз. Для синтеза используются данные, оптимизированные для низкой частоты встречаемости угроз (1%). Эти синтетические данные позволяют создавать модели, тестируемые в условиях реальности. Для оценки эффективности сравнивались две модели: Claude Sonnet 3.7 и GPT-4o. Оба системы проанализировали синтетические системные журналы с инсайдерскими угрозами, а результаты были оценены с помощью метрик, таких как прецизион (precision), реколл (recall), MCC (Matthews Correlation Coefficient) и ROC AUC (Receiver Operating Characteristic Area Under Curve). #### Результаты Эксперименты показали, что Claude Sonnet 3.7 примерно в 2 раза превосходит GPT-4o по метрикам, таким как precision и MCC. Это связано с более точным выявлением угроз и меньшим количеством ложных срабатываний (false alarms). GPT-4o, в свою очередь, показала лучший recall, но была менее точной в определении положительных случаев. Логаритмический график ROC показал, что Sonnet 3.7 обеспечивает более высокую точность в обнаружении угроз, особенно при небольшом количестве положительных данных. #### Значимость Эти результаты открывают новые возможности для использования глубоких языковых моделей в создании синтетических данных и обнаружении инсайдерских угроз. Это может быть применено в различных сферах, где необходимо мониторинг безопасности и выявление подозрительных действий. Кроме того, решение имеет потенциал для улучшения обнаружения злоумышленников внутри организации, уменьшения ложных срабатываний и повышения достоверности моделей. #### Выводы Результаты экспериментов показывают, что Claude Sonnet 3.7 является эффектив
Annotation:
Insider threats are a growing organizational problem due to the complexity of identifying their technical and behavioral elements. A large research body is dedicated to the study of insider threats from technological, psychological, and educational perspectives. However, research in this domain has been generally dependent on datasets that are static and limited access which restricts the development of adaptive detection models. This study introduces a novel, ethically grounded approach that us...
ID: 2509.06920v1 cs.CR, cs.AI, cs.CL, cs.CY, C.2.0; I.2.7; K.4.1; H.3.3
Авторы:

Pengrui Han, Rafal Kocielnik, Peiyang Song, Ramit Debnath, Dean Mobbs, Anima Anandkumar, R. Michael Alvarez

## Контекст Персональность, как набор характеристик и поведенческих тенденций, широко исследована в контексте человеческого поведения. Она используется для прогнозирования поведения, принятия решений и взаимодействия в различных сферах. В последние годы, с развитием бо LLM, возникло интересное взаимосвязи между личностью и их поведением. Однако, существуют значительные проблемы в изучении этого взаимодействия. Люди часто оценивают свою личность с помощью самооценочных методов, которые могут быть неточными. Боты LLM также могут отображать личностную иллюзию, где их самосвертка не точно отражает свой поведенческий вывод. Это наблюдение поднимает вопросы о точности и надежности использования личностных характеристик для предсказания поведения в LLMs. ## Метод Для изучения этой проблемы была разработана систематическая методология, состоящая из трех основных этапов: 1) характеристика личностных характеристик в разные стадии тренировки LLM; 2) проверка того, насколько самооценка личности соответствует фактическому поведению в задачах; 3) изучение эффекта целенаправленных вмешательств, таких как персонализация, на самосвертку и поведение. Данные для экспериментов были получены с помощью различных моделей LLM, включая обученные с использованием методов руководящего ожидания (RLHF) и инструкционной тюнинг. Модели были протестированы на поведенческих задачах, связанных с саморегуляцией и согласованностью. Это позволило изучить, насколько личностная самосвертка влияет на поведение и насколько точно она может предсказывать реальное поведение. ## Результаты Из исследования выяснилось, что инструкционное рвение (RLHF) и инструкционная тюнинг стабилизируют выражение личности в LLM и усиливают корреляции между самосверткой и поведением. Однако самосвертка не точно предсказывает поведение, и наблюдаемые связи часто отличаются от тех, которые встречаются в человеческих данных. При этом персонализация эффективно управляет самосверткой в нужном направлении, но оказывает мало или непоследовательное влияние на самосвертку и поведение. Эти результаты показывают, что личность в LLMs может быть отображена на поверхности, но не всегда отражает реальное поведение. ## Значимость Полученные результаты имеют значимость в нескольких областях. Во-первых, они могут быть использованы для улучшения методов оценки индивидуальных личностных характеристик в LLMs, чтобы более точно предсказывать поведение. Во-вторых, они могут применяться в области разработки более согласованных и предсказуемых личностных моделе
Annotation:
Personality traits have long been studied as predictors of human behavior. Recent advances in Large Language Models (LLMs) suggest similar patterns may emerge in artificial systems, with advanced LLMs displaying consistent behavioral tendencies resembling human traits like agreeableness and self-regulation. Understanding these patterns is crucial, yet prior work primarily relied on simplified self-reports and heuristic prompting, with little behavioral validation. In this study, we systematicall...
ID: 2509.03730v2 cs.AI, cs.CL, cs.CY, cs.LG, stat.ML
Показано 91 - 100 из 137 записей