Leveraging Large Language Models for Predictive Analysis of Human Misery

2508.12669v1 cs.CL, cs.CY 2025-08-20
Авторы:

Bishanka Seal, Rahul Seetharaman, Aman Bansal, Abhilash Nandy

Резюме на русском

#### Контекст Обработка естественного языка (NLP) становится все более важной в многообразии приложений, ориентированных на понимание и анализ человеческой психологии и эмоций. Одна из самых значимых проблем в этой области — предсказание "человеческой муки", то есть степени мучения, страдания или недовольства, вызванных реальными ситуациями. Этот аспект играет ключевую роль в различных сферах, включая медицину, социальные исследования, психологию и даже развитие социальных сетей. Несмотря на развитие методологий и моделей, существуют значительные вызовы, связанные с точностью и контекстуальной адаптивностью таких моделей в решении этой задачи. Этот исследовательский подход стремится использовать сложные языковые модели (LLMs) для точного и эффективного предсказания человеческой муки на основе естественного языка. #### Метод Основным методом исследования является разработка и оценка различных стратегий обучения языковых моделей для решения задачи регрессии — предсказания скалярного значения от 0 до 100, которое соответствует уровню человеческой муки в подаваемых ему условиях. Мы экспериментируем с несколькими стилями подсказок (prompting strategies): - **Zero-shot**: модель предсказывает без каких-либо примеров ввода. - **Fixed-context few-shot**: модель получает несколько примеров с разными уровнями муки для контекста. - **Retrieval-based prompting**: модель использует BERT-сентенце-embeddings для выбора самых подходящих примеров из базы данных. Кроме того, мы представляем новую формату — "Misery Game Show". Данный подход состоит из комплексных тестовых сессий, включающих: - Ординальное сравнение: модель сортирует несколько ситуаций по уровню муки. - Бинарное классифицирование: модель классифицирует ситуации как вызывающие муку, так и не вызывающие муку. - Нормированное оценивание: модель присваивает уровень муки в диапазоне 0–100. - Улучшение по стандартизированной обратной связи. #### Результаты Мы применяем нашу модель к различным наборам данных, включая реальные сценарии, где человеческие пользователи оценивали уровень муки. Результаты показывают, что **few-shot prompting** существенно превосходит **zero-shot**, что демонстрирует потенциал добавления контекста для улучшения точности. Анализ **Misery Game Show** показал, что модель не только хорошо предсказывает уровень муки, но и демонстрирует гибкость в улучшении своих ответов на основе полученной обратной связи. Это свидетельствует о возможности LLMs не только решать статические задачи, но и принимать решения в динамических, взаимодействующих средах. #### Значимость Приложения нашей модели распространяются на тонну областей, вк

Abstract

This study investigates the use of Large Language Models (LLMs) for predicting human-perceived misery scores from natural language descriptions of real-world scenarios. The task is framed as a regression problem, where the model assigns a scalar value from 0 to 100 to each input statement. We evaluate multiple prompting strategies, including zero-shot, fixed-context few-shot, and retrieval-based prompting using BERT sentence embeddings. Few-shot approaches consistently outperform zero-shot baselines, underscoring the value of contextual examples in affective prediction. To move beyond static evaluation, we introduce the "Misery Game Show", a novel gamified framework inspired by a television format. It tests LLMs through structured rounds involving ordinal comparison, binary classification, scalar estimation, and feedback-driven reasoning. This setup enables us to assess not only predictive accuracy but also the model's ability to adapt based on corrective feedback. The gamified evaluation highlights the broader potential of LLMs in dynamic emotional reasoning tasks beyond standard regression. Code and data link: https://github.com/abhi1nandy2/Misery_Data_Exps_GitHub

Ссылки и действия