A Multimodal Neural Network for Recognizing Subjective Self-Disclosure Towards Social Robots

## Контекст Самораскрытие является одной из ключевых особенностей человеческих социальных взаимоотношений. Оно помогает устанавливать доверительные отношения, улучшать коммуникацию и способствует пониманию друг друга. Несмотря на то, что изучение этой феномена было подробно рассмотрено в социальных и психологических исследованиях, в области развития компьютерных моделей, моделирующих это поведение, значительных успехов до сих пор не было. Это трудность усиливается при рассмотрении социальных роботов, которые должны выступать в качестве партнеров в социальных интеракциях. Исследование способности роботов опознавать самораскрытие человека становится ключевым для создания интеллектуальных социальных роботов, способных участвовать в естественных взаимоотношениях. Мы предлагаем многоканальную нейронную сеть с автоопределяемыми моделями внимания, тренированную на большой коллекции видеоматериалов, а также разработали новую функцию ошибки, позволяющую улучшить точность классификации и регрессии в этой задаче. ## Метод Мы разработали многомодальную нейронную сеть, которая использует модели внимания для определения самораскрытия. Для обучения сети мы собрали большую коллекцию видеоматериалов, позволяющих учитывать множество моментов и контекстов самораскрытия. Мы также разработали новую функцию ошибки, Scale Preserving Cross Entropy Loss, которая сочетает в себе преимущества классификации и регрессии. Эта функция позволяет сети лучше учитывать тонкости в градации ответов, что улучшает общую точность. Мы проводили эксперименты с разными модификациями сети и сравнивали результаты с базовыми моделями, использующими стандартные подходы к этой задаче. ## Результаты Наши эксперименты показали, что сеть, обученная нашим новым подходом, достигла F1-меры 0.83, что значительно превосходит лучшие результаты базовых моделей. Например, F1-мера модели, обученной стандартным подходом, составляла 0.35. Мы также показали, что применение Scale Preserving Cross Entropy Loss улучшило обработку не только классических классов (положительные и негативные ответы), но и диапазона значений в регрессионной задаче. Это демонстрирует, что наш подход эффективен в обработке данных, относящихся к самораскрытию, и может быть применен в различных моделях социальных роботов. ## Значимость Разработанный подход может быть применен для создания социальных роботов, которые способны тонко понимать и реагировать на самораскрытие человека. Это важно для использования роботов в таких областях, как уход за пожилыми людьми, обучение и сопровождение. Наш подход может также быть использован для других задач, требую