Event2Vec: A Geometric Approach to Learning Composable Representations of Event Sequences

## Контекст Изучение нейронных представлений в биологических и искусственных системах показывает возрастающую роль геометрических и топологических структур. Однако традиционные подходы к обучению представлений последовательностей событий часто игнорируют эти структуры, ограничиваясь поэлементным подходом. Это приводит к трудностям в представлении композиционных свойств и иерархических структур. Целью нашего исследования является развитие модели, которая могла бы обеспечить композиционные и интерпретируемые представления последовательностей событий, учитывая их естественные атрибуты. ## Метод Мы предлагаем Event2Vec, модель, основанную на аддитивной рекуррентной структуре для обучения представлений последовательностей событий. Модель использует простую архитектуру, при которой каждое событие в последовательности добавляется к представлению в пространстве векторов. Ключевым моментом является оценка, что при оптимальном обучении подходящим целевым функционалом, представление последовательности может быть представлено как сумма векторов её составных событий. Для работы с иерархическими данными мы также предлагаем вариант Event2Vec в гиперболическом пространстве, который естественно подходит для кодирования деревянных структур с минимальной дистortion-функцией. ## Результаты Мы проверили нашу модель на различных типах последовательностей событий, включая текстовые последовательности и иерархические структуры. Эксперименты показали, что модель Event2Vec в Euclidean space достигает высокой точности при линейно-аддитивных представлениях. Также мы проверили модель в гиперболическом пространстве, и она показала значительное улучшение на последовательностях с деревянной структурой. Эти результаты подтвердили гипотезу о линейной аддитивности и демонстрировали преимущества гиперболического пространства для иерархических последовательностей. ## Значимость Модель Event2Vec может быть применена в различных областях, таких как естественноязыковой процессинг, историческое анализ и даже в системах распознавания шаблонов. Она предоставляет композиционные и интерпретируемые представления, что делает её полезной для задач, требующих понимания композиции событий. Для задач, где структура данных имеет характер дерева, гиперболическая версия Event2Vec дает существенное выгоду в задаче уменьшения дистortionа. ## Выводы Мы представили Event2Vec, модель, которая комбинирует простоту и эффективность в обучении представлений последовательностей событий. Наши результаты подтверждают ценность геометрической структуры в обучении представлени