rETF-semiSL: Semi-Supervised Learning for Neural Collapse in Temporal Data

## Контекст Глубокие нейронные сети (DNNs), применяемые к задачам классификации временных рядов, должны эффективно характеризировать сложные тренды и динамику данных. Несмотря на прогресс в обучении с подкреплением (self-supervised learning), оптимальное подборщие предварительных задач (pretext tasks) для обучения остается нерешенной проблемой. Этот этап часто основывается на эвристиках, а его работоспособность в супервизированном сегменте не гарантируется. Мы предлагаем сочетать self- и semi-supervised learning в стратегии, нацеленной на формирование представлений, которые соответствуют феномену Neural Collapse — очень жесткой геометрии внутренних представлений, наблюдаемой при оптимальном обучении классификаторов. ## Метод Мы предложили **rETF-semiSL**, метод, который следует двум принципам: (1) использование циклических представлений (cyclic representations) для подготовки и (2) добавление генеративных задач для улучшения семантической структуры. Мы используем **rotational equiangular tight frame (rETF)** — классификатор, который генерирует циклические представления трехмерных векторов. Эти представления являются фундаментальным инструментом для само-супервизионной подготовки. Кроме того, мы расширили подход, включив **pseudo-labeling**, что позволяет эффективно использовать небольшие выборки меток. Для эффективного представления динамики временных рядов мы включили **generative pretext tasks**, такие как подбор моделей изображений. Мы также внедрили **sequential augmentation**, чтобы повысить выделительные свойства представлений. ## Результаты Мы провели эксперименты на трех популярных датасетах временных рядов с многоканальной классификацией: **UCR**, **UEA** и **HHAR**. Мы сравнили нашу модель с различными архитектурами (LSTM, Transformer, State-Space Models) и существующими методами обучения (SimCLR, MoCo, BYOL). Результаты показали, что **rETF-semiSL** приводит к существенному улучшению в производительности, особенно при малом количестве меток. Мы также показали, что наш подход значительно соответствует теоретическим предположениям Neural Collapse, чего не достигают другие методы. ## Значимость Метод **rETF-semiSL** имеет широкие приложения в области обработки временных рядов, таких как здравоохранение, мониторинг сетей и датчики. Он обеспечивает повышенную точность классификации, особенно при небольшом количестве меток. Это направляет наши исследования в направлении создания представлений, глубже взаимосвязанных с теоретическими принципами, чтобы повысить надежность и эффективность моделей. ## Выводы Мы представили **rETF-semiSL**, новый подход к обучению с подкреплением для временных рядов, который использует циклические представления и гене