Mode-Aware Non-Linear Tucker Autoencoder for Tensor-based Unsupervised Learning

## Контекст В современных приложениях, таких как компьютерное зрение, естественноязыковые обработка и медицинская информатика, часто приходится работать с высокомерными данными, представленными в виде высокоранговых тензоров. Этот вид данных обладает огромным потенциалом, но его анализ сталкивается с несколькими проблемами. Обычные методы, такие как традиционные MLP-based autoencoders (AE), сталкиваются с проблемой того, что тензоры должны быть операцией разворачивания (flattening), что приводит к огромному росту модели, высокому расходу вычислительных ресурсов и сложности оптимизации при попытках глубокого углубления для учета структуры данных. Тензорные сети, такие как CP и Tucker, уменьшают вычислительные затраты, но часто ограничиваются в способности учитывать нелинейные зависимости в данных. Мотивацией для предложенного подхода является необходимость развития компактных, эффективных и гибких моделей, которые могут эффективно учитывать структуру высокомерных данных. ## Метод Мы предлагаем Mode-Aware Non-Linear Tucker Autoencoder (MA-NTAE), который является универсальным решением для обработки высокомерных данных. Основной идеей является расширение классической Tucker-декомпозиции до нелинейной формы, используя Pick-and-Unfold strategy. Этот подход позволяет выполнять рекурсивный процесс разворачивания (unfold), кодирования (encode) и склеивания (fold) каждого режима (mode) тензора отдельно. Эта гибкость позволяет лучше учитывать структуру данных в режимах, а не просто разворачивать весь тензор в единое плоское представление. Модель также включает нелинейные функции, что дает возможность учитывать сложные нелинейные зависимости в данных. Благодаря этому, MA-NTAE применяет структурные признаки тензора непосредственно в модели, что приводит к лучшему усвоению данных. Мы также доказали, что комплексность модели растет линейно с рангом тензора и пропорционально к размеру мод, что делает ее эффективной для высокомерных данных. ## Результаты Мы провели эксперименты на нескольких датасетах, включая тензорные данные из областей компьютерного зрения и естественного языка. Мы сравнили MA-NTAE с стандартными AE и другими тензорными сетями, такими как CP и Tucker. Модель MA-NTAE показала значительные выигрыши в задачах сжатия и кластеризации, особенно в случае высокоранговых тензоров. Например, в задаче кластеризации, MA-NTAE показала более высокую точность в сравнении с конкурирующими моделями, особенно для тензоров с большим количеством режимов. Также, мы провели эксперименты с разными размерами тензоров, и показали, что MA-NTAE имеет линейный рост вычислительной сложности по сравнении с квадратичным ростом у других моделей. Это делает MA-NTAE