Fractal Flow: Hierarchical and Interpretable Normalizing Flow via Topic Modeling and Recursive Strategy

## Контекст Normalizing Flows (NF) — это мощный фреймворк для высокоразмерной оценки распределений и генерирования данных. Они построены на основе инвертируемых преобразований, позволяющих эффективно оценивать логарифмический детерминант якобиана. Однако, существуют проблемы с эксплицитностью интерпретации трансформаций и улучшением структурированности латентного пространства. Например, стандартные NF могут быть недостаточно точными в задачах кластеризации или генерирования структурированных данных. Эти главные вызовы мотивируют развитие более гибких и интерпретируемых NF-моделей, которые могут эффективно работать в задачах сложных генерируемых процессов. ## Метод Fractal Flow предлагает два ключевых инновационных решения. Во-первых, интеграция Kolmogorov-Arnold Networks (KAN) с Latent Dirichlet Allocation (LDA) позволяет строить структурированное и интерпретируемое латентное пространство. Это решение позволяет раскладывать латентные представления на семантические кластеры, улучшая их понимание и управляемость. Во-вторых, воспроизводимый модульный дизайн вдохновленный Fractal Generative Models добавляет уровни рекурсии в трансформации NF, увеличивая их выразительность и точность оценки. Архитектура Fractal Flow объединяет эти элементы в инвариантную к инверсии и вычислительно эффективную структуру. ## Результаты Эксперименты проводились на MNIST, FashionMNIST, CIFAR-10 и данных геофизического происхождения. Модель показала высокую точность оценки распределений и выдавала структурированные латентные пространства. На MNIST и FashionMNIST, Fractal Flow демонстрировал значительную улучшенную точность кластеризации в сравнении с базовыми NF. На CIFAR-10, модель показала высокую точность генерирования и интерпретируемость латентных пространств. На геофизических данных, Fractal Flow существенно повысил точность в задачах задач восстановления и кластеризации. ## Значимость Fractal Flow может применяться в сложных задачах генерируемых процессов, таких как генерирование структурированных данных, анализ изображений и текстов, в том числе в приложениях к геофизическим процессам. Улучшенная интерпретируемость позволяет ускорить разработку систем, а структурированность латентного пространства облегчает управляемость и эффективность моделей. ## Выводы На основе предложенных результатов, Fractal Flow доказывает свою эффективность в сравнении с существующими NF-моделями. Будущие исследования будут сфокусированы на расширении модели для более сложных латентных пространств и приложениях в реальных задачах, таких как видео-генерирование и синтез данных в области здравоохранения