A Theoretical Analysis of Discrete Flow Matching Generative Models

#### Контекст Область исследования относится к методам генерирующих моделей для работы с дискретными данными. Дискретные генерирующие модели (DFM) - это модели, концентрирующиеся на генерировании дискретных данных, таких как слова, токены или другие выборки, использующие дискретные вектора. Одной из основных проблем в данной области является то, что необходимо достичь высокой точности генерирования, сохранив гибкость и эффективность. Недостаток многих существующих методов заключается в трудности предсказания распределения данных и недостаточной способности статистических моделей предсказывать дальнейшие данные. Мотивация состоит в разработке теоретической базы для энд-то-энд тренировки DFM моделей, чтобы улучшить их точность и устойчивость. #### Метод Методология DFM основывается на нейронной сети, которая аппроксимирует трансформацию векторов в пространстве данных. Цифровые данные трактуются как элементы вектора, и целью является построение модели, которая генерирует эти вектора, чтобы они были близки к целевым данным. Архитектура DFM включает в себя Transformer, которая представляет трансформацию векторов, и генерирует новые данные, аппроксимируя трансформацию в пространстве данных. Решение заключается в двух этапах: (i) оценка скорости трансформации (velocity field) и (ii) статистическая оценка ошибки в тренировочном процессе. Это позволяет получить точное распределение данных с минимальной ошибкой. #### Результаты Эксперименты проводились на различных датасетах, в том числе на картинках, текстах и игровых данных. Было продемонстрировано, что DFM модели показывают высокую точность в генерировании дискретных данных. Использовались стандартные метрики качества, такие как Total Variation Distance, для меры расстояния между генерируемым и целевым распределением. Результаты показали, что DFM модели демонстрируют значительную улучшенную точность по сравнению с другими моделями. Также была показана статистическая сходимость генерируемого распределения к целевому распределению при увеличении размера тренировочного набора данных. #### Значимость Модели DFM применяются в различных областях, включая генерирование текста, генерирование изображений, игровые данные и другие области, где требуется генерировать дискретные выборки. Одним из основных преимуществ является то, что DFM модели уменьшают размер тренировочного набора, необходимый для генерирования качественных данных. Это приводит к более эффективной использованию ресурсов и более точному генерированию данных. Будущие исследования будут направлены на улучшение скорости и точност