On the Edge of Memorization in Diffusion Models

#### Контекст Диффузионные модели являются мощным инструментом в машинном обучении, применяемыми в сферах, таких как генерация изображений, звука и текста. Однако существуют некоторые проблемы, связанные с их работой. Например, эти модели могут не только генерировать новые данные, но и воспроизводить исходные данные, включая те, которые были использованы в ходе обучения. Это может привести к проблемам, таким как копирайтерские споры и нарушение конфиденциальности данных. Тем не менее, мало знакомо с точки зрения теории и практики, что определяет модели работы — то значительное внимание уделяется их возможности генерировать новые данные, но мало изучено, при каких условиях они могут воспроизводить имеющиеся. Этот вопрос не только теоретически интересен, но и имеет практическое значение для реального применения таких моделей в различных областях. #### Метод Мы предлагаем математическую модель, которая позволяет разделять факторы, влияющие на воспроизведение данных в диффузионных моделях. Особенностью нашего подхода является использование синтетических или натуральных изображений, которые служат исходным материалом для обучения моделей. Мы строим "математическую лабораторию", в которой проводятся эксперименты с разными моделями, обученными на разных наборах данных. Наша гипотеза заключается в том, что модель воспроизведет данные или же генерирует новые в зависимости от размера модели и характера обучения. Мы проверяем эту гипотезу, исследуя различия в поведении моделей при меняющемся размере параметров. #### Результаты Мы проводили эксперименты, в ходе которых использовали синтетические и натуральные данные для обучения моделей. Мы выявили, что при достаточно маленьких размерах моделей они полагаются на воспроизведение данных, чтобы минимизировать ошибку. Однако, когда размер модели достигает определенного критического уровня, они начинают генерировать новые данные. Мы также показали, что наша теория может предсказывать момент, когда модель переходит с воспроизведения к генерации, исходя из размера модели и её параметров. #### Значимость Наши результаты могут иметь большое значение в различных областях, где используются диффузионные модели. Например, в области генерации изображений, звука или текста, где важно понимать, могут ли модели воспроизвести исходные данные или же генерируют новые. Благодаря нашей теории можно предсказать, на каком этапе модель будет переходить от воспроизведения к генерации, что помогает в управлении проблемами копирайтерских споров или защиты конфиденциальности данных. #### Выво