## Контекст Техника оптимального транспорта (Optimal Transport, OT) широко используется в машинном обучении, графике и визуализации для установления однозначных сопоставлений между двумя распределениями или наборами данных. Однако в наборах данных, характеризующихся симметриями (например, визуальные симметрии в изображениях), подходы, основанные только на парных метриках геометрии, могут пропускать важные структуры данных. Такие проблемы часто приводят к потере контекста и неточности в сопоставлениях. Мы предлагаем Bispectral Optimal Transport (Bispectral OT) — расширение классической методологии OT, которое учитывает симметрии и позволяет получить более точные и смысловые сопоставления. ## Метод Bispectral Optimal Transport использует биспектру — групповую Фурье-инварианту — для представления элементов в наборе данных. В отличие от стандартного OT, который оперирует парами координат, Bispectral OT учитывает не только локальные отношения, но и глобальные структуры данных. Эта техника сохраняет все сигнальные свойства, вычитая только симметричные колебания. Мы реализуем Bispectral OT в качестве расширения задачи оптимального транспорта, используя новый класс мер расстояний, основанных на биспектре. Это позволяет произвести более точные сопоставления, которые сохраняют классовую структуру данных, независимо от визуальных симметрий. ## Результаты Мы проверили Bispectral OT на нескольких задачах синтетических и реальных данных, включая изображения, подвергнутые различным визуальным симметриям. Наши эксперименты показали, что метод Bispectral OT превосходит классический OT в задачах классового сохранения и однозначности сопоставлений. Например, при изменении изображений в холсте симметричной преобразовательной группы, Bispectral OT позволяет учитывать основные свойства классов (например, геометрические формы), даже когда они преобразуются симметрически. Эти результаты подтверждают, что Bispectral OT не только улучшает точность, но и позволяет определять более подробные и контекстуально значимые сопоставления. ## Значимость Вычислительный метод Bispectral OT может быть применен в сложных сценариях, где важна сохраняемость классов и удаление ненужных симметричных колебаний. Он применим в графике, где необходимо удалить ненужные визуальные симметрии при анализе изображений. Более того, Bispectral OT может быть использован в обработке естественных языков, где симметрии в семантической структуре могут затруднять понимание. Этот подход открывает новые пути для повышения точности и смысловой нагрузки в задачах машинного обучения, затрагивающих высокомерный анализ распределений. ## Выводы Наше и

## Контекст Generative modeling, representation learning, и classification являются тремя основными задачами в машинном обучении (ML). Несмотря на то, что существуют совершенно разные подходы для каждой из этих задач, их современные решения в целом независимы друг от друга. Это приводит к разделению ML-процессов и снижению взаимодействия между задачами. Тем не менее, может ли быть придумана общая модель, которая бы решала все три задачи одновременно? Такой подход был бы значительной новостью, так как упростил бы процессы ML и повысил бы их эффективность. Разработка такой модели — основная цель настоящей работы. ## Метод Разработанная модель Latent Zoning Network (LZN) основывается на идее создания общего гауссовского латентного пространства, которое бы синтезировало информацию для всех задач. Каждый тип данных (например, изображения, текст, метки) имеет собственный энкодер, который преобразует данные в соответствующие латентные "зоны". У компонентов также есть декодеры, которые возвращают латентные представления обратно в оригинальные данные. ML-задачи выражаются как композиции этих энкодеров и декодеров. Например, для генерации меток-условием изображений используется энкодер меток и декодер изображений. Для обычного задания входной меткой в модель и использования ее для генерации картинок, LZN извлекает изображение с помощью изображения-энкодера. Также, для classification модель использует изображение-энкодер и метку-декодер. Эта модель была применена во всех трех направлениях, и далее мы рассмотрим результаты этих экспериментов. ## Результаты Чтобы продемонстрировать потенциал LZN, она была применена к трем различным задачам: (1) улучшение изображений в существующих моделях; (2) решение задач представления без внесения внешних ауксиальных функций; (3) решение нескольких задач одновременно. В процессе тестирования LZN на CIFAR10, к содержащейся в ней модели Rectified Flow была добавлена для улучшения FID (Fréchet Inception Distance) — от 2.76 до 2.59, не изменяя основное целевое значение модели. Также LZN показала себя в задаче нейросетевого представления, выполнив уникальное представление в латентном пространстве без дополнительных loss-функций. Она превзошла модели MoCo и SimCLR в downstream linear classification на ImageNet — на 9.3% и 0.2% соответственно. Наконец, в задаче совместной генерации изображений и классификации, LZN продемонстрировала синергию между этими задачами, повысив FID и достигнув стандартных результатов на CIFAR10. ## Значимость LZN представляет собой новую модель, которая может быть применена во многих областях ML, включая изображения, текст, и другие задачи. Она объединяет несколько задач в единую систему,