## Контекст Generative модели, такие как diffusion models, стали популярными в области машинного обучения, в частности в генерировании графических изображений. Они могут хорошо работать в сложных распределениях, но часто сталкиваются с проблемами соответствия пользовательским требованиям. Два распространенных подхода к улучшению качества и соответствия выходных данных являются **alignment** (согласование модели с определенным регулятором) и **composition** (комбинирование различных моделей для достижения более широкого спектра качественных выходных данных). Однако, при попытке оптимизировать модель по нескольким критериям, возникают конфликты между ними, так как различные модели могут отражать противоречивые атрибуты. Существующие методы не могут гарантировать успех в создании модели, которая бы удовлетворяла всем требуемым критериям. Наша работа фокусируется на создании фреймворма, который может комбинировать и выравнивать модели diffusion, учитывая оба критерия — композицию и выравнивание. ## Метод Мы предлагаем новый фреймворк, который использует **constrained optimization**, чтобы объединить alignment и composition моделей diffusion. Фреймворк оптимизирует модель, чтобы она удовлетворяла определенным требованиям в плане выполнения, при этом оставаясь близкой к одной или нескольким предварительно обученным моделям. Мы используем технику Lagrangian-based primal-dual optimization для того, чтобы решать эти задачи в рамках нашей модели. Наша архитектура позволяет построить модель, которая решает проблему конфликта между несколькими требованиями, управляя ими в соответствии с предварительно определенными ограничениями. Алгоритм нашего подхода позволяет решать задачи композиции и выравнивания в рамках одной модели. ## Результаты Мы проверили нашу модель на задаче генерирования изображений, применяя ее как для выравнивания, так и для композиции. Мы сравнили результаты наших моделей с моделями, которые использовались в простых подходах, таких как equally-weighted approach. Мы показали, что наш подход эффективно решает задачи выравнивания и композиции, а также показал улучшение в выполнении по сравнению с методами, которые не учитывали ограничения. Эксперименты проводились на различных данных, позволяя проверить эффективность нашего подхода в разных условиях. ## Значимость Мы показали, что наша модель эффективно решает задачи в области машинного генерирования изображений, когда необходимо учитывать несколько разных критериев. Наш подход можно применить в различных областях, таких как генерирование изображений, текста, звука и даже в медицинской обработке изображений. Мы показали, что наша модель может лучше справиться с задачей сохранения нескольких атрибутов, что делает ее боле

## Контекст Открытый мир (open-world) — это многопрофильная область исследований, которая направлена на обнаружение и обработку неизвестных классов в данных. Открытый мир отличается от стандартных сценариев, где модели обучаются только на известных классах. В открытом мире необходимо обнаруживать неизвестные классы и обновлять модель в режиме реального времени. Существующие методы, такие как OOD-обнаружение и инкрементное обучение, сталкиваются с проблемами: OOD-обнаружение не обновляет знания модели, а инкрементное обучение требует наличия меток для новых классов, что не соответствует открытому миру. Наличие этих проблем подчеркивает необходимость разработки универсального подхода, который мог бы объединить OOD-обнаружение, обнаружение новых классов и инкрементное обучение в единое целое. ## Метод OpenHAIV представляет собой инновационный фреймворк, который решает вышеуказанные проблемы. Он состоит из трех основных компонентов: 1. **OOD-обнаружение (Out-of-Distribution Detection):** Этот компонент позволяет модели определять новые классы в данных. 2. **Обнаружение новых классов (New Class Discovery):** Этот модуль использует OOD-обнаруженные данные для выделения и обработки новых классов. 3. **Инкрементное обучение (Incremental Continual Fine-tuning):** Этот модуль обновляет модель, используя обнаруженные новые классы, и позволяет ей продолжительно обучаться в открытом мире. Технология OpenHAIV лежит в основе модели представления, объединяющей эти компоненты в единую целостную систему. ## Результаты Эксперименты проводились на стандартных датасетах, в том числе CIFAR-100, ImageNet или TinyImageNet. Открытый мир был воспроизведен, добавляя неизвестные классы во время выполнения. Результаты показали, что OpenHAIV превосходит существующие методы в обнаружении неизвестных классов, в новом классе обнаружения и сохранении модели на протяжении длительного времени. Открытый код и результаты доступны на сайте https://haiv-lab.github.io/openhaiv . ## Значимость OpenHAIV открывает новые возможности в широких областях применения, таких как робототехника, медицина, анализ данных и мониторинг сетей. Он позволяет моделям не только распознавать данные, но и адаптироваться к новым условиям в реальном времени. Это предоставляет потенциал для улучшения производительности в сложных интеллектуальных системах. ## Выводы OpenHAIV представляет собой новую модель, которая объединяет OOD-обнаружение, обнаружение новых классов и инкрементное обучение. Это решение развивает открытый мир, расширяя возможности моделей в реальном времени. Будущие исследования будут направлены на улучшение эффективности фреймворка, а также на расширение его применения в разли