ToonComposer: Streamlining Cartoon Production with Generative Post-Keyframing

#### Контекст Производство мультфильмов и аниме строится на трех основных этапах: keyframing, inbetweening и colorization. Эти процессы требуют значительных усилий от художников и часто приводят к ошибкам из-за отдельного рассмотрения каждого этапа. Несмотря на прогресс в искусственном интеллекте, существующие методы решают эти задачи независимо, что приводит к аккумулированию ошибок и появлению артефактов. Авторы предлагают ToonComposer — модель, которая объединяет inbetweening и colorization в один этап post-keyframing, что позволяет уменьшить затраты времени и улучшить качество работ. #### Метод ToonComposer — это модель, основанная на методе sparse sketch injection, который позволяет использовать ключевые кадры для точного управления анимацией. Для улучшения временных свойств видео используется cartoon adaptation method с spatial low-rank adapter, который адаптирует современные модели видео к домену мультипликации, сохраняя при этом временные признаки. Модель может работать с одним скетчем и одним цветным кадром, что упрощает процесс, или с несколькими скетчами для более точного контроля. Это делает ее удобной для реальных сценариев работы. #### Результаты Проведенные эксперименты показывают, что ToonComposer превосходит существующие методы в трех ключевых аспектах: качество визуального изображения, последовательность движений и эффективность производства. Модель была тестирована на PKBench — бенчмарк, созданном на основе человечески прорисованных скетчей, что дает реалистичные условия эксплуатации. Результаты подтверждают, что ToonComposer значительно сокращает трудоемкость и улучшает качество работ, делая ее привлекательной для профессионалов в области мультипликации. #### Значимость ToonComposer может применяться в различных сферах, таких как мультипликация, анимация и даже рекламное производство. Он уменьшает затраты времени и усилий, позволяя художникам сосредоточиться на творчестве. Благодаря своему универсальному подходу, модель может стать полезным инструментом для развития цифрового искусства. #### Выводы ToonComposer представляет собой прорыв в области AI-помощи в производстве мультипликации. Он объединяет несколько этапов в один, уменьшая ошибки и улучшая качество. Будущие исследования будут сконцентрированы на улучшении точности и гибкости модели, а также на расширении ее возможностей для работы с более сложными сценариями.