PRIM: Towards Practical In-Image Multilingual Machine Translation

## Контекст In-Image Machine Translation (IIMT) — это область искусственного интеллекта, специализирующаяся на переводе текстов, изображенных на изображениях, с одного языка на другой. Несмотря на продвижение технологий, существующие исследования в основном опираются на синтетические данные, характеризующиеся простой фоновой средой, одним шрифтом и фиксированным положением текста. Более того, эти исследования ограничиваются двуязычным переводом. Такие ограничения не достаточно отражают реальных условий, в которых тексты имеют разнообразные фоны, различные шрифты и позиции. Это создает значительную разницу между научными разработками и их применением в реальной жизни. Для преодоления этих ограничений, авторы фокусируются на Practical In-Image Multilingual Machine Translation (PRIM), стремясь улучшить технологии перевода в реальных условиях с учетом многоязычности и сложности реальных изображений. ## Метод Программа PRIM предлагает комплексное решение для практического IIMT, основываясь на создании и использовании датасета PRIM. Этот датасет включает реальные изображения, полученные с фотоаппарата, с однострочными текстами, различными фондами, шрифтами и положениями текста. Он поддерживает многоязычный перевод в различные направления. Для обработки этих сложностей, авторы предлагают модель VisTrans, которая обрабатывает текст и фон изображения отдельно. Эта стратегия позволяет гарантировать качество многоязычного перевода, при этом улучшая визуальное качество. Таким образом, PRIM и VisTrans решают проблемы, связанные с реалистичными условиями перевода на изображениях. ## Результаты Эксперименты показали, что VisTrans выдает лучшие результаты в сравнении с другими моделями в области IIMT, как с точки зрения языкового понимания, так и с точки зрения качества визуального представления. Модель обеспечивает лучший баланс между точностью перевода и качеством визуального изображения, что делает ее более эффективной в реальных сценариях. Результаты подтверждают значительное улучшение в сравнении с предыдущими методами, сделав VisTrans более пригодной для внедрения в реальные задачи перевода текста на изображениях. ## Значимость Приложение PRIM широко может быть использовано в сферах, где наличие многоязычного перевода на изображениях является критическим. Например, в сфере сервисов, туризме, медицине, упаковке или рекламе, где текст на изображениях является важным составляющим. Особый потенциал имеет VisTrans в сфере автоматизации, где требуется многоязычная обработка текстов на изображениях в реальном времени. Это может упростить и ускорить рабочие процессы, обеспечив лучшую дост