KRETA: A Benchmark for Korean Reading and Reasoning in Text-Rich VQA Attuned to Diverse Visual Contexts

#### Контекст Компетентное понимание и вывод при помощи языково-визуальных моделей (Vision-Language Models, VLM) является важной проблемой в области искусственного интеллекта. Особенно трудными оказываются задачи, которые требуют понимания текстового контента в визуальных контекстах. Хотя в области Vision-Language Understanding (VLU) существуют многочисленные данные и бенчмарки для высокоресурсных языков, таких как английский, для низкоресурсных языков, таких как корейский, такие данные отсутствуют. Это вызывает значительные ограничения в сравнительном анализе и развитии VLM для корейского языка. Для заполнения этой целевой зоны мы предлагаем KRETA (Korean Reading and Reasoning in Text-rich VQA Attuned to Diverse Visual Contexts) — новый бенчмарк, который включает в себя тестовые среды для оценки умений понимания текстов и вывода в текст-богатых визуальных задачах. #### Метод KRETA представляет собой комплексный подход к созданию текстово-богатых бенчмарков для языка корейского. Мы разработали собственную текстовую генерацию VQA, которая оптимизирована для текстово-богатых задач. Метод включает: 1. Шаг задекларации: начальная версия текстовой VQA. 2. Шаг декомпозиции изображения: разбор изображения на отдельные части, чтобы получить ключевые сведения. 3. Шаг вывода: применение логических выводов для получения ответа. 4. Шаг абстрагирования: генерирование новых вопросов и ответов для увеличения модели. Эта процедура обеспечивает высокую точность и репрезентативность данных для KRETA. Бенчмарк покрывает 15 различных доменов и 26 типов изображений, чтобы убедиться в широком аспекте вывода. #### Результаты Мы провели эксперименты с KRETA и сравнили результаты с существующими вариантами текстовых бенчмарков. Наши тесты показали, что KRETA обеспечивает высокую точность и позволяет лучше оценить модели на текстовых задачах. Мы также были в состоянии выявить некоторые ограничения существующих моделей, которые не были ранее обнаружены. Эти результаты подтверждают значительный потенциал KRETA в повышении уровня корейского VLM. #### Значимость KRETA оказывается приложимым в различных областях, в том числе в робототехнике, медицине и образовании. Его преимущества заключаются в том, что он обеспечивает более точную оценку моделей VLM для языка корейского, что значительно увеличивает степень понимания текста в визуальных контекстах. Будущие исследования будут сосредоточены на расширении KRETA для других низкоресурсных языков и интеграции многоязычных моделей для улучшения межъязыковой поддержки VLM. #### Выводы KRETA является значительным шагом в развитии текстово-богатых б