Visual-TableQA: Open-Domain Benchmark for Reasoning over Table Images

## Контекст Одним из ключевых аспектов развития современных визуально-языковых моделей (Vision-Language Models, VLMs) является возможность эффективного визуального рассуждения над структурированными данными, такими как таблицы. Тем не менее, существующие бенчмарки для оценки визуального рассуждения над таблицами имеют значительные ограничения в масштабе, разнообразии и глубине рассуждений, особенно при использовании рендеринга таблиц в виде изображений. Этот лаконичный ресурс определяет значительные проблемы для развития моделей, которые могут не только распознавать таблицы, но и выполнять глубокую логическую рассуждение о них. Ввиду этого, есть необходимость в создании более объемных и разнообразных данных, которые могут более точно оценивать визуально-логические способности моделей. ## Метод Методология, использованная в этой работе, основывается на создании модульной, автоматизированной и стоимостно-эффективной генерационной конвейерной системы. Эта система включает несколько моделей глубокого обучения (LLMs), которые работают вместе в разных ролях: генерации, валидации и использовании в качестве вдохновения. Начальные модели ставят сложные табличные структуры и темы, а другие модели развивают эти идеи, внося дополнительный контент. Этот процесс позволяет создавать высококачественные, разнообразные и логически глубокие реальные сценарии в рамках моделирования. Бенчмарк Visual-TableQA включает 2.5k LaTeX-таблиц и 6k вопросов-ответов, построенных на них, созданных при минимальных затратах (менее $100), что демонстрирует эффективность технологии. ## Результаты В результате экспериментов показано, что модели, обученные на Visual-TableQA, демонстрируют высокую гибкость и общеуниверсальность. Они показали значительные улучшения в производительности по сравнению с другими моделями, даже несмотря на синтетический характер данных. Эти модели оказались более точными в обработке табличных данных вне зависимости от того, синтетические они ли оказались или нет, что указывает на потенциал такого подхода для развития моделей среды. ## Значимость Этот подход имеет широкие применения в сферах, где требуется развитая визуально-логическая обработка данных. Он может быть применен в таких областях, как данные отраслей, финансы, медицина, и даже в развитие продуктов учебных систем. Одним из основных преимуществ является своя стоимость, быстродействие и тот факт, что он может быть применен для широкой обработки различных типов данных. В будущем, этот подход может быть развит для добавления более сложных задач и тестов, чтобы повысить допускаемую точность моделей. ##