TABLET: A Large-Scale Dataset for Robust Visual Table Understanding

#### Контекст Табличная информация широко используется в различных областях, включая финансы, научные исследования и бизнес-анализ. Однако автоматическое понимание таблиц, особенно в предметных областях, остается вызовом из-за их сложности, разнообразия и источников. Текущие методы обучения моделей для табличного понимания часто ограничены синтетическими данными, которые некорректно представляют реальных таблиц, или же имеют ограниченный объем и тип задач. Недостаточность реалистичных данных и гибкости в обучении приводит к моделям с недостаточной общностью и надежностью при работе с реальной табличной информацией. #### Метод TABLET — это искусственный, большой набор данных для визуального понимания таблиц, состоящий из 4 миллионов примеров, разбитых на 20 задач, основанных на 2 миллионах уникальных таблиц. Этот набор данных сочетает в себе изображения таблиц и их исходный код HTML, позволяя моделям обучаться в контексте реальных таблиц. Для каждого примера включены метаданные и информация о происхождении, чтобы обеспечить прозрачность и удобство использования. Эта архитектура позволяет моделям обучаться на различных задачах, включая распознавание, классификацию и форматирование таблиц. #### Результаты Исследования показали, что набор данных TABLET позволяет значительно улучшить результаты моделей на табличных задачах, в том числе, увеличивая точность и устойчивость к реальной табличной информации. Он был использован для тренировки существующих моделей, таких как Qwen2.5-VL-7B, и демонстрировал значительный прирост в производительности на обученных и необученных задачах. Данные TABLET также позволяют проводить расширенные эксперименты с различными видом моделей, обеспечивая гибкость и системность в исследованиях. #### Значимость TABLET широко применим в области визуального и табличного понимания, включая приложения в финансовой отчетности, научных исследованиях, бизнес-анализе и даже в образовательных системах. Его преимущество в том, что он предлагает реальные таблицы вместе с их визуальным представлением, что делает его более универсальным и полезным для развития моделей. Благодаря такому подходу модели становятся более надежными и могут применяться в различных реальных ситуациях, где важно понимать табличные данные. #### Выводы TABLET представляет собой новый этап в развитии визуального табличного понимания. Он устанавливает фундамент для более эффективного и гибкого обучения моделей в этой области. Будущие исследования будут сконцентрированы на расширении набора данных, улучшении моделей и применении TABLET в различных сферах, чтобы достичь надежных и реалистичных ре