BEDTime: A Unified Benchmark for Automatically Describing Time Series

#### Контекст В последние годы, автоматическое описание временных рядов с помощью естественного языка получило значительное внимание в академической и практической сферах. Это отражается в развитии широкого спектра моделей и методов, нацеленных на решение задач, таких как распознавание, выявление отличий и порождение естественного текста на основе временных рядов. Однако существуют значительные проблемы, связанные с отсутствием стандартизированных бенчмарков для оценки моделей. Доступные данные часто разбросаны по отдельным работам, а многие из них не предназначены для сравнительных экспериментов. Это ограничивает возможность объективного сравнения методов и трудности в изучении, какие модели лучше справляются с конкретными задачами. Данный работу направлен на создание стандартизированного метода оценки, который позволит провести сравнительный анализ и мотивировать развитие моделей с целью улучшения их полноты, семантического понимания и гибкости. #### Метод Мы предлагаем BEDTime (Benchmark for Evaluating the Description of Time series) — бенчмарк, который объединяет 4 существующих датасетов для 3 задач: распознавание (True/False вопросы-ответы), выявление отличий (множественный выбор) и порождение естественного текста (open-ended). Эти задачи позволяют оценивать модели по составному показателю — их способности анализировать, сравнивать и генерировать естественный язык на основе временных рядов. Мы использовали 13 моделей, включая лингвистические, визуально-лингвистические и специализированные на временных рядах. Эксперименты проводились с применением различных метрик, таких как точность распознавания, F1-меры и BLEU. Это позволило протестировать гибкость моделей и их возможность работать в различных областях применения. #### Результаты Результаты экспериментов показали, что популярные модели на основе лингвистических моделей (LLM) часто приобретают низкие результаты. В то же время, визуально-лингвистические модели (VLM) показали значительные достижения, что свидетельствует о значимости визуальных моделей для решения задач временных рядов. Однако модели с предустановленными мультимодальными моделями временных рядов и языка (Multimodal Time Series-Language Models) показали лучшие результаты, но всё же имеют большой потенциал для улучшения. Мы также выявили проблемы с точностью и устойчивостью моделей, особенно в ситуациях, требующих высокой точности и генеративных задач. #### Значимость BEDTime предлагает широкие возможности для стандартизации и сравнения моделей в области автоматического описания временных рядов. Это позволяет проводить эксперименты на разных видах задач, улучшать модели и расширять их возмо