CaTS-Bench: Can Language Models Describe Numeric Time Series?

## Контекст Задача описания числовых временных рядов в естественном языке, или time series captioning, требует значительных навыков логического и численного рассуждения, интерпретации трендов и контекстуального понимания. Несмотря на растущий интерес к этой области, существующие бенчмарки часто ограничиваются синтетическими данными или очень простыми формулировками, не учитывая метаданные и визуальные представления. Это приводит к ограниченности исследовательских возможностей в этой области. Чтобы закрыть этот gap, мы предлагаем CaTS-Bench — первый большой, настоящий набор данных для контекст-аутентичного time series captioning, который включает в себя метаданные и визуальные представления. ## Метод Бенчмарк CaTS-Bench построен на основе 11 различных настоящих наборов данных, перефрейминг которых в качестве задач captioning и Q&A. Он содержит примерно 465k сэмплов для обучения и 105k для тестирования. Каждый сэмпл включает в себя сегмент числового временного ряда, контекстные метаданные, линейку-график, а также саму лексикальную структуру, полученную с помощью LLMs. Чтобы обеспечить высокое качество ссылочных лексик, мы разработали многоуровневую систему проверки — начиная от проверки фактичности и контроля фактических ошибок, заканчивая анализами отличия от человекоподобного стиля и разнообразия. Для повышения актуальности, мы также предоставили относительно маленький набор 579 тестовых сэмплов, подвергнутых ручной редактированию, чтобы гарантировать точность и натуральность. ## Результаты Мы проводили эксперименты с помощью текущих лучших visual language models (VLMs) и измерили их результаты на разных подмножествах CaTS-Bench. Эксперименты подтвердили важность контекста и визуальных свойств для точного captioning. Мы также проанализировали слабые места моделей, такие как предсказание неточных трендов и несогласованность в контекстной интерпретации. Новые подходы к оценке, такие как метрики различности и точности, позволяют измерить ограничения текущих моделей, что позволяет выявлять ключевые направления для дальнейших разработок. ## Значимость CaTS-Bench предлагает широкое применение в различных областях, таких как финансы, здравоохранение, искусственный интеллект и анализ данных. Он открывает возможности для более точного и контекстуально обоснованного описания временных рядов, что может повысить качество решений в сложных задачах, таких как прогнозирование рыночных движений или раннее выявление патологий. Мы также выделяем потенциал CaTS-Bench в качестве базы для будущих исследований по взаимодействию текстовых и визуальных моделей, что может привести к новым технологи