Evaluating Structured Decoding for Text-to-Table Generation: Evidence from Three Datasets

#### Контекст Текстово-табличная генерация — это важная задача, связанная с преобразованием текстовых данных в табличный формат. Она находит применение в широком спектре областей, от журналистики до анализа данных. Однако существуют ряд проблем, связанных с недостаточной точностью и алгебраической корректностью генерируемых таблиц, которые могут быть вызваны недостаточным учетом структуры при генерации. Текущие подходы, основанные на одношаговой подсказке (one-shot prompting), часто недостаточно эффективны при генерации таблиц с высокой структурной сложностью. Мотивация для данного исследования заключается в изучении возможностей структурированного декодирования (structured decoding) для улучшения качества генерируемых таблиц. #### Метод Проведено систематическое сравнение структурированного декодирования с одношаговым подходом (one-shot prompting) на трех различных бенчмарках: E2E, Rotowire и Livesum. Использовались текстово-предсказательные модели текста до таблицы (text-to-table) на основе LLMs размеров до 32 миллиардов параметров. Задача решалась с применением схем-руководства (schema-guided), при котором в процессе генерации таблицы использовались структурные ограничения. Эксперименты были проведены с использованием метрик, оценивающих точность, валидность и алгебраическую корректность результатов на уровне ячеек, строк и таблиц. Общее количество экспериментов составило 72, что дало возможность получить подробную аналитику взаимосвязи между подходами и характеристиками данных. #### Результаты Результаты экспериментов показали, что структурированное декодирование повышает качество генерируемых таблиц в Rotowire, где требуется высокий уровень точности в алгебраических вычислениях. В случае E2E, где требуется преобразовывать текст в короткие таблицы, структурированное декодирование показало меньшую эффективность из-за ограничений в использовании большого количества текстовой информации. В Livesum, где требуется агрегирование информации из длинных текстов, структурированное декодирование также не дало значительных преимуществ, поскольку оно не способно эффективно обрабатывать огромные объемы текста. Оценка метрик показала, что хотя структурированное декодирование повышает точность в Rotowire, оно может привести к ухудшению качества в других случаях. #### Значимость Этот подход может быть применен в текстово-табличной генерации для различных сценариев, включая новостной анализ, создание отчетов и анализ текстов в реальном времени. Он обладает преимуществами в ситуациях, когда необходима высокая точность и ст