TEN: Table Explicitization, Neurosymbolically

#### Контекст Многие данные, представленные в виде текста, имеют структуру, которую можно представить в виде таблиц. Однако выделение таких таблиц из семиструктурированного текста остается сложной задачей из-за отсутствия четких символьных разделителей между столбцами и строками. Это препятствует обработке таких данных с помощью полностью нейронных подходов, которые часто страдают от халлуцинаций (генерации несуществующих данных) и не могут обеспечивать жесткого принудительного контроля. Наша мотивация заключается в создании метода, который мог бы справиться с этими проблемами, объединив нейронные и символические подходы. #### Метод Мы предлагаем метод TEN (Table Explicitization, Neurosymbolically), основанный на нейросемантическом подходе. Он использует Structural Decomposition Prompting — специальный цепочно-мышленческий подход — с применением большой модели языка (LLM) для создания исходной таблицы. Далее, символический контроллер проверяет не только корректность таблицы, но и отсутствие халлуцинаций или забытости. Результаты проверки передаются в критическую модель языка (Critique-LLM) для генерации совета по исправлению таблицы. Эти рекомендации возвращаются в LLM в виде цикла самостоятельного диагностирования, чтобы улучшить таблицу. #### Результаты Мы провести эксперименты на нескольких датасетах, сравнивая результаты TEN с нейронными базовыми моделями. Наши результаты показывают, что TEN существенно превосходит базовые модели по всем метрикам, в том числе точности точного совпадения (exact match accuracy) и уменьшению частоты халлуцинаций. Также мы провели 21-участническую испытательную программу, в которой пользователи оценили качество таблиц TEN. Они отметили, что TEN выдает таблицы, являющиеся более точными (средний рейтинг: 5,0 против 4,3; p = 0,021), и легче для проверки и исправления. #### Значимость TEN может применяться в различных областях, где требуется извлечение табличных данных из текста, например в системах автоматической обработки документов, веб-скрейпинге и анализе текстов. Этот подход обеспечивает высокую точность, минимизирует халлуцинации и обеспечивает удобную проверку и исправление результатов. Будущие исследования будут направлены на улучшение метода для работы с более сложными сценариями и увеличения скорости обработки. #### Выводы Мы представили TEN — уникальный подход, который справляется с проблемами халлуцинаций и неточностей, характерных для полностью нейронных подходов. Наши эксперименты показали, что TEN значительно превосходит базовые модели в задаче извлечения табличных данных. Мы также отметили высокую оценку пользователей,