Mapping the Course for Prompt-based Structured Prediction

## Контекст Структурное предсказание, или structured prediction, является кллючевым вопросом в области обработки естественного языка, так как задачи такого типа часто включают в себя не только точное предсказание отдельных элементов, но и сохранение структурной консистенции. Традиционные методы, такие как скрытые Марковские модели (HMMs), регулярные выражения или CRFs, были применялись для этих задач, однако обучение этих моделей требует обширной ручной работы и является непосредственным в том смысле, что они оптимизируются непосредственно для конкретной задачи. В последнее время, генерируемые модели языка (LLMs), такие как GPT-3 и схожие, демонстрируют выдающиеся результаты в различных задачах естественного языка без непосредственного обучения для конкретной задачи. Однако эти модели могут столкнуться с проблемами, такими как выдача неверных сведений (hallucinations), проблемы с выводом и недостаточная структурная консистенция. Мы предлагаем комбинацию генерируемых моделей языка с подходами в области комбинаторного вывода для создания решений, которые могут объединить высокую точность LLMs с структурной консистенцией, полученной в результате инференции. Это может быть полезно для задач, таких как генерация графов, решение логических задач и другие задачи, где качество решений зависит от их структурной корректности. ## Метод Мы предлагаем комбинацию традиционных методов комбинаторного вывода с генерируемыми моделями языка. Модель языка (LLM) предсказывает отдельные входы, а затем инференцийный ход используется для модификации этих предсказаний таким образом, чтобы они соответствовали структурным ограничениям задачи. Мы используем различные стратегии для подготовки запросов к модели языка (prompting strategies), включая динамическое формирование запросов и статические шаблоны. Для каждого предсказания, сделанного моделью языка, мы вычисляем доверительные показатели с помощью различных стратегий (например, максимальная вероятность, медиана, и т.д.) и используем их в качестве входных данных в комбинаторный вывод. Мы проводим эксперименты с различными данными (такими как задачи семантического разбора и генерации графов), чтобы определить, какие стратегии подготовки запроса и стратегии вывода дают наилучшие результаты. ## Результаты Мы проводили эксперименты на нескольких задачах, включая генерацию графов и семантический разбор. Для подготовки запроса к модели языка, мы протестировали как динамические, так и статические стратегии. Мы показали, что любая подготовка запроса, сочетающаяся с инференцией, приводит к улучшению точности и структурной