Proof-Carrying Numbers (PCN): A Protocol for Trustworthy Numeric Answers from LLMs via Claim Verification

## Контекст Large Language Models (LLMs), как стохастические системы, могут генерировать числа, которые не соответствуют доступным данным. Это называется **numeric hallucination** — ошибкой, при которой модель выдает неверные или сбоивающиеся числовые ответы. Несмотря на существующие меры безопасности, такие как **retrieval-augmented generation**, **citation** и **uncertainty estimation**, они не могут гарантировать точность ответов. Например, модель может выдать значение, похожее на реальное, но фактически ошибочное, и показать его как достоверное. Это приводит к риску ухудшения доверия пользователей к LLM в задачах, требующих точности. Для решения этой проблемы предлагается **Proof-Carrying Numbers (PCN)** — протокол, который обеспечивает фидбек над точностью числовых ответов при помощи механической верификации. ## Метод PCN представляет числовые значения в виде **claim-bound tokens** (токенов, привязанных к утверждению), управляемых структурированным **claim**. Эти токены проходят проверку в соответствии с предопределенной **policy** — например, точное соответствие, округление, псевдонимы или относительная точность с квалификаторами. Главная особенность PCN заключается в том, что проверка происходит на этапе рендеринга, а не на этапе модели. Только токены, прошедшие верификацию, помечаются как достоверные, все другие остаются непомеченными. Это разделение защищает от способов изменения результатов, таких как хибные цитаты или замаскированные ошибки, и обеспечивает fail-closed поведение. Метод легко масштабируется и может быть интегрирован в любые приложения, использующие LLM. Кроме того, PCN может быть дополнен конспектами (cryptographic commitments) для повышения безопасности. ## Результаты Основные эксперименты подтверждают эффективность PCN в обеспечении достоверности числовых ответов. Для тестирования использовались различные сценарии, включающие генерирование чисел с разными уровнями точности, включая округление и трансформации. В результате было показано, что PCN успешно отфильтровывает неверные числовые значения и не позволяет их продвинуть до пользователя. Данные эксперименты были проведены с использованием стандартных датасетов, и верификация соответствовала заявленным политикам. Таким образом, PCN доказал свою способность обеспечить монотонность и приемлемую скорость операций на разных уровнях политик проверки. ## Значимость Приложение PCN распространяется на любые сценарии, где требуется гарантировать достоверность числовых ответов. Например, в области финансовых приложений, медицины и юридических системах, точность числовых данных критична. PCN обеспечивает не только верификацию, но и повышает потребительскую доверие, поскольку