📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
Авторы:
Aivin V. Solatorio
## Контекст
Large Language Models (LLMs), как стохастические системы, могут генерировать числа, которые не соответствуют доступным данным. Это называется **numeric hallucination** — ошибкой, при которой модель выдает неверные или сбоивающиеся числовые ответы. Несмотря на существующие меры безопасности, такие как **retrieval-augmented generation**, **citation** и **uncertainty estimation**, они не могут гарантировать точность ответов. Например, модель может выдать значение, похожее на реальное, но фактически ошибочное, и показать его как достоверное. Это приводит к риску ухудшения доверия пользователей к LLM в задачах, требующих точности. Для решения этой проблемы предлагается **Proof-Carrying Numbers (PCN)** — протокол, который обеспечивает фидбек над точностью числовых ответов при помощи механической верификации.
## Метод
PCN представляет числовые значения в виде **claim-bound tokens** (токенов, привязанных к утверждению), управляемых структурированным **claim**. Эти токены проходят проверку в соответствии с предопределенной **policy** — например, точное соответствие, округление, псевдонимы или относительная точность с квалификаторами. Главная особенность PCN заключается в том, что проверка происходит на этапе рендеринга, а не на этапе модели. Только токены, прошедшие верификацию, помечаются как достоверные, все другие остаются непомеченными. Это разделение защищает от способов изменения результатов, таких как хибные цитаты или замаскированные ошибки, и обеспечивает fail-closed поведение. Метод легко масштабируется и может быть интегрирован в любые приложения, использующие LLM. Кроме того, PCN может быть дополнен конспектами (cryptographic commitments) для повышения безопасности.
## Результаты
Основные эксперименты подтверждают эффективность PCN в обеспечении достоверности числовых ответов. Для тестирования использовались различные сценарии, включающие генерирование чисел с разными уровнями точности, включая округление и трансформации. В результате было показано, что PCN успешно отфильтровывает неверные числовые значения и не позволяет их продвинуть до пользователя. Данные эксперименты были проведены с использованием стандартных датасетов, и верификация соответствовала заявленным политикам. Таким образом, PCN доказал свою способность обеспечить монотонность и приемлемую скорость операций на разных уровнях политик проверки.
## Значимость
Приложение PCN распространяется на любые сценарии, где требуется гарантировать достоверность числовых ответов. Например, в области финансовых приложений, медицины и юридических системах, точность числовых данных критична. PCN обеспечивает не только верификацию, но и повышает потребительскую доверие, поскольку
Annotation:
Large Language Models (LLMs) as stochastic systems may generate numbers that
deviate from available data, a failure known as \emph{numeric hallucination}.
Existing safeguards -- retrieval-augmented generation, citations, and
uncertainty estimation -- improve transparency but cannot guarantee fidelity:
fabricated or misquoted values may still be displayed as if correct. We propose
\textbf{Proof-Carrying Numbers (PCN)}, a presentation-layer protocol that
enforces numeric fidelity through mechanica...