📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 0

Последнее обновление: сегодня
Авторы:

Aivin V. Solatorio

## Контекст Large Language Models (LLMs), как стохастические системы, могут генерировать числа, которые не соответствуют доступным данным. Это называется **numeric hallucination** — ошибкой, при которой модель выдает неверные или сбоивающиеся числовые ответы. Несмотря на существующие меры безопасности, такие как **retrieval-augmented generation**, **citation** и **uncertainty estimation**, они не могут гарантировать точность ответов. Например, модель может выдать значение, похожее на реальное, но фактически ошибочное, и показать его как достоверное. Это приводит к риску ухудшения доверия пользователей к LLM в задачах, требующих точности. Для решения этой проблемы предлагается **Proof-Carrying Numbers (PCN)** — протокол, который обеспечивает фидбек над точностью числовых ответов при помощи механической верификации. ## Метод PCN представляет числовые значения в виде **claim-bound tokens** (токенов, привязанных к утверждению), управляемых структурированным **claim**. Эти токены проходят проверку в соответствии с предопределенной **policy** — например, точное соответствие, округление, псевдонимы или относительная точность с квалификаторами. Главная особенность PCN заключается в том, что проверка происходит на этапе рендеринга, а не на этапе модели. Только токены, прошедшие верификацию, помечаются как достоверные, все другие остаются непомеченными. Это разделение защищает от способов изменения результатов, таких как хибные цитаты или замаскированные ошибки, и обеспечивает fail-closed поведение. Метод легко масштабируется и может быть интегрирован в любые приложения, использующие LLM. Кроме того, PCN может быть дополнен конспектами (cryptographic commitments) для повышения безопасности. ## Результаты Основные эксперименты подтверждают эффективность PCN в обеспечении достоверности числовых ответов. Для тестирования использовались различные сценарии, включающие генерирование чисел с разными уровнями точности, включая округление и трансформации. В результате было показано, что PCN успешно отфильтровывает неверные числовые значения и не позволяет их продвинуть до пользователя. Данные эксперименты были проведены с использованием стандартных датасетов, и верификация соответствовала заявленным политикам. Таким образом, PCN доказал свою способность обеспечить монотонность и приемлемую скорость операций на разных уровнях политик проверки. ## Значимость Приложение PCN распространяется на любые сценарии, где требуется гарантировать достоверность числовых ответов. Например, в области финансовых приложений, медицины и юридических системах, точность числовых данных критична. PCN обеспечивает не только верификацию, но и повышает потребительскую доверие, поскольку
Annotation:
Large Language Models (LLMs) as stochastic systems may generate numbers that deviate from available data, a failure known as \emph{numeric hallucination}. Existing safeguards -- retrieval-augmented generation, citations, and uncertainty estimation -- improve transparency but cannot guarantee fidelity: fabricated or misquoted values may still be displayed as if correct. We propose \textbf{Proof-Carrying Numbers (PCN)}, a presentation-layer protocol that enforces numeric fidelity through mechanica...
ID: 2509.06902v1 cs.CL, cs.CR, cs.DB, cs.LG