Selective Risk Certification for LLM Outputs via Information-Lift Statistics: PAC-Bayes, Robustness, and Skeleton Design

## Контекст Large language models (LLMs) пользуются всесторонним применением в различных сферах жизнедеятельности. Однако они часто выдают довольно верные, но неверные ответы, что является неприемлемым для многих задач, требующих высокой точности. Это проблема становится острой в сферах, таких как здравоохранение, юриспруденция и финансы, где неверные ответы могут иметь серьезные последствия. Недостатком существующих подходов, таких как HallBayes, является отсутствие формальных гарантий их работы. Мы предлагаем новую теорию, основанную на **информационном скелете**, которая позволяет выделить верные ответы, свести к минимуму неопределенность и обеспечить формальные гарантии точности для LLM-выводов. ## Метод Мы предлагаем **теорию информационно-высоты скелета** для селективной классификации. Наш подход основывается на **PAC-Bayes**-анализе, который расширяет стандартные бернуллиевские оценки, и включает в себя: - **Под-гамма-анализ**, позволяющий оценивать вероятности ошибок с более высокой точностью; - **Теоремы чувствительности скелета**, измеряющие устойчивость модели к неточностям в оценках; - **Теория ошибочных режимов**, которая позволяет настраивать модель на понимание и контроль ошибок; - **Вариационный метод** для точечной конструкции скелета, обеспечивающий эффективность и точность. Метод адаптируется для работы с различными моделями LLMs и датасетами, чтобы обеспечить эффективность и универсальность. ## Результаты Мы проверили наш подход на шести различных датасетах, включая задачи текстового классификации, генерации текста и ответа на вопросы. Модели, использующие нашу технологию, показали следующие результаты: - Уменьшение неопределенности (abstention) на 12–15% с тем же уровнем риска; - Задержка вычислений не превышала 20%, при этом с учетом батч-обработки эта стоимость может быть существенно снижена; - Обеспечение формальных гарантий точности вывода в критичных сценариях. Эти результаты доказывают устойчивость и эффективность нашего подхода в широком круге задач. ## Значимость Наш подход может быть применен в **критически важных задачах**, таких как диагностика, финансовый мониторинг и юридические выводы, где точность и защита от неверных выводов критична. Он предлагает: - **Формальные гарантии точности**, отсутствующие в предыдущих подходах; - **Улучшение эффективности** за счет меньшей частоты отказа от вывода; - **Универсальность**, применимаясь к различным моделям и сценариям использования. Это дает во