AttestLLM: Efficient Attestation Framework for Billion-scale On-device LLMs

## Контекст В последние годы наблюдается быстрое развитие локальных больших языковых моделей (LLM), таких как Apple своего девайса Intelligence. Эти модели позволяют уменьшить зависимость от сети, обеспечить большую конфиденциальность и повысить отзывчивость. Однако с ростом широкого применения таких моделей возникает критическая проблема — обеспечение их легитимности и защита от несанкционированных изменений. Недостаточность существующих методов аттестации, которые не могут эффективно работать с миллиардами параметров LLMs, создает нужду в разработке новых, более эффективных решений. Целью данной работы является разработка простого, эффективного и надежного аттестационного фреймворка AttestLLM, который обеспечивает защиту хардварного интеллектуального пользования (IP) верификацией только легитимных моделей на устройствах. ## Метод AttestLLM использует сочетание алгоритмических, программных и аппаратных решений для внедрения надежных меток водо标а на дистрибуции активаций в больших моделях языкового моделирования. Этот фреймворк интегрируется в Trusted Execution Environment (TEE) для обеспечения безопасности и эффективности проверки. Основной идеей является технология watermarking, которая заносит в загружаемые векторы активаций специальные, незаметные для пользователя, отметки. Эти отметки позволяют одновременно проверить легитимность модели и возможность ее выполнения на определенном устройстве. Для эффективности аттестационного протокола используется оптимизация в рамках TEE, чтобы минимизировать влияние проверки на производительность работы модели. Таким образом, AttestLLM обеспечивает надежную защиту IP в условиях масштабирования без существенных снижений производительности. ## Результаты Для подтверждения эффективности AttestLLM проводились тесты на моделях Llama, Qwen и Phi с различными наборами данных. Результаты показали, что фреймворк достиг высокой надежности в проверке легитимности моделей. Он обеспечил отличные результаты в скорости аттестации (минимальное влияние на производительность) и точность в определении нелегитимных моделей. Были проведены эксперименты, показавшие, что AttestLLM надежно обнаруживает замену модели и попытки ее фальсификации. Также были проведены сравнительные эксперименты, подтвердив, что AttestLLM превосходит существующие методы в скорости и эффективности проверки. ## Значимость AttestLLM представляет собой новый подход к защите хардварных решений для больших моделей языкового моделирования. Его важность заключается в том, что он позволяет эффективно проверять легитимность моделей в условиях масштабирования, с минимальным влиянием на производительность. Это решение может бы