Efficient Knowledge Probing of Large Language Models by Adapting Pre-trained Embeddings

## Контекст Большие языковые модели (LLMs) обладают широкими возможностями для получения и обработки знаний в различных областях, таких как наука, история и география. Однако их стохастический характер делает прогнозирование того, что знают они, непростой задачей. Исследователи ранее развили методы, включающие рассмотрение скрытых представлений, создание специальных задач, сбор представительных образцов и оценку неуверенности. Однако эти методы требуют нескольких проходов через модель, что делает процесс дорогостоящим и трудоемким. Напротив, наша работа предлагает новый подход, который использует предварительно обученные модели эмбеддингов для предсказания знаний LLMs, сделав процесс быстрым и эффективным. ## Метод Мы предлагаем метод $\textbf{PEEK}$ (Proxy Embeddings to Estimate Knowledge), который использует предварительно обученные модели эмбеддингов для проверки знаний LLMs. Мы запускаем эмбеддинговую модель на проверку знаний, адаптировав её с помощью линейного декодерного слоя, чтобы она могла предсказывать выводы LLMs. Эта модель обучается на выборке из фактов, известных LLMs, используя различные пробивные стратегии. Мы выбираем три датасета, построенные на основе Википедии, проверяем семь эмбеддинговых моделей и четыре LLMs. Эксперименты показали, что наш подход достигает до 90% точности при предсказании знаний LLMs. ## Результаты Мы провели тщательные эксперименты с $3$ Wikipedia-derived datasets, $4$ LLMs и $7$ embedding models. Наши результаты показали, что модели сентенций эмбеддингов дают лучший результат в предсказании знаний LLMs, получив до 90% точности. Мы также обнаружили, что эмбеддинговые модели выполняются гораздо эффективнее, чем модели графов, что позволяет понять, как LLMs хранят знания. Наши результаты подчеркивают возможность использования эмбеддингов для оценки и выявления пробелов в знаниях LLMs. ## Значимость Мы рассмотрели применение нашего подхода в следующих областях: сравнение LLMs, выявление пробелов в их знаниях и получение более глубоких познаний о внутренней структуре LLMs. Наш подход обладает огромным потенциалом, так как он предлагает быстрый, эффективный и точный способ оценки LLMs. Мы видим возможности использовать нашу работу для улучшения текущих моделей и для получения более глубоких представлений о том, как LLMs обрабатывают знания. ## Выводы Мы предложили новый подход к оценке знаний LLMs, используя предварительно обученные модели эмбеддингов. Мы показали, что наш метод дает высокую точность при предсказании знаний LLMs на новых данных. Мы также отметили, что модели сентенций эмбеддингов даю