LEAF: Knowledge Distillation of Text Embedding Models with Teacher-Aligned Representations

Описание статьи: ## Контекст **LEAF** ("Lightweight Embedding Alignment Framework") — это инновационная методология для тренировки моделей текстовых эмбеддингов. Она стремится улучшить эффективность моделей, создаваемых с помощью значительно более мощных "учительских" моделей. Эта проблема актуальна в сфере обработки естественного языка, где необходимо сбалансировать качество результатов и вычислительные затраты. Основная проблема, которую решает LEAF, заключается в трудности достижения высокой модельной эффективности без потери точности. Традиционные подходы часто требуют значительных ресурсов для обучения и хранения моделей. LEAF предлагает универсальный фреймворк, который может быть применен к различным задачам, таким как информационная поисковая система и многозадачные модели. ## Метод LEAF основывается на **процессе знаний извлечения из моделей** (knowledge distillation). Он учитывает специфику семантического взаимодействия между текстами, предлагая асимметричную архитектуру: "учитель" — большая модель для кодирования документов, "ученик" — меньшая модель для обработки запросов. Основным изобретением является система **teacher-aligned representations**, которая позволяет моделям-ученикам автоматически получать свойства, такие как многозадачность (MRL) и устойчивость к квантованию, без дополнительной тренировки. Также, LEAF требует малого количества данных и ресурсов, что делает его привлекательным для реализации на устройствах с ограниченными мощностями. ## Результаты Результаты тестирования LEAF показали выдающиеся результаты. Модель leaf-ir, размером 23 миллионов параметров, стала новым стандартом точности (SOTA) на бенчмарке **BEIR**, опередив все модели схожего размера. Кроме того, в асимметричном режиме, где документы обрабатываются большой моделью, а запросы — упрощенной моделью, выдача LEAF значительно улучшилась. Другая модель, **leaf-mt**, показала схожий успех, став новым стандартом точности на **MTEB v2 (English)**. Этот результат продемонстрирован на практике, с указанием повышения эффективности и уменьшения ресурсов. ## Значимость LEAF открывает новые возможности в области моделей текстовых эмбеддингов. Он позволяет использовать большие модели для генерации данных, в то же время уменьшая затраты на их развертывание в сервисах. Такие модели могут использоваться в различных задачах, включая информационное поисковое взаимодействие, многозадачные модели, а также для оптимизации работы на устройствах с ограниченными ресурсами. Особенно важно, что LEAF не требует трудоемких стадий обучения с трудными отрицательными примерами, что делает его привлекательным для разработчиков. ## В