Learning Dynamics of Meta-Learning in Small Model Pretraining

Многопараметрические языковые модели показали свою мощь в адаптации к различным задачах, но их обучение требует больших ресурсов. Работа рассматривает возможность использования методов мета-обучения для улучшения обучения небольших языковых моделей, делая этот процесс эффективнее и интерпретируемым. Авторы интегрировали первый порядок Метода Моментов Фибоначчи (MAML) с маскированным подмножеством обучения на основе сабсета (subset-masked LM pretraining), создав четыре модели стиля LLama с 11–570 млн параметров. Они проверили эти модели на задаче многоязычного распознавания названий сущностей (NER). Результаты показали, что модели не только достигают одинаковой точности за меньшее время, но и показывают лучший результат в многоязычной NER. Обучение моделей проходит в два этапа: распространение (размазывание) представлений, за которым следует сжатие (компрессия) в более узкое пространство, что отражается в изменении кривых эффективного ранга и энтропии внимания. Эти динамики дают компактный и легко читаемый обзор мета-адаптации модели.