How Instruction-Tuning Imparts Length Control: A Cross-Lingual Mechanistic Analysis

## Контекст Одной из основных проблем для современных бо LLM (Large Language Models) является необходимость придерживаться четких ограничений по длине генерируемого текста, например, количества слов. Такая задача важна для многих приложений, таких как создание текстов с определенным количеством информации, адаптация написанного для конкретных видов текстов, например, резюме, статей или рецептов. Исследователи сталкиваются с проблемой недостаточной гибкости моделей в понимании и применении таких конкретных требований, что приводит к несоответствию генерируемых текстов заданным ограничениям. Данный исследовательский подход адресован разбору и сравнению различий в поведении "основных" моделей, не прошедших инструкционное тюнинг (fine-tuning), и их инструкционно тюнинговых аналогов, с целью выявления факторов, влияющих на эффективность управления длиной текста. Особое внимание уделяется анализу внутренних компонентов моделей, таких как веса и активации нейронов, для понимания, как именно инструкционное тюнинг влияет на решение этой задачи. Рассматриваются задачи генерирования текста в двух языках: английском и итальянском. ## Метод Для исследования использованы две модели языкового тюнинга: основная (без инструкционного тюнинга) и инструкционно тюнинговая. Измерение эффективности контроля длины текста производилось с помощью метрики Cumulative Weighted Attribution (CWA), которая определяет вклад каждого компонента модели в решение задачи. Модели были тестированы на наборе данных, включающий задачи генерирования текста с заданными ограничениями длины в двух языках. Кроме того, проводился анализ внутренних слоев моделей, включая вклад отдельных слоев, включая attention heads (активации внимания) и final-layer MLPs (многослойные перцептроны). Это позволило выявить, какие компоненты причастны к решению проблемы контроля длины и в какой степени. Эксперименты проводились в условиях управления длиной текста в двух языках, чтобы выявить потенциальные различия в поведении моделей в зависимости от языка. ## Результаты Исследование показало, что инструкционное тюнинг значительно улучшает эффективность управления длиной текста в обоих языках. Особенно выражено это в английском языке, где в поздних слоях модели встречаются более сильные вклады от внимательных голов (attention heads), что указывает на специализацию этих компонентов в задачу контроля длины. Для итальянского языка, вклад поздних слоев менее заметен, однако final-layer MLPs демонстрируют более выраженную позитивную роль, что может свидетельствовать о компенсационной стратегии в составе модели. Таким образом