HEFT: A Coarse-to-Fine Hierarchy for Enhancing the Efficiency and Accuracy of Language Model Reasoning
2509.09801v1
cs.CL, cs.AI, cs.LG, 68T07, 68T50, 68T05, I.2.7; I.2.6; C.4
2025-09-16
Авторы:
Brennen Hill
Резюме на русском
## Контекст
Статья «HEFT: A Coarse-to-Fine Hierarchy for Enhancing the Efficiency and Accuracy of Language Model Reasoning» посвящена проблеме ограничений вычислительных ресурсов при адаптации больших языковых моделей (LLMs) к задачам инференциального разума. Несмотря на то, что Parameter-Efficient Fine-Tuning (PEFT) методы нашли широкое применение в этой области, они разделены на два основных подхода: работа в весовом пространстве моделей и в пространстве их представлений. Авторы выдвигают гипотезу о возможности получения преимуществ при поэтапном их сочетании. Выбор LLama-2-7B и BoolQ демонстрирует то, что эта проблема становится все актуальнее в условиях сложных интеллектуальных задач.
## Метод
Авторы предлагают новую стратегию HEFT (Hierarchical Efficient Fine-Tuning), которая объединяет два метода PEFT в последовательности понижения разрешения: в первую очередь, веса модели изменяются глобально при помощи Low-Rank Adaptation (LoRA), а затем локальные активации точечно адаптируются в Representation Fine-Tuning (ReFT). Это разделение позволяет сочетать в себе широковую общую адаптацию и точную корректировку внутренних структур. Архитектура HEFT, в которой каждый этап адаптации имеет свои цели и стратегии, разрешает одновременно эффективность и точность.
## Результаты
Использование BoolQ как тестовой задачи позволило показать, что HEFT дает существенные преимущества. Тренировка в течение трех эпох дала 85.17% точности, что значительно превосходит результаты LoRA (85.05%) и ReFT (83.36%) при 20-эпочной тренировке. Это свидетельствует о том, что комбинирование LoRA и ReFT вовлекает значительные выигрыши в подготовке моделей к инференциальным задачам, особенно когда ресурсы ограничены.
## Значимость
Этот подход может применяться в ситуациях, где вычислительные ресурсы ограничены, но требуется высокая точность, например, в области медицины, финансов или юриспруденции. Метод HEFT позволяет эффективно использовать ресурсы, давая моделям более высокую скорость восприятия и оценки сложных структур данных. Это открывает путь к более доступным и эффективным решениям для интеллектуальных задач, где традиционные подходы показались неэффективными.
## Выводы
HEFT доказывает, что сочетание LoRA и ReFT в развитых PEFT-методах может повысить как эффективность, так и точность работы моделей. Эта стратегия может стать основой для будущих разработок в области адаптации LLMs к специализированным задачам. Для дальнейших работ следует расширить исследования на другие модели и данные, а также исследовать возможности дальнейшего улучшения этой архитектуры.
Abstract
The adaptation of large language models (LLMs) to specialized reasoning tasks
is fundamentally constrained by computational resources. Parameter-Efficient
Fine-Tuning (PEFT) methods have emerged as a powerful solution, yet the
landscape of these techniques is diverse, with distinct methods operating in
either the model's weight space or its representation space. This paper
investigates the hypothesis that a synergistic combination of these paradigms
can unlock superior performance and efficiency. We introduce HEFT (Hierarchical
Efficient Fine-Tuning), a novel hierarchical adaptation strategy that composes
two distinct PEFT methods in a coarse-to-fine manner: first, a broad,
foundational adaptation in the weight space using Low-Rank Adaptation (LoRA),
followed by a precise, surgical refinement of internal activations using
Representation Fine-Tuning (ReFT). We evaluate this approach by fine-tuning a
Llama-2-7B model on the BoolQ benchmark, a challenging dataset for inferential
reasoning. Our results reveal a profound synergistic effect. A model fine-tuned
for only three epochs with our HEFT strategy achieves an accuracy of 85.17\%,
exceeding the performance of models trained for 20 epochs with either LoRA-only
(85.05\%) or ReFT-only (83.36\%) methodologies. This work demonstrates that the
thoughtful composition of PEFT methods is a potent algorithmic innovation,
offering a more efficient and effective path toward advancing the reasoning
capabilities of language models. By achieving superior results with a fraction
of the computational budget, our findings present a principled approach to
overcoming the obstacles inherent in adapting large-scale models for complex
cognitive tasks.