A Survey on Training-free Alignment of Large Language Models

## Контекст Интеллектуальные технологии на основе текста, такие как ло LNMs (Large Language Models), широко используются в различных сферах, от синтеза текста до поддержки принятия решений. Однако вопросы этики, юридичности и безопасности заставляют требовать от этих моделей высоких стандартов в области соответствия знаний и поведению валандация знаний. Традиционно, для достижения соответствия используются методы тренировки, включающие в себя ресурсоёмкие процессы fine-tuning (FT), которые могут привести к утере знаний и сложностям при использовании в сценариях с ограниченными ресурсами. В свете этих ограничений появились новые подходы, такие как training-free (TF) alignment, которые позволяют достигать соответствия без необходимости дорогостоящих тренировок. Этот фактор делает TF-методы полезными для как открытого, так и закрытого использования моделей. ## Метод Данная статья посвящена первому полномасштабному обзору TF-методов, используемых для aligning LLMs. Методология разделяется на три основных этапа: pre-decoding, in-decoding и post-decoding. Для каждого этапа проводится подробный анализ, включая описание механизмов, преимуществ, и ограничений, а также их модификации для multimodal LLMs (MLLMs). Эта систематизация позволяет выделить ключевые аспекты и ограничения каждого подхода, чтобы определить направления для будущих исследований и улучшений. ## Результаты Исследование включает в себя обзор методов TF-alignment, основанных на различных принципах, таких как in-context learning, decoding-time adjustments и post-generation corrections. Эксперименты проводились в различных условиях, включая задачи с LLMs-only и MLLMs. Результаты показали, что TF-методы могут достичь качественных результатов в aligning, даже при ограниченных ресурсах. Они также демонстрируют высокую адаптивность в сценариях, где fine-tuning невозможен из-за отсутствия модели или ресурсов. ## Значимость TF-методы имеют широкое применение в сферах, где адаптация моделей к конкретным потребностям является критичной. Они демонстрируют выгоды в следующих областях: открытой доступности моделей, быстрой адаптации к изменениям в задачах, экономии ресурсов. Также, TF-методы могут стать ключевым фактором в развитии безопасных и этичных моделей, которые соответствуют юридическим и этическим стандартам. ## Выводы TF-методы предлагают возможность aligning LLMs без ресурсоёмких тренировочных процессов, что делает их уникальным решением для большинства существующих проблем. Однако остаются значительные ограничения, такие как ограниченность в обработке сложных задач и недостаточность для каких-то конкретных приложений. Будущие исследования