Decentralising LLM Alignment: A Case for Context, Pluralism, and Participation

## Контекст В последние годы появился значительный интерес к методам выравнивания (alignment) бо LLM (больших языковых моделей), которые играют ключевую роль в достижении пользовательских удовлетворительных выходных данных. Несмотря на это, существующие подходы к выравниванию LLM значительно сконцентрированы на значениях и предпочтениях узкой группы специалистов, что приводит к централизации контроля над производством знаний и губернанскими процессами в уже влиятельных институтах. Это приводит к выявлению проблемы централизации власти в области технологий и вызову предмета исследования в целом. Данная работа поднимает вопросы о том, как можно развивать методологии выравнивания, которые будут более открытыми, участвующими и контекстуальными, чтобы снизить риск централизации и сделать новые технологии более включающими и этичными. ## Метод Методология, представленная в этой работе, основывается на теории мощности и знания, которая позволяет проанализировать влияние существующих технологических систем на общественное управление и знания. Для решения проблемы централизации, работа предлагает использовать три основных принципа: контекст, плюрализм и участие. Эти принципы были применены в различных сценариях применения LLM, чтобы демонстрировать, как они могут помочь разнести контроль и создать более включающие системы. Детальный анализ был проведен с использованием конкретных примеров, в том числе сценариев с образовательными целями, государственного управления и культурной интеграции. Методология также охватывает технические решения для выравнивания LLM, включая параметры модели, процессы обучения и другие технические детали, необходимые для достижения более равнотерпимости и эффективности в различных контекстах. ## Результаты Результаты исследования демонстрируют, что применение контекстуальных, плюралистических и участвующих подходов к выравниванию LLM может значительно улучшить их эффективность и принимаемость в различных культурных и социальных контекстах. Данные эксперименты показали, что традиционные модели, ориентированные на однородные предпочтения, часто проваливаются в нестандартных сценариях, в то время как более гибкие и контекстуальные подходы показали значительно большую устойчивость и доступность. Например, применение LLM в образовательных сценариях демонстрирует, как контекстуально ориентированные модели могут быть более эффективными в генерировании учебных материалов, учитывая разнообразие студентов и их потребностей. Такие технологии также показали большую эффективность в сфере госуда