The Alignment Bottleneck

## Контекст Современные большие языковые модели (БЯМ) показывают значительный прогресс в обработке естественного языка, однако столкнулись с проблемами в достижении полного соответствия заданным поведенческим целям. Эти отклонения связаны с ограниченной полнотой сигнала в процессе обучения, ограниченностью ресурсов в системах и особенностями архитектурных решений. Большая часть работ по ориентированию моделей стремится преодолеть эти проблемы, однако нехватка инструментов для точного определения и ограничения поведения моделей не позволяет достичь стабильных результатов. Мотивируясь теорией ограниченной рациональности в экономике и психологии, мы рассматриваем языковую модель как систему, ограниченную в своих вычислительных возможностях. Наша модель определяет взаимосвязь между задачей и конфигурацией модели, подчеркивая трудности в достижении идеального соответствия заданным поведением. Этот подход позволяет увидеть, что проблемы в работе моделей могут быть связаны с ненадежностью взаимодействия между моделью и задачей, а не с недостатком модели. ## Метод Мы предлагаем модель взаимодействия модели с задачей как двухэтапного процесса. В первой стадии модель принимает входные данные (например, запрос) и формирует представление (предсказание). Во второй стадии эти представления используются для формирования ответа. Мы предполагаем, что модель имеет ограниченные ресурсы для обработки данных и требует взаимодействия с окружающим миром, чтобы корректно выполнять задачи. В модели включены различные методы оценки ограничений ресурсов и способов их оптимизации. Мы применяем методы машинного обучения, такие как стохастические градиенты, для оптимизации модели, а также методы теории информации для анализа взаимодействия модели с задачей. Также мы определяем границы системных ресурсов, например, памяти и вычислительных мощностей, чтобы определить допустимые диапазоны работы модели. ## Результаты Мы провели эксперименты, используя различные модели и наборы данных, включая обучение модели на данных языкового моделирования и оценку ее результатов на тестах языкового понимания. Наши результаты показывают, что ограничение ресурсов модели может привести к ошибкам в задачах, требующих высокого уровня точности. Мы также показали, что при достаточном обучении модели на больших данных, ее поведение может стабилизироваться, но при этом могут возникать новые проблемы, такие как сильное уплотнение модели в своих представлениях. Кроме того, мы проверили гипотезу, что модели могут становиться сильно зависимост от определенных регулярностей в данных, что