Is In-Context Learning Learning?

## Контекст In-context learning (ICL) позволяет некоторым авторегрессионным моделям решать задачи с помощью next-token prediction без дополнительной обучения. Это привело к утверждениям о способности этих моделей решать невидящие задачи с помощью небольшого числа примеров в подсказке (exemplars). Однако дедукция не всегда означает обучение, так как ICL не явно инкорпорирует полученные наблюдения. Вместо этого модели полагаются на свой предварительный опыт и примеры соответствующие данной задаче. Мы утверждаем, что теоретически ICL может считаться обучением, но его полное характеристирование требует эмпирических исследований. Мы проводим крупномасштабный анализ ICL, учитывая абляционные модели и различные моменты вступления в задачу, включая меморизацию, предварительное обучение, распределения задач и стили подсказок. Мы обнаружили, что ICL является эффективным парадигмой обучения, но ограниченным в способности к обучению и общеприменимой генерализации. Мы отмечаем, что при увеличении числа примеров точность независима от распределения примеров, модели, оформления подсказок и лингвистических черт ввода. Вместо этого она дедуцирует шаблоны из регулярностей в подсказке, что приводит к распределенной чувствительности, особенно в стилях подсказок, таких как chain-of-thought. Несмотря на разные точности в формально похожих задачах, мы приходим к выводу, что ад-хак инкорпорация, предоставляемая потоковыми моделями, не является устойчивым механизмом и указывает на ограниченную мощь общей генерализации. ## Метод Мы проводим крупномасштабный экспериментальный анализ ICL, используя несколько авторегрессионных моделей с различными техническими возможностями, включая предварительно обученные модели с различными глубинами. Мы подготавливаем наборы данных, покрывающие различные типы задач, включая текстовую классификацию, регрессию и задачи смешанного ввода. Мы проводим эксперименты с различными стилями подсказок, глубинами модели, размерами примеров и разными распределениями примеров. Мы также проводим абляционные эксперименты, убирая формальные элементы, такие как порядок примеров, и несколько типов внешних модификаций, таких как исключение pretraining или введение новых стилей подсказок. Мы измеряем точность решения задач и сравниваем её по отдельности для каждого варианта. Мы также изучаем влияние различных типов модификаций на точность, включая различные оформления подсказок и типы задач. ## Результаты Мы обнаружили, что ICL эффективно решает задачи с малым числом примеров, но слабо генерализируется на невидящие задачи. Мы обнаружили, что точность зависит от количества примеров, стиля подсказки