In-Context Learning as Nonparametric Conditional Probability Estimation: Risk Bounds and Optimality

## Контекст In-Context Learning (ICL) является выдающейся методологией в области машинного обучения, основанной на предварительно обученных моделях, таких как трансформеры. Она позволяет модели выводить классы или значения на основе представления пространства ответов, которое неявно формируется в ходе обучения. Известно, что ICL эффективно работает в задачах классификации и супервайзед learning, но остается мало исследований по оценке ее риска и оптимальности. Необходимость исследования заключается в том, чтобы понять, какими являются преимущества ICL по сравнению с другими методами, а также понять ее ограничения. ## Метод Методология исследования основывается на моделировании задач как последовательностей лейбленных промптов и запросов, где предварительно обученная модель вычисляет классовые вероятности для запросов. Оценивается ожидаемый эксцесс риска в многоклассовой классификации через трансформацию в качество вероятности. Для достижения оптимальных результатов, используется метод, основанный на унифицированной критической интерпретации вероятностной модели. Технический подход включает управление обобщающим ошибками с помощью покрывающей энтропии неравенств. Архитектура исследования включает трансформеры и MLP, позволяя сравнить эффективность различных моделей. ## Результаты Эксперименты проводились на различных данных, включая классические рекорды для классификации. Оказалось, что ICL показывает очень высокую точность, приближающуюся к минимаксной оптимальности в задаче оценки вероятности. Для MLP также доказана эффективность в некоторых условиях, что доказывает, что ICL не является эксклюзивной трансформерами. Таким образом, полученные результаты подтверждают, что ICL является эффективным способом для классификации и позволяет достигать минимаксной оптимальности. ## Значимость Результаты имеют значительное значение в области машинного обучения, поскольку позволяют лучше понять как работают ICL и MLP в задачах классификации. Они открывают пути для улучшения моделей, а также дают новые инструменты для оценки риска в задачах классификации. Это может быть применено в многочисленных практических задачах, где необходимо выборочно оценивать вероятности классов, например в системах рекомендаций или здравоохранения. ## Выводы Исследование доказывает, что ICL является эффективной методологией для оценки классовых вероятностей и может обеспечить минимаксную оптимальность. Также показано, что MLP может использоваться для ICL в определенных условиях. Будущие исследования будут сфокусированы на улучшени