In-Context Learning Enhanced Credibility Transformer

## Контекст В современной личностной и страховой отраслях, моделирование кредитоспособности и оценка рисков являются ключевыми задачами, направленными на повышение модельной точности и точности прогнозов. Основная проблема заключается в том, что существующие архитектуры моделей часто сталкиваются с ограничениями в обработке нестандартных или новых данных. Это приводит к ухудшению прогностической точности и неэффективности в решении задач машинного обучения в этих областях. Необходимо развитие архитектур моделей, которые могут быть адаптированы в реальном времени к новым данным и иметь более широкий круг применения. ## Метод Мы предлагаем расширенную архитектуру Credibility Transformer, использующую механизм In-Context Learning. Основная идея подхода заключается в добавлении контекстной батч-информации в модель. Эта батч-информация состоит из похожих экземпляров, которые обладают схожими признаками и рисками. Эти похожие экземпляры позволяют модели расширить свои контекстные представления и улучшить кредитоспособность CLS-токенов. Мы используем предобученную модель Credibility Transformer, дополненную слоями для обработки контекстной информации. Методы обучения включают обучение с подкреплением и адаптивную финейблковку, что позволяет модели адаптироваться к новым данным и улучшать точность прогнозов. ## Результаты Мы проводили ряд экспериментов с использованием реальных данных из сегментов личностного и страхового бизнеса. Мы сравнили нашу модель с классической архитектурой Credibility Transformer и другими современными моделями, такими как BERT и XGBoost. Результаты показали, что In-Context Learning позволяет модели значительно улучшить прогностическую точность. Например, в задаче кредитоспособности, наша модель показала увеличение точности на 12% в сравнении с классической моделью. Более того, на тестовой выборке, включающей новые данные, такие как новые модели автомобилей, модель показала высокую гибкость и точность, достигая точности 90% при прогнозировании рисков. ## Значимость Предложенная модель может быть применена в различных областях, включая личностный кредит, страхование и финансовый анализ. Она обладает следующими преимуществами: 1. Улучшенная точность прогнозов благодаря использованию контекстной информации. 2. Гибкость и добротность к новым данным, включая новые признаки и рисковые модели. 3. Уменьшение времени обучения и расчетов благодаря предобученной модели Credibility Transformer. Потенциальное влияние заключается в повышении эффективности моделей в сегменте оценки кредитоспособности и рисков, что может привести к более точным страховым тарифам и