## Контекст Post-hoc калибровка является важной методикой для улучшения доверительности прогнозов моделей машинного обучения. Она применяется для преобразования некорректных прогнозов модели в корректные вероятности. Несмотря на широкое распространение таких методов, их теоретическое понимание остается неполным, особенно при работе со сложными данными и архитектурами моделей. Одной из ключевых проблем является влияние качества признаков на калибровку. Ранее недостаточно уделялось внимания взаимосвязи между качеством признаков и калибровочными методами. В настоящей работе мы предлагаем глубокий анализ пост-хок калибровочных методов, включая Platt scaling и isotonic regression. ## Метод Мы используем теоретический подход для анализа воздействия качества признаков на работу методов калибровки. Основные технические решения заключаются в формализации метрик калибровки и их связи с информативностью признаков. Мы разрабатываем алгоритмы для синтетических и реальных данных, которые позволяют изучить работу калибровки в условиях различного качества данных. Экспериментом становится измерение калибровочных массивов для различных уровней информативности признаков. ## Результаты Мы проводим эксперименты на синтетических и реальных данных. На синтетических данных показывается, что информативность признаков сильно влияет на калибровочный результат. Если использовать только информативные признаки, то калибровочные методы показывают более высокую точность и доверительность. На реальных данных, включающих шумные признаки, мы отмечаем снижение калибровочной достоверности, однако методы isotonic regression и Platt scaling по-прежнему показывают лучшую устойчивость по сравнению с некалиброванной моделью. ## Значимость Наши результаты имеют большое значение для практического применения калибровочных методов в различных областях, таких как здравоохранение, финансы и технологии. Мы демонстрируем, что навык калибровки может быть особенно важен в ситуациях с недостаточной информативностью признаков. Также мы показываем, что isotonic regression и Platt scaling могут быть оптимизированы для работы в условиях высокого шума в признаках. Эти полученные результаты могут помочь в выборе подхода к калибровке в зависимости от задачи и конкретных данных. ## Выводы Мы демонстрируем, что качество признаков является ключевым фактором для успешной калибровки моделей машинного обучения. Наши результаты подчеркивают важность использования только информативных признаков и показывают, что isotonic regression и Platt scaling могут быть оптимальными в условиях высокой информативности. Будущие исследования будут сфокусированы на развитии более гибких и устойчивых методов кали

## Контекст Современные большие языковые модели (БЯМ) показывают значительный прогресс в обработке естественного языка, однако столкнулись с проблемами в достижении полного соответствия заданным поведенческим целям. Эти отклонения связаны с ограниченной полнотой сигнала в процессе обучения, ограниченностью ресурсов в системах и особенностями архитектурных решений. Большая часть работ по ориентированию моделей стремится преодолеть эти проблемы, однако нехватка инструментов для точного определения и ограничения поведения моделей не позволяет достичь стабильных результатов. Мотивируясь теорией ограниченной рациональности в экономике и психологии, мы рассматриваем языковую модель как систему, ограниченную в своих вычислительных возможностях. Наша модель определяет взаимосвязь между задачей и конфигурацией модели, подчеркивая трудности в достижении идеального соответствия заданным поведением. Этот подход позволяет увидеть, что проблемы в работе моделей могут быть связаны с ненадежностью взаимодействия между моделью и задачей, а не с недостатком модели. ## Метод Мы предлагаем модель взаимодействия модели с задачей как двухэтапного процесса. В первой стадии модель принимает входные данные (например, запрос) и формирует представление (предсказание). Во второй стадии эти представления используются для формирования ответа. Мы предполагаем, что модель имеет ограниченные ресурсы для обработки данных и требует взаимодействия с окружающим миром, чтобы корректно выполнять задачи. В модели включены различные методы оценки ограничений ресурсов и способов их оптимизации. Мы применяем методы машинного обучения, такие как стохастические градиенты, для оптимизации модели, а также методы теории информации для анализа взаимодействия модели с задачей. Также мы определяем границы системных ресурсов, например, памяти и вычислительных мощностей, чтобы определить допустимые диапазоны работы модели. ## Результаты Мы провели эксперименты, используя различные модели и наборы данных, включая обучение модели на данных языкового моделирования и оценку ее результатов на тестах языкового понимания. Наши результаты показывают, что ограничение ресурсов модели может привести к ошибкам в задачах, требующих высокого уровня точности. Мы также показали, что при достаточном обучении модели на больших данных, ее поведение может стабилизироваться, но при этом могут возникать новые проблемы, такие как сильное уплотнение модели в своих представлениях. Кроме того, мы проверили гипотезу, что модели могут становиться сильно зависимост от определенных регулярностей в данных, что