Confidence Calibration in Large Language Model-Based Entity Matching

## Контекст В последние годы Ларже Легги ей Сичерз являются ключевым инструментом в области различных автоматизированных задач. Эти модели превосходно подходят для различных ситуаций, в том числе для решения задач типа Entity Matching, которые заключаются в сравнении двух наборов данных и определении соответствия сущностей. Однако, несмотря на высокую точность, эти модели часто оставляют за собой недостаточно обоснованные уверенности в своих ответах, что может привести к ошибкам в принятии решений. Более того, нет в полной мере изученных способов улучшения уверенности в этих моделях. Наша исследовательская группа решила охватить этот вопрос и понять, насколько эффективны использование различных методов уверенности, таких как Temperature Scaling, Monte Carlo Dropout и Model Ensembles. Мы ставим целью сравнить калибровку уверенности в стандартной модели RoBERTa с калибровленными моделями, чтобы выявить наиболее эффективные подходы. ## Метод Мы использовали несколько техник, включая Temperature Scaling, Monte Carlo Dropout и Model Ensembles, для калибровки уверенности моделей стандартной RoBERTa. Наше исследование охватило несколько датасетов, в том числе Abt-Buy, DBLP-ACM, iTunes-Amazon и Company. Для каждого датасета мы сравнили оригинальную модель RoBERTa с калиброванными моделями, измеряя показатели качества и оценивая влияние калибровки на зависимость моделей. Наше значение показателя Expected Calibration Error (ECE) является основным критерием, по которому мы оценивали успех калибровки уверенности. ## Результаты Мы нашли, что стандартная модель RoBERTa показывает довольно высокий уровень уверенности, однако часто завышает эту уверенность. Это может привести к серьезным ошибкам в Entity Matching. Целью нашего исследования был выявлен способ, позволяющий улучшить калибровку уверенности. Мы убедились, что применение Temperature Scaling позволило значительно снизить Expected Calibration Error, улучшив точность модели. Например, на датасете iTunes-Amazon, ECE-показатель уменьшился на 23.83%. ## Значимость Мы обнаружили, что калибровка уверенности может существенно повысить точность и доверие к решениям, принятым на основе моделей Entity Matching. Наши результаты показывают, что Temperature Scaling — это эффективный подход для устранения переоценки уверенности в стандартных моделях RoBERTa. Это может иметь значительное влияние в области автоматизации, где точность и доверие к решениям крайне важны. ## Выводы Мы подтвердили, что калибровка уверенности может значительно повысить качество Entity Matching. Наше исследование показало, что Temperature Scaling — наиболее эффективный подход для уменьшения ошибок в моделях RoBERTa. Наши полученные результаты и указатели могут помочь в будущих исследованиях, направленных на улучшение уверенности в моделях Entity Matching.