Understanding the Essence: Delving into Annotator Prototype Learning for Multi-Class Annotation Aggregation

## Контекст Многоклассовая классификация широко используется в различных задачах машинного обучения, от обнаружения объектов до текстового анализа. Одной из ключевых проблем в этой области является эффективное объединение многочисленных, иногда шумных и биазированных аннотаций от нескольких аннотирующих субъектов. Техника truth inference (интерпретация истины) стала критическим инструментом для решения этой задачи. Однако существующие методы сталкиваются с двумя основными проблемами: 1) когда многие аннотирующие субъекты помечают только небольшое число задач, или когда классы сильно имбалансированы, оценка конфиденциальных матриц часто недостоверна, и 2) единственная конфиденциальная матрица не может полностью выразить собственные шаблоны экспертности каждого аннотирующего субъекта во всех задачах. Наша работа направлена на решение этих проблем, предлагая более надежный и гибкий подход к моделированию экспертности. ## Метод Мы предлагаем метод PTBCC (ProtoType learning-driven Bayesian Classifier Combination), основанный на моделировании прототипа. Наш подход основывается на предположении, что существует множество прототипов конфиденциальных матриц, которые характеризуют вклад каждого аннотирующего субъекта. Вместо того чтобы использовать одну конфиденциальную матрицу для каждого аннотирующего субъекта, мы представляем его экспертность с помощью Dirichlet-распределения над этими прототипами. Это позволяет более точно и гибко описывать шаблоны экспертности, даже когда данные ограничены или несбалансированы. PTBCC также включает в себя методы сжатия и активного обучения, чтобы улучшить вычислительную эффективность и оптимизировать результаты. ## Результаты Мы проверили наш метод на 11 реальных датасетах, включая задачи многоклассовой классификации и многоетикетной классификации. Эксперименты показали, что PTBCC дает до 15% улучшения точности в лучшем случае и 3% выигрыша в среднем по сравнению с состоянием технологии. Более того, PTBCC снизил вычислительный затрат на 90%, что делает его эффективным для реального применения. Эти результаты подтверждают то, что наш подход существенно превосходит существующие методы в области truth inference. ## Значимость PTBCC может использоваться в широком спектре задач, от анализа социальных сетей до обнаружения объектов на изображениях. Его основное преимущество заключается в том, что он может эффективно обрабатывать данные с противоречивыми или недостаточными аннотациями, что часто встречается в реальном мире. Этот подход также может помочь улучшить качество решений в сложных многоклассовых задачах, где существует