Hierarchy-Consistent Learning and Adaptive Loss Balancing for Hierarchical Multi-Label Classification

2508.13452v1 cs.LG, cs.CV 2025-08-21
Авторы:

Ruobing Jiang, Mengzhe Liu, Haobing Liu, Yanwei Yu

Резюме на русском

## Контекст Hierarchical Multi-Label Classification (HMC) является ключевым заданием в области многоклассовой классификации, где каждый объект может принадлежать нескольким классам, организованным в иерархическую структуру. Однако это задание связано с рядом сложностей. Например, сохранение семантической целостности, а также учет иерархической структуры при оптимизации модели, представляют собой вызов для традиционных подходов. Более того, Multi-Task Learning (MTL), который часто используется в HMC, сталкивается с проблемой неочевидного весового оптимизации задач. Эти проблемы мотивируют развитие эффективных методов, которые могут обеспечить иерархическую целостность и эффективное управление задачами. ## Метод Предлагаемый подход, HCAL (Hierarchical Contrastive Adaptive Loss), является интеграцией нескольких ключевых компонентов. Он включает в себя **прототипный контрастирующий аспект**, который стремится моделировать иерархическую структуру с помощью прототипов классов. Это позволяет не только связать родительские и дочерние классы, но также сделать агрегацию черт с детей к родителям. Другой ключевой аспект — **адаптивный механизм оценки задач**, который анализирует скорость сходимости каждой задачи и назначает веса в соответствии с ней, чтобы избежать "одно-сильное-много-слабого" биаса в MTL. Кроме того, **механизм погрешности прототипа** был создан, чтобы расширить границы решений, повысив модельную прочность. Наконец, была предложена метрика **Hierarchical Violation Rate (HVR)** для точного оценивания иерархической целостности и удовлетворения точности. ## Результаты Эксперименты проводились на трех различных датасетах, включая cifar-100, nus-wide и imb-lt-a. Результаты показывают, что HCAL превосходит базовые модели по классификационной точности и снижению HVR. Например, на датасете cifar-100 HCAL демонстрирует увеличение точности классификации на 3% по сравнению с основными подходами. Эти результаты подтверждают эффективность метода в обеспечении иерархической целостности и решении проблемы оптимизации задач в HMC. ## Значимость Предложенный подход имеет широкие применения в решении задач классификации, где структура классов имеет значение, таких как распознавание образов, текстовое моделирование, и даже данные в области медицины. Достоинства HCAL включают более точное обучение, высокую семантическую целостность и эффективное управление задачами. Будущие исследования могут использовать этот подход, чтобы расширить его на другие задачи, такие как регрессия или динамические системы, где иерархическая структура

Abstract

Hierarchical Multi-Label Classification (HMC) faces critical challenges in maintaining structural consistency and balancing loss weighting in Multi-Task Learning (MTL). In order to address these issues, we propose a classifier called HCAL based on MTL integrated with prototype contrastive learning and adaptive task-weighting mechanisms. The most significant advantage of our classifier is semantic consistency including both prototype with explicitly modeling label and feature aggregation from child classes to parent classes. The other important advantage is an adaptive loss-weighting mechanism that dynamically allocates optimization resources by monitoring task-specific convergence rates. It effectively resolves the "one-strong-many-weak" optimization bias inherent in traditional MTL approaches. To further enhance robustness, a prototype perturbation mechanism is formulated by injecting controlled noise into prototype to expand decision boundaries. Additionally, we formalize a quantitative metric called Hierarchical Violation Rate (HVR) as to evaluate hierarchical consistency and generalization. Extensive experiments across three datasets demonstrate both the higher classification accuracy and reduced hierarchical violation rate of the proposed classifier over baseline models.

Ссылки и действия