Contrastive ECOC: Learning Output Codes for Adversarial Defense

#### Контекст Многоклассовая классификация широко используется в различных областях, включая здравоохранение, обработку естественного языка и анализ изображений. Одним из ключевых аспектов этой задачи является эффективное представление классов. Однотензорное (one-hot) представление широко применяется, но не всегда является оптимальным с точки зрения точности и устойчивости к атакам. Ошибки в кодировании могут привести к понижению качества моделей, особенно в условиях атак типа адверсарь (adversarial). Ошибка в кодировании (ECOC) — это метод для многоклассовой классификации, в котором каждый класс сопоставляется с уникальным кодировочным словом (codeword). Ручное или случайное построение кодировочных словарей требует больших усилий и может привести к суб-оптимальным результатам, не пригодным для адаптации к конкретным данным. Мотивация заключается в автоматизации процесса построения кодировочных словарей через методы машинного обучения, чтобы повысить устойчивость к атакам и улучшить обобщающие способности моделей. #### Метод Методология, предлагаемая в статье, основывается на подходе контрастного обучения (contrastive learning), который адаптирует кодировочные словари к конкретным данным. Авторы предлагают три модели: **Contrastive ECOC**, **Contrastive ECOC with Class-Specific Prototypes** и **Contrastive ECOC with Data Augmentation**. В этих моделях codebook автоматически формируется на основе данных, позволяя приспособиться к характеристикам данных. Архитектура моделей включает нейронные сети, которые обучаются минимизировать контрастные потери (contrastive losses), чтобы обеспечить максимальную различимость между классами. Это позволяет создавать codebooks, которые лучше подстраиваются под конкретную задачу классификации. #### Результаты Авторы проводили эксперименты на четырёх данных: MNIST, Fashion-MNIST, CIFAR-10 и CIFAR-100. Оценивались способности моделей к устойчивости против адверсарских атак, включая FGSM, PGD и CW. Результаты показали, что Contrastive ECOC существенно превосходит две базовые модели: метод максимального выбора (max-margin ECOC) и автоматический ECOC (AutoECOC). Модели Contrastive ECOC показали высокую точность и устойчивость к атакам, что демонстрирует их эффективность в применении к различным задачам и атакам. Эти результаты подтверждают значительный потенциал автоматически избавляющихся от ручного кодирования, что может увеличить эффективность и устойчивость в многоклассовой классификации. #### Значимость Предложенные модели имеют широкое применение в области многоклассовой классификации, в том числе в задачах, требующих высокой устойчивости к атакам, например, в безопасности и защите данных. Эти модели демонстрируют преимущества перед