Alternating Training-based Label Smoothing Enhances Prompt Generalization

## Контекст Недавние достижения в области предобученных визуально-языковых моделей показали выдающиеся возможности нулевого-значения общей генерализации. Однако, для расширения их пригодности к различным задачам, в последнее время появилась мода на предложенный тип тюнинга, который требует меньшего количества параметров. Тем не менее, генерализационная способность этого метода остается ограниченной. Метод латеральной сглаживания (Label Smoothing, LS), широко признанный как мощный способ регуляризации, уменьшает переобучение и улучшает общую способность моделей. Исследователи задались вопросом о потенциальной интеграции LS с тюнингом подсказкой (prompt tuning). Однако, ванильная LS не только не улучшает, но и ухудшает эту способность. Для решения этой проблемы предлагается новый подход — Alternating Training-based Label Smoothing (ATLaS). ## Метод ATLaS основывается на альтернативном тренировочном процессе, в котором модель последовательно обучается с использованием стандартных одноготных меток и мягких меток, сгенерированных LS. Этот подход предназначен для того, чтобы сочетать преимущества обеих методик — точности одноготных меток и регуляризационных свойств LS. Более того, предложенный метод использует два типа эффективных мягких меток: Class-wise Soft Labels (CSL) и Instance-wise Soft Labels (ISL). CSL предоставляют связь между классами, что повышает классификационную способность, в то время как ISL подчеркивают отношения между отдельными экземплярами внутри класса, улучшая общую точность модели. ## Результаты Эксперименты проведены на различных данных и задачах, включая визуально-языковые модели и общие тестовые наборы. Результаты показали, что ATLaS, в сочетании с CSL и ISL, постоянно улучшает генерализацию модели на тюнинге подсказок. Эти результаты стабильны и заметны в сравнении с базовым тюнингом подсказок. Также была проверена совместимость ATLaS с другими популярными тюнинговыми методами, что демонстрирует его широкую применимость. ## Значимость Предложенный подход может быть применен в различных высокотехнологичных областях, таких как обработка текстов, визуальный анализ, доступность для слабовидящих и другие. Он предоставляет выигрыш в точности и устойчивости, при этом не требуя значительных изменений в существующих моделях. Таким образом, ATLaS повышает потенциал тюнинга подсказок, улучшая его эффективность и генерализационную способность. ## Выводы Результаты исследований подтверждают эффективность ATLaS в улучшении генерализации моделей с помощью тюнинга подсказок. Авторы планируют дальнейшие исследования в области усовершенствования