Domain-Generalization to Improve Learning in Meta-Learning Algorithms

## Контекст Многие мета-обучающие алгоритмы стремятся решить задачи обучения с ограниченными данными, но часто сталкиваются с проблемой недостаточной универсальности (domain-generalization). Эта проблема возникает, когда алгоритмы, обученные на одной среде, не могут работать эффективно в других. Одной из популярных техник, стремящихся решить эту проблему, является Sharpness-Aware Minimization (SAM), которая стремится найти модели с меньшим разбросом потерь в неполностью обозначенных областях пространства параметров. Тем не менее, SAM и другие похожие подходы не тщательно адаптированы для мета-обучения. Данная работа адресует эту проблему, предлагая Domain-Generalization Sharpness-Aware Minimization Model-Agnostic Meta-Learning (DGS-MAML), который сочетает SAM с мета-обучением, чтобы улучшить общуюсть моделей. ## Метод DGS-MAML представляет собой би-уровневую оптимизацию, где первый уровень оптимизирует функцию потерь, а второй — мета-обучение. Алгоритм использует функцию SAM для ограничения sharpness (стеринности) градиентов, чтобы повысить устойчивость модели к изменениям в домене. Внутри DGS-MAML введены два градиентных матчинга: один между локальным и мета-градиентом, другой — между мета-градиентом и градиентом на новой задаче. Этот подход позволяет модели оптимально адаптироваться к новым задачам с минимальным количеством данных. Теоретический анализ основывается на PAC-Bayes и гарантиях сходимости, чтобы продемонстрировать эффективность DGS-MAML. ## Результаты Для оценки DGS-MAML проведены эксперименты на стандартных бенчмарк-данных, включая CIFAR-10-C, CIFAR-100-C, miniImageNet и tieredImageNet. Обучение проводилось в условиях малого доступа к данным (few-shot learning). Результаты показывают, что DGS-MAML превосходит существующие алгоритмы, такие как MAML и Reptile, в тестах generalization и accuracy. Например, на CIFAR-10-C DGS-MAML показал прирост в accuracy на 12% по сравнению с базовым MAML. Эти результаты подтверждают, что DGS-MAML эффективно обобщается на новые домены и является оптимальным выбором для сценариев с ограниченными данными. ## Значимость DGS-MAML применим в многих областях, где необходима универсальная модель для различных доменов, таких как распознавание образов, текстовый анализ и биоинформатика. Он позволяет уменьшить время обучения и повысить точность на незнакомых данных. Основное преимущество DGS-MAML заключается в интеграции SAM в мета-обучение, что дает более точную адаптацию и устойчивость. Это делает DGS-MAML перспективным для будущих исследований в области мета-обучения и адаптивных систем. ## Выводы DGS-MAML достигает значительных улучшений в области общедоступности (generalization) мета