Symmetry-Aware Transformer Training for Automated Planning

## Контекст На данный момент, трансформеры доказали свою эффективность во многих областях, но их применение в автоматизированном планировании ограничивается. Одним из основных поводов этого являются симметрии в планировании, которые вызывают значительные сложности для обучения. Известный стейт-оф-арт трансформера для автоматизированного планирования, PlanGPT, сталкивается с трудностями при проектировании сложных задач. Это происходит из-за того, что задачи планирования могут быть представлены в различных вариантах, используя произвольные идентификаторы переменных, которые не несут смысла. Это приводит к экспоненциальному росту эквивалентных представлений, которые трансформеры с трудом обучаются. Мы предлагаем новую методологию, основанную на создании более симметричного обучения, чтобы улучшить чувствительность трансформеров к таким симметриям и устранить это ограничение. ## Метод Мы предлагаем симметрично-подвижную обучающую систему, которая использует современные методы сопоставительного обучения. Эта методология включает в себя архитектурные усовершенствования, позволяющие трансформеру более эффективно обрабатывать симметрии в задачах планирования. Мы применяем специальный контрастирующий целевой функционал, который позволяет трансформеру изучить и отличать задачи с разными симметричными представлениями. Также, мы внедряем дополнительные архитектурные элементы, такие как дополнительные слои и механизмы внимания, для улучшения обработки плановых задач. ## Результаты Мы проводили эксперименты на нескольких планировании задачах, включая задачи планирования путей и задачи планирования действий. Мы сравнивали наши результаты с PlanGPT и другими моделями. Наши эксперименты показали, что наши трансформеры с симметричным обучением показали значительное улучшение в скорости обучения и точности решения сложных задач. Мы также показали, что модели с нашим методом могут эффективно выделять и использовать симметрии в задачах планирования, что приводит к более точным и эффективным решениям. ## Значимость Наш метод может быть применен в различных сферах, включая авиацию, производство и робототехнику, где автоматизированное планирование является критически важной задачей. Это решение позволяет использовать трансформеры для задач, где предыдущие модели сталкивались с ограничениями. Благодаря симметричному обучению, наша модель эффективно решает проблемы симметрии и улучшает общую эффективность. Это может привести к повышению производительности и уменьшению времени обучения во многих приложениях. ## Выводы