Scaling Up without Fading Out: Goal-Aware Sparse GNN for RL-based Generalized Planning

## Контекст Generalized planning — это задача автоматического построения решений для широкого класса задач, построенных на основе описаний в PDDL (Planning Domain Definition Language). Несмотря на то, что deep reinforcement learning (RL) и graph neural networks (GNNs) показали себя эффективными в этой области, существуют значительные проблемы. Основная трудность заключается в том, что planning states представляются как полносвязные графы, что приводит к затруднению обнаружения локальных зависимостей. Это усложняет обучение моделей в больших или сложных средах, таких как большие грид-среды. Увеличение масштаба задачи приводит к значительной проблеме с памятью и снижению точности. Наша мотивация заключается в разработке метода, который сумеет работать в этих сложных условиях, обеспечивая эффективность и гарантию общей политики. ## Метод Мы предлагаем **sparse, goal-aware GNN** — совершенно новую архитектуру, которая решает проблемы с памятью и производительностью в задачах generalized planning. Главная идея заключается в том, чтобы сделать представление графа **sparse**, то есть отображать только значимые отношения между узлами, а также добавить **explicit spatial features**, относящиеся к цели. Это позволяет эффективно интегрировать информацию о цели в данные планирования. Модель использует **goal-aware attention**, которая фокусируется на целевых объектах и исключает ненужные детали, снижая затраты памяти и улучшая обучение. ## Результаты Мы провели эксперименты в созданных PDDL-сценариях, основанных на грид-средах. Наши эксперименты показали, что наш метод **сильно превосходит** существующие подходы в следующих аспектах: 1. **Scale-up without Fading Out**: Модель способна эффективно работать на больших грид-средах, где другие подходы сталкиваются с проблемами с памятью и снижаются в точности. 2. **Improved Policy Generalization**: Наша модель показала значительное улучшение в общей политике, что делает ее применимую к различным задачам в рамках одной среды. 3. **Sparsity and Efficiency**: Мы доказали, что наш алгоритм эффективно использует ресурсы, поддерживая высокую производительность при меньшем потреблении памяти. ## Значимость Наш метод открывает новые возможности для решения **large-scale generalized planning tasks**. Он может быть применен в различных областях, таких как: - **Drone Mission Planning**: Ускорение и улучшение работы в сложных средах. - **Robotics**: Эффективное планирование в средах с неоднородной структурой. - **Smart Factories**: Увеличение уровня автоматизации и точности в задачах управления производством. Преимущество нашего подхода заключается в своей **scalability** и **generalization**, что делает его универсальным и применимым в различных классах задач. ## Выводы Мы представили **Scaling Up without Fading Out: Goal-Aware Sparse GNN for RL-based Generalized Planning**, который является прорывом в об