TransLLM: A Unified Multi-Task Foundation Framework for Urban Transportation via Learnable Prompting

## Контекст Urban transportation systems сталкиваются с разнообразными проблемами, такими как прогнозирование трафика, предсказание спроса на зарядку электрических автомобилей (EV) и управление такси. На сегодняшний день, существующие подходы страдают от двух главных ограничений: малые модели глубокого обучения специфичны для конкретных задач и требуют больших объемов данных, что ограничивает их универсальность. Другая сторона медали — большие модели языка (LLMs), которые, несмотря на свою гибкость и способность обрабатывать естественный язык, сталкиваются с трудностями при работе с структурированными пространственно-временными данными и численным рассуждением. Для решения этих проблем предлагается новый подход, в рамках которого используется TransLLM — креативный фреймворк, который объединяет способности глубокого обучения и LLMs, способствуя эффективному решению таких задач. ## Метод TransLLM предлагает инновационный подход к решению задач, связанных с городским транспортом. Основным элементом фреймворка является лёгкая модель пространственно-временного моделирования, которая использует дилацированные свертки времени и двухуровневые сети внимания на основе графа смежности. Эта модель эффективно моделирует зависимости времени и пространства. Для улучшения гибкости и контекстной точности, TransLLM внедряет механизм под названием "Instance-Level Prompt Routing", который использует учёт ситуаций для динамического построения специализированных спротонизированных запросов. Эти спротонизированные запросы помогают LLMs более эффективно рассуждать над задачами. Фреймворк также включает проектирование задач в контекст специализированных выходных слоев, которые улучшают точность прогнозирования. Этот подход гармонично объединяет мощь LLMs и специфичные задачи, обеспечивая универсальный подход для решения проблем городского транспорта. ## Результаты Проведенные эксперименты охватывают семь датасетов и три задачи: прогнозирование трафика, предсказание спроса на зарядку EV и таксопарковки. Модель TransLLM демонстрирует выдающиеся результаты, даже в случае нулевого признака, когда модель не имеет предварительного обучения на конкретной задаче. Результаты были сравнены с десятью основными базовыми моделями, и TransLLM показала себя как мощная альтернатива с значительным преимуществом в ситуациях, когда необходимо гибко решать задачи с большой многообразием. Она показала свою гибкость, эффективность и способность к обучению с подкреплением, чтобы персонифицировать свой подход в зависимости от конкретных задач. ## Значимость TransLLM может бы