TSLA: A Task-Specific Learning Adaptation for Semantic Segmentation on Autonomous Vehicles Platform
2508.12279v1
cs.CV, cs.AI, cs.AR, cs.LG
2025-08-19
Авторы:
Jun Liu, Zhenglun Kong, Pu Zhao, Weihao Zeng, Hao Tang, Xuan Shen, Changdi Yang, Wenbin Zhang, Geng Yuan, Wei Niu, Xue Lin, Yanzhi Wang
Резюме на русском
## Контекст
**Область исследования и существующие проблемы**
Autonomous driving является ключевым направлением развития технологий, требующих решения проблем, связанных с высокими затратами вычислительных ресурсов и сложностью адаптации к различным сценариям. Существующие semantic segmentation сети, используемые в системах автономного вождения, часто не могут эффективно адаптироваться к ограниченным ресурсам эmbedded девайсов, таким как NVIDIA DRIVE PX 2. Это ограничение приводит к неэффективному использованию ресурсов и недостаточной точности в задачах семантической сегментации.
**Мотивация**
Поэтому, существует необходимость в разработке методов, которые позволяют адаптировать модели к конкретным требованиям сценариев и ограничений вычислительных ресурсов.
## Метод
**Архитектура и Методология**
Статья предлагает Task-Specific Learning Adaptation (TSLA), которая является динамически адаптируемой сетью семантической сегментации, разработанной с учетом ограничений ресурсов и сценариев автономного вождения. Алгоритм TSLA включает в себя трехуровневый механизм управления:
1. **Width Multiplier** – адаптирует толщину сети, меняя число каналов в ней;
2. **Classifier Depth** – контролирует глубину classifier'а;
3. **Classifier Kernel** – регулирует размер ядра в classifier'е.
Эти уровни динамической адаптации позволяют гибко масштабировать модель, от оптимизации ресурсов до точной оптимизации задач.
**Оптимизация**
Для эффективного поиска гиперпараметров в условиях ограниченных вычислительных ресурсов, авторы применяют **Bayesian Optimization** с **Surrogate Modeling**. Эта стратегия эффективно исследует гиперпространство параметров, нацеленным на минимизацию MACs (Multiply-Accumulate Operations) без ущерба качеству.
## Результаты
**Данные и Методы Измерения**
Для экспериментов использовались данные с различных сценариев автономного вождения, включая сложные условия погоды и высокий динамический диапазон. Результаты были измерены через метрики точности сегментации и MACs.
**Результаты**
TSLA показала существенное улучшение в точности сегментации, сравнительно с базовыми сетями, при значительном сокращении MACs. Это указывает на эффективность адаптивной тонкой настройки модели под конкретные задачи и ограничения.
## Значимость
**Применение и Преимущества**
TSLA может применяться в самоуправляемых автомобилях, системах поддержки вождения, и других системах, требующих высокой точности семантической сегментации в реальном времени. Основные преимущества:
1. **Эффективность** – уменьшение MACs без потери качества;
2. **Универсальность** – адаптация к различным сценариям;
3. **Современный
Abstract
Autonomous driving platforms encounter diverse driving scenarios, each with
varying hardware resources and precision requirements. Given the computational
limitations of embedded devices, it is crucial to consider computing costs when
deploying on target platforms like the NVIDIA\textsuperscript{\textregistered}
DRIVE PX 2. Our objective is to customize the semantic segmentation network
according to the computing power and specific scenarios of autonomous driving
hardware. We implement dynamic adaptability through a three-tier control
mechanism -- width multiplier, classifier depth, and classifier kernel --
allowing fine-grained control over model components based on hardware
constraints and task requirements. This adaptability facilitates broad model
scaling, targeted refinement of the final layers, and scenario-specific
optimization of kernel sizes, leading to improved resource allocation and
performance.
Additionally, we leverage Bayesian Optimization with surrogate modeling to
efficiently explore hyperparameter spaces under tight computational budgets.
Our approach addresses scenario-specific and task-specific requirements through
automatic parameter search, accommodating the unique computational complexity
and accuracy needs of autonomous driving. It scales its Multiply-Accumulate
Operations (MACs) for Task-Specific Learning Adaptation (TSLA), resulting in
alternative configurations tailored to diverse self-driving tasks. These TSLA
customizations maximize computational capacity and model accuracy, optimizing
hardware utilization.