RAM-NAS: Resource-aware Multiobjective Neural Architecture Search Method for Robot Vision Tasks

## Контекст Исследование построения моделей глубокого обучения для задач робототехнического зрения стало важной областью, так как эти модели должны обладать высокой точностью и низким потреблением ресурсов для устройств с ограниченными возможностями. Однако существующие подходы к Neural Architecture Search (NAS) часто не учитывают реальность работы на робототехнических устройствах. Недостаток учета ограничений по ресурсам приводит к моделям, которые неэффективно используются в реальных условиях. Таким образом, необходим подход, который учитывает ресурсы и улучшает процесс поиска моделей для робототехнических задач. ## Метод RAM-NAS является первым resource-aware multi-objective NAS-методом, сочетающим в себе улучшение супернет-предобучения и ресурсно-ориентированность при работе на робототехнических устройствах. Основной инновацией является идея subnets mutual distillation, где все subnets, выбираемые по сандвичному правилу, обмениваются знаниями друг с другом. Также включен Decoupled Knowledge Distillation (DKD) loss для улучшения distillation-based training. Для ускорения поиска с учетом характеристик робототехнических устройств, вводятся Latency Surrogate predictors, основанные на данных с трех типов робототехнического оборудования. Эти модели позволяют приближенно оценивать время выполнения на робототехнических устройствах во время поиска. Это позволяет объединять общие цели — модельную точность и низкую задержку — в единое multi-objective optimization. ## Результаты В экспериментах были проверены методы на задачах обработки изображений, включая сегментацию и распознавание объектов. Модели RAM-NAS достигли топ-1 accuracy от 76.7% до 81.4% на ImageNet. Была проверена эффективность на моделях для робототехнических задач, таких как локализация и окружение, где использовались данные с трех типов робототехнического оборудования. В результате RAM-NAS привело к существенному сокращению latency на всех трех типах устройств, по сравнению с MobileNetv3-based methods. Это подтвердило эффективность в реальных условиях, когда размер модели и производительность имеют решающее значение. ## Значимость Предложенный подход оказался полезным в сферах применения, где требуется быстрая и точная обработка данных на устройствах с ограниченными ресурсами, включая робототехнические системы. Он обеспечивает лучшую эффективность и уменьшает затраты на ресурсы, что критично для применения на робототехнических устройствах. Учтя ресурсы на этапе поиска, RAM-NAS позволяет быстрее и эффективнее находить модели, которые могут быть применены в реальных условиях. ## Выводы Результаты показали, что RAM-NAS является эффективным методом для поиска моделей, которые сочетают высокую точность и низкую задержку для робототе