GhostNetV3-Small: A Tailored Architecture and Comparative Study of Distillation Strategies for Tiny Images
2509.12380v1
cs.CV, cs.AI, cs.LG
2025-09-18
Авторы:
Florian Zager, Hamza A. A. Gardi
Резюме на русском
#### Контекст
Постепенное развитие глубоких нейронных сетей (DNN) позволило достичь выдающихся результатов во многих областях, но их высокая сложность и требования к вычислительным ресурсам ограничивают их применение на устройствах с ограниченными мощностями. Это особенно актуально для задач распознавания изображений, где необходимо обеспечить высокую точность с минимальными затратами. Например, в случае малых разрешений изображений (например, на CIFAR-10), существующие модели часто неэффективны. Кроме того, существует необходимость найти более эффективные стратегии оптимизации моделей, такие как компрессия и интеллектуальное преобразование, для достижения более высокой производительности на таких устройствах.
#### Метод
Для решения проблемы неэффективности моделей на ресурс-ограниченных устройствах, мы разработали GhostNetV3-Small — упрощенный вариант архитектуры GhostNetV3, приспособленный для работы на малых разрешениях. Это достигнуто за счет модификации основных компонентов архитектуры и адаптации ее для эффективной обработки небольших изображений. Для повышения точности использованы различные методы оптимизации, включая классическую методику знаний, метод с использованием "учеников-посредников" и метод с использованием "преподавательских коллективов". Мы провести эксперименты на CIFAR-10, чтобы проанализировать эффективность каждого подхода.
#### Результаты
В ходе экспериментов на CIFAR-10, GhostNetV3-Small достиг точности 93.94%, что значительно превосходит результаты оригинальной архитектуры. Однако наши эксперименты показали, что все исследуемые методы компрессии, включая классическую методику знаний, метод с учениками-посредниками и метод с преподавательскими коллективами, привели к уменьшению точности в сравнении с базовым техническим решением. Эти результаты подчеркивают значительное влияние архитектурных изменений по сравнению с интеллектуальными стратегиями оптимизации в случае малых разрешений изображений.
#### Значимость
Результаты этих исследований имеют важное значение для развития моделей, оптимизированных для работы на малых устройствах. Наша модификация GhostNetV3-Small может быть применена в таких областях как мобильные приложения, IoT-устройства и системы с ограниченными вычислительными ресурсами. Это доказывает, что архитектурные изменения могут быть более эффективными, чем сложные стратегии оптимизации в случае работы с малыми разрешениями. Будущие исследования могут сфокусироваться на создании более эффективных методов оптимизации моделей для таких задач.
#### Выводы
Мы представили GhostNetV3-
Abstract
Deep neural networks have achieved remarkable success across a range of
tasks, however their computational demands often make them unsuitable for
deployment on resource-constrained edge devices. This paper explores strategies
for compressing and adapting models to enable efficient inference in such
environments. We focus on GhostNetV3, a state-of-the-art architecture for
mobile applications, and propose GhostNetV3-Small, a modified variant designed
to perform better on low-resolution inputs such as those in the CIFAR-10
dataset. In addition to architectural adaptation, we provide a comparative
evaluation of knowledge distillation techniques, including traditional
knowledge distillation, teacher assistants, and teacher ensembles. Experimental
results show that GhostNetV3-Small significantly outperforms the original
GhostNetV3 on CIFAR-10, achieving an accuracy of 93.94%. Contrary to
expectations, all examined distillation strategies led to reduced accuracy
compared to baseline training. These findings indicate that architectural
adaptation can be more impactful than distillation in small-scale image
classification tasks, highlighting the need for further research on effective
model design and advanced distillation techniques for low-resolution domains.
Ссылки и действия
Дополнительные ресурсы: