ImageNet-trained CNNs are not biased towards texture: Revisiting feature reliance through controlled suppression

#### Контекст Глубокие нейронные сети, особенно Convolutional Neural Networks (CNNs), стали решающим фактором в развитии машинного обучения. Однако существует широко распространенная углубляющаяся идея, что эти сети доминированно ориентируются на текстуральные признаки во время распознавания объектов. Эта текстура-ориентированная модель влияет на теоретические модели, принятие решений и даже на обучение с подкреплением в глубоком обучении. Недавние исследования Гейроса и его коллег (2021) подтвердили эту текстура-ориентированную модель, выявив, что CNNs упрекаются в недостатке умения использовать свойства формы (shape) при определении объектов. Однако, эти исследования имели тонкости в методологии, включая ситуации, когда сильные конфликты между признаками могли исказить результаты. В настоящей работе мы предлагаем новую перспективу на этот вопрос, предлагая новую методологию, которая избавляет нас от ограничений в управлении признаками. #### Метод Мы разработали новую структуру, называемую **Feature Suppression Framework**, которая позволяет контролировать различные признаки (shape, texture, и цвет) во входных изображениях. В отличие от предыдущих экспериментов, где присутствовал сильный конфликт между признаками, наша методология позволяет измерить их влияние по отдельности. Мы применяем нашу модель к различным типам данных, включая обычные изображения (ImageNet), медицинские изображения и данные спутниковых снимков. Мы оцениваем не только влияние признаков на CNNs, но и на нейронные сети стандартного обучения, включая ViT и ConvNeXt. Наши эксперименты находятся на базе методов линейного классификатора, чтобы точно определить вклад каждого признака. #### Результаты Наши результаты открывают новую главу в теории функционирования CNNs. Мы обнаружили, что CNNs, обученные на ImageNet, не имеют привязки к текстурным признакам, как это было предполагалось. Вместо этого они приоритетно рассматривают локальные признаки формы. Это отклонение от предыдущих исследований подтверждается в экспериментах, где мы показываем, что архитектуры ConvNeXt и ViT по умолчанию имеют более широкий спектр признаков, включая текстуру, но с меньшим рассчитыванием на текстуру по сравнению с CNNs. Мы также выявили различия во взаимодействии признаков в различных областях применения, например, в случае медицинских изображений, где цвет играет ключевую роль. #### Значимость Наши находки имеют решающее значение для дискурса о природе и ограничениях CNNs. Мы показали, что они не могут быть полностью ограничены текстурой, а вместо этого ориентируются на форму. Это открывает