Measuring the Measures: Discriminative Capacity of Representational Similarity Metrics Across Model Families

## Контекст Репрезентационные сходством метрики являются основными инструментами в науке о разуме и искусственном интеллекте. Они позволяют оценивать схожесть представлений внутри и между моделями, обнаруживая структуры и отношения между данными. Однако не существует систематических сравнений их дискриминативной силы по отношению к разным семействам моделей. Это сделало необходимым развитие методологии, позволяющей оценивать, насколько эффективно разные метрики отличают модели по их внутренним представлениям. Такой подход не только будет способствовать пониманию особенностей моделей, но и поможет выбору правильной метрики для конкретной задачи, когда сравниваются модели разных архитектур или обученные разными способами. ## Метод Мы предложили фреймворк, основанный на мере дискриминативности, которая измеряется с помощью трех разных критериев. В качестве базовых метрик использовались RSA (Representational Similarity Analysis), линейная прогностичность, метод Прокурстеса и мягкое сравнение. Мы применили эти метрики для сравнения моделей с различными архитектурами, такими как CNN (Convolutional Neural Networks), Vision Transformers, Swin Transformers и ConvNeXt. Также мы рассмотрели различные режимы обучения, включая супервизированное и самостоятельное обучение. Для оценки дискриминативности мы использовали три методы: d-prime (из сигнальной детекции), коэффициенты шейлов и ROC-AUC. Это позволило нам проанализировать, насколько эффективно разные метрики отличают модели в зависимости от их архитектуры и обучения. ## Результаты Мы провели подробные эксперименты, сравнив дискриминативность различных метрик на выборке данных, представляющей собой представления моделей с разными архитектурами и режимами обучения. Мы отметили, что дискриминативность растет с увеличением строгости внутренних ограничений, которые накладываются метриками. Например, метод "мягкое сравнение" показал самую высокую дискриминативность среди маппинг-метрик, а за ним следовали Procrustes и линейная прогностичность. Также мы отметили, что некоторые метрики, не использующие явное сравнение внутренних представлений (например, RSA), также демонстрировали высокую дискриминативность, хотя с точки зрения структуры они работают по-другому. ## Значимость Наши результаты имеют практическое значение для нескольких областей. В первую очередь, они помогают выбирать наиболее подходящую метрику для сравнения моделей и мозга, что важно для исследований в области глубокого обучения и мозговой динамики. Также, наш фреймворк позволяет выявлять слабые места в метриках, что может привести к развитию более эффективных методов. Э