Evaluating Cumulative Spectral Gradient as a Complexity Measure

## Контекст Оценка сложности данных является ключевым аспектом в экспериментах по сравнению различных алгоритмов решения задач, включая задачи классификации и многоклассовой классификации. Для оценки и сравнения моделей классификации в задачах, связанных с знаниями (knowledge graphs, KGs), необходимо измерить сложность данных, так как сложность может существенно влиять на результаты моделей. Однако существуют проблемы с выбором подходящих метрик сложности, которые могут не справляться с задачей из-за необходимости ручной оптимизации или неточности мер. Эта проблема становится еще более актуальной в задачах многоклассовой классификации, таких как прогнозирование связей в KGs. ## Метод В данном исследовании рассматривается метрика сложности данных, известная как Кумулятивная Градиентная Мерна (Cumulative Spectral Gradient, CSG). Данная метрика определяется как проблематическая мерная функция, которая зависит от расстояния в эмбеддинг-пространстве и использует спектральный кластеринг для определения сложности. CSG измеряется в зависимости от двух параметров: количество Monte Carlo сэмплов (M) и количество ближайших соседей в пространстве эмбеддингов (K). Эти параметры оптимизируются для получения наилучшего подхода к оценке сложности. ## Результаты Проведены эксперименты на нескольких стандартных датасетах, включая FB15k-237 и WN18RR, для подтверждения свойств CSG. Было проанализировано ее зависимость от параметров M и K, а также сравнены результаты с метриками, такими как Mean Reciprocal Rank (MRR) и другими. Эксперименты показали, что CSG не является стабильной и не является независимой от конкретных значений K. Также было выявлено, что в некоторых случаях CSG не сильно коррелирует с установленными метриками, такими как MRR, что означает, что CSG может некорректно оценивать сложность данных в задачах прогнозирования связей. ## Значимость Оценка CSG может применяться в качестве меры сложности для прогнозирования связей в KGs, но в рамках этого исследования были выявлены факторы, которые могут снизить достоверность данной меры. Эти результаты могут помочь разработчикам моделей и оценщикам данных для поиска более надежных и независимых методов оценки сложности данных для прогнозирования связей. ## Выводы Мы показали, что CSG не является надежной мерой сложности для задач прогнозирования связей в KGs. Несмотря на оригинальные утверждения, CSG оказалась сильно зависимой от выбора параметров K и не сильно коррелирует с установленными метриками. Наше исследование подчеркивает необходимость разработки более устойчивых и классификаторно независимых методов оценки сложности данных в задачах прогнозирования связ