Evaluating Knowledge Graph Complexity via Semantic, Spectral, and Structural Metrics for Link Prediction

## Контекст Исследование сложности знаний графов (Knowledge Graphs, KGs) является ключевым элементом в оценке и сравнении моделей связывания связей (link prediction). Одним из значимых показателей сложности является Cumulative Spectral Gradient (CSG), основанный на разности классов в рамках спектрального кластеринга. Хотя CSG утверждается как классификатор-независимый и стабильный метрика, его применимость к KGs не была ранее проверена. Наша мотивация заключается в том, чтобы провести критический анализ CSG в контексте многомерного связывания связей и проверить его связь с классическими метриками производительности, такими как Mean Reciprocal Rank (MRR) и Hit@1. ## Метод Для оценки сложности знаний графов мы применяем метод кластеринга на основе спектра, заключающийся в использовании CSG. Эта метрика определяется по проблеме вертикального разделения классов в спектральном пространстве. Мы также используем семантические представления, полученные с помощью трансформеров, для добавления контекстной информации. Для более широкого анализа мы вводим дополнительные метрики, включая Relation Entropy, Maximum Relation Diversity и Relation Type Cardinality, которые охватывают глобальные и локальные аспекты сложности. Для сравнения мы используем метрики, такие как Average Degree, Degree Entropy, PageRank и Eigenvector Centrality, измеряющие графовую связность. ## Результаты Наши эксперименты показали, что CSG весьма чувствителен к параметрам и не способен гарантировать стабильность или робастность при изменении количества классов. Данные показатели не сильно коррелируют с MRR и Hit@1, что означает, что CSG не удается хорошо отразить сложность задачи. Однако метрики типа Relation Entropy и Maximum Relation Diversity сильно коррелируют с MRR и Hit@1, показывая свою надежность в оценке сложности знаний графов. Метрики типа PageRank и Eigenvector Centrality, определяющие связность графа, сильно коррелируют с Hit@10, что указывает на их важность для задач, где требуется учитывать глобальную структуру. ## Значимость Наши результаты имеют практическое значение для развития моделей связывания связей. Мы показали, что CSG, несмотря на его теоретическую привлекательность, не является надежной метрикой для оценки сложности KGs. Вместо этого мы предлагаем использовать метрики, такие как Relation Entropy и Maximum Relation Diversity, которые более точно отражают сложность задачи. Эти метрики могут помочь в оптимизации моделей и сравнении их производительности. Эти результаты также имеют значение для изучения сложности данных в других задачах, где спектральные методы используются для классификации. ## Выводы Мы установили, что CSG не является достаточно устойчивой и интерпретируемой метрикой для оценки сложности знаний графов в