SAGE: Scale-Aware Gradual Evolution for Continual Knowledge Graph Embedding
2508.11347v1
cs.AI, cs.LG, I.2.4; I.2.6; H.2.8
2025-08-19
Авторы:
Yifei Li, Lingling Zhang, Hang Yan, Tianzhe Zhao, Zihan Ma, Muye Huang, Jun Liu
Резюме на русском
## Контекст
Контекст этого исследования заключается в работе с знаниями, представленными в виде концепции знаний (KG, Knowledge Graph). Знания в этом контексте представлены в виде связей между сущностями, которые обычно представлены в виде триумверти: субъект-предикат-объект. Статические KGs хорошо исследованы, но реальные KGs являются динамическими и постоянно меняются в результате добавления новых сущностей, отношений и фактов. Эта динамика создает серьезные проблемы для методов классического KG-обработки, которые не могут эффективно обрабатывать изменения. Несмотря на развитие методов CKGE (Continual Knowledge Graph Embedding), существуют ограничения, такие как недостаточность адаптивности к разному масштабу изменений и нехватка систематичной оценки процесса обновления. Эти проблемы требуют развития более гибких и эффективных подходов.
## Метод
Метод, представленный в статье, SAGE (Scale-Aware Gradual Evolution), является новым фреймворком для CKGE, который адаптируется к разному масштабу изменений в KGs. Основной идеей является адаптивное управление размерностью эмбеддингов (embedding dimensions). Это приводит к тому, что при изменении размера графа, эмбеддинги автоматически расширяются для обеспечения лучшего представления. Динамическое управление делается с помощью **Dynamic Distillation**, которое позволяет оптимизировать защиту существующих знаний и включение новых фактов. Архитектура работает в несколько этапов: сначала определяется размерность эмбеддинга в зависимости от изменения размера графа, затем применяется динамическое управление для обновления эмбеддингов. Это позволяет SAGE подстраиваться под различные условия, что делает его более эффективным в реальных сценариях.
## Результаты
Результаты исследований были получены с помощью экспериментов на семь бенчмарковых знаний: FB15k-237, WN18RR, YAGO3-10, DDB14, DDB50, Wikidata50M, ogbl-biokg. На этих данных были сравнены результаты SAGE с другими подходами, такими как RIE, EKRL, oTuckER, AdaptiveEmb. Результаты показали, что SAGE показал значительную улучшение в метриках, в том числе Mean Reciprocal Rank (MRR): +1.38%, Hits@1: +1.25%, Hits@10: +1.6%. Эти результаты доказывают как эффективность SAGE в обработке динамических изменений, так и в необходимости использования адаптивных размерностей эмбеддингов. Отдельно показано, что при фиксированных размерностях эмбеддингов, SAGE показывает оптимальные результаты на каждом моменте времени, что говорит о важности адаптивного подхода в CKGE.
## Значимость
SAGE может быть применен в различных областях, где требуется эффективное обновление знаний при расширении и изменении KGs. Например
Abstract
Traditional knowledge graph (KG) embedding methods aim to represent entities
and relations in a low-dimensional space, primarily focusing on static graphs.
However, real-world KGs are dynamically evolving with the constant addition of
entities, relations and facts. To address such dynamic nature of KGs, several
continual knowledge graph embedding (CKGE) methods have been developed to
efficiently update KG embeddings to accommodate new facts while maintaining
learned knowledge. As KGs grow at different rates and scales in real-world
scenarios, existing CKGE methods often fail to consider the varying scales of
updates and lack systematic evaluation throughout the entire update process. In
this paper, we propose SAGE, a scale-aware gradual evolution framework for
CKGE. Specifically, SAGE firstly determine the embedding dimensions based on
the update scales and expand the embedding space accordingly. The Dynamic
Distillation mechanism is further employed to balance the preservation of
learned knowledge and the incorporation of new facts. We conduct extensive
experiments on seven benchmarks, and the results show that SAGE consistently
outperforms existing baselines, with a notable improvement of 1.38% in MRR,
1.25% in H@1 and 1.6% in H@10. Furthermore, experiments comparing SAGE with
methods using fixed embedding dimensions show that SAGE achieves optimal
performance on every snapshot, demonstrating the importance of adaptive
embedding dimensions in CKGE. The codes of SAGE are publicly available at:
https://github.com/lyfxjtu/Dynamic-Embedding.