CITE: A Comprehensive Benchmark for Heterogeneous Text-Attributed Graphs on Catalytic Materials

## Контекст Текстовые атрибуты в графах (Text-Attributed Graphs, TAGs) широко распространены в реальных системах, где каждый узел сопровождается своими текстовыми признаками. Особенно важной является задача обработки текстовых атрибутов для сложных, нейтронного материала ограниченного размера, где узлы могут иметь различные типы, и связи между ними могут иметь значительную разновидность. Несмотря на их важность, существует недостаток больших бенчмарков для проверки методов обучения признаков на графах, в частности, для графов с текстовыми атрибутами. Это снижает возможности для сравнения и улучшения методов обработки таких данных. Мы предлагаем CITE, первый и крупнейший бенчмаркный датасет для сложных текстовых атрибутов графов в области катализаторов. CITE включает более 438K узлов и 1.2M связей, охватывающих четыре типа отношений. Наша мотивация заключается в поддержке развития методов обучения для таких сложных данных, стандартизации процессов оценки и поддержке инновационных исследований в этой области. ## Метод CITE — это граф, состоящий из четырех типов узлов (CITATIONS, PUBLICATIONS, AUTHORS и ENTITIES) и четырех типов связей (CITED_BY, WRITTEN_BY, MENTIONED_IN, IS_A). Узлы имеют текстовые признаки, в том числе тексты статей, авторов и элементов словаря. Мы использовали методы глубокого обучения для построения представлений для каждого типа узлов. Для оценки производительности методов мы определили стандартные процедуры, включающие многоклассовую классификацию узлов. Мы также провели подробные эксперименты, проверяя эффективность метода и его способность работать с текстовыми признаками. Методы, оцениваемые в рамках CITE, включают традиционные методы графа, графы с текстовыми атрибутами, модели на базе ИИ с текстовыми данными и модели, объединяющие графы и модели текстового генерации. Мы старались покрыть широкий спектр подходов для обеспечения комплексной оценки CITE. ## Результаты Мы провели расширенные эксперименты на CITE, оценивая удовлетворенность решений, достигаемую в задаче многоклассовой классификации узлов. Эксперименты показали, что модели, использующие текстовые атрибуты, превосходят традиционные методы в этой задаче. Мы также провели ряд аблационных экспериментов, которые подтвердили важность текстовых признаков и сложности задачи. Наши результаты показали, что модели, объединяющие графы и модели текстового генерации (LLM+Graph), демонстрируют самые высокие показатели. Это означает, что использование текстовых атрибутов в контексте графов может