Hybrid Topic-Semantic Labeling and Graph Embeddings for Unsupervised Legal Document Clustering
2509.00990v1
stat.ML, cs.CL, cs.LG
2025-09-05
Авторы:
Deepak Bastola, Woohyeok Choi
Резюме на русском
#### Контекст
Область юридического текстового анализа становится все более важной в свете роста количества юридических документов, необходимости упрощения процессов и улучшения точности анализа. Однако юридические тексты имеют уникальные особенности: ограниченный объем меток, специфическая лексика и высокая степень специфичности. Эти факторы ограничивают эффективность существующих методов классификации и кластеризации. Необходимо разработать методы, которые могут эффективно обрабатывать такие тексты, учитывая их специфику. В данной работе предлагается гибридный подход, который объединяет семантическую обработку текстов с техниками графовых представлений для улучшения кластеризации юридических документов.
#### Метод
Методология основывается на двух основных компонентах: обучению семантических представлений документов с помощью Top2Vec и извлечении структурных представлений с помощью Node2Vec. Top2Vec обнаруживает подчиненные темы в текстах, а Node2Vec позволяет выделять связи между документами в графе, основываясь на бипартийном графе документов. Эти два представления комбинируются с помощью алгоритма KMeans для кластеризации. Важным аспектом является то, что модель не требует меток во время обучения, что делает ее пригодной для обработки больших объемов юридических документов. Архитектура подхода включает в себя несколько шагов: инициализация тем, их автоматическое выявление, построение графа документов и вычисление графовых представлений с использованием Node2Vec.
#### Результаты
На юридической базе данных была проведена серия экспериментов, сравнивая результаты кластеризации с использованием только семантических представлений (Top2Vec), только графовых представлений (Node2Vec) и их совместного использования. Была оценена точность кластеризации, а также проведена анализ чувствительности к параметрам, таким как число кластеров и размерность представлений. Результаты показали, что гибридный подход демонстрирует лучшую точность кластеризации по сравнению с отдельными моделями. Особенно выдачными были результаты в случае достаточного числа кластеров и оптимальной размерности представления, что указывает на эффективность комбинации семантических и графовых представлений.
#### Значимость
Предложенный подход может быть применен в различных задачах, связанных с анализом юридических текстов, таких как классификация, кластеризация, определение важности документов и экспертная оценка. Он привносит улучшение в точность и качество анализа, учитывая специфику юридического языка. Его применение может стать предпосылкой для дальнейше
Abstract
Legal documents pose unique challenges for text classification due to their
domain-specific language and often limited labeled data. This paper proposes a
hybrid approach for classifying legal texts by combining unsupervised topic and
graph embeddings with a supervised model. We employ Top2Vec to learn semantic
document embeddings and automatically discover latent topics, and Node2Vec to
capture structural relationships via a bipartite graph of legal documents. The
embeddings are combined and clustered using KMeans, yielding coherent groupings
of documents. Our computations on a legal document dataset demonstrate that the
combined Top2Vec+Node2Vec approach improves clustering quality over text-only
or graph-only embeddings. We conduct a sensitivity analysis of hyperparameters,
such as the number of clusters and the dimensionality of the embeddings, and
demonstrate that our method achieves competitive performance against baseline
Latent Dirichlet Allocation (LDA) and Non-Negative Matrix Factorization (NMF)
models. Key findings indicate that while the pipeline presents an innovative
approach to unsupervised legal document analysis by combining semantic topic
modeling with graph embedding techniques, its efficacy is contingent upon the
quality of initial topic generation and the representational power of the
chosen embedding models for specialized legal language. Strategic
recommendations include the exploration of domain-specific embeddings, more
comprehensive hyperparameter tuning for Node2Vec, dynamic determination of
cluster numbers, and robust human-in-the-loop validation processes to enhance
legal relevance and trustworthiness. The pipeline demonstrates potential for
exploratory legal data analysis and as a precursor to supervised learning tasks
but requires further refinement and domain-specific adaptation for practical
legal applications.
Ссылки и действия
Дополнительные ресурсы: