Annif at the GermEval-2025 LLMs4Subjects Task: Traditional XMTC Augmented by Efficient LLMs

2508.15877v1 cs.CL, cs.AI, cs.IR, cs.LG, I.2.7 2025-08-25
Авторы:

Osma Suominen, Juho Inkinen, Mona Lehtinen

Резюме на русском

## Контекст В статье представлена система Annif в рамках задачи GermEval-2025 LLMs4Subjects (Subtask 2). Задача подразумевала создание предсказаний по темам библиографических записей с использованием больших языковых моделей, с фокусом на эффективности вычислений. Этот объект исследования является важной задачей в области автоматического классификационного индексирования библиотечных коллекций. Мотивация заключается в улучшении системы Annif, которая уже демонстрировала высокую эффективность в предыдущем LLMs4Subjects задании, и в изучении возможностей новых языковых моделей для улучшения ранжирования тематических категорий. ## Метод Система Annif основывается на автоматизированном инструменте для классификационного индексирования. Для улучшения своей системы, авторы использовали сочетание многих малых и эффективных языковых моделей для трансляции и синтетической данной, а также больших языковых моделей для ранжирования кандидатов. Была внедрена методика генерации синтетических данных для обучения моделей с помощью трансформации существующих библиографических записей. Эта архитектура сочетает в себе мощь больших моделей и эффективность малых моделей, чтобы достичь оптимального баланса качества и скорости. ## Результаты На экспериментальных данных была достигнута высокая точность и эффективность. Данные были подготовлены с применением синтетических данных и дополнены трансформацией библиографических записей. Результаты показали, что Annif расположилась на первом месте в общем рейтинге и в оценке качества Subtask 2. Эти результаты указывают на эффективность сочетания множества небольших моделей для трансляции и синтетической генерации данных, а также на высокую полезность языковых моделей для ранжирования тематических предсказаний. ## Значимость Исследование имеет значительное значение для автоматического классификационного индексирования в библиотечных коллекциях. Оно предоставляет новые возможности для использования языковых моделей в реальных задачах. Также оно демонстрирует перспективы сочетания многих малых моделей для улучшения производительности и качества. Это может быть применено в других областях, где требуется быстрая и точная классификация больших объемов данных. ## Выводы Система Annif демонстрировала выдающиеся результаты в задаче GermEval-2025 LLMs4Subjects Subtask 2. Основным достижением является показательная эффективность и точность, достигнутая с помощью сочетания множества малых моделей и ранжирования тематических предсказаний с помощью языковых моделей

Abstract

This paper presents the Annif system in the LLMs4Subjects shared task (Subtask 2) at GermEval-2025. The task required creating subject predictions for bibliographic records using large language models, with a special focus on computational efficiency. Our system, based on the Annif automated subject indexing toolkit, refines our previous system from the first LLMs4Subjects shared task, which produced excellent results. We further improved the system by using many small and efficient language models for translation and synthetic data generation and by using LLMs for ranking candidate subjects. Our system ranked 1st in the overall quantitative evaluation of and 1st in the qualitative evaluation of Subtask 2.

Ссылки и действия