Leveraging Large Language Models for Generating Research Topic Ontologies: A Multi-Disciplinary Study

#### Контекст Организация и классификация научного знания являются важными задачами, позволяющими обеспечить эффективное хранение, распространение и поиск информации. Для этого используются иерархические структуры, такие как онтологии и таксономии. Однако создание и поддержание таких структур требует значительных ресурсов, включая время и экспертные знания. Поэтому, онтологии часто имеют неполную охвату различных дисциплин, ограниченную связность между областями и редкую актуализацию. В данном исследовании рассматривается возможность использования больших языковых моделей для создания и обновления таких структур, что может существенно упростить процесс. #### Метод Для изучения этой проблемы были использованы три крупных языковые модели: GPT-3, T5 и BERT. Методология включала три основных подхода: zero-shot prompting, chain-of-thought prompting и fine-tuning моделей на основе существующих онтологий. Для оценки результатов была разработана новая датасет PEM-Rel-8K, содержащая 8000+ связей между темами из трёх областей: биомедицина, физика и инженерия. Эта датасет была сформирована на основе широко принятых таксономий MeSH, PhySH и IEEE. Результаты были получены с помощью метрик точности, полноты и F1-меры. #### Результаты Исследование показало, что fine-tuning моделей на датасете PEM-Rel-8K приводит к высокому показателю точности и полноты во всех трёх областях. Кроме того, было продемонстрировано, что модели по отдельности имеют разные сильные стороны: GPT-3 превосходит в zero-shot prompting, T5 — в chain-of-thought prompting, а BERT — в fine-tuning. Была также показана возможность переноса моделей между дисциплинами, что указывает на потенциал для создания универсальных моделей. #### Значимость Результаты исследования открывают новые возможности для автоматизации создания и обновления онтологий в научных дисциплинах. Это может существенно сократить время и стоимость процесса, а также улучшить качество и полноту таких структур. Благодаря высокой переносимости моделей, можно использовать их в различных научных областях без необходимости полного переучения. #### Выводы В данном исследовании была показана эффективность использования больших языковых моделей для создания и обновления онтологий в различных научных дисциплинах. Было продемонстрировано, что fine-tuning на PEM-Rel-8K даёт значительные улучшения в точности и полноте. Будущие исследования будут ориентированы на улучшение точности моделей, увеличение размера датасетов и расширение применения к другим областям.