Evaluation of LLMs in AMR Parsing

## Контекст Абстрактная Модель Значений (AMR) — семантический формализм, который кодирует значение предложения в виде графов, ориентированных на рут-узел, с рутированными нодами, представляющими концепты, и ребрами, обозначающими семантические отношения. Развитие Легких Языковых Моделей (LLM) привносит новые возможности в область АМР-парсинга. В частности, оптимизация специализированных декодеров для парсинга АМР требует значительных вычислительных ресурсов и сложности в управлении. Файнтюнинг декодер-только LLM представляет более простой и эффективный подход. Несмотря на то, что LLM показывают успех в широком спектре задач, их применение к АМР-парсингу еще не тщательно изучено. Мы рассмотрим значимость файнтюнинга LLM для АМР-парсинга, а также проанализируем результаты по сравнению с имеющимися в науке решениями. ## Метод Мы использовали четыре декодер-только LLM: Phi 3.5, Gemma 2, LLaMA 3.2 и DeepSeek R1 LLaMA Distilled. Эти модели были файнтюнированы на LDC2020T02 Gold AMR3.0 тестовом наборе данных. Мы установили определенные гиперпараметры для каждой модели и тренировали их в тестовой среде. Эксперименты проводились с использованием различных метрик, включая SMATCH F1, для оценки производительности. Мы также провели анализ различных аспектов, таких как семантическая и структурная точность, чтобы понять, какие модели более эффективны в каких областях. ## Результаты Наша оценка показала, что файнтюнинг декодер-только LLM может достигать иногда значительной производительности в АМР-парсинге, которая сопоставима с текущими лучшими решениями. Модель LLaMA 3.2 показала самые высокие результаты в семантической точности, достигнув SMATCH F1: 0.804, что совпадает с результатами APT + Silver (IBM) и приближается к Graphene Smatch (MBSE). С другой стороны, Phi 3.5 демонстрировала наилучшие результаты в структурной точности. Это свидетельствует о том, что различные модели предлагают разные уровни эффективности в разных аспектах АМР-парсинга. ## Значимость Наше исследование показывает, что файнтюнинг LLM может стать эффективным инструментом для АМР-парсинга, даже не требуя такой сложной инфраструктуры, как в существующих комплексных решениях. Это может упростить развитие инструментов для семантического анализа текста. Результаты также указывают на то, что различные модели LLM предлагают разные преимущества в разных областях, что может помочь в выборе лучшей модели для определенных сценариев применения. ## Выводы Мы доказали, что файнтюнинг LLM может представлять собой достаточ