MahaParaphrase: A Marathi Paraphrase Detection Corpus and BERT-based Models

## Контекст Технические языковые задачи, такие как определение парафразирования, играют ключевую роль в обеспечении взаимодействия с технологиями на основе языка. Они помогают в понимании смысла текста, в стилевом переводе, в семантической парсинге и в данных повышении. Однако в языках с богатыми морфологическими и синтаксическими вариациями, таких как маратхи (малоресурсный язык Индии), эти задачи представляют собой особые трудности. Ограниченность доступных высококачественных данных для обучения моделей глубокого обучения усложняет процесс создания технологий, поддерживающих маратхи. Это статья описывает создание L3Cube-MahaParaphrase Dataset и применение моделей BERT для решения проблемы определения парафразирования в этом языке. ## Метод Для создания L3Cube-MahaParaphrase Dataset был применен многоэтапный подход. Вначале были собраны пары предложений из разнообразных источников, включая новости, социальные сети и диалоги. Затем эти пары были аннотированы экспертами, которые определяли, является ли предложение парафразом другого. Итоговая выборка состоит из 8000 пар предложений, каждая из которых отмечена как "Парафраз (P)" или "Не парафраз (NP)". Для обучения и тестирования моделей использовалась технология трансформеров, в частности BERT, подготовленная на языке маратхи. Это позволило эффективно определять парафразы и сравнивать результаты с другими моделями. ## Результаты Исследования проводились на двух основных задачах: классификации парафразирования и восстановлении парафразированных предложений. Для обучения моделей BERT были использованы 7000 пар из L3Cube-MahaParaphrase Dataset, а оставшиеся 1000 использовались для тестирования. Модели показали высокую точность в определении парафразирования, демонстрируя высокую степень точности и низкий показатель ошибок. Это указывает на высокую качественную работу моделей на данных маратхи. Также были проведены сравнительные эксперименты с другими моделями, подтвердив преимущества BERT-моделей в этой области. ## Значимость Данный ресурс и модели могут быть применены в многочисленных технологиях, таких как синтез речи, машинный перевод, стилистическая переработка и другие задачи на основе NLP. Благодаря L3Cube-MahaParaphrase Dataset, разработчики могут создавать более качественные модели для маратхи, что обеспечивает лучшую поддержку языка в интеллектуальных системах. Это также подчеркивает важность развития ресурсов для малоресурсных языков, позволяющих им более эффективно взаимодействовать с технологиями. ## Выводы L3Cube-MahaParaphrase Dataset является первым вы