Comparative Study of Pre-Trained BERT and Large Language Models for Code-Mixed Named Entity Recognition

Да, вот подробное резюме научной статьи в требуемом формате: ## Контекст Code-mixed языковые модели, особенно в контексте Hindi-English (Hinglish), требуют особого подхода из-за особенностей такого текста: смешанный синтаксис, транслитерация, и частая смена языка. Нейрометрическое распознавание сущностей (NER) в таких текстах является сложной задачей. Существующие модели либо оптимизированы для monolingual или multilingual текстов, либо не приспособлены для код-миксед текстов. Это ставит перед исследователями задачу выявления моделей, которые могут достигать высокую точность при работе с код-миксед NER. ## Метод Мы провели эксперименты с тремя код-миксед моделями BERT: HingBERT, HingMBERT, и HingRoBERTa, которые были прикладным образом приспособлены для работы с текстом на Hinglish. Также использовались несколько моделей многоязычных BERT, включая BERT Base Cased, IndicBERT, RoBERTa, и MuRIL, которые были прикладно приспособлены для multilingual NER. Наконец, мы использовали Google Gemini в zero-shot режиме, для которого были скрыты NER-теги, чтобы оценить его обобщающую способность. Все модели были протестированы на Hinglish NER dataset, с использованием Precision, Recall и F1-score. ## Результаты Наши результаты показали, что код-миксед модели, в частности HingRoBERTa и HingBERT, показали значительное преимущество перед некоторыми моделями многоязычных BERT, включая Google Gemini. Это связано с domain-specific pretraining, который позволяет этим моделям быть более эффективными в данной задаче. Но некоторые модели многоязычных BERT, такие как RoBERTa и MuRIL, показали приемлемую точность, но не приспособлены для код-миксед NER. Google Gemini, несмотря на то, что была нетренирована в контексте NER, реализовала высокую точность в zero-shot режиме, подчеркнув силу общей generalization новых LLMs. ## Значимость Области применения данного исследования включают в себя разработку моделей NER для Hinglish и других code-mixed текстов, включая различные языковые комбинации. Модели HingBERT и HingRoBERTa имеют высокую значимость для коммерческих приложений, таких как chatbots, системы отзывов, и другие сервисы, которые работают с code-mixed текстом. Особенное преимущество код-миксед моделей заключается в их domain-specific pretraining, который позволяет лучше работать в этой сфере по сравнению с generalized моделями. ## Выводы Мы демонстрируем, что code-mixed модели, особенно HingRoBERTa и HingBERT, значительно outperform общие многоязычные модели, такие как RoBERTa и MuRIL, а также closed-source LLMs, включая Google Gemini. Это мотивирует дальнейшие исследования в области код-миксед моделей и дает перспективы для дальнейшего улучшения этих моделей, с целью достижения более высокой точности и общей generalization. Это максимально подробное резюме научной статьи, кото