NEFMind: Parameter-Efficient Fine-Tuning of Open-Source LLMs for Telecom APIs Automation

## Контекст Современная телекоммуникационная система строится на **Service-Based Architecture (SBA)**, в которой выделяются сложности в управлении **Network Functions (NFs)** и **Application Programming Interfaces (APIs)**. Эти сложности включают в себя увеличение количества NFs, необходимость быстрого обнаружения и управления API, а также увеличение объема данных, которые должны быть обнаружены и обработаны. Эти факторы становятся главными вызовами для оптимизации в телекоммуникационных сетях, особенно при развитии **5G Service-Based Architecture (SBA)**. Одной из основных проблем является **communication overhead** – высокая стоимость поддержки и обнаружения API, которая может быть повлияна на производительность и удобство использования системы. Наша мотивация заключается в разработке единого фреймворка, который будет упростить процессы обнаружения и управления API, снизив тем самым **communication overhead** и улучшив общую эффективность системы. ## Метод Мы предлагаем **NEFMind**, фреймворк, который использует **parameter-efficient fine-tuning** открытых **Large Language Models (LLMs)**. Наша методология включает в себя следующие шаги: 1. **Синтетическая генерация данных**: Мы используем **NEF API specifications** для синтетического создания данных, которые могут быть использованы в обучении модели. Это позволяет генерировать богатый набор данных для тренировки модели, чтобы увеличить ее точность и обнаружить возможные сценарии. 2. **Оптимизация модели**: Мы используем **Quantized-Low-Rank Adaptation (QLRA)** – метод оптимизации, который позволяет уменьшить размер модели без значительной потери в точности. Это позволяет модели работать в реальном времени, не требуя больших ресурсов. 3. **Performance Evaluation**: Мы оцениваем результаты модели с помощью **GPT-4 Ref Score** и **BertScore**, которые позволяют проверить качество генерируемых ответов и точность обнаружения API. ## Результаты Мы проводили эксперименты с **Phi-2 model**, который был оптимизирован с помощью нашей стратегии **NEFMind**. Результаты показали высокую точность в **98-100%** для обнаружения API-вызовов в **5G Service-Based Architecture (SBA)**. Мы также сравнили нашу модель с **GPT-4**, и наша модель показала **85%** снижения **communication overhead** в сравнении с ручным обнаружением API. Это свидетельствует о том, что модель **Phi-2** может эффективно заменить более крупные модели без потери в качестве. ## Значимость **NEFMind** может применяться в различных областях, включая **automation of telecom APIs**, **5G networks management** и **service discovery в сервисно-ориентированных архитектурах**. Наше решение обеспечивает: - **Снижение overhead communication**: Мы уменьшили затраты на обнаружение и управление API, что может повысить производительность и экономичность системы. - **Увеличение эффективности**: Использование оптимизированных моделей позволяет экономить ресурсы, что является ключевым для сетей с высоким объем