Routing Distilled Knowledge via Mixture of LoRA Experts for Large Language Model based Bundle Generation

## Контекст Large Language Models (LLMs) показали свою эффективность в автоматической генерации бандлов, однако их вычислительные затраты остаются высокими. Несмотря на то, что методы знанийых знаний предлагают возможность создания эффективных моделей через познание от моделей-учителей (teacher LLMs), наш предварительный анализ показал, что простое объединение различных видов полученных знаний может привести к конфликту между ними, что в свою очередь мешает работе модели в целях генерации бандлов. Чтобы устранить эту проблему, мы предлагаем RouteDK, платформу для маршрутизации полученных знаний с помощью смеси экспертов (LoRA), которая оптимизирует знания от разных типов. ## Метод Мы предлагаем два типа знаний, которые могут быть получены от модели-учителя: высокоуровневые знания (общие правила) и тонкоуровневые знания (специфичные для сессии). Для каждого типа знаний мы обучаем особые экспертов LoRA, каждый из которых учитывает свой тип знаний. Мы также разработали динамический модуль слияния (dynamic fusion module), который включает в себя информацию о входных данных и роутер, который динамически настраивает веса для каждого эксперта LoRA, чтобы минимизировать конфликты между знаниями. Для сокращения разброса при инференции мы также добавили модуль улучшения инференции, который повышает надежность результатов. ## Результаты Мы провели эксперименты на трех открытых наборах данных. Наши результаты показали, что RouteDK достигает той же точности, что и модель-учитель, при этом оставляя вычислительные затраты намного ниже. Этот подход показал себя лучше, чем другие современные методы для генерации бандлов. Мы также обнаружили, что наше решение эффективно решает проблему конфликта знаний, что является ключевым фактором улучшения качества генерации бандлов. ## Значимость Предложенный подход RouteDK может быть применен в различных областях, где необходима автоматизация генерации бандлов, таких как робототехника, ИИ-помощники и системы рекомендаций. Наш подход не только улучшает точность и эффективность, но и предоставляет мощное инструмент для обработки сложных типов знаний. Мы считаем, что RouteDK может стать основой для будущих разработок в области знанийых моделей и их применения в различных технических сферах. ## Выводы Мы предложили RouteDK, фреймворк для маршрутизации знаний с помощью смеси экспертов LoRA для генерации бандлов. Наши эксперименты подтвердили, что данный подход достигает высокой точности, эффективности и устойчивости при инференции. Мы планируем дальнейшие исследования в области улучшения моделей знаний и их эффективного применения в раз