HGMF: A Hierarchical Gaussian Mixture Framework for Scalable Tool Invocation within the Model Context Protocol

## Контекст В последние годы искусственные интеллектные системы, особенно большие языковые модели (LLMs), обрели неизбежное место в решении сложных реальных задач. Одним из ключевых задач, с которыми сталкиваются LLMs, является вызов внешних инструментов для выполнения конкретных задач. Эти инструменты, как правило, организованы в иерархические структуры, что создает трудности при выборе наиболее подходящего из большого количества вариантов. Эта проблема усложняется тем, что LLMs имеют ограниченные контекстные окна, которые не могут учесть все возможные параметры. Более того, шум от неверных вариантов вносит дополнительные трудности, приводя к невысокой точности выбора и высоким затратам вычислительных ресурсов. Чтобы устранить эти проблемы, мы предлагаем **HGMF** (Hierarchical Gaussian Mixture Framework) — модель, основанную на правилах Гаусса, для эффективного и скалябельного вызова инструментов в контексте LLMs. ## Метод HGMF работает на основе кластеризации и фильтрации в двух этапах. В первом этапе используется модель Гаусса (GMM) для кластеризации серверов, которая оптимизирует выбор наиболее актуальных вариантов. Во втором этапе происходит фильтрация инструментов, связанных с выбранными серверами. Этот процесс позволяет сократить число возможных вариантов до управляемого размера, при этом сохраняя высокую точность. Архитектура HGMF включает в себя несколько модулей: модуль для преобразования пользовательских запросов и описаний инструментов в единое пространство смысла, модуль кластеризации GMM для серверов и инструментов, а также модуль для применения фильтрации на основе вероятности. Эта иерархическая модель обеспечивает не только эффективность, но и стабильность в сложных сценариях. ## Результаты Для оценки эффективности HGMF проводились эксперименты на опубликованной общедоступной выборке данных. Результаты показали, что HGMF значительно повышает точность выбора инструментов в сравнении с базовыми методами, сокращая латентность инференции. Ключевые результаты включают увеличение точности выбора до 95% при уменьшении количества вычислительных операций на 40% в среднем. Эти результаты подтверждают скалябельность HGMF и его применимость к вызовам инструментов в бо LLM с большим количеством инструментов. ## Значимость HGMF может использоваться в различных приложениях, где требуется вызов инструментов в реальном времени. Например, в сферах медицинского анализа, юридического мониторинга и интеллектуальной трудовой деятельности, где LLMs используются для автоматизации процессов. Основные преимущества HGMF заключаются в своей высокой точности, скаляб