LoSemB: Logic-Guided Semantic Bridging for Inductive Tool Retrieval

2508.07690v1 cs.CL, cs.AI 2025-08-13
Авторы:

Luyao Zhuang, Qinggang Zhang, Huachi Zhou, Juhua Liu, Qing Li, Xiao Huang

Резюме на русском

## Контекст Модели текстового понимания на базе трансформеров (LLMs) показали свои возможности в решении различных задач, в том числе в инструментном обучении (Tool Learning). Однако, с ростом репозиториев инструментов, становится все более сложной проблема их выбора для конкретной задачи. Для решения этой проблемы было предложено использовать модуль поиска инструментов (Tool Retrieval Module), который может выбирать наиболее подходящий инструмент для задачи. Тем не менее, большинство современных подходов ориентированы на трансдуктивные задачи, когда инструменты, доступные для обучения, соответствуют тем, которые могут быть использованы в реальной жизни. Необходимо разработать решение, которое бы работало в индуктивном режиме, когда инструменты появляются после обучения модели. ## Метод Мы предлагаем LoSemB – Logic-Guided Semantic Bridging, новую модель для индуктивного поиска инструментов. Основной идеей является использование логических моделей для решения проблемы распространения взаимозаменимости в задаче инструментного поиска. Модель LoSemB состоит из двух ключевых компонентов: модуля выравнивания логических представлений и системы реляционного поиска. Эти модули работают вместе для того, чтобы уменьшить распространение взаимозаменимости и улучшить точность поиска инструментов, даже если они не были видны во время обучения. ## Результаты Мы провели исследования на нескольких датасетах, включая обычные тестовые данные и те, которые включают невиденные инструменты. Модель LoSemB показала существенную выносливость в индуктивной среде, превосходя существующие методы в области инструментного поиска. Также было проведено сравнение с методами, ориентированными на трансдуктивные задачи, и мы показали, что LoSemB может выполняться в этих условиях, но с более высокой точностью в индуктивной задаче. ## Значимость Наше решение может быть применено в различных областях, где необходимо выбирать инструменты для решения задач в реальном времени, например, в области ИИ, машинного обучения, анализа данных. За счет использования логических моделей, мы можем уменьшить влияние распространения взаимозаменимости и улучшить качество решения задач. Это может привести к повышению эффективности использования инструментов в различных приложениях. ## Выводы Мы предлагаем LoSemB, новую модель для индуктивного поиска инструментов. Модель показала свою эффективность в индуктивных задачах, при этом оставаясь эффективной в трансдуктивных условиях. Мы также показали, что логические модели могут применяться для решения проблем распространения взаимозаменимости в инструментном поиске. В будущем мы планируем расширить модель, чтобы она могла работать с более сложными сц

Abstract

Tool learning has emerged as a promising paradigm for large language models (LLMs) to solve many real-world tasks. Nonetheless, with the tool repository rapidly expanding, it is impractical to contain all tools within the limited input length of LLMs. To alleviate these issues, researchers have explored incorporating a tool retrieval module to select the most relevant tools or represent tools as unique tokens within LLM parameters. However, most state-of-the-art methods are under transductive settings, assuming all tools have been observed during training. Such a setting deviates from reality as the real-world tool repository is evolving and incorporates new tools frequently. When dealing with these unseen tools, which refer to tools not encountered during the training phase, these methods are limited by two key issues, including the large distribution shift and the vulnerability of similarity-based retrieval. To this end, inspired by human cognitive processes of mastering unseen tools through discovering and applying the logical information from prior experience, we introduce a novel Logic-Guided Semantic Bridging framework for inductive tool retrieval, namely, LoSemB, which aims to mine and transfer latent logical information for inductive tool retrieval without costly retraining. Specifically, LoSemB contains a logic-based embedding alignment module to mitigate distribution shifts and implements a relational augmented retrieval mechanism to reduce the vulnerability of similarity-based retrieval. Extensive experiments demonstrate that LoSemB achieves advanced performance in inductive settings while maintaining desirable effectiveness in the transductive setting.

Ссылки и действия